آموزش بهینه سازی فایل robots.txt برای سئو وردپرس

اصلا فایل robots.txt چیست؟ 

از فنی ترین کارهای سئو میتوان به بهینه سازی این فایل اشاره کرد . در واقع این فایل برای بهینه سازی ایندکس صفحات سایت به کار میرود .  Robots.txt یک فایل متنی است که برای هدایت ربات های موتور جستجو برای نحوه خزیدن و ایندکس صفحات وب سایت استفاده می شود. از آنجا که فایل robots.txt ربات های جستجو را در مورد نحوه خزیدن صفحات مختلف وب سایت شما راهنمایی می کند، دانستن نحوه استفاده و تنظیم این فایل بسیار مهم است. حال اینکه چه اهمیتی در سئو داره رو بیشتر بهش میپردازیم .

اهمیت فایل robots.txt برای سئو وبسایت !

چرا این فایل مهم است ؟؟ چراکه برای ربات‌های گوگل فایل robots.txt مهم است. این فایل به دلیل این‌که اجازه می‌دهد موتورهای جستجو مانند: گوگل و یاهو و یا بینگ محدرات سایت شما را ایندکس کند یا ایندکس نکند حائز اهمیت می‌باشد. بنابراین این ربات در بالا رفتن سئو سایت اهمیت فراوانی دارد که نمی‌توان آن را نادیده گرفت. در نظر داشته باشید که عدم نصب این فایل به معنی جستجو نشدن سایت شما نیست اما نصب آن به‌شدت به مدیران سایت توصیه می‌شود و تقریباً تمام مدیران سایت‌ها به خاطر اهمیت آن حتماً آن را نصب می‌کنند. شما توسط فایل Robots.txt می‌توانید به‌راحتی سئو سایت خود را بالا ببرید. این کار سبب می‌شود با زیادتر شدن محتوای سایتتان بتوانید روی آن مدیریت بهتری داشته باشید و مثل یک وب‌مستر حرفه‌ای آن را کنترل کنید.

آیا واقعا به فایل robots.txt نیاز داریم؟

ما برای اینکه صفحات سایت خود را توسط گوگل، بینگ و… ایندکس کنیم ، حتما نیاز به این فایل داریم . تا زمانی که فایل ربات نباشد گوگل و سایر موتورهای جستجو نمی‌توانند به صفحه اصلی یا ایندکس سایت شما دسترسی داشته باشند؛ معمولاً اگر شما درهاست خود فایل Robots.txt نداشته باشید باید یک فایل جدید بسازید و نام آن را ربات بگذارید. بهترین راه برای بالا بردن بازدید سایت شما بالا بردن رتبه سایتتان در موتورهای جستجو است. زمانی که رتبه سایت شما در این موتورها بالا رود شما بازدید بیشتری داشته و درنتیجه می‌توانید درآمد بیشتری نیز داشته باشید. به‌واسطه‌ی ربات‌های موتورهای جستجوگر شما می‌توانید سایتتان را به این موتورها به‌راحتی معرفی کنید و میزان بازدید کاربران از سایتتان را افزایش دهید.

آموزش ساخت فایل Robots.txt

دقت گنید که فرمت‌های این پرونده خیلی ساده است. ما چند سطر کدنویسی برای این فایل داریم که سطر اول آن عبارت است از : 1 – user agent : این به شما می‌گوید که از کدام سایت جستجوگر می‌خواهید استفاده کنید.( مثلا فایرفاکس ، کروم و .. ) اگر از گوگل می‌خواهید استفاده کنید باید جلوی آن Googlebot بنویسید . حتی اگر که می‌خواهید از بینگ Bingbot استفاده کنید ، همین عبارت را جلوی آن قرار دهید تا به راحتی بتواند تشخیص دهد . درصورتی‌ هم که می‌خواهید تمامی ربات‌ها به سایت شما دسترسی داشته باشند علامت * را قرار دهید. در مرحله بعد شما باید کدهای Allow و Disallow را در فایل قرار دهید مانند مثال زیر: