آیا به فایل robots.txt نیاز داریم؟
اگر شما فایل robots.txt را بر روی سایت خود نداشته باشید مشکلی به وجود نخواهد آمد و موتورهای جستجوگر وب سایت شما را ایندکس خواهند کرد. با این وجود پیشنهاد می شود که حتما این فایل را بر روی سایت خود داشته باشید.
اگر بخواهید که نقشه XML سایت را به موتورهای جستجوگر بشناسانید، می توانید آدرس آن را در فایل robots.txt وارد کنید تا موتورهای جستجوگر دیگری که مانند گوگل ابزار وبمستر ندارند، قادر به شناسایی نقشه سایت باشند.
قبل از اینکه ادامه مطلب را دنبال کنید، پیشنهاد می کنیم که اگر این فایل را همچنان روی سایت خود ندارید، حتما آن را ایجاد کنید.
فایل robots.txt کجاست؟ چگونه فایل robots.txt ایجاد کنیم؟
به طور معمول فایل robots.txt در مسیر اصلی سایت (root) قرار می گیرد. برای مشاهده آن می توانید از پنل هاست یا اتصال FTP استفاده کنید.
البته اگر صرفا بخواهید که فایل را مشاهده کنید، کافیست که از آدرس yourdomain.ir/robots.txt استفاده کنید. فراموش نکنید که به جای yourdomain.ir آدرس دامنه سایت خود را جایگزین کنید.
در صورتی که این فایل وجود نداشت، شما به راحتی می توانید خودتان یکی ایجاد کنید. تمام کاری که باید انجام دهید ایجاد یک فایل متنی ساده و ذخیره کردن آن به نام robots.txt است. سپس فایل مذکور را بر روی سایت خود آپلود کنید.
چگونه از فایل robots.txt استفاده کنیم؟
نحوه استفاده از فایل robots.txt بسیار ساده است. در خط اول نام کاربر عامل مشخص می شود. منظور از نام عامل همان نام ربات موتورهای جستجوگر است که می خواهید با آن ارتباط برقرار کنید.
برای مثال، Googlebot برای خزنده های گوگل و Bingbot برای خزنده های بینگ مورد استفاده قرار می گیرد. اگر بخواهید که تمام موتورها مورد خطاب قرار گیرند آن موقع باید از علامت ستاره * استفاده کنید.
خط بعدی دسترسی یا عدم دسترسی را برای کاربر عامل مشخص می کند. بدین طریق، موتورهای جستجوگر مطلع خواهند شد که کدام صفحات را ایندکس کنند و از ایندکس کردن کدام بخش های سایت خودداری کنند.
بهینه سازی فایل robots.txt برای سئو
براساس دستور العمل های وبمسترها، گوگل تاکید کرده است که مدیران سایت ها از فایل robots.txt برای مخفی کردن محتوای بی کیفیت استفاده نکنند.
بنابراین اگر تصمیم گرفته اید که با استفاده از فایل robots.txt از ایندکش شدن صفحات مربوط به آرشیوها، دسته ها و غیره جلوگیری کنید، قطعا انتخاب عاقلانه ای نکرده اید.
در نظر داشته باشید که هدف از وجود فایل robots.txt مشخص کردن نحوه رفتار ربات ها با محتوای مورد خزش قرار گرفته است. به عبارتی، موتورهای جستجوگر از خزش سایت دست نخواهند کشید.
بسیاری از افراد صفحات مدیریت و ورود به ناحیه کاربری را در فایل robots.txt وارد می کنند تا از ایندکس آنها جلوگیری کنند، این در حالی است که انجام این کار لازم نیست. چون وردپرس به صورت پیشفرض برای این صفحات از متاتگ noindex استفاده می کند.
در مقابل قطع دسترسی به فایل readme.html می تواند گزینه مناسبی باشد. در این فایل اطلاعات مربوط به نسخه وردپرس وجود دارد. بنابراین، اگر شما از آخرین نسخه وردپرس استفاده نمی کنید و در نسخه های قبلی حفره امنیتی وجود داشته باشد، افراد با اطلاع از این موضوع می توانند حملاتی را بر روی سایت انجام دهند.
اضافه کردن نقشه XML سایت به فایل Robots.txt
در صورتی که از افزونه Yoast’s WordPress SEO و یا سایر افزونه های ایجاد نقشه XML سایت استفاده کنید، به احتمال زیاد افزونه مورد نظر اطلاعات مربوط به نقشه سایت را به فایل Robots.txt سایت اضافه خواهد کرد.
