دلیل ایندکس نشدن صفحه وبسایت چیست راهکارهای تشخیص و برطرف کردن این مشکل کدامند

در اینجا چگونگی بررسی ایندکس شدن صفحه وبسایت شما و روش های تشخیص متداول ترین دلایلی که مانع ایندکس شدن صفحه وبسایت شما می شوند را با شما اشتراک می گذاریم.

توجه داشته باشید که مراحل تشخیص مشکل ایندکس نشدن صفحات وبسایت براساس سادگی انجام کار مرتب شده اند. امیدواریم تا قبل از خواندن کل مطلب به پاسخ خود رسیده باشید. 

1- بررسی اینکه آیا صفحه وبسایت شما اصلا ایندکس شده است یا خیر

اول کار تایید ایندکس نشدن صفحه وبسایت است. سریع ترین راه، استفاده از کوئری های موجود در جستجوی گوگل برای یافتن نتایج است.

برای مثال از عملگر "site:" برای بررسی ایندکس شدن کل سایت استفاده می شود:

Site:domain.com

به جای domain.com آدرس سایت خود را قرار دهید. شما می توانید از همین عملگر برای بررسی یک صفحه خاص در وبسایت نیز استفاده کنید:

site:domain.com/page-name

اگر نتیجه جستجو به صورت زیر بود، این یعنی صفحه مورد نظر شما در حال حاضر ایندکس نشده است:

2- گوگل سرچ کنسول را برای سرنخ های بیشتر بررسی کنید

مرحله بعدی بررسی گوگل سرچ کنسول است. برای بررسی وضعیت ایندکس شدن سایت وارد بخش گزارش Coverage شوید:

مکان هایی که صفحات ایندکس نشده را نشان می دهند تب های "error" و "excluded" هستند.

اگر صفحه شما توسط گوگل بررسی شده باشد اما به هر دلیل گوگل تصمیم به ایندکس نکردن آن بگیرد، آن صفحه در گزارش "Excluded" قابل مشاهده خواهد بود.

اگر صفحه شما به هر دلیل توسط ربات های گوگل قابل خزیدن و یا ایندکس شدن نبود، آن صفحه در گزارش "Error" ظاهر می شود. 

اگر صفحه وبسایت شما در یکی از این گزارش ها ظاهر شود می توانید با کلیک بر روی URL آن و انتخاب گزینه " Inspect URL" مشکل را بیابید. 

همچنین می توانید با انتخاب گزینه "Test Live URL" به اطلاعات بیشتری دست پیدا کنید:

ممکن است به دلیل بزرگ بودن وبسایت خود و بالا بودن تعداد URL ها قادر به پیداکردن مشکل نباشید. این گزارش ها حداکثر تا 1 هزار URL برای هر نوع خطا را پوشش می دهند. در این صورت شما می توانید از طریق گزینه جستجو که در بالای صفحه قرار دارد، به طور مستقیم به دنبال صفحه خود بگردید:

3- بررسی المان های داخل صفحه که ممکن است باعث ایندکس نشدن صفحه شوند:

گزارش خطا ممکن است به دلیل قرار گرفتن تگ متای "noindex" باشد. برای بررسی این موضوع وارد صفحه وبسایت خود شوید و کد منبع HTML صفحه را باز کنید. برای این کار بر روی صفحه کلیک راست کرده و بر روی "view page source" کلیک کنید و یا عبارت "view-source: " را در جلوی URL صفحه اضافه کنید و یا "Ctrl+U" را در کیبورد خود فشار دهید.

حالا درون کدهای html به دنبال "noindex" بگردید

همچنین صفحه شما ممکن است دارای هدر HTTP X-Robots-Tag باشد، مثل نمونه زیر:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

شما می توانید در این وبسایت  هدرHTTP  صفحه وبسایت خود را بررسی کنید.

اگر وبسایت شما وردپرسی باشد، ممکن است به صورت اتفاقی در تنظیمات "خواندن" وردپرس گزینه "از موتور جستجو درخواست کن تا محتوای سایت را بررسی نکند" را فعال کرده باشید.

4- بررسی فایل robots.txt

محل دیگری که ممکن است موجب بلاک شدن ربات های موتور جستجو شود فایل robots.txt است. شما می توانید این موضوع را به سرعت با استفاده از ابزار تست گوگل و یا با مراجعه به مسیر /robots.txt  در دامنه وبسایت بررسی کنید.

5- بررسی کنید آیا صفحه شما قابل یافتن است یا خیر

برای این که یک صفحه ایندکس گردد باید ابتدا در دسترس خزنده های موتورهای جستجو باشد. اگر صفحه شما به هیچ جای دیگری لینک نشده باشد، خزنده ها قادر به یافتن آن صفحه نیستند. از این رو از قرار دادن لینک های داخلی و اتصال صفحات سایت به یکدیگر اطمینان حاصل کنید.

یکی از بهترین راه حل ها قرار دادن لینک صفحات در یک نقشه سایت XML است. اگر صفحه مورد نظر شما در نقشه سایت XML قرار نگیرد ممکن است برای گوگل این تصور را ایجاد کند که این صفحه دارای اهمیت کمتری است و یا یافتن آن را مشکل تر سازد. به همین خاطر از قرار گرفتن صفحات مهم سایت در نقشه سایت XML اطمینان پیدا کنید.

6- بررسی کنید آیا صفحه شما به درستی عمل می کند یا خیر (حتی در صورت غیر فعال کردن جاوااسکریپت)

حتی اگر صفحه وبسایت شما توسط خزنده های موتورهای جستجو قابل مشاهده باشد، در صورت در دسترس نبودن محتوای آن، قابل ایندکس نخواهد بود. مطمئن شوید که صفحه وبسایت:

• دارای وضعیت با کد 200 باشد
• محتوای اصلی را به درستی نمایش می دهد و در آن لینک های قابل کلیک قرار دارد (حتی در صورت غیرفعال بودن جاوااسکریپت)

از دسترس خارج شدن مکرر وبسایت نیز می تواند یکی دیگر از دلایل ایندکس نشدن صفحه وبسایت باشد.

7- بررسی داشتن محتوای تکرار و یا کم ارزش

هدف گوگل نمایش مرتبط ترین محتوا به کوئری جستجو شده است از این رو گوگل ارزش مطالبی که بیش از حد مشابه دیگر مطالب ایندکس شده است، را کاهش می دهد.

همچنین بررسی کنید تگ "rel=canonical" که به URL دیگری اشاره می کند، در صفحه وجود نداشته باشد. این موضوع را می توانید با ابزار "Inspect URL" در گوگل سرچ کنسول بررسی کنید:

و یا در کد منبع صفحه، به دنبال کد "rel=canonical" بگردید:

8- فایل .htaccess را بررسی کنید

فایل .htaccess یک فایل پیکربندی سرور است. از این فایل می توان برای ریدایرکت کردن، تغییر URL های زشت و شلوغ به URL های تمیز و قابل خواندن و حتی بلاک کردن دسترسی خزنده ها استفاده کرد. اگر صفحه وبسایت شما توسط robots.txt و یا تگnoindex ، خزنده ها را بلاک نکرده باشد ممکن است این کار توسط .htaccess صورت گرفته باشد.

9- زمان بارگذاری سایت خود را بررسی کنید

در صورتی که صفحه سایت بقدری کند باشد که حتی ممکن است محدودیت زمانی اجرای آن به اتمام برسد، می تواند از نظر گوگل صفحه ای با تجربه کاربری ضعیف تلقی شود و از این رو گوگل از ایندکس کردن آن اجتناب کند.

10- بررسی دردسترس بودن محتوا در تلفن های همراه

ایندکس موبایلی (mobile-first indexing) یکی از متداول ترین روش های ایندکس کردن است و ممکن است خزنده ها تنها مطالبی را ایندکس کنند که در موبایل قابل مشاهده هستند. مطمئن شوید محتوای صفحه وبسایت شما در نسخه های موبایلی در دسترس است.

11- عملکرد خود را بررسی کنید

ممکن است گوگل به دلیل فعالیت های مشکوک و اسپمی وبسایت شما، آن را به صورت دستی محدود کند که این کار به پنالتی مشهور است. 

اگر وبسایت شما دچار پنالتی شده باشد، در بخش "Manual Actions report" در گوگل سرچ کنسول یک اطلاعیه دریافت خواهید کرد. معمولا در این اطلاعیه جزئیات و دلیل قرار گرفتن وبسایت شما در پنالتی و چگونگی برطرف کردن آن توضیح داده می شود. پس از آن که مشکل را برطرف کردید می توانید درخواست بررسی مجدد دهید.

در زیر برای جمع بندی چک لیستی برای برطرف کردن مشکل ایندکس نشدن صفحه وبسایت قرار داده شده است:

1. بررسی اینکه آیا صفحه وبسایت شما اصلا ایندکس شده است یا خیر
2. گوگل سرچ کنسول را برای سرنخ های بیشتر بررسی کنید
3. بررسی المان های داخل صفحه که ممکن است باعث ایندکس نشدن شوند:
4. بررسی فایل robots.txt
5. بررسی کنید آیا صفحه شما قابل یافتن است یا خیر
6. بررسی کنید آیا صفحه شما به درستی عمل می کند یا خیر (حتی در صورت غیر فعال کردن جاوااسکریپت)
7. بررسی داشتن محتوای تکرار و یا کم ارزش
8. فایل .htaccess را بررسی کنید
9. زمان بارگذاری سایت خود را بررسی کنید
10. بررسی دردسترس بدن محتوا در تلفن های همراه
11. عملکرد خود را بررسی کنید