آشنایی با Crawl Errors در Google Search Console

برای اصلاح و رفع خطاهای شناسایی شده توسط روبات خزنده گوگل در وب سایت خود باید با بخش Crawl Errors آشنا باشید تا با مشاهده خطا در دسته بندی موجود در این ابزار، بهترین راهکار رفع آن را تشخیص دهید و از این راه وب سایت خود را برای موتور جستجوگر گوگل بهینه سازی و سئو نمایید. برای دسترسی به Crawl Errors پس از مراجعه به Google Search Console و انتخاب وب سایت خود از لیست سایت هایی که به این سرویس اضافه کرده اید، کافی است از منوی سمت چپ گزینه Crawl و سپس Crawl Errors را انتخاب کنید.

با انتخاب Crawl Errors، صفحه ای مانند تصویر زیر را مشاهده خواهید کرد که این صفحه در حقیقت به شما خطا‌هایی را نمایش می دهد که در زمان مرور و بازدید توسط روبات های موتور جستجوگر گوگل در وب سایت وجود داشته است.

این صفحه از ابزار وبمستر گوگل به دو بخش Site Errors و URL Errors تقسیم شده است که هر یک از آنها نیز زبانه های متفاوتی را در خود دارند.

بررسی بخش Site Errors
قسمت خطاهای سایت (Site Errors) نمایش دهنده مشکلات دسترسی به وب سایت توسط خزنده گوگل و یا کاربران در بازه های زمانی متفاوت است. وجود هر گونه خطایی در این بخش می تواند نشان دهنده در دسترس نبودن وب سایت در روزهای گذشته باشد و در صورت تکرار این مشکلات، به احتمال زیاد سایت شما از طرف الگوریتم رتبه بندی گوگل جریمه می شود و ممکن است رتبه آن به مقدار قابل توجهی در جستجوهای گوگل کاهش یابد.

در قسمت Site Errors سه زبانه وجود دارد:

1. DNS: زمانی که روبات خزنده گوگل با استفاده از آدرس دامنه سایت (مانند youc.ir) توانایی مسیریابی و دسترسی به سرور سایت را نداشته باشد خطای DNS رخ می دهد. دلایل متفاوتی ممکن است باعث به وجود آمدن این مشکل شود اما در صورتی که هاست وب سایت خود را تغییر دهید معمولاً در روز تغییر هاست، چند خطایی در این قسمت به دلیل تغییر DNS نمایش داده می شود که مشکلی را در سئو وب سایت شما به وجود نمی آورد. اما اگر به صورت متوالی این خطاها در نمودار تکرار شده اند احتمال وجود مشکل در تنظیمات سرور سایت و یا ضعف سرور وجود دارد و باید با پشتیبانی هاست وب سایت خود تماس گرفته و خواستار رفع این مشکل شوید. در صورتی که مشکل حل نشد بهتر است برای جلوگیری از کاهش رتبه سایت خود در موتور جستجوگر گوگل به هاست دیگری، وب سایت خود را انتقال دهید.
2. Server Connectivity: خطا موجود در این بخش معمولاً به علت وجود مشکل در سرور سایت مانند مسدود شدن دسترسی IP روبات خزنده موتور جستجوگر در دیواره آتش سرور سایت رخ می دهند و نشانگر این موضوع هستند که گوگل در بازه های زمانی نمایش داده شده توانایی مشاهده محتوای صفحات سایت شما را نداشته است. با تماس با مسئولین هاست، می توانید این مشکل را حل کنید. همچنین در بسیاری از موارد دلیل اصلی خطا به وجود آمده در این بخش، زمان زیاد تراکنش سمت سرور (اجرای کدها، زمان بالای پاسخگویی پایگاه داده ها و…) است. برای رفع این مشکل بهتر است سایت خود را به هاست قدرتمندتری انتقال دهید. اما اگر هم اکنون از هاست نیمه اختصاصی VPS و یا اختصاصی استفاده می کنید، نیاز است که از افزونه و کد مربوط به Cache داده ها استفاده نمایید.
3. Robots.txt Fetch: قبل از اینکه روبات خزنده گوگل شروع به مرور صفحات وب سایت کنند فایل Robots.txt را در سایت می خوانند تا صفحاتی را که شما معین کرده اید توسط خزنده های این موتور جستجوگر مرور نشود را بشناسند. در صورتی که این فایل در سایت شما موجود نباشد و گوگل با خطای 404 در هنگام مشاهده این فایل روبرو شود، هیچ مشکلی پیش نمی آید و تمامی صفحات وب سایت مرور و دنبال می شوند. اما در صورتی که این فایل وجود داشته باشد و در آن خطاهایی پیدا شود و یا در هنگام خواندن این فایل از سرور مشکلی پیش آید و گوگل موفق به خواندن کامل این فایل نشود، این کار به زمان دیگری موکول می شود و تا زمانی که این مشکل حل نشود گوگل هیچ کدام از صفحات وب سایت شما را مرور نمی کند و در نتیجه محتوای سایت شما نیز در پایگاه داده های گوگل ثبت (Index) نمی شوند. به همین دلیل باید به خطاهای نمایش داده شده در زبانه Robots.txt Fetch توجه ویژه ای داشته باشید و در کوتاه ترین زمان ممکن آنها را بر طرف کنید.

بررسی بخش URL Errors
بخش URL Errors که در پایین ابزار Crawl Errors ابزار وبمستر گوگل (Google Webmaster Tools یا Google Search Console) نمایش داده می شود، نشان دهنده خطاهایی است که در حین مرور صفحات وب سایت، خزنده گوگل آنها را شناسایی کرده است. در ادامه با پنج دسته بندی رایج بخش URL Errors آشنا می شویم.

1) Server error: آدرس نمایش داده شده در این بخش، به دلیل مشکل در تنظیمات سرور و یا اشتباهات کاربری وبمسترها رخ می دهد که با مراجعه به هر یک از این آدرس ها می توانید دلیل اصلی آن را پیدا کنید. در صورتی که روبات گوگل به هر یک از صفحات وب سایت شما مراجعه کند و در پاسخ با خطاهای سرور مانند کد 500 روبرو شود آن URL در این بخش ثبت می شود و معمولاً به دلیل ویرایش فایل htaccess. با ویرایشگر نامناسب و یا استفاده از دستورات غیر مجاز در این فایل به وجود می آیند که برای مشاهده دقیق علت آن می توانید به بخش Error Logs در CPanel وب سایت خود مراجعه کنید. بهتر است در هنگام روبرو شدن با این گونه از خطاها با پشتیبانی هاست خود تماس بگیرید و پس از رفع مشکل با استفاده از دکمه Mark as fixed ابزار وبمستر گوگل، رفع خطا را به روبات خزنده گوگل اطلاع دهید.

2) Soft 404: در اکثر سیستم های مدیریت محتوا (CMS) مانند وردپرس امکان تعیین پیغام و یا محتوایی برای نمایش به کاربرانی که می خواهند به یک صفحه غیر موجود در وب سایت دسترسی داشته باشند، وجود دارد که به آن Soft 404 می گویند. این روند مطمئناً از نمایش صفحات 404 ساخته شده توسط سرور سایت، گزینه بهتری خواهد بود اما مشکل اینجا است که معمولاً در هنگام نمایش این صفحه، در اطلاعات Header صفحه مربوطه کد 404 و یا 410 ارسال نمی شوند. موتورهای جستجوگر نیز به این ترتیب متوجه وجود نداشتن آن URL در سایت شما نشده و اقدام به ثبت (Index) محتوا آن صفحه در پایگاه داده های خود می کنند.

3) Access denied: خطاهای نمایش داده شده در این دسته بندی مربوط به صفحاتی می شوند که روبات خزنده گوگل توانایی مشاهده آنها را به دلایل مختلف نداشته است. ممکن است تنظیمات موجود در فایل Robots.txt سایت شما این اجازه را به خزنده گوگل و یا بطورکلی به تمامی روبات های وب نداده باشد که با مشاهده محتوای آن می توانید از این امر با خبر شوید. توجه داشته باشید برای جلوگیری از ثبت محتوای یک صفحه خاص در پایگاه داده های گوگل بهتر است از متا تگ noindex بهره ببرید چون مرور صفحات توسط گوگل با ثبت محتوای سایت در این موتور جستجوگر دو امر کاملاً متفاوت هستند.

البته ممکن است دلیل نمایش آدرس صفحات در بخش Access denied ارسال کد 403 توسط سرور سایت شما در بخش Header آن صفحه باشد که در این صورت محتوای صفحه مربوطه برای نمایش نیاز به ورود کاربر از طریق فرم ورود را داشته است. در صورتی که نمی خواهید به صورت کلی محتوای صفحه مورد نظر توسط گوگل مرور شود بهتر است از طریق nofollow کردن لینک ورودی به آن صفحه در سایت خود، از این امر جلوگیری کنید و با انتخاب URL نمایش داده شده و کلیک روی دکمه Mark as fixed مشکل را حل کنید که البته باید با استفاده از ابزار پاک کننده صفحه در پایگاه داده های گوگل (از طریق ابزار وبمستر گوگل منوی Google Index گزینه Remove URLs قابل دسترس است) این آدرس ها را حذف کنید.

در صورتی هم که می خواهید گوگل مانند یک کاربر عضو در وب سایت شما توانایی مشاهده محتوای مربوطه را داشته باشد می توانید در کدهای سایت خود توانایی دسترسی به محتوای مربوطه را به user-agent Googlebot بدهید.

4) Not found: دلیل نمایش URL در این بخش نبود آنها در وب سایت شما و روبرو شدن روبات گوگل با پیغام 404 در هنگام مرور صفحات سایت شما می باشد. درست است که در بالا بیان شد در صورتی که روبات خزنده گوگل با پیغام Page not found 404 روبرو شوند محتوای صفحه مربوطه را index نمی کنند و آن آدرس را از آدرس ثبت شده در وب سایت شما حذف می کنند اما باید توجه داشته باشید که باید تمامی لینک ورودی به آن صفحه را در سایت خود حذف کرده و از طریق ابزار وبمستر گوگل منوی Google Index گزینه Remove URLs به صورت کلی آن آدرس قدیمی و یا صفحه ای که در سایت ما وجود ندارد را حذف کنیم.

5) Other: خطاهای نمایش داده شده در این بخش معمولاً خطاهایی نیستند که باعث کاهش رتبه وب سایت شوند مانند ارسال کد 400 در جواب به روبات خزنده گوگل که به دلیل درخواست آدرس غیر استاندارد رخ می دهند و برخورد روبات گوگل در هنگام مواجه با این خطاها نادیده گرفتن آدرس مورد نظر و ادامه دادن به مرور وب سایت است. در صورتی که صدها خطا در این بخش مشاهده می کنید به احتمال زیاد در هنگام انتقال سایت خود به هاست دیگر و یا عملیات مشابه مانند بازگرداندن نسخه پشتیبان سایت برای آدرس موجود در کدهای سایت و دیگر محتوا، روند تغییر کد انجام شده است که به دلیل غیر قابل بازگشت بودن آن در اکثر موارد بهتر است دوباره کار انتقال اطلاعات را انجام دهید. اگر مشکل باز هم ادامه داشت بهتر است خود دست به کار شوید و با مطالعه دقیق آدرس نمایش داده شده در بخش Other ابزار Crawl Errors وبمستر گوگل و Response Code ارسال شده توسط سرور مشکل را شناسایی و برطرف کنید.

حتماً متوجه شده اید که در صفحه Crawl Errors ابزار وبمستر گوگل اطلاعات مفید و دسته بندی شده به مدیران وب سایت ها نمایش داده می شود که از آنها می توان برای سئو و بهینه سازی سایت استفاده نمود. همانطور که می دانید وجود لینک های شکسته در صفحات وب و صفحات ناقص و خطادار در وب سایت می تواند تاثیر منفی روی رتبه سایت در موتورهای جستجوگر مانند گوگل بگذارد. بنابراین بعد از مشاهده خطاهای موجود، اولین کاری که شما باید انجام دهید رفع و تصحیح لینک ها و صفحات حاوی خطا در سایت خود است. در صورتی که به صفحات خطادار از وب سایت های دیگر به سایت شما لینک شده است مثلاً لینک به صفحه ای که اصلاً در سایت شما وجود ندارد (خطای 404) پیشنهاد می کنیم با استفاده از فایل htaccess. و ایجاد یک انتقال (Redirect) امن و یا 301 به صفحه ای دیگر در سایت خود، مشکل را بر طرف کنید.

[toggle title=”برای مشاهده منابع اینجا کلیک کنید.” state=”close” ]

مقاله علمی و آموزشی «آشنایی با Crawl Errors در Google Search Console»، توسط واحد فنی و پشتیبانی پورتال یو سی (شما می توانید) نگارش شده است.

[/toggle]