گاهی اوقات پیش می‌آید که محتوایی در سایتتان منتشر می‌کنید، اما می‌بینید که هیچ اثری از آن در گوگل نیست! ایندکس نشدن سایت در گوگل یکی از مشکلات رایجی است که امکان دارد هر مدیر سایتی با آن مواجه شود. این اتفاق ممکن است به دلایل فنی، محتوایی یا مشکلات پیکربندی سایت رخ بدهد.
در این مطلب، مهم‌ترین دلایل ایندکس نشدن سایت در گوگل را بررسی می‌کنیم.
دلایل فنی ایندکس نشدن سایت در گوگل
مشکلات فنی سایت باعث می‌شوند ربات‌های گوگل نتوانند صفحات سایت را به درستی کراول و پردازش کنند، در نتیجه صفحه در نتایج گوگل ایندکس نمی‌شود.
در ادامه این مشکلات را بررسی می‌کنیم:
وجود تگ noindex یا X-Robots
تگ noindex برای کنترل ایندکس شدن صفحات HTML در بخش <head> قرار می‌گیرد. معمولاً مدیران سایت هنگام توسعه و ری‌دیزاین صفحات، برای اینکه نسخه ناقص ایندکس نشود، از این تگ استفاده می‌کنند و امکان دارد در پایان کار، فراموش کنند که این تگ را از کدهای HTML بردارند. در نتیجه صفحه از نتایج جستجو حذف می‌شود.
اما X-Robots-Tag در هدرهای HTTP سرور قرار می‌گیرد و معمولاً مدیران سایت برای جلوگیری از ایندکس شدن فایل‌های PDF و... از آن استفاده می‌کنند. اگر این تگ به اشتباه استفاده شود، سایت ایندکس نخواهد شد.
برای حل این مشکل بهتر است به صورت دوره‌ای به کمک ابزار URL Inspection در سرچ کنسول وضعیت ایندکس بودن صفحات مهم سایت را رصد کنید. اگر با بررسی وضعیت "Indexing" و "Crawling" پیام "Excluded by 'noindex' tag" را دیدید، مشخص است که این تگ‌ها در صفحه وجود دارند و باید حذف شوند.
نکته: دقت کنید که بعد از حذف این تگ‌ها، ممکن است چند روز تا چند هفته طول بکشد تا دوباره صفحه توسط گوگل ایندکس شود.
مشکل در نقشه سایت
نقشه سایت به ربات‌های گوگل کمک می‌کند تا صفحات مهم سایت را پیدا و ساختار سایت، اهمیت صفحات و زمان آخرین به‌روزرسانی‌ها را بهتر درک کنند.
اگر برای سایت شما، سایت مپ وجود نداشته باشد یا پیکربندی آن مشکل داشته باشد، ممکن است برخی صفحات سایت ایندکس نشوند.
خطاهای رایج سرور و کلاینت
معمولاً خطاهای 5xx (خطای سمت سرور) و 4xx (خطای سمت کلاینت) روی ایندکس نشدن سایت در گوگل تأثیر می‌گذارند.
خطاهای 5xx به خاطر وجود یک مشکل داخلی مثل باگ‌ها، مشکلات افزونه‌ها، تداخل اسکریپت‌ها، یا منابع ناکافی روی سرور رخ می‌دهد. در صورت بروز این خطاها گوگل صفحات را خزش نخواهد کرد و آن را نشانه بی ثباتی سایت تلقی و در صورت ادامه دار بودن، سایت را ایندکس نمی‌کند.
خطاهای 4xx به خاطر بروز مشکل در آدرس صفحه یا دسترسی به آن رخ می‌دهد و اگر ادامه دار باشند، صفحه از ایندکس گوگل خارج می‌شود.
اگر مشکل ایندکس نشدن سایت در گوگل به خاطر این دو نوع خطا باشد، می‌توانید از راه‌های زیر آنها را رفع کنید:
- بررسی پایداری و منابع سرور
- بررسی وجود یا نبود صفحات مهم در فایل robots.txt
- بررسی درست بودن URLها
مسدود بودن ربات‌های گوگل در فایل robots.txt یا تنظیمات وردپرس
یکی از دلایل احتمالی ایندکس نشدن سایت، مسدود بودن ربات‌های گوگل است. این اتفاق ممکن است در تنظیمات وردپرس یا فایل robots.txt رخ داده باشد:
- اگر به تنظیمات وردپرس، بخش خواندن بروید، می‌توانید ببینید، تنظیمات گزینه "از موتورهای جستجو درخواست کن تا محتوای سایت را بررسی نکنند" فعال است یا نه. اگر تیک این گزینه فعال باشد، یعنی کل سایت برای ربات‌های گوگل مسدود است.
- فایل robots.txt باز کنید و خط کد زیر را در آن جستجو کنید:
User-agent: *
Disallow: /
علامت / در خط Disallow یعنی تمام صفحات سایت برای ربات‌ها مسدود است؛ اما وقتی خط Disallow خالی باشد، به ربات‌ها اجازه خزش و ایندکس صفحات داده می‌شود. البته به شرطی که صفحه به صورت جداگانه با تگ noindex محدود نشده باشد.
محدودیت دسترسی به صفحات
صفحاتی که برای دسترسی به آنها نیاز به احراز هویت باشد، برای ربات‌های گوگل در دسترس نیستند. معمولاً محتوای این صفحات برای کاربران ثبت‌نام شده یا با دسترسی ویژه قابل مشاهده است؛ اما ربات‌های گوگل نمی‌توانند آن را خزش و ایندکس کنند.
همانطور که گفتیم، این نوع صفحات محتوای ویژه دارند و به ایندکس شدن نیازی ندارد، پس اگر صفحه‌ای از سایت شما که عمومی است و حتما باید ایندکس شود، محدودیت دسترسی عمومی دارد، باید این محدودیت را بردارید تا صفحه ایندکس شود.
خطاهای مربوط به ریدایرکت
ریدایرکت معمولاً برای هدایت کاربر و موتورهای جستجو به آدرس جدید صفحه استفاده می‌شود. اما گاهی اوقات به خاطر پیکربندی اشتباه خطاهایی ایجاد می‌کند که جلوی ایندکس شدن سایت در گوگل را می‌گیرد.
خطاهای ریدایرکت در بخش Pages سرچ کنسول قابل مشاهده هستند و نشان می‌دهند که ربات‌های گوگل مسیر ریدایرکت صفحات را دنبال نمی‌کنند. در ادامه این خطاها را با هم مرور می‌کنیم:
- خطای زنجیره‌های طولانی ریدایرکت (redirect chain)
- خطای حلقه‌های ریدایرکت (redirect loop)
- ریدایرکت‌های خراب به صفحات ۴۰۴ یا آدرس‌های نامعتبر
سرعت پایین سایت
هرچه سایت کندتر باشد، بودجه خزش کم می‌شود و ربات‌های گوگل نمی‌توانند تمام صفحات را در زمان محدودی که دارند، بررسی کنند. در نتیجه تعداد صفحات ایندکس شده سایت کم می‌شود، به خصوص اگر سایت بزرگ و با صفحات زیاد باشد. این موضوع به طور مستقیم روی ایندکس شدن صفحات سایت تأثیر منفی می‌گذارد.
برای رفع این مشکل اقداماتی مثل بهینه‌سازی تصاویر و کدهای CSS/JS ، استفاده از کش و CDN می‌تواند به بهبود سرعت سایت کمک کنند. علاوه بر این سایت شما باید توسط یک هاستینگ مناسب، سریع و پایدار مثل نت افراز میزبانی شود. پیشنهاد ما این است که از سرویس هاست حرفه‌ای این شرکت استفاده کنید.
دلایل محتوایی ایندکس نشدن سایت در گوگل
گوگل همیشه به محتواهای با کیفیت و کاربردی اولویت بیشتری می‌دهد. اگر محتوای صفحات سایت با کیفیت پایین یا تکراری باشند، احتمالاً امیدی به ایندکس شدن آنها نیست! در ادامه رایج‌ترین مشکلات محتوایی را که باعث ایندکس نشدن سایت در گوگل می‌شوند، با هم مرور می‌کنیم:
محتوای ضعیف و کم ارزش
صفحات کم‌ارزش، بدون اطلاعات کاربردی یا محتواهایی که به طور مستقیم و بدون بازبینی انسانی از هوش مصنوعی گرفته می‌شوند، توسط گوگل نادیده گرفته خواهند شد.
محتوای تکراری
اگر در سایتتان در مورد یک موضوع دو محتوا منتشر کنید، گوگل فقط یکی از آنها را ایندکس می‌کند و دیگری را نادیده می‌گیرد؛ بنابراین اگر دیدید صفحه‌ای ایندکس نشده است، بررسی کنید که آیا محتوای تکراری و مشابه به آن قبلاً منتشر شده است یا نه.
نکته: گاهی اوقات ممکن است یک محتوای جدید منتشر کنید؛ اما داخل آن لینک داخلی دیده نشود. این نوع صفحات ممکن است به سختی توسط ربات‌های گوگل پیدا و دیر ایندکس شوند.
جریمه‌های گوگل
اگر سایت شما قوانین گوگل را نقض کند و دچار پنالتی شود، ممکن است محتواهایتان دیگر ایندکس نشوند. البته این اتفاق خیلی کم و بیشتر برای سایت هایی با محتوای اسپم یا با سئوی کلاه سیاه می‌افتد.
جمع‌بندی
ایندکس نشدن سایت در گوگل اتفاق خوبی نیست و هیچ کس دوست ندارد زحماتش نادیده گرفته شود! ما در این نوشته سعی کردیم خیلی مختصر و مفید در مورد دلایل این اتفاق با شما صحبت کنیم. این مطلب می‌تواند سر نخی باشد تا بتوانید برای حل این مشکل اقدام موثری انجام دهید.
سلب مسئولیت: مطالب منتشرشده در دسته رپورتاژ آگهی توسط شرکت‌های ثالث تهیه شده و جنبه تبلیغاتی یا بیانیه خبری دارند. این مطالب صرفاً بازنشر شده و شهرسخت‌افزار مسئولیتی در قبال صحت محتوای آن ندارد.
نظر خود را اضافه کنید.
برای ارسال نظر وارد شوید
ارسال نظر بدون عضویت در سایت