جوجل: لا تحظر جوجل بوت من الزحف صفحات 404

لا تحظر جوجل بوت من الزحف صفحات 404

قال جون مولر من Google إنها ستكون “فكرة سيئة حقًا ستتسبب في كل أنواع المشاكل” إذا منعت Google أو محركات البحث الأخرى من الزحف إلى الصفحات التي تعرض رمز حالة الخادم 404. وقال “جوجل يتم الزحف إلى المليارات من 404 صفحة كل يوم” وهذا أمر طبيعي.

كتب أحد مشرفي المواقع أن “موقعه الإلكتروني يحظر وكلاء المستخدم تلقائيًا الذين يحصلون على أكثر من 10 صفحات 404 أخطاء ، بما في ذلك Googlebot ، لذا فهذه مشكلة”. أجاب جون على أن هذه فكرة سيئة حقًا ، فقال “يبدو أنها فكرة سيئة حقًا ستتسبب في كل أنواع المشاكل .. لا يمكنك تجنب أن Googlebot وجميع محركات البحث الأخرى ستواجه 404 ثانية. الزحف دائمًا يتضمن عناوين URL التي كان يُرى سابقًا أنها 404. ”

 

قال في تغريدة مختلفة ، في نفس اليوم ، “يتم الزحف إلى مليارات الصفحات 404 يوميًا – إنه جزء طبيعي من الويب ، إنها الطريقة المناسبة للإشارة إلى عدم وجود عنوان URL. هذا ليس شيئًا تحتاج إليه ، أو يمكن ، قمع “.

 

لذلك بينما يمكنك إصلاح صفحات 404 الخاصة بك من خلال وسائل أخرى ، فإن حظر Google تلقائيًا من الوصول إلى صفحات 404 دون معرفة كيفية وصول Google إلى تلك الصفحات يمكن أن يكون فكرة سيئة حقًا.

رابط المناقشة في تويتر .