قال جون مولر من Google إنها ستكون “فكرة سيئة حقًا ستتسبب في كل أنواع المشاكل” إذا منعت Google أو محركات البحث الأخرى من الزحف إلى الصفحات التي تعرض رمز حالة الخادم 404. وقال “جوجل يتم الزحف إلى المليارات من 404 صفحة كل يوم” وهذا أمر طبيعي.
كتب أحد مشرفي المواقع أن “موقعه الإلكتروني يحظر وكلاء المستخدم تلقائيًا الذين يحصلون على أكثر من 10 صفحات 404 أخطاء ، بما في ذلك Googlebot ، لذا فهذه مشكلة”. أجاب جون على أن هذه فكرة سيئة حقًا ، فقال “يبدو أنها فكرة سيئة حقًا ستتسبب في كل أنواع المشاكل .. لا يمكنك تجنب أن Googlebot وجميع محركات البحث الأخرى ستواجه 404 ثانية. الزحف دائمًا يتضمن عناوين URL التي كان يُرى سابقًا أنها 404. ”
That sounds like a really bad idea which will cause all sorts of problems.. You can’t avoid that Googlebot & all other search engines will run into 404s. Crawling always includes URLs that were previously seen to be 404.
— 🍌 John 🍌 (@JohnMu) July 15, 2020
قال في تغريدة مختلفة ، في نفس اليوم ، “يتم الزحف إلى مليارات الصفحات 404 يوميًا – إنه جزء طبيعي من الويب ، إنها الطريقة المناسبة للإشارة إلى عدم وجود عنوان URL. هذا ليس شيئًا تحتاج إليه ، أو يمكن ، قمع “.
Billions of 404 pages are crawled every day – it’s a normal part of the web, it’s the proper way to signal that a URL doesn’t exist. That’s not something you need to, or can, suppress.
— 🍌 John 🍌 (@JohnMu) July 15, 2020
لذلك بينما يمكنك إصلاح صفحات 404 الخاصة بك من خلال وسائل أخرى ، فإن حظر Google تلقائيًا من الوصول إلى صفحات 404 دون معرفة كيفية وصول Google إلى تلك الصفحات يمكن أن يكون فكرة سيئة حقًا.
رابط المناقشة في تويتر .