كيف تصلح أخطاء الزحف وتحسّن قابلية فهرسة موقعك

تحدث أخطاء الزحف عندما يحاول محرك بحث الوصول إلى صفحة على موقعك ولا يستطيع. أحياناً لا وجود للصفحة. وأحياناً يتعثر الخادم. وأحياناً تكون قد أخبرت جوجل بالخطأ ألا ينظر إليها. أياً كان السبب، النتيجة واحدة: إذا لم يستطع جوجل الزحف إلى صفحة، فلن يستطيع فهرستها. وإذا لم يستطع فهرستها، فلن تتصدر تلك الصفحة أي نتيجة.

الخبر الجيد أن معظم أخطاء الزحف تتبع أنماطاً متوقعة ولها إصلاحات مباشرة. والخبر السيئ أن معظم الأدلة في هذا الموضوع تعامل كل الأخطاء بالتساوي: قائمة مسطحة من المشاكل بلا أي إحساس بما يستدعي القلق وما يمكن تجاهله. سنسلك هنا نهجاً مختلفاً. يصنف هذا الدليل الأخطاء حسب الخطورة كي تركز على ما يحجب ظهورك فعلاً، لا أن تطارد كل تحذير في Google Search Console.

ما هي أخطاء الزحف؟

خطأ الزحف هو أي مشكلة تمنع Googlebot (أو أي روبوت محرك بحث آخر) من جلب رابط على موقعك بنجاح. عندما يطلب Googlebot صفحة ويحصل على أي شيء غير استجابة 200 OK نظيفة، أو يُحجب قبل أن يتمكن حتى من إرسال الطلب، يُسجل ذلك خطأ زحف.

قابلية الزحف وقابلية الفهرسة مرتبطتان لكنهما مختلفتان. قابلية الزحف هي إمكانية وصول محرك البحث إلى الصفحة أصلاً. وقابلية الفهرسة هي السماح له بإضافة تلك الصفحة إلى فهرسه بعد الزحف إليها. يمكن أن تملك صفحة قابلة للزحف تماماً لكنها مضبوطة على noindex، أي يراها جوجل لكنه لن يدرجها. ويمكن أن تملك صفحة ينبغي أن تكون قابلة للفهرسة لكنها غير قابلة للزحف لأن شيئاً ما يحجب الوصول.

كلاهما مهم. لكن قابلية الزحف تأتي أولاً. إذا لم يستطع Googlebot بلوغ الصفحة، فلا شيء آخر فعلته، لا محتواك ولا كلماتك المفتاحية ولا روابطك الداخلية، سيحدث أي فرق.

أين تجد أخطاء الزحف

Google Search Console هي الأداة الأساسية لتحديد أخطاء الزحف على موقعك، وهي مجانية. تقريران هما الأهم:

تقرير فهرسة الصفحات (تحت “الفهرسة” في التنقل الأيسر) يعرض كل رابط يعرفه جوجل وحالته الحالية. سترى فئات مثل “تم الزحف، غير مفهرسة حالياً” و”غير موجودة (404)” و”محجوبة بواسطة robots.txt” و”مستبعدة بوسم noindex” وغيرها. تتضمن كل فئة عدداً وقائمة بالروابط المتأثرة. هذه نقطة انطلاقك لفهم ما يجري عبر الموقع.

تقرير إحصاءات الزحف (تحت الإعدادات > إحصاءات الزحف) يمنحك نظرة أعلى مستوى لكيفية تعامل Googlebot مع موقعك. يعرض معدل الزحف وأزمنة الاستجابة وتوزيع رموز الاستجابة. إذا كنت ترى قفزة في أخطاء 5xx أو انخفاضاً في معدل الزحف، فهنا ستلتقطه.

وراء Search Console، تتيح لك أدوات مثل Screaming Frog تشغيل زحف خاص بك لإيجاد الأخطاء قبل أن يجدها جوجل. يحاكي Screaming Frog كيفية زحف محرك بحث لموقعك، معلّماً الروابط المعطوبة وسلاسل التحويلات والصفحات المفقودة وأخطاء الخادم في جولة واحدة. وهو مفيد بشكل خاص لالتقاط المشاكل بعد انتقال موقع أو تحديث محتوى كبير.

للمواقع الأكبر ذات أنماط الزحف المعقدة، يستحق تحليل ملفات السجل النظر. تريك سجلات الخادم بالضبط أي الروابط طلبها Googlebot ومتى وما الاستجابة التي حصل عليها. هذا يكشف ما يزحف إليه جوجل فعلاً مقابل ما تظن أنه يزحف إليه، والاثنان لا يتطابقان دائماً.

إطار الخطورة: ما تصلحه أولاً

هنا تقصّر معظم الأدلة. ليست كل أخطاء الزحف متساوية. خطأ soft 404 على صفحة حُذفت قبل عامين ليس كقاعدة robots.txt تحجب فئة منتجاتك بأكملها. أنت بحاجة إلى طريقة للفرز.

نصنف أخطاء الزحف في ثلاث درجات:

الدرجة 1: تحجب الفهرسة كلياً

هذه الأخطاء تمنع الصفحات من الظهور في نتائج البحث إطلاقاً. أصلحها أولاً.

سوء ضبط robots.txt بحجب صفحات أو أقسام مهمة

وسوم noindex على صفحات ينبغي فهرستها

أخطاء خادم 5xx على صفحات هبوط رئيسية

وسوم canonical تشير إلى الرابط الخطأ

“تم الزحف، غير مفهرسة حالياً” على صفحات عالية القيمة

إذا كانت صفحة تحتاج تصدرها متأثرة بأي من هذه، فتلك أولويتك. كل يوم تبقى فيه دون إصلاح هو يوم تولّد فيه تلك الصفحة صفر زيارات عضوية.

الدرجة 2: تُضعف كفاءة الزحف

هذه لا تحجب صفحات منفردة صراحة، لكنها تهدر وقت Googlebot وانتباهه. على المواقع الأصغر، الأثر ضئيل. وعلى المواقع الأكبر بآلاف الصفحات، تتراكم بسرعة.

سلاسل التحويلات وحلقاتها (قفزات متعددة بين الروابط)

أخطاء soft 404 (صفحات تعيد حالة 200 لكنها تعرض محتوى خطأ)

معاملات URL المفرطة المولدة لصفحات مكررة أو شبه مكررة

الصفحات اليتيمة التي لا تشير إليها روابط داخلية

هدر ميزانية الزحف على صفحات منخفضة القيمة

الدرجة 3: أعمال ترتيب

تستحق التنظيف، لكنها لا تضر ترتيبك بأي شكل ذي معنى.

أخطاء 404 على صفحات قديمة منخفضة القيمة لا يربط إليها أحد

موارد محجوبة لا تؤثر على العرض

تحذيرات في Search Console لا تقابل مشاكل فهرسة فعلية

ابدأ بالدرجة 1 وانزل. من المغري مطاردة تقرير Search Console نظيف، لكن الهدف ليس صفر أخطاء، بل صفر أخطاء مهمة.

أخطاء 404 وأخطاء soft 404

تحدث أخطاء 404 القياسية عندما يعيد رابط استجابة “غير موجود”. الصفحة غير موجودة، والخادم يقول ذلك بشكل صحيح. بمفردها، ليست أخطاء 404 مشكلة ترتيب. جوجل يتوقعها. المواقع تتغير، والصفحات تُحذف، والروابط يُعاد هيكلتها. خطأ 404 على صفحة أزلتها عمداً يعمل كما ينبغي.

متى تصبح أخطاء 404 مشكلة:

الصفحة المحذوفة كانت تملك روابط خلفية. مواقع خارجية تربط إلى صفحة تعيد الآن 404 يعني أنك تخسر قيمة تلك الروابط. أعد تحويل 301 إلى الصفحة البديلة الأكثر صلة.

روابط داخلية لا تزال تشير إلى الـ 404. كل رابط داخلي إلى صفحة ميتة هو زحف مهدور وطريق مسدود للمستخدمين. حدّث هذه الروابط أو أزلها.

الصفحة كانت عالية الزيارات. إذا أصبحت صفحة كانت تجلب زيارات عضوية تعيد 404 فجأة، فلديك مشكلة زيارات فورية. إما أن تستعيدها أو تعيد توجيهها.

أخطاء soft 404 أدهى. يحدث soft 404 عندما تعيد صفحة رمز حالة 200 OK لكن محتواها فعلياً صفحة خطأ: “لا نتائج” أو قائمة منتجات فارغة أو رسالة “هذه الصفحة غير موجودة” عامة لم تُضبط بشكل صحيح. يحددها جوجل ويعلّمها لأنها تهدر موارد الزحف دون تقديم أي قيمة.

لإصلاح أخطاء soft 404، إما أن تعيد رمز 404 صحيحاً للصفحات غير الموجودة، أو تضيف محتوى حقيقياً للصفحات التي ينبغي وجودها. يسرد تقرير فهرسة الصفحات في Search Console كل رابط معلَّم soft 404، فيمكنك تدقيقها دفعة واحدة.

أخطاء الخادم 5xx

خطأ 5xx يعني فشل الخادم في معالجة طلب Googlebot. الأكثر شيوعاً هي 500 (خطأ خادم داخلي) و502 (بوابة سيئة) و503 (الخدمة غير متاحة). هذه مشاكل من الدرجة 1 عندما تمس صفحات مهمة.

أخطاء 5xx العرضية تصيب كل موقع. الخوادم تتعثر. لكن إذا كان Googlebot يحصل باستمرار على استجابات 5xx عند محاولة الزحف إلى صفحاتك الرئيسية، فسيتوقف عن المحاولة في النهاية. يقلل جوجل معدل زحفه للمواقع التي تعيد أخطاء خادم كثيرة، والصفحات التي تبقى متعذرة الوصول طويلاً تُسقَط من الفهرس كلياً.

الأسباب الشائعة:

استضافة مثقلة. استضافة مشتركة أو خوادم ضعيفة التجهيز ترزح تحت الزيارات، ومنها زيارات الروبوتات. إذا كان معدل زحف Googlebot كافياً لإجهاد خادمك، فتلك مشكلة استضافة لا مشكلة جوجل.

شيفرة خادم معطوبة. أخطاء PHP أو فشل اتصال قاعدة البيانات أو إعدادات خادم خاطئة. هذه تحتاج انتباه المطورين.

انقطاعات متقطعة. مشاكل CDN أو DNS أو نوافذ صيانة تتصادف مع نشاط الزحف.

افحص تقرير إحصاءات الزحف في Search Console. إذا كنت ترى نمطاً متسقاً من استجابات 5xx، فعلى فريق الخوادم لديك التحقيق. وللمشاكل المتقطعة، ستُظهر سجلات وصول الخادم بالضبط متى تحدث الإخفاقات وأي الروابط تتأثر.

سوء ضبط robots.txt

يخبر ملف robots.txt محركات البحث بأجزاء موقعك المسموح لها بالزحف إليها. أخطئ فيه وقد تحجب Googlebot بالخطأ عن أقسام كاملة من موقعك. لدينا مقال مخصص عن robots.txt يغطي الصياغة الكاملة وأفضل الممارسات، لذا سنوجز هنا.

أكثر الأخطاء شيوعاً: حجب ملفات CSS وJavaScript (مما يمنع جوجل من عرض صفحاتك بشكل صحيح)، واستخدام قواعد منع واسعة أكثر من اللازم تلتقط صفحات لم تقصد حجبها، ونسيان تحديث robots.txt بعد انتقال موقع أو إعادة هيكلة روابط. يمكنك اختبار robots.txt عبر أداة فحص عناوين URL في Search Console للتحقق من حجب روابط محددة.

مشاكل خرائط XML

خريطة XML لموقعك هي خارطة طريق لمحركات البحث: تخبرها بالصفحات الموجودة وأيها تعتبره مهماً. مشاكل الخريطة لا تسبب أخطاء زحف مباشرة، لكنها تسهم في مشاكل الفهرسة بإرسال إشارات مربكة إلى Googlebot. سنغطي خرائط XML بعمق في مقال منفصل، لكن الأخطاء الرئيسية التي تراقبها هي إدراج روابط تعيد 404 أو تحويلات، وتضمين صفحات موسومة noindex، وإغفال تحديث الخريطة عند إضافة محتوى أو إزالته.

سلاسل التحويلات وحلقاتها

تحدث سلسلة التحويل عندما يحوّل الرابط A إلى الرابط B، الذي يحوّل إلى الرابط C، الذي يبلغ الوجهة أخيراً. كل قفزة تضيف تأخيراً وتضعف قيمة الروابط. سيتبع جوجل حتى نحو 10 تحويلات قبل الاستسلام، لكن حتى قفزتين أو ثلاثاً تخلق احتكاكاً لا داعي له.

حلقة التحويل أسوأ: الرابط A يحوّل إلى B، وB يحوّل عائداً إلى A. يصطدم Googlebot بالحلقة، ويستسلم، ولا تُفهرس الصفحة.

كلتا المشكلتين تتراكمان عادة بمرور الوقت. انتقال موقع يخلق تحويلات. ثم انتقال آخر يحوّل التحويلات. ثم يغيّر أحدهم بنية الروابط مجدداً. وقبل أن تدري، لديك سلاسل بعمق ثلاث أو أربع قفزات.

الإصلاح مباشر: دقق تحويلاتك وسطّح كل سلسلة بحيث يشير كل رابط قديم مباشرة إلى الوجهة النهائية بتحويل 301 واحد. يسهّل Screaming Frog هذا: شغّل زحفاً، ورشّح حسب سلاسل التحويلات، وسترى بالضبط أين القفزات.

مشاكل وسوم canonical

تخبر وسوم canonical جوجل بالنسخة “الرئيسية” من صفحة عند وجود نسخ مكررة أو شبه مكررة. عندما تكون خاطئة، إما أن يتجاهل جوجل تفضيلك أو يفهرس النسخة الخطأ. لدينا مقال كامل عن وسوم canonical، فإليك النسخة المختصرة: تأكد أن كل صفحة قابلة للفهرسة تحمل canonical ذاتي الإشارة، وتحقق أن الوسوم لا تشير إلى روابط موسومة noindex أو تعيد 404، وراقب إضافات أنظمة إدارة المحتوى التي تولّد الوسوم تلقائياً بشكل خاطئ.

وسوم noindex في الأماكن الخطأ

وسم meta noindex أو ترويسة X-Robots-Tag تخبر جوجل بعدم فهرسة صفحة. مفيدة تماماً عند تطبيقها عمداً على صفحات الإدارة أو محتوى بيئات التجهيز أو عروض القوائم المرشحة. وأقل فائدة عندما يضيفها أحد إلى صفحاتك المدرة للمال بالخطأ.

يحدث هذا أكثر مما تظن. يضيف مطور noindex إلى بيئة التجهيز (صحيح)، وتُدفع بيئة التجهيز إلى الإنتاج (يحدث)، وفجأة موقعك بأكمله خارج الفهرس. أو يُقلب إعداد في نظام إدارة المحتوى أثناء إعادة تصميم ولا يلاحظ أحد لأسابيع.

افحص مشاكل noindex في تقرير فهرسة الصفحات تحت “مستبعدة بوسم noindex”. إذا كانت أي صفحات هناك ينبغي فهرستها، فأزل الوسم واطلب إعادة الفهرسة عبر أداة فحص عناوين URL. مواقع WordPress معرضة لهذا بشكل خاص؛ فهناك خانة “تثبيط محركات البحث عن فهرسة هذا الموقع” في الإعدادات > القراءة تطبّق noindex على مستوى الموقع. علامة واحدة بالخطأ وتصبح غير مرئي.

الربط الداخلي والصفحات اليتيمة

الصفحة اليتيمة هي التي لا تشير إليها أي روابط داخلية. من منظور Googlebot، إذا لم يوجد رابط ليتبعه، فكأن الصفحة غير موجودة. يكتشف Googlebot الصفحات أساساً بتتبع الروابط من صفحات يعرفها سلفاً. والصفحة بلا روابط داخلية واردة تعتمد كلياً على خريطة XML أو الروابط الخلفية المباشرة للاكتشاف، وهذا غير موثوق.

الربط الداخلي القوي يفعل أمرين لقابلية الزحف. أولاً، يساعد Googlebot على اكتشاف كل صفحاتك المهمة وبلوغها. وثانياً، يوزع PageRank (قيمة الروابط) عبر موقعك، مما يؤثر على تكرار زحف جوجل لكل صفحة وكيفية ترتيبه لأولوياتها.

لإيجاد الصفحات اليتيمة، شغّل زحف Screaming Frog وقارن الصفحات التي يجدها (بتتبع الروابط) مع صفحات خريطتك أو نظام إدارة المحتوى لديك. أي صفحة في خريطتك لم يكتشفها Screaming Frog عبر الروابط يتيمة فعلياً. أصلحها بإضافة روابط داخلية ذات صلة من محتوى مرتبط.

ميزانية الزحف: هل تهم موقعك؟

ميزانية الزحف هي عدد الصفحات التي سيزحف إليها Googlebot على موقعك خلال إطار زمني معين. يحددها أمران: معدل الزحف (كم طلباً في الثانية يتحمله خادمك دون تدهور تجربة المستخدم) وطلب الزحف (كم يريد جوجل الزحف إلى موقعك بناءً على شعبيته وطزاجته).

إليك الإجابة الصادقة عن ميزانية الزحف: إذا كان موقعك أقل من بضعة آلاف صفحة، فالأرجح أنها ليست شيئاً يقلقك. سيصل جوجل إليها كلها. تصبح ميزانية الزحف هماً حقيقياً للمواقع الأكبر: متاجر إلكترونية بعشرات آلاف صفحات المنتجات، أو مواقع أخبار تنشر عشرات المقالات يومياً، أو أي موقع بعدد كبير من الروابط ذات المعاملات المولدة لتنويعات شبه لانهائية.

إذا كانت ميزانية الزحف تعنيك، فالأولوية تقليل الهدر. لا تدع Googlebot يقضي وقته على صفحات التنقل الموجه أو روابط معرفات الجلسات أو نتائج البحث الداخلي. احجب هذه في robots.txt أو عالجها بوسوم canonical سليمة كي يركز جوجل زحفه على الصفحات المهمة فعلاً.

عرض JavaScript وقابلية الزحف

تعتمد المواقع الحديثة بشكل متزايد على JavaScript لعرض المحتوى. لا بأس بذلك للمستخدمين بمتصفحات تنفذ JavaScript فوراً، لكنه يخلق عملية من خطوتين لـ Googlebot. أولاً، يجلب Googlebot HTML. ثم يضع الصفحة في طابور العرض، أي تنفيذ JavaScript لرؤية المحتوى النهائي. تلك الخطوة الثانية تستهلك موارد ووقتاً إضافيين.

أكد جوجل أنه يعرض JavaScript، لكن هناك تأخيراً بين الزحف الأولي وجولة العرض. المحتوى الموجود فقط بعد تنفيذ JavaScript قد يستغرق فهرسته وقتاً أطول. وإذا فشلت JavaScript، بسبب أخطاء أو موارد محجوبة أو انتهاء مهلات، يرى Googlebot صفحة فارغة أو ناقصة.

لأغراض السيو التقني، النهج الأسلم هو العرض من جهة الخادم أو التوليد الساكن للمحتوى الذي تحتاج فهرسته سريعاً. إذا كان موقعك مبنياً على إطار JavaScript (React أو Angular أو Vue)، فاختبر كيف يرى Googlebot صفحاتك عبر ميزة “عرض الصفحة المزحوف إليها” في أداة فحص عناوين URL. إذا كان محتوى حرج غائباً من HTML المعروض، فتلك مشكلة عرض تحتاج حلاً.

الفهرسة بأولوية الجوال وأخطاء الزحف

يستخدم جوجل في الغالب نسخة الجوال من موقعك للفهرسة والترتيب. هذا يعني أن أخطاء الزحف على موقع الجوال أهم من نظيراتها على سطح المكتب. إذا استطاع Googlebot الوصول إلى صفحة على سطح المكتب دون الجوال، بسبب robots.txt مختلف أو بنية روابط مختلفة أو مشاكل خادم خاصة بالجوال، فنسخة الجوال هي المعتبرة.

افحص أخطاء زحف الجوال بشكل منفصل. إذا كان موقعك متجاوباً (روابط واحدة ومحتوى واحد وتخطيط يتكيف)، فالقلق أقل. لكن إذا كان لديك موقع جوال منفصل (m.example.com) أو تقدم محتوى مختلفاً حسب وكيل المستخدم، فتأكد أن نسخة الجوال قابلة للزحف كلياً وتطابق نسخة سطح المكتب في المحتوى.

“تم الزحف، غير مفهرسة حالياً”: ماذا تعني

هذه من أكثر الحالات إحباطاً في Search Console. وجد جوجل صفحتك، وزحف إليها بنجاح، ثم قرر عدم فهرستها. لا خطأ تقنياً. لا توجيه حاجباً. جوجل فقط لم يرَ الصفحة جديرة بالإضافة إلى فهرسه.

قد يعني هذا عدة أمور:

المحتوى هزيل أو مكرر. لم يجد جوجل قيمة فريدة كافية تبرر فهرسته.

الصفحة ضعيفة إشارات السلطة. روابط داخلية قليلة أو معدومة، لا روابط خلفية خارجية، إشارات تفاعل ضئيلة.

الموقع يعاني مشاكل جودة إجمالاً. إذا استشعر جوجل مشاكل جودة أوسع في نطاقك، فقد يصبح أكثر انتقائية في الصفحات التي يفهرسها.

جوجل ببساطة لم يصل إليها بعد. للصفحات الأحدث أو المواقع الأقل طلب زحف، قد يستغرق الأمر وقتاً.

الإصلاح يعتمد على السبب. إذا كان المحتوى هزيلاً، فحسّنه. إذا كانت الصفحة يتيمة، فأضف روابط داخلية. وإذا كان محتوى قيّماً حقاً يغفله جوجل، فبناء بعض الروابط الخارجية إليه أو الربط إليه بشكل بارز من صفحات عالية السلطة على موقعك قد يساعد. لا يوجد زر لفرض الفهرسة؛ يمكنك طلبها عبر أداة فحص عناوين URL، لكن جوجل يتخذ قراره بنفسه.

جمع كل ذلك معاً

إصلاح أخطاء الزحف ليس مهمة لمرة واحدة. المواقع تتغير، والمحتوى يُضاف ويُزال، والإضافات تُحدَّث، وأخطاء جديدة تظهر. أدرج فحص صحة زحف فصلياً في روتينك على الأقل: زحف Screaming Frog، ومراجعة تقرير فهرسة الصفحات، ونظرة على إحصاءات الزحف.

ركّز جهدك حيث يهم. استخدم درجات الخطورة للترتيب: أصلح أولاً كل ما يحجب فهرسة الصفحات المهمة، ثم اعمل على كفاءة الزحف، ثم نظّف البقية. موقع فيه بضعة أخطاء 404 قديمة ليس معطلاً. أما موقع بوسوم noindex على صفحات منتجاته فهو كذلك.

إذا كنت تنظر إلى Search Console مليء بالأخطاء ولا تعرف من أين تبدأ، فهذا بالضبط ما يغطيه تدقيق السيو التقني. في Gorilla Marketing، تشخيص صحة الزحف وقابلية الفهرسة مدمج في كل تدقيق نجريه. يترجم استراتيجيون كبار البيانات إلى توصيات مرتبة الأولوية بلغة واضحة يستطيع فريقك تنفيذها، لا مجرد جدول روابط. إذا كانت صفحاتك لا تُفهرس وتريد معرفة السبب، حدثنا عن تدقيق سيو.