ميزانية الزحف Crawl Budget: ما هي ومن يحتاجها و7 خطوات لتحسينها
ميزانية الزحف (Crawl Budget) هي مجموعة الروابط التي يستطيع Google ويرغب في الزحف إليها من موقعك، وتتحدد بعاملين: حد سعة الزحف (ما يتحمله خادمك دون أن يتأثر) وطلب الزحف (مدى رغبة Google في زيارة صفحاتك حسب أهميتها وتحديثها). والأهم أن تعرف: تقول Google إن هذا الموضوع يهم أساساً المواقع الكبيرة، مثل المواقع التي تضم أكثر من مليون صفحة، أو أكثر من 10 آلاف صفحة يتغير محتواها يومياً، أما المواقع الصغيرة فيكفيها غالباً خريطة موقع محدثة.
أهم النقاط باختصار
- ميزانية الزحف = حد سعة الزحف + طلب الزحف.
- تحتاج إلى الاهتمام بها إذا كان موقعك كبيراً جداً، أو لديك صفحات كثيرة بحالة “تم اكتشافها ولم تتم فهرستها حالياً”.
- أهم طرق التحسين: توحيد المحتوى المكرر، وحظر الروابط غير المهمة بـ robots.txt، وإرجاع 404 أو 410 للصفحات المحذوفة، وتقليل سلاسل إعادة التوجيه، وتسريع الخادم.
- لا تستخدم noindex لتوفير ميزانية الزحف، لأن Google يطلب الصفحة على أي حال.
- تقرير إحصاءات الزحف في Search Console يوضح كيف يزحف Google إلى موقعك.
ما هي ميزانية الزحف؟
قبل أن تظهر صفحة في نتائج البحث، يجب أن يزحف إليها Googlebot ويقرأها. لكن موارد Google ليست بلا حدود، وخادم موقعك أيضاً له قدرة محدودة. لذلك يحدد Google لكل موقع (لكل اسم مضيف) مجموعة الروابط التي يستطيع ويرغب في زحفها خلال فترة معينة، وهذا ما يسمى ميزانية الزحف.
| العامل | ما هو؟ | ما الذي يزيده أو يخفضه؟ |
|---|---|---|
| حد سعة الزحف | أقصى زحف يتحمله خادمك دون أن يتأثر | يرتفع مع الاستجابة السريعة والمستقرة، وينخفض مع البطء وأخطاء 5xx وأكواد 429 |
| طلب الزحف | مدى رغبة Google في زيارة صفحاتك | يتأثر بعدد الروابط المكتشفة، وشعبية الصفحات، وتقادم المحتوى، وقد يرتفع مؤقتاً عند نقل الموقع |
هل يحتاج موقعك إلى تحسين ميزانية الزحف؟
بحسب Google، الدليل موجه لحالات متقدمة، والأرقام التالية تقديرية:
- المواقع الكبيرة التي تضم أكثر من مليون صفحة فريدة ويتغير محتواها أسبوعياً تقريباً.
- المواقع المتوسطة أو الكبيرة التي تضم أكثر من 10 آلاف صفحة يتغير محتواها يومياً.
- المواقع التي لديها نسبة كبيرة من الصفحات بحالة “تم اكتشافها ولم تتم فهرستها حالياً” في Search Console.
إذا كان موقعك مدونة أو موقع شركة بمئات أو بضعة آلاف من الصفحات، فالأولوية غالباً لجودة المحتوى وإمكانية الزحف وخريطة موقع محدثة، وليس لميزانية الزحف.
كيف تتحقق من زحف Google لموقعك؟
- تقرير إحصاءات الزحف في Search Console: من الإعدادات، يعرض عدد طلبات الزحف يومياً، ومتوسط وقت الاستجابة، وأكواد الحالة، وأنواع الملفات.
- تقرير فهرسة الصفحات: يوضح الصفحات غير المفهرسة وأسبابها، مثل “تم الزحف إليها ولم تتم فهرستها حالياً” كما شرحنا في هذا الدليل.
- أداة فحص الرابط: تعرض آخر زحف لصفحة معينة، وقد تظهر رسالة تجاوز حمل الخادم إذا كانت السعة هي المشكلة.
- سجلات الخادم: للمواقع الكبيرة، تحليل سجلات الخادم يوضح بالضبط أين يقضي Googlebot وقته.
خطوات تحسين ميزانية الزحف
1. وحّد المحتوى المكرر
الصفحات المتطابقة أو شبه المتطابقة، مثل نسخ الفلاتر ومعاملات التتبع، تستهلك الزحف بلا فائدة. استخدم الكانونيكال وأعد توجيه النسخ المكررة إلى النسخة الأساسية.
2. احظر الروابط غير المهمة بـ robots.txt
امنع زحف الصفحات التي لا تريدها في البحث، مثل نتائج البحث الداخلي وبعض تركيبات الفلاتر اللانهائية. راجع دليل ملف robots.txt. وتذكر أن هذا لا يعيد توزيع الميزانية على صفحات أخرى إلا إذا كان Google يصل بالفعل إلى حد سعة خادمك.
3. أرجع 404 أو 410 للصفحات المحذوفة نهائياً
الصفحات المحذوفة التي تعيد كود 200 (أخطاء 404 الناعمة) تجعل Google يستمر في زيارتها. أرجع الكود الصحيح ليتوقف عن زحفها.
4. قلل سلاسل إعادة التوجيه
كل تحويل إضافي في السلسلة يستهلك طلباً. اجعل الروابط القديمة تحول مباشرة إلى الوجهة النهائية، وحدّث الروابط الداخلية لتشير إليها مباشرة. راجع أنواع إعادة التوجيه.
5. أبقِ خريطة الموقع محدثة
ضمّن الصفحات المهمة القابلة للفهرسة فقط، واستخدم وسم lastmod للمحتوى المحدث فعلاً. راجع أهمية خريطة الموقع.
6. سرّع استجابة الخادم
الخادم السريع والمستقر يرفع حد سعة الزحف. استخدم التخزين المؤقت، وادعم استجابة 304 (لم يتغير) للصفحات التي لم تتغير، وراقب أخطاء 5xx.
7. قوّ الروابط الداخلية للصفحات المهمة
الصفحات المرتبطة جيداً من صفحات أخرى في موقعك تُكتشف وتُزار أكثر. اربط صفحاتك المهمة من الصفحة الرئيسية والأقسام والمقالات ذات الصلة.
أخطاء شائعة في التعامل مع ميزانية الزحف
| الخطأ | لماذا هو خطأ؟ |
|---|---|
| استخدام noindex لتوفير الزحف | Google يطلب الصفحة ليقرأ الوسم، فلا يوفر الزحف |
| القلق من الميزانية في موقع صغير | المواقع الصغيرة نادراً ما تواجه هذه المشكلة، والأولوية لجودة المحتوى |
| حظر ملفات CSS وJavaScript المهمة | يمنع Google من عرض الصفحة وفهمها بشكل صحيح |
| ترك فلاتر تنشئ روابط لا نهائية | يستهلك الزحف في نسخ لا قيمة لها من نفس المحتوى |
الأسئلة الشائعة
ما هي ميزانية الزحف؟
هي مجموعة الروابط التي يستطيع Google ويرغب في الزحف إليها من موقعك، وتتحدد بحد سعة الزحف الذي يتحمله الخادم وطلب الزحف الذي يعكس أهمية الصفحات وتحديثها.
هل موقعي الصغير يحتاج إلى تحسين ميزانية الزحف؟
غالباً لا. تقول Google إن الموضوع يهم أساساً المواقع الكبيرة جداً أو التي تتغير صفحاتها بكثرة. المواقع الصغيرة يكفيها محتوى جيد وخريطة موقع محدثة وروابط داخلية سليمة.
كيف أعرف إن كانت لدي مشكلة في ميزانية الزحف؟
إذا وجدت عدداً كبيراً من الصفحات المهمة بحالة “تم اكتشافها ولم تتم فهرستها حالياً”، أو كان Google يتأخر كثيراً في زحف الصفحات الجديدة، راجع تقرير إحصاءات الزحف وتقرير فهرسة الصفحات في Search Console.
هل robots.txt يزيد ميزانية الزحف؟
حظر الروابط غير المهمة يمنع إهدار الزحف عليها، لكن Google يوضح أنه لا ينقل الميزانية لصفحات أخرى إلا إذا كان موقعك يصل بالفعل إلى حد سعة الخادم.
هل الروابط الخلفية تؤثر على الزحف؟
شعبية الصفحات من العوامل التي تؤثر على طلب الزحف، والروابط من مواقع أخرى من إشارات هذه الشعبية، لكن الأهم للمواقع الكبيرة هو تنظيم الروابط وسرعة الخادم.
الخلاصة
ميزانية الزحف مهمة فعلاً للمواقع الكبيرة والمتغيرة باستمرار. إن كان موقعك منها، فوحّد المحتوى المكرر، واحظر الروابط غير المهمة، وأصلح أكواد الحالة وسلاسل التحويل، وسرّع خادمك، وأبقِ خريطة الموقع محدثة. وإن كان موقعك صغيراً، فركز على الأساسيات في دليل السيو التقني.
المصادر
- Google Search Central: دليل إدارة ميزانية الزحف للمواقع الكبيرة
- مساعدة Search Console: تقرير إحصاءات الزحف
آخر تحديث: نوفمبر 2026. راجعنا الدليل وفق توثيق Google الحالي لإدارة ميزانية الزحف.
