يخيل إليك أنه لكي يتم تصنيف موقعك لا بد من كتابة محتوى قوي وجذاب وروابط خلفية ملائمة تزيد من سلطة موقعك. بالطبع هذا أمر جيد ومهم ولكن الأهم من هذا كله برامج الزحف إذا لم تتمكن من الزحف إلى موقعك وفهرسته فإن جهدك سيضيع سدىً ولن يظهر في نتائج البحث. إذاً تابع معنا في هذه المقالة كل ما تريد معرفته حول مصطلح إمكانية الزحف وأهميته وكيف يؤثر على موقع الويب الخاص بك.
ما هي عناكب البحث Crawlers؟
تعرف أيضاً بزواحف الويب أو زواحف الإنترنت، وهي عبارة عن روبوتات تقوم بالبحث عن ما يحتاج إليه المستخدم ضمن نتائج البحث.
فعند قيام المستخدم بأية عملية بحث تقوم محركات البحث بالاعتماد على تلك الزواحف الإلكترونية لاستخراج الصفحات المطلوبة من قواعد البيانات وعرضها. ثم تقوم عناكب البحث بتخزين نسخة من الصفحات التي تم عرضها في قاعدة البيانات بالتالي يجعل الوصول إليها أسهل.
معنى قابلية الزحف Crawlability والفهرسة
تعني قابلية الزحف: وصول محرك البحث إلى كل جزء من موقعك والتنقل فيه وتحديده وفهرسته بشكل صحيح بكل سهولة.
قابلية الفهرسة Indexability: فهي قدرة محرك البحث على تحليل الصفحة وإضافتها إلى فهرسها. أي بمعنى آخر السماح لمحركات البحث بإظهار صفحات موقعك في نتائج البحث.
أهمية قابلية الزحف Crawlability
تعد قابلية الزحف مهمة لأي موقع ويب فهي تسمح لمحركات البحث الزحف إلى الصفحات لتحليل محتواها وقراءته ومن ثم إضافته إلى فهرس البحث حيث أنه لا يمكن فهرسة صفحة بشكل صحيح دون الزحف. لأن في حالات نادرة يمكن لgoogle فهرسة عنوان URL دون الزحف بناءً على نص عنوان URL ونص الرابط للروابط الخلفية الخاصة به. ولكن عنوان الصفحة ووصفها لن يظهر في ال SERPs.
كما تعد مهمة في تحسين محركات البحث التقنية فالزحف السيء سيؤثر على تصنيفات محرك البحث الخاص بك وإذا ما واجه جوجل صعوبة في معالجة موقعك فستتم معاقبتك.
ما الذي يؤثر على إمكانية الزحف إلى موقع الويب
تعتمد إمكانية الزحف إلى موقع الويب الخاص بك على عدة عوامل نذكر منها:
خريطة الموقع Sitemap
تعد بنية موقعك عنصراً أساسياً في تحديد إمكانية الزحف. فتبرز أهمية استخدام خريطة الموقع XML بشكل منظم بإمكانية تنقل الزاحف في موقعك والعثور على المعلومات التي يحتاجها للفهرسة.
ملف robots.txt
هو ملف موجود على الواجهة الخلفية لموقعك يخبر برامج الزحف بأجزاء موقعك التي يمكنهم الوصول إليها والتي لا يمكنهم الوصول إليها. فإذا كنت تريد أن تكون الصفحة قابلة للزحف فيجب ألا يتم منعها في ملف robots.txt.
روابط Nofollow
لا يتبع جوجل بوت الروابط التي تحتوي على rel=nofollow فإذا كانت الصفحة تحتوي على رابط nofollow فهذا يعني عدم وجود روابط على الإطلاق من حيث الزحف.
الروابط الخلفية باك لينك
تعد الروابط الخلفية backlinks مهمة لموقعك فهي تأتي من شخص خارج نطاق عملك. حيث يحصل موقعك على رابط خلفي عندما يتضمن موقع آخر رابطاً إلى إحدى صفحاتك فعندما تمر برامج الزحف عبر هذا الموقع الخارجي فإنها تصل إلى موقعك من خلال هذا الرابط طالما مسموح لها بمتابعته.
أخطاء الخادم
تؤدي المشكلات التي تتعلق بالخادم إلى منع برامج الزحف من الوصول إلى كل المحتوى الخاص بك.
قيود الوصول
يمكن أن يكون لصفحات الويب قيود معينة تمنع برامج الزحف من الوصول إليها. ربما تكون أنت تريد تقييد صفحتك من الوصول العام إليها أو أن تشمل:
- IP address blacklisting.
- User-agent blacklisting.
- Some kind of login system.
تكرار عمليات إعادة التوجيه
قد تؤدي عمليات إعادة توجيه الصفحة التالفة إلى إيقاف زاحف الويب في مساراته مما يؤدي إلى حدوث مشكلات في إمكانية الزحف.
5 نصائح لجعل الموقع أسهل للزحف والفهرسة
لكي يعمل موقعك بشكل جيد وتزحف محركات البحث إليه بسهولة نقدم لك بعضا من النصائح منها :
1 – إرسال خريطة الموقع إلى جوجل
يحتوي ملف site map على روابط مباشرة لكل صفحة على موقعك ويرسلها إلى محرك البحث باستخدام وحدة التحكم جوجل ويخبره بالمحتوى الخاص بك وبأي تحديثات قمت بإجرائها. كما يمكنك أيضا إضافة السايت ماب site map إلى ملف الروبوت robots.txt.
2- تقوية الروابط الداخلية
تنتقل زواحف الويب باتباع الروابط فكلما كانت بنية الارتباطات الداخلية جيدة كلما زادت فرصة الزحف إلى موقعك بسرعة، لذلك من المهم تحسين الروابط بين الصفحات لضمان توصيل كل المحتوى.
3- إضافة محتوى جديد وتحديثه باستمرار
كما تعلم أن المحتوى هو الملك، وهو أهم جزء في موقعك. وبرامج الزحف تحب رؤية محتوى جديد وحديث على موقع الويب. هذا يعني أنها ستقوم بالزحف إلى صفحتك وفهرستها بشكل أسرع وهذا بدوره يحسن من تصنيفات محرك البحث.
4- تجنب تكرار المحتوى
إن وجود صفحات تحتوي على محتوى مكرر أو شبيه به، من شأنها أن تقلل من زيارة برامج الزحف إلى موقعك وهذا سيؤثر سلباً على التصنيف.
5- سرعة تحميل الصفحة
لا تحبذ برامج الزحف الانتظار حتى يتم تحميل الصفحة، لديهم فقط وقت محدود يقضونه في الزحف إلى موقعك وفهرسته يعرف بميزانية الزحف وبمجرد انتهاء الوقت سيغادرون الموقع. وكلما زادت سرعة تحميل صفحاتك زاد عدد الصفحات التي تزورها برامج الزحف قبل انتهاء الوقت.
أدوات تساعد في فحص مشاكل الزحف في الموقع
يوجد العديد من الأدوات التي تساعدك في مراقبة موقعك واكتشاف أي خلل في الفهرسة وقابلية الزحف منها أدوات مجانية ومدفوعة نذكر أبرزها:
أداة جوجل سيرش كونسول
تعمل على فحص موقعك واكتشاف مشاكل الفهرسة والزحف كما لها استخدامات أخرى في تحديد الروابط المعطلة وسرعة الموقع على الجوال كما تقدم رسوم بيانية خاصة بزحف روبوتات جوجل اليومية لموقعك.
أداة Page Speed Insight
وهي أداة من جوجل تعمل على إجراء اختبار لروابط الصفحات الخاصة بك، لمعرفة أدائها وتقوم بفحص سرعة موقعك وتجربة المستخدم مع تحديد جميع الأعطال (عملية الفحص والتشخيص وفرص التحسين).
Log File Analyzer
يعد تحليل ملف السجل مهماً فهو يتيح لك معرفة الأخطاء التي تم العثور عليها أثناء الزحف، والصفحات التي لم يتم الزحف إليها وأكثر الصفحات التي يتم الزحف إليها. فقط حمل ملف سجل الوصول access.log الخاص بموقعك واترك الأداة تعمل عملها.
تدقيق الموقع Site Audit
تعمل أداة site audit من سيمرش على فحص موقعك واكتشاف الأخطاء والمشاكل التي تؤثر على إمكانية الزحف إلى موقع الويب وقابل فهرسته.
في الختام قدمنا لكم كل المعلومات المهمة حول مصطلح إمكانية الزحف وقابلية الفهرسة وكيف تؤثر على موقع الويب الخاص بك مع بعض النصائح لجعل موقعك أسهل للزحف. فما عليك الآن إلا مراقبة ما إذا كان بإمكان برامج الزحف الوصول إلى موقعك كي تتفادى الوقوع في أي خطأ قد يتسبب في تصنيفات موقعك.
