شرح عمل روبوت جوجل (Google bot) – زاحف الويب الذي يؤثر على تحسين محركات البحث لموقعك

هل تحب العناكب وكيف تزحف عبر الزوايا وتجد طريقها؟ إذا كنت مهتمًا بعناكب العالم الحقيقي، فسيسعدك التعرف على عناكب الويب، أي روبوت جوجل (Google bot).

الأنشطة الرئيسية لـروبوت جوجل

هناك العديد من التعقيدات حول مُحسّنات محرّكات البحث والسبب الرئيسي لهذه التعقيدات هو نقص المعرفة حول كيفية عمل روبوتات Google . بشكل عام، يمكن تقسيم طريقة عمل Googlebot إلى 3 خطوات:

تشمل الأنشطة الرئيسية الثلاثة التي تؤديها هذه الروبوتات ما يلي:

• الزحف (Crawling)
• الفهرسة (Indexing)
• الترتيب (Ranking)

في الخطوة الأولى، يتم فحص المحتوى الموجود على صفحات الويب. ثم يهتم روبوت جوجل بالموضوع ونوع المحتوى وتقوم بفهرسة المحتوى. أخيرًا، تقوم برامج الروبوت بفحص المحتوى المفهرس وتحديد مكان الصفحة في نتائج Google.

تجدر الإشارة إلى أن الخطوة الأخيرة، الترتيب، ليست جزءًا من مهام روبوتات Google؛ هذا يعني أن روبوت جوجل ليس مسؤولاً عن تغيير نتائج البحث وهو فقط يعلق على أفضل طريقة لعرض النتائج.

لتوضيح كيفية عمل هذه الروبوتات، نقوم بمقارنتها بمثال بسيط. في هذا المثال، أمين المكتبة يشبه روبوتGoogle . يجب على أمين المكتبة أولاً وقبل كل شيء أن ينظر إلى الكتب الموجودة في المكتبة وموضوعها. هذه الخطوة مشابهة لمهمة الزحف إلخاصة لروبوت جوجل.

في الخطوة التالية، يمتلك أمين المكتبة معلومات حول الكتب ويمكنه مساعدة العملاء في العثور على الكتاب الذي يريدونه بسهولة. هذه الخطوة مشابهة لمهمة فهرسة هذه الروبوتات.

الكتب المتعلقة بموضوع ما مماثلة للنتائج المعروضة للبحث. عادة لا تتغير هذه النتائج كثيرًا حتى يتم إضافة نتائج جديدة. النتائج الجديدة هي نفس الكتب الجديدة التي يتم إضافتها إلى المكتبة. في الخطوة الأخيرة، يقدم أمين المكتبة الكتب التي يعتقد أنها يمكن أن تكون مفيدة له وفقًا لاحتياجات العميل، بترتيب أفضل الاقتراحات.

مقارنة أداء Google bot بمتصفح الويب (Web Browser)

يشبه أداء Google bots إلى حد ما بتصفحات الإنترنت؛ يمكن اعتبار بعض أنشطة الروبوتات على الأقل مشابهة لأداء متصفحات الويب. يزحف محرك بحث Google إلى صفحات الويب الخاصة بك مثل متصفح الويب. يقوم متصفح الويب بالزحف إلى جميع مواقع الويب باستخدام الكلمة الرئيسية قيد البحث. ثم يضعهم في المناصب وفقًا لأهميتهم وعامل الترتيب (DA ، PA ، Spam Score، …).

تجدر الإشارة إلى أن الروابط الموجودة على صفحات الويب وطلب فهرس الموقع في Google Search Console هي الإشارات التي تستدعي Google bot للدخول إلى صفحات موقعك. يمكنك استخدام  URL inspection tool لإرسال طلب لفهرسة صفحات الموقع في Google Search Console. تعتبر هذه الروابط التي تشبه شبكة العنكبوت أكثر أهمية بالنسبة إلى روبوت جوجل.

لماذا يعتبر المحتوى هو المعيار بالنسبة إلى Google bot لزيارة صفحات الموقع؟

افترض ثلاثة مواقع ذات محتوى مختلف. واحد منهم هو موقع إخباري حيث يتم نشر الكثير من المحتوى خلال اليوم. محتوى هذه الصفحات هو خبر اليوم ويجب أن يصل المستخدم بسرعة. فكر الآن في متجر على الإنترنت يغير المحتوى كل بضعة أيام أو أسابيع وينشر محتوى أقل من أي موقع إخباري. والثالث هو موقع متحف. ربما يتغير محتوى هذا الموقع كل بضعة أشهر ويكون عدد المحتوى المضاف إليه صغيرًا جدًا. بالطبع، من المرجح أن تزور Google موقعًا إخباريًا يقدم محتوى جديدًا أكثر من متحف أو متجر عبر الإنترنت، حيث يجب إتاحة صفحات الأخبار المنشورة حديثًا لمستخدمي الإنترنت بسرعة.

بالإضافة، إذا اكتشفت روبوتات Google موقع غير مرغوب فيه، فسيكون معدل الزحف لروبوتات Google على هذا الموقع منخفضًا جدًا وفي بعض الحالات سيصل إلى الصفر. أيضًا، إذا أخبرت روبوت جوجل أنك لا تريد الزحف إلى موقعك، فلن تعود برامج Google الآلية إلى موقعك حتى تطلب إعادة فهرسة صفحاتك.

robots.txt

عبر ملف robots.txt  يمكنك إعلان عدم رغبتك في مراجعة وفهرسة صفحات الموقع فيGoogle  عن طريق تدوين ملف robots.txt. يجب إضافة أن روبوتات Google تحترم الأوامر الموجودة في ملف robots.txt.

على سبيل المثال، تقوم Google bots بفهرسة المتاجر الكبيرة عبر الإنترنت بهذه الطريقة. لا تستطيع برامج الروبوت في Google فهرسة جميع صفحات متجر كبير عبر الإنترنت مرة واحدة. هناك سببان رئيسيان لهذا: هناك حاجة إلى الكثير من الموارد لفهرسة كل هذه الصفحات. هذا يضع الكثير من الضغط على موارد خادم المتجر عبر الإنترنت.

لنفترض أن لديك متجرًا عبر الإنترنت يحتوي على 30 فئة منتجات مع مئات صفحات المنتجات في كل فئة؛ إذا كان من المفترض أن تقوم روبوتات Google بفهرسة آلاف الصفحات في وقت واحد، فسيتم وضع الكثير من الضغط على موارد خادم موقعك وسيصبح الوصول إليها غير ممكن بسبب الاستهلاك العالي للنطاق الترددي للموقع. في مثل هذه المواقع، التي تحتوي على عدد كبير من الصفحات، تقوم روبوتات Google أولاً وقبل كل شيء بفحص إمكانات الموقع المطلوب.

Crawl Budget

في الواقع، يعتبر روبوت جوجل حجمًا لفحص الصفحات وتسجيلها على المواقع الكبيرة. هذا الحجم، الذي يتغير بمرور الوقت، يسمى ميزانية الزحف (Crawl Budget). تتم عملية مراجعة وتسجيل صفحات الموقع إلى الحد الذي لا يوجد ضغط على موارد خادم المتجر الإلكتروني. بالطبع، قبل فحص المواقع الكبيرة التي تحتوي على عدد كبير من الصفحات، يتم أيضًا فحص قوة الروبوتات المتاحة من Google.

أخطاء الزحف لها تأثير كبير على مقدار الزحف إلى الموقع بواسطة روبوت جوجل. كلما زاد عدد الأخطاء التي تواجهها روبوتات Google، انخفضت ميزانية الزحف لموقعك، ولكن إذا ارتكبت أخطاء أقل، فإن معدل الزحف يزيد قدر الإمكان. يمكن أن يؤدي وجود العديد من الأخطاء في عملية الزحف لروبوتات Google إلى تقليل معدل زحف هذه الروبوتات إلى ما يقرب من الصفر.

يمكن رؤية أخطاء الزحف لبرامج روبوت Google في قسم أخطاء الزحف (Crawl errors) في أداة Google Search Console. حل هذه المشكلات هو قضية مهمة لا يجب أن تتجاهلها.

قصة روبوت جوجل ومواقع جافا سكريبت

يستخدم Google متصفحات تسمى WRS (Web Rendering Service)  في بعض مواقع الويب أو تطبيقات الويب القائمة علىJavaScript . هذه المتصفحات هي نوع من روبوت جوجل. باستخدام القدرة على تقديم كود JavaScript، فإن هذه المتصفحات لديها القدرة على قراءة هذا الرمز.

على سبيل المثال، إذا وضعت رابطًا على صفحة موقع تم إنشاؤه باستخدام جافا سكريبت، فإن عملية عرض هذا الارتباط بواسطة روبوتات Google تكون على النحو التالي: تتم قراءة شفرة جافا سكريبت وتنفيذها بواسطة روبوت جوجل.

ثم يتم تحويل كود JavaScript إلى كود html. في الخطوة الأخيرة، يتم فحص الرابط الموجود في كود html بواسطة روبوتات جوجل.

بالطبع، قد تستغرق هذه العملية مزيدًا من الوقت، لذلك لتسريع عملية فهم هذه الصفحات بواسطة روبوت گوگل، يوصى باستخدام تقنية العرض الديناميكي (Dynamic Rendering). باستخدام هذه الطريقة، عندما تأتي برامج الروبوت من Google للتحقق من صفحة من موقع أو تطبيق تم إنشاؤه باستخدام JavaScript، يلاحظ الخادم وجودها وبدلاً من إصدار JavaScript، يتوفر إصدار html من نفس الصفحة لقراءةها بواسطة روبوت جوجل.