تقنيه

شرح robots.txt بالتفصيل في 6 خطوات وكيفية إنشاء البوتات في ووردبريس

التطلع إلى شرح robots.txt أمر ضروري للغاية لكل صاحب موقع أو مدونة، وبالرغم من تلك الأهمية التي يحتلها.

إلا أن هناك الكثيرين من أصحاب المدونات والمواقع في وقتنا الحالي لا يدركون هذه الأهمية البالغة ولا يعرفون دوره الأساسي في أرشفة مواقعهم.

لذا فهذا الملف يعد من أهم الملفات على الإطلاق في أي موقع إلكتروني ولا غنى عن استخدامه أبدًا.

شرح robots.txt

شرح robots.txt يتمثل بكل بساطة في أنه عبارة عن ملف يعطي عدد من الإرشادات والتوصيات لعناكب البحث أو ما تعرف باسم الروبوت Robot.

وتشير لهم بالأوامر التي لابد أن يدخلون إليها والأوامر الأخرى التي لا يستطيعون الدخول إليها.

ويتم الإشارة عن هذا الملف بأنه “توصيات” نظرًا أن هناك عدد من العناكب التي لا تقدر تلك الإعدادات على وجه الخصوص المزعج منها التي يطلق عليه اسم “spammers”.

بالإضافة إلى العناكب الخاصة بالقرصة التي يتم دخولها لأجل فحص أي ثغرات أمنية في مواقع الويب.

فيتم الاعتماد على robots.txt في الأغلب لأجل عدة أمور، مثل:

  •  حجب أرشفة الصفحات الغير نافعة للمستخدمين بواسطة محركات البحث مثل الصفحات التي لا ترغب في عمل أرشفة لها، أو صفحة تسجيل الدخول أو أقسام لا ترغب في عمل أرشفة لها.
  • تفادي أرشفة محتوى متكرر نظرًا لأن هذا الخطأ يعتبر خطأ شنيع لدى جوجل.
  • إزالة روابط محددة.
  • حذف الموقع بشكل كامل.

اقرأ أيضًا: حل مشكلة اختفاء مقالات الموقع في جوجل

شرح robots.txt وخطوات إنشائه في ووردبريس

قد يتم إنشاء ملف robots.txt في الووردبريس بشكل سهل حيث أن إتمامه يعتمد على طريقتان أساسيتان ألا وهما:

إضافة ملف robots.txt من خلال Yoast SEO

إضافة Yoast SEO غنية عن التعريف ومعروفة بتقديمها العديد من الميزات.

حيث أنها توفر ميزة إنشاء ملف robot.txt على الووردبريس بأسلوب سلس للغاية.

وعدد من المميزات الأخرى الخاصة بخيارات تحسين الموقع الخاص بك لدى محركات البحث الأخرى.

في البداية عليك أن تقوم بتفعيل إضافة اليوست سيو وتنصيبها على الموقع الإلكتروني الخاص بك.

ثم قم بإضافة ملف robots.txt من خلال Yoast SEO وذلك عن طريق تنفيذ الخطوات التالية كما هي موضحة بالصور في السطور التالية:

  • من الصفحة المخصصة لإدارة موقعك الإلكتروني، ستلاحظ وجود قائمة على يمين الشاشة تضم خيار SEO أنقر عليه، ثم اختار Tools.

 

شرح robots.txt
شرح robots.txt

 

  • اضغط على خيار File editor أو قد تجده بالغة العربية باسم “رابط محرر الملفات” وستجده داخل لوحة التحكم، كما هو واضح في الصورة التالية:

 

شرح robots.txt
شرح robots.txt

 

  • من الصفحة التي ستتوجه لها تستطيع عمل ملف robots.txt.
  • أنقر على خيار Create robots.txt file.
  • ستتوجه إلى محرر Robots.txt وحينها ستستطيع تحرير محتويات ملف Robots.txt بشكل مباشر من الواجهة ذاتها.

 

شرح robots.txt

شرح robots.txt

  • الآن حان وقت قيامك بتسجيل الأوامر داخل هذا المحرر الذي ظهر أمامك ثم أنقر على خيار “حفظ التغييرات” بعد الانتهاء.

اقرأ أيضًا: شرح SEO للمبتدئين وخطوات تنسيق المقالات من الألف للياء

إضافة ملف robots.txt بشكل يدوي من خلال FTP

تتمتع طريقة إضافة ملف robots.txt بشكل يدوي من خلال FTP بالبساطة حيث يستطيع أي شخص أن يقوم بها.

ولكي تقوم بتنفيذها عليك إتمام الخطوات التالية:

  • قم بفتح برنامج نوت بادNote Pad من على جهاز الكمبيوتر الخاص بك.
  • في بداية الأمر، عليك إضافة هذه الأوامر للملف الذي أنشأته، وهي مثل ما يلي:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

  • احفظ الملف على جهاز الكمبيوتر الخاص بك ولكن خذ في اعتبارك أن تقوم بحفظه باسم robots.txt
  • استخدم برنامج من برامج FTP كبرنامج FileZilla لرفع الملف الذي قمت بحفظه على موقعك الإلكتروني.
  • وهذا سيتم من خلال قيامك بالاتصال بالموقع للاعتماد على برنامج FileZilla.
  • ثم التوجه إلى مجلد public_html وتحميل ملف الـ Notepad الذي أنشأته من خلال النقر على زر الماوس الأيمن واختيار Upload أو سحب ملف النوت باد مباشرة وإدخاله في مجلد public_html.
  • سيتم تحميل الملف بشكل مباشر وبمجرد الانتهاء من ذلك ستكون فعليًا نجحت في رفع ملف robots.txt للموقع الخاص بك.

 

شرح robots.txt 2
شرح robots.txt

كيفية تسجيل الأوامر إلى ملف robots.txt

في ظل الحديث عن شرح robots.txt فأن تضيف له قواعد وأمر يعتبر من الأمور الأساسية، ولكن عليك أن تدرك أنه لا يوجد سوى أمرين فقط تستطيع أن تعطيهما لبوتات البحث وهما:

  • Allow – لكي تسمح لمحركات البحث للوصول لملف محدد.
  • Disallow– لكي لا تسمح لمحركات البحث للوصول لملف محدد.

على سبيل المثال إن كنت ترغب في إتمام السماح بالوصول إلى ملف الموقع الخاص بك إذن فعليك بإضافة Allow، كما هو ظاهر في الأمر التالي:

  • User-Agent: *
  • Allow: /wp-content/uploads/

بالطبع قد لاحظت من الأمر السابق تواجد هذا الرمز (*) أمام User-Agent، هذا الرمز هو المسئول عن إخبار روبوتات البحث كجوجل أو غيرها بأن هذه القاعدة منطبقة عليكم وأن بإمكانكم الوصول لملف الصور وفهرسته كيفما تريدون.

ولكن إن أردت منع الوصول لهذا الملف داخل موقعك إذن عليك بإدخال هذا الأمر:

  • User-Agent: *
  • disallow: /wp-content/uploads/

من خلال إدخالك لهذا الأمر فعليًا تكون قد أخبرت روبوت البحث برفضك للوصول لملف الإضافات أي عدم تعرضه للفهرسة.

إليكم مثال آخر لمزيد من التوضيح فلنفترض أن لديك منتدى ترغب في حجبه لدى برامج الزحف وعدم الولوج إليه، إذن ما عليك سوى أن تضيف الأمر التالي:

User-Agent: *

Disallow: /forum/

اقرأ أيضًا: طريقة ضغط الملفات المختلفة عن طريق الكمبيوتر أو بعض البرامج الخاصة بذلك

كيفية إنشاء قواعد للعديد من البوتات مع Robots.txt

إنشاء قواعد لعديد من البوتات مع Robots.txt يختلف تمامًا عن إنشاء قاعدة واحدة تلائم كافة الروبوتات كما شرحنا لك في الأمثلة السابقة.

فتنفيذه يتطلب إضافة جميع الأوامر أسفل بند User-agent بالنسبة لجميع الروبوتات.

فمثال على ذلك، إن كنت ترغب في إنشاء قاعدة واحدة تلائم كافة برامج التتبع بالإضافة إلى قاعدة أخرى تلائم الروبوت الخاص بمحرك البحث بينج على سبيل المثال، فتستطيع تنفيذ هذا الأمر كما يلي:

User-agent: *

Disallow: /wp-admin/

User-agent: Bingbot

Disallow: /

فمن خلال المثال السابق، ستحظر وصول كافة برامج الروبوت لملف wp-admin، وبالتالي فإن روبوت Bingbot سيكون ممنوع من الوصول للموقع الخاص بك بشكل كامل نظرًا لقيامك بمنع الوصول لملف موقعك الأساسي.

اقرأ أيضًا: طريقة أرشفة مقالات الموقع يدوي لظهورها في جوجل

لمعرفة المزيد يمكنكم مشاهدة هذا الفيديو

 

شرح robots.txt وكيفية اختبار ملف

في سياق حديثنا شرح robots.txt عليك أن تعلم أنك تستطيع اختبار كفاءته من خلال مشرفي مواقع جوجل Google Search console.

فالقيام بهذه الخطوة أمر هام حتى تضمن إعداد الملف بصورة صحيحة حيث أن جوجل أداة متطورة تقوم بتنفيذ ذلك الأمر بشكل مباشر، يمكنك أن تصل إليها مباشرة من هنا.

تستطيع بعد إتمام هذا الأمر أن ترسل أي رابط مثل الصفحة الرئيسية أو غيره ثم النقر على خيار “TEST” لبدء فحص هذا الرابط.

فإن كانت جميع الأمور متاحة للزحف ستلاحظ ظهورها لك باللون الأخضر.

 

شرح robots.txt 1
شرح robots.txt

 

تستطيع أيضًا أن تقوم باختيار الروابط الأخرى التي قمت فعليًا بعمل حظر لها لكي تتأكد من أنها حظرت فعليًا ولا يستطيع أحد الوصول إليها أم لا.

في النهاية، هكذا فعليًا نكون قد قدمنا لكم كل ما يخص ملف robot.txt وكيفية إنشائه وخطوات إضافته من خلال Yoast SEO وبشكل يدوي أيضًا.

فبالطبع إن كنت صاحب موقع إلكتروني فلا غنى لك عن الاستفادة من هذه الأمور.

اقرأ أيضًا: إضافة اليوست المدفوعة وأهم الميزات التي توفرها

للمزيد بمكنكم الدخول على صفحة الفيس بوك.

وأيضًا صفحة تويتر.

زر الذهاب إلى الأعلى