ربما سمعت بهذا الاسم عند محاولتك إنشاء موقع إلكتروني وخصوصا عند محاولة تهيئة الموقع وأرشفتة لمحركات البحث حيث تمكن وظيفة ملف robots.txt في عملية التحكم في أرشفة الموقع وفيما تريد إظهارة للمستخدم فى جوجل أو محرك البحث وهذا الملف اختصار لكلمة “Robots Exclusion Protocol” لأنة غي بعض الأحيان تكون هناك معلومات لاترديد إظهارها في محرك البحث من موقع وملف robots.txt يمكنك من ذلك .
يمكنك إنشاء ذلك الملف في مجلد أو مذكرة ونقلة إلى أدوات مشرفي الموقع أو إنشاءه في أدوات مشرفي المواقع نفسها .
ملف robots.txt العادي
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
ذلك الملف هو الملف العادي التي يظهر عند إضافة موقعك إلى أدوات مشرفي المواقع يمكنك أيضًا الإعتماد علية دون أى تغيير فيه.
حيث ترمز User-agent: * في ملف robots.txt إلى السماح بأشياء معينة يتم أرشفتها وإشارة النجمة تعني بمنع جميع عناكب البحث من أرشفة الصفحات التي تلي هذا الأمر, ونلاحظ في ملف robots.txt لمعظم المواقع أنهم يقومون بمنع صفحات معينة من الأرشفة مثل صفحة المدير wp-admin والتعليقات ويتم ذلك من خلال أمر Disallow كما هو موضح بالملف العادي حيث يمكنك من خلال هذا الأمر التحكم في جميع الصفحات كما تريد .
عناكب الصور في robots.txt
إستدعاء عناكب الصور والجوال لأرشفة الموقع, وذلك عن طريق نفس الأوامر, حيث Googlebot-Image هى عناكب الصور وGooglebot-mobile هي عناكب الجوال حيث يساعد أكثر في عملية أرشفة الصور بشكل أسرع .
بعدها تستطيع إضافة ذلك الملف على أدوات مشرفي المواقع وعمل حفظ لذلك الملف كما بالصورة
