ملف robots.txt: كيف تكتبه دون أن تحجب موقعك بالخطأ

ملف robots.txt ملف نصي في جذر موقعك يخبر برامج الزحف بالمسارات التي لا تزحف إليها. استخدمه لمنع الزحف إلى صفحات بلا قيمة للبحث مثل السلة والبحث الداخلي، ولا تستخدمه لإخفاء صفحات عن النتائج، فهذا عمل وسم noindex.

مثال بسيط

User-agent: *
Disallow: /cart/
Disallow: /search
Allow: /

Sitemap: https://example.com/sitemap.xml

• User-agent يحدد البرنامج المقصود، و* تعني الجميع.
• Disallow يمنع مساراً.
• Allow يستثني مساراً داخل مسار ممنوع.
• Sitemap يدل على خريطة الموقع.

ما الذي تمنعه عادةً؟

• صفحات السلة والدفع والحساب.
• نتائج البحث الداخلي.
• روابط الفرز والفلاتر التي تولد آلاف الصفحات المتشابهة.
• لوحات التحكم.

ما الذي لا تمنعه أبداً؟

• ملفات CSS وJavaScript التي تحتاجها الصفحة للعرض، لأن جوجل يرسم الصفحة كما يراها الزائر.
• الصفحات التي تريد إخفاءها من النتائج، لأن جوجل لن يرى وسم noindex إذا لم يزحف إليها.

أخطاء شائعة

1. Disallow: / باقٍ من مرحلة التطوير، فيُحجب الموقع كاملاً.
2. منع مجلد الصور فتختفي الصور من بحث الصور.
3. كتابة القواعد لبرنامج معين في مجموعة منفصلة ونسيان تكرار القواعد العامة فيها. البرنامج يتبع المجموعة الأكثر تحديداً له فقط.

كيف تختبر الملف؟

افتح تقرير robots.txt في Search Console، واستخدم أداة فحص الرابط لتتأكد أن صفحاتك المهمة مسموح بزحفها.

اقرأ أيضاً: خريطة الموقع XML والسماح لروبوتات الذكاء الاصطناعي.

تحتاج من ينفذ هذا على موقعك؟ تعرّف على خدمة السيو التقني.