السماح لروبوتات الذكاء الاصطناعي أو حجبها في robots.txt
إذا أردت أن يظهر موقعك في إجابات ChatGPT وClaude وPerplexity، فاسمح لروبوتات البحث الخاصة بها في robots.txt. وإذا لم ترد استخدام محتواك في تدريب النماذج، فيمكنك حجب روبوتات التدريب وحدها. الشركات تفصل غالباً بين روبوت للتدريب وآخر للبحث وثالث لطلبات المستخدمين.
روبوتات معروفة
| الشركة | الروبوت | الاستخدام |
|---|---|---|
| OpenAI | GPTBot | جمع بيانات لتدريب النماذج |
| OpenAI | OAI-SearchBot | البحث في ChatGPT |
| OpenAI | ChatGPT-User | زيارة صفحة بطلب من المستخدم |
| Anthropic | ClaudeBot | جمع بيانات لتدريب النماذج |
| Anthropic | Claude-SearchBot | تحسين نتائج البحث في Claude |
| Anthropic | Claude-User | زيارة صفحة بطلب من المستخدم |
| Perplexity | PerplexityBot | فهرسة لنتائج Perplexity |
| Google-Extended | التحكم في استخدام المحتوى لـ Gemini | |
| Apple | Applebot-Extended | التحكم في استخدام المحتوى لتدريب Apple |
الأسماء قد تتغير أو تُضاف أسماء جديدة، فراجع صفحات التوثيق الرسمية لكل شركة.
مثال: السماح بالبحث وحجب التدريب
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: *
Allow: /
مثال: السماح للجميع
إذا كان هدفك أقصى ظهور، يكفي ألا تحجب هذه الروبوتات.
كيف تقرر؟
- موقع خدمات أو متجر يريد عملاء: السماح غالباً أفيد، لأن الإجابات تذكر المصادر وتجلب زيارات.
- ناشر يبيع محتواه: قد يفضل حجب التدريب والسماح بالبحث، أو التفاوض على ترخيص.
انتبه
إذا كتبت مجموعة خاصة لروبوت معين، فهو يتبعها وحدها ويتجاهل المجموعة العامة. كرر فيها قواعد الحجب العامة التي تريد تطبيقها عليه.
اقرأ أيضاً: ملف robots.txt وملف llms.txt.
تحتاج من ينفذ هذا على موقعك؟ تعرّف على خدمة سيو الذكاء الاصطناعي GEO.