انتقل إلى المحتوى
Mera News

دليل الناشر، الفصل 7

كشط الذكاء الاصطناعي: ما يفعله كل عنصر تحكم فعلًا

آخر مراجعة نوفمبر 2026

تجمع شركات الذكاء الاصطناعي الأخبار من الويب لتدريب النماذج وللإجابة عن الأسئلة، وبعض زواحفها ينسخ المقالات كاملة. لا يوجد إعداد واحد يوقف ذلك. يعرض هذا الفصل ما يغطيه كل عنصر تحكم، وكيف تستخدمها دون الإضرار بقرّائك، وأين يقف Mera. وهو ليس استشارة قانونية.

ما يفعله كل عنصر تحكم

عنصر التحكمما يفعلهما لا يفعله
robots.txt (RFC 9309)يطلب من الزواحف البقاء خارج المسارات التي تسمّيهاطوعي، وينص RFC على أنه ليس تفويضًا بالوصول
رمز __usage_ai-trainingيعلن تفضيلًا ضد تدريب الذكاء الاصطناعي، في robots.txtليس معيارًا لدى IETF بعد، ويغطي التدريب فقط. لا يحدّ من الزحف ولا يعالج المحتوى الذي جُمع بالفعل
Google-Extendedيدير استخدام محتواك في تدريب Gemini وفي الإسناد في تطبيقات Gemini وVertex AIلا أثر له على إدراج موقعك في Google Search أو ترتيبه، ولا يُبقي محتواك خارج AI Overviews أو AI Mode
nosnippet وmax-snippetيحدّان من نصك بوصفه مدخلًا مباشرًا إلى AI Overviews وAI Modeوهما يكلفانك أيضًا المقتطفات العادية في البحث
Search Console، Search generative AIيستثني موقعًا من AI Overviews وAI Mode وميزات الذكاء الاصطناعي التوليدي في Discoverلا يؤثر في تدريب الذكاء الاصطناعي. والمواقع المستثناة لا تحصل على زيارات أو ظهور من هذه الميزات
RSL 1.0ينشر شروط ترخيص مقروءة آليًا، عبر سطر License: وملف license.xmlلا يغير قواعد Allow أو Disallow، ولا يمنع شيئًا بمفرده
التحفظ الأوروبي (المادة 4(3)، التوجيهة 2019/790)يحفظ حقوقك ضد التنقيب في النصوص والبيانات، بوسائل مقروءة آليًا للمحتوى على الإنترنتهو بيان قانوني وليس حجبًا تقنيًا
Cloudflare Bot Preference Syncيضيف إلى robots.txt قواعد مُدارة لزواحف الذكاء الاصطناعي، بناءً على سياسات الوصول لديكالالتزام بالملف طوعي. والحجب عند الحافة هو عنصر التحكم التالي في هذا الجدول
سياسات وصول Cloudflareتحجب زواحف الذكاء الاصطناعي عند الحافة، بحسب السلوك: Search أو Agent أو Trainingاختر كل سلوك بعناية. فحجب Search يوقف أيضًا الزواحف التي تفهرس صفحاتك للإجابة عن الأسئلة لاحقًا
حدود معدل الطلبات في WAFتحدّ الطلبات لكل عميل خلال فترة معينةتتأخر العدّادات بضع ثوانٍ، وقد تؤثر القواعد على الروبوتات الموثَّقة في SEO

ملف robots.txt للبداية

سمِّ الزواحف التي تريد إبعادها، وأضف الرمز المشترك، وأشر إلى ترخيصك.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

ملاحظات على هذا الملف:

  • قدّم الملف على /robots.txt، في كل نطاق فرعي.
  • سمِّ الرمز مباشرة. فالمسودة تقول إن مجموعة User-agent: * لا تُعد مطابقة له.
  • تشغّل الشركات عدة روبوتات. GPTBot من OpenAI للتدريب وOAI-SearchBot لبحث ChatGPT. وClaudeBot من Anthropic للتدريب وClaude-SearchBot للبحث. وحجب روبوت بحث قد يقلل ظهورك هناك، فاختر كل واحد عن قصد.
  • أدوات الجلب التي يطلبها المستخدم تختلف. وتقول OpenAI إن قواعد robots.txt قد لا تنطبق على ChatGPT-User.

رمز التدريب المشترك

أعلنت OpenAI وGoogle وMicrosoft وAnthropic دعم __usage_ai-training في 30 أكتوبر 2026. وهو مأخوذ من مسودة إنترنت فردية ليس لها صفة رسمية لدى IETF، ويختلف الإطلاق من شركة إلى أخرى.

الشركةالحالةملاحظة
Anthropicبدأت التنفيذسيستغرق الدعم عبر خدماتها وقتًا. والقاعدة التي تسمّي ClaudeBot تسبق الرمز
OpenAIتستهدف الأشهر المقبلةتبقى عناصر التحكم الحالية في الزواحف قائمة
Microsoftمن 1 فبراير 2027وتضيف أيضًا تفضيلات على مستوى الصفحة
Googleتستهدف 2027، ومطلع 2027 في وثائق زاحفهاتخطط لقراءة الرمز بوصفه منعًا لـ Google-Extended، ما لم تسمِّ Google-Extended بنفسك

يغطي Google-Extended التدريب والإسناد معًا. وحين تدعم Google الرمز المشترك، فإن استخدامه دون تسمية Google-Extended يتخلى أيضًا عن الإسناد في تطبيقات Gemini. أما مجموعة User-agent: Google-Extended مع Allow: / فتُبقيك مؤهلًا للإسناد، لكنها تسمح أيضًا بتدريب Gemini.

إذا كنت تستخدم NoArchive أو NoCache للإشارة إلى تفضيلاتك لدى Microsoft، فإن تفضيلاتها الجديدة تحل محلهما، وتتوقف عن قراءتهما بهذه الصفة بعد 1 مارس 2027.

شروط الترخيص مع RSL

يعتمد RSL 1.0 أساسًا على التزام الزواحف، وقد تضيف الخوادم الإنفاذ. يسمح ملف license.xml هذا بالبحث مع الإسناد ويحظر استخدامات الذكاء الاصطناعي.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

البحث وAI Overviews

لتحديد نص صفحة واحدة في AI Overviews وAI Mode، استخدم عنصر تحكم في المقتطفات. يحدد max-snippet طولًا، ويزيل nosnippet النص.

<meta name="robots" content="max-snippet:160">

ولموقع كامل أو قسم، انتقل إلى الإعدادات، ثم Search generative AI، في Search Console. يمكن للخاصية الفرعية أن ترث الإعداد أو تتجاوزه، وتستغرق التغييرات عادةً بضعة أيام. وتقول Google إنه ليس إشارة ترتيب لأجزاء البحث الأخرى.

إبقاء الموقع متاحًا أثناء ذلك

يجب ألا يعطّل حجب الزواحف قارئات الشاشة ووضعات القراءة والبحث وخلاصة RSS.

  • أبقِ المقالات نصًّا حقيقيًّا. النص المرسوم على canvas أو المحوّل إلى صور أو المشوَّش في HTML يفشل مع قارئات الشاشة ووضعات القراءة، التي تقرأ الصفحة في متصفح القارئ نفسه.
  • أبقِ CAPTCHA بعيدًا عن صفحات القراءة. تقول مذكرة مسودة من W3C إن CAPTCHA كثيرًا ما تمنع ذوي الإعاقة من إتمام المهمة. فضّل الفحوص غير التفاعلية، وقدّم بدائل حيث لا يمكن تجنب التحدي.
  • احمِ البحث. تحقق من Googlebot عبر DNS أو نطاقات IP لدى Google، ولا تحجبه حين تقصد Google-Extended.
  • أبقِ robots.txt متاحًا. بموجب RFC 9309، يجعل رد 5xx الزاحف يفترض أن كل شيء محظور، ويتيح رد 4xx له جلب أي شيء. استثنِ الملف من قواعد الروبوتات.
  • استخدم رموز الأخطاء لفترة وجيزة. تقول Google إن تكرار ردود 500 أو 503 أو 429 على مدى عدة أيام قد يُسقط عنوان URL من فهرسها.
  • استثنِ خلاصتك. يعيد تحدي المتصفح صفحة ويب، ولا يستطيع قارئ الخلاصات استخدامها. ويمكن تخطي Super Bot Fight Mode في Cloudflare بقاعدة مخصصة لمسار خلاصتك. أما Bot Fight Mode في الخطة المجانية فلا يمكن تخطيه بهذه الطريقة.

أين يقف Mera

Mera News في صف الناشر هنا. فهو ليس زاحفًا ولا يأخذ شيئًا من صفحاتك. وتأتي أخباره فقط من خلاصة RSS التي تنشرها، وهي عادةً قليل من النص ورابط يعود إليك. وأنت من يتحكم فيما يوضع فيها، ويعرض Mera العنوان ويوجّه القارئ إليك. أما الزواحف التي تنسخ المحتوى كاملًا فهي المشكلة التي يتناولها هذا الفصل.

يعرّف جالب الخلاصات نفسه بـ MeraNewsBot/1.0 (mera.news/bot)، فتأكد أن حماية الروبوتات لا تحجب خلاصتك. وللاختبار، شغّل هذا وابحث عن 200:

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

للانسحاب من Mera، رشّح User-Agent هذا أو اكتب إلى publishersupport@mera.news. يطلب الجالب عنوان خلاصتك فقط ولا يقرأ robots.txt، لذلك لن تصله قاعدة في robots.txt. ويوضح الزاحف والخلاصات ما يفعله Mera بنص الخلاصة، وأداة منفصلة تُشغَّل يدويًا تبحث عن صفحات الاشتراك.

قائمة التحقق

  • حدّد ما تريده للتدريب ولبحث الذكاء الاصطناعي وللإسناد. فكل شركة تفصل بينها على نحو مختلف.
  • أضف مجموعات الزواحف المسمّاة ومجموعة __usage_ai-training إلى robots.txt.
  • اضبط Google-Extended عن قصد، مع العلم أنه يغطي تدريب Gemini والإسناد معًا.
  • قرّر بشأن عنصر التحكم في Search Console، وسجّل سببك.
  • انشر تحفظًا مقروءًا آليًا على حقوقك، واسأل مستشارك القانوني أي صيغة تناسبك.
  • أضف قواعد عند الحافة وحدودًا لمعدل الطلبات للزواحف التي تتجاهل ملفك.
  • تأكد أن robots.txt وخلاصتك يعيدان 200 للروبوتات.
  • بعد كل تغيير في القواعد، اختبر مقالًا بقارئ شاشة ووضع قراءة، وافحص Googlebot بأداة URL Inspection.

المصادر