Aller au contenu
Mera News

Guide de l'éditeur, chapitre 7

Scraping par l'IA : ce que fait réellement chaque contrôle

Dernière révision : novembre 2026

Les entreprises d'IA collectent l'actualité sur le web pour entraîner leurs modèles et répondre à des questions, et certains de leurs robots copient des articles entiers. Aucun réglage ne suffit à l'empêcher. Ce chapitre montre ce que couvre chaque contrôle, comment les utiliser sans nuire à vos lecteurs, et la position de Mera. Il ne constitue pas un conseil juridique.

Ce que fait chaque contrôle

ContrôleCe qu'il faitCe qu'il ne fait pas
robots.txt (RFC 9309)Demande aux robots de rester hors des chemins que vous nommezIl est facultatif, et la RFC précise qu'il ne vaut pas autorisation d'accès
Jeton __usage_ai-trainingExprime dans robots.txt une préférence contre l'entraînement de l'IACe n'est pas encore une norme de l'IETF, et il ne couvre que l'entraînement. Il ne limite pas l'exploration et ne traite pas le contenu déjà collecté
Google-ExtendedGère l'usage de votre contenu pour l'entraînement de Gemini et pour l'ancrage dans les applications Gemini et Vertex AIIl n'a aucun effet sur l'inclusion ou le classement dans la recherche Google, et n'exclut pas votre contenu des AI Overviews ni du AI Mode
nosnippet, max-snippetLimitent votre texte comme source directe pour les AI Overviews et le AI ModeIls vous font aussi perdre les extraits normaux dans la recherche
Search Console, Search generative AIExclut une propriété des AI Overviews, du AI Mode et des fonctions d'IA générative de DiscoverIl n'a aucun effet sur l'entraînement de l'IA. Les sites exclus n'obtiennent ni trafic ni impressions de ces fonctions
RSL 1.0Publie des conditions de licence lisibles par machine, avec une ligne License: et un fichier license.xmlIl ne modifie pas les règles Allow ou Disallow et, seul, ne bloque rien
Réserve de l'UE (art. 4, par. 3, directive 2019/790)Réserve vos droits contre la fouille de textes et de données, par des moyens lisibles par machine pour les contenus en ligneC'est une déclaration juridique, pas un blocage technique
Cloudflare Bot Preference SyncAjoute à votre robots.txt des règles gérées pour les robots d'IA, selon vos politiques d'accèsLe respect du fichier est facultatif. Le blocage en périphérie est le contrôle suivant de ce tableau
Politiques d'accès CloudflareBloquent les robots d'IA en périphérie, selon leur comportement : Search, Agent ou TrainingChoisissez chaque comportement avec soin. Bloquer Search arrête aussi les robots qui indexent vos pages pour répondre à des questions plus tard
Limites de débit WAFLimitent les requêtes par client sur une période donnéeLes compteurs ont quelques secondes de retard, et les règles sur les robots vérifiés peuvent affecter le SEO

Un robots.txt de départ

Nommez les robots à tenir à l'écart, ajoutez le jeton commun et indiquez votre licence.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

Remarques sur ce fichier :

  • Servez le fichier à /robots.txt, sur chaque sous-domaine.
  • Nommez directement le jeton. Le brouillon précise qu'un groupe User-agent: * ne compte pas comme une correspondance.
  • Les entreprises exploitent plusieurs robots. GPTBot d'OpenAI sert à l'entraînement et OAI-SearchBot à la recherche de ChatGPT. ClaudeBot d'Anthropic sert à l'entraînement et Claude-SearchBot à la recherche. Bloquer un robot de recherche peut réduire votre visibilité à cet endroit : choisissez chacun en connaissance de cause.
  • Les robots déclenchés par l'utilisateur sont différents. OpenAI indique que les règles de robots.txt peuvent ne pas s'appliquer à ChatGPT-User.

Le jeton d'entraînement commun

OpenAI, Google, Microsoft et Anthropic ont annoncé le 30 octobre 2026 leur prise en charge de __usage_ai-training. Il provient d'un Internet-Draft individuel qui n'a aucun statut formel à l'IETF, et le déploiement varie selon les entreprises.

EntrepriseÉtatRemarque
AnthropicA commencé la mise en œuvreLa prise en charge dans l'ensemble de ses services prendra du temps. Une règle qui nomme ClaudeBot prévaut sur le jeton
OpenAIVise les prochains moisLes contrôles existants pour ses robots restent en place
MicrosoftÀ partir du 1er février 2027Elle ajoute aussi des préférences au niveau de la page
GoogleVise 2027, et début 2027 dans la documentation de ses robotsElle prévoit de lire le jeton comme une interdiction de Google-Extended, sauf si vous nommez vous-même Google-Extended

Google-Extended couvre à la fois l'entraînement et l'ancrage. Lorsque Google prendra en charge le jeton commun, l'utiliser sans nommer Google-Extended revient aussi à renoncer à l'ancrage dans les applications Gemini. Un groupe User-agent: Google-Extended avec Allow: / vous garde éligible à l'ancrage, mais autorise aussi l'entraînement de Gemini.

Si vous utilisez NoArchive ou NoCache pour signaler des préférences à Microsoft, ses nouvelles préférences les remplacent, et elle cesse de les lire ainsi après le 1er mars 2027.

Conditions de licence avec RSL

RSL 1.0 repose surtout sur le respect des règles par les robots, et les serveurs peuvent ajouter une application effective. Ce license.xml autorise la recherche avec attribution et interdit les usages liés à l'IA.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

La recherche et les AI Overviews

Pour limiter le texte d'une page dans les AI Overviews et le AI Mode, utilisez un contrôle d'extrait. max-snippet fixe une longueur, et nosnippet supprime le texte.

<meta name="robots" content="max-snippet:160">

Pour un site ou une section entière, allez dans Paramètres, puis Search generative AI, dans la Search Console. Une propriété enfant peut hériter du réglage ou le remplacer, et les changements prennent en général quelques jours. Google indique que ce n'est pas un signal de classement pour les autres parties de la recherche.

Garder le site accessible pendant ce temps

Bloquer des robots ne doit pas casser les lecteurs d'écran, les modes lecture, la recherche ni votre flux RSS.

  • Gardez les articles en vrai texte. Un texte dessiné sur un canvas, transformé en images ou brouillé dans le HTML échoue avec les lecteurs d'écran et les modes lecture, qui lisent la page dans le navigateur du lecteur.
  • Gardez les CAPTCHA hors des pages de lecture. Une note de travail du W3C indique que les CAPTCHA empêchent souvent les personnes en situation de handicap de mener la tâche à bien. Préférez des vérifications non interactives, et proposez des alternatives là où un défi est inévitable.
  • Protégez la recherche. Vérifiez Googlebot par DNS ou par les plages d'adresses IP de Google, et ne le bloquez pas quand vous visez Google-Extended.
  • Gardez robots.txt accessible. Selon la RFC 9309, une réponse 5xx fait supposer au robot que tout est interdit, et une réponse 4xx lui permet de tout récupérer. Exemptez le fichier des règles anti-robots.
  • N'utilisez les codes d'erreur que brièvement. Google indique que des réponses 500, 503 ou 429 répétées pendant plusieurs jours peuvent retirer une URL de son index.
  • Exemptez votre flux. Un défi de navigateur renvoie une page web, inutilisable pour un lecteur de flux. Le Super Bot Fight Mode de Cloudflare peut être contourné avec une règle personnalisée sur le chemin de votre flux. Le Bot Fight Mode, sur l'offre gratuite, ne peut pas l'être de cette façon.

La position de Mera

Mera News est ici du côté de l'éditeur. Ce n'est pas un robot d'exploration et il ne prend rien dans vos pages. Son actualité provient uniquement du flux RSS que vous publiez, qui contient d'ordinaire un peu de texte et un lien de retour. Vous contrôlez ce qu'il contient, et Mera affiche le titre et envoie le lecteur chez vous. Les robots qui collectent le contenu intégral sont le problème que traite ce chapitre.

Le récupérateur de flux s'identifie comme MeraNewsBot/1.0 (mera.news/bot) : assurez-vous donc que la protection anti-robots ne bloque pas votre flux. Pour le tester, lancez cette commande et cherchez 200 :

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Pour quitter Mera, filtrez ce User-Agent ou écrivez à publishersupport@mera.news. Le récupérateur ne demande que l'URL de votre flux et ne lit pas robots.txt : une règle robots.txt ne l'atteindra donc pas. La page Crawler et flux détaille ce que Mera fait du texte des flux, ainsi que d'un outil distinct, lancé à la main, qui recherche les pages d'abonnement.

Liste de contrôle

  • Décidez ce que vous voulez pour l'entraînement, la recherche par IA et l'ancrage. Chaque entreprise les sépare différemment.
  • Ajoutez à robots.txt des groupes pour les robots nommés et le groupe __usage_ai-training.
  • Réglez Google-Extended en connaissance de cause, sachant qu'il couvre à la fois l'entraînement de Gemini et l'ancrage.
  • Décidez du contrôle de la Search Console, et notez votre raison.
  • Publiez une réserve de droits lisible par machine, et demandez à un conseil quelle forme vous convient.
  • Ajoutez des règles en périphérie et des limites de débit pour les robots qui ignorent votre fichier.
  • Confirmez que robots.txt et votre flux renvoient 200 aux robots.
  • Après chaque changement de règle, testez un article avec un lecteur d'écran et un mode lecture, et vérifiez Googlebot avec l'outil d'inspection d'URL.

Sources