Ir para o conteúdo
Mera News

Guia para editoras, capítulo 7

Coleta de dados por IA: o que cada controle realmente faz

Última revisão em novembro de 2026

As empresas de IA reúnem notícias da web para treinar modelos e responder a perguntas, e alguns dos seus rastreadores copiam artigos inteiros. Nenhuma configuração isolada impede isso. Este capítulo mostra o que cada controle cobre, como usá-los sem prejudicar os seus leitores e qual é a posição do Mera. Não é aconselhamento jurídico.

O que cada controle faz

ControleO que fazO que não faz
robots.txt (RFC 9309)Pede aos rastreadores que fiquem fora dos caminhos que você indicarÉ voluntário, e a RFC diz que não é uma autorização de acesso
Token __usage_ai-trainingDeclara uma preferência contra o treinamento de IA, no robots.txtAinda não é um padrão da IETF e cobre apenas o treinamento. Não limita o rastreamento e não trata de conteúdo já coletado
Google-ExtendedGerencia o uso do seu conteúdo no treinamento do Gemini e na fundamentação (grounding) em Gemini Apps e Vertex AINão tem efeito sobre a inclusão ou a classificação na Busca do Google e não tira o seu conteúdo das AI Overviews nem do AI Mode
nosnippet, max-snippetLimitam o seu texto como entrada direta para as AI Overviews e o AI ModeTambém custam a você os snippets normais na Busca
Search Console, IA generativa na BuscaExclui uma propriedade das AI Overviews, do AI Mode e dos recursos de IA generativa no DiscoverNão afeta o treinamento de IA. Os sites excluídos não recebem tráfego nem impressões desses recursos
RSL 1.0Publica termos de licença legíveis por máquina, por meio de uma linha License: e de um arquivo license.xmlNão altera as regras Allow ou Disallow e, sozinho, não bloqueia nada
Reserva da UE (art. 4(3), Diretiva 2019/790)Reserva os seus direitos contra a mineração de texto e dados, por meios legíveis por máquina para conteúdo onlineÉ uma declaração jurídica e não um bloqueio técnico
Cloudflare Bot Preference SyncAdiciona ao seu robots.txt regras gerenciadas para rastreadores de IA, com base nas suas políticas de acessoO cumprimento do arquivo é voluntário. O bloqueio na borda é o próximo controle desta tabela
Políticas de acesso da CloudflareBloqueia rastreadores de IA na borda, por comportamento: Search, Agent ou TrainingEscolha cada comportamento com cuidado. Bloquear Search também impede os rastreadores que indexam as suas páginas para responder a perguntas mais tarde
Limites de taxa do WAFLimitam as requisições por cliente em um período definidoOs contadores têm um atraso de alguns segundos, e regras sobre bots verificados podem afetar o SEO

Um robots.txt inicial

Nomeie os rastreadores que você quer manter fora, adicione o token compartilhado e aponte para a sua licença.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

Observações sobre este arquivo:

  • Sirva o arquivo em /robots.txt, em todos os subdomínios.
  • Nomeie o token diretamente. O rascunho diz que um grupo User-agent: * não conta como correspondência a ele.
  • As empresas operam vários bots. O GPTBot da OpenAI é para treinamento e o OAI-SearchBot é para a busca do ChatGPT. O ClaudeBot da Anthropic é para treinamento e o Claude-SearchBot é para busca. Bloquear um bot de busca pode reduzir a sua visibilidade ali, então escolha cada um de propósito.
  • Os buscadores acionados pelo usuário são diferentes. A OpenAI diz que as regras do robots.txt podem não se aplicar ao ChatGPT-User.

O token de treinamento compartilhado

OpenAI, Google, Microsoft e Anthropic anunciaram suporte ao __usage_ai-training em 30 de outubro de 2026. Ele vem de um Internet-Draft individual que não tem status formal na IETF, e a adoção varia conforme a empresa.

EmpresaSituaçãoObservação
AnthropicComeçou a implementarO suporte em todos os seus serviços levará tempo. Uma regra que nomeia o ClaudeBot tem prioridade sobre o token
OpenAITem como meta os próximos mesesOs controles de rastreador existentes continuam
MicrosoftA partir de 1º de fevereiro de 2027Também adiciona preferências no nível da página
GoogleTem como meta 2027 e, na documentação dos rastreadores, o início de 2027Pretende ler o token como uma proibição ao Google-Extended, a menos que você nomeie o Google-Extended por conta própria

O Google-Extended cobre tanto o treinamento quanto a fundamentação. Quando o Google passar a aceitar o token compartilhado, usá-lo sem nomear o Google-Extended também abre mão da fundamentação em Gemini Apps. Um grupo User-agent: Google-Extended com Allow: / mantém você elegível para a fundamentação, mas também permite o treinamento do Gemini.

Se você usa NoArchive ou NoCache para sinalizar preferências à Microsoft, as novas preferências dela os substituem, e ela deixa de lê-los assim depois de 1º de março de 2027.

Termos de licença com o RSL

O RSL 1.0 depende principalmente do cumprimento pelos rastreadores, e os servidores podem acrescentar a aplicação. Este license.xml permite a busca com atribuição e proíbe os usos de IA.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

Busca e AI Overviews

Para limitar o texto de uma página nas AI Overviews e no AI Mode, use um controle de snippet. O max-snippet define um comprimento e o nosnippet remove o texto.

<meta name="robots" content="max-snippet:160">

Para um site ou uma seção inteira, vá a Configurações e depois a IA generativa na Busca, no Search Console. Uma propriedade filha pode herdar ou substituir a configuração, e as alterações geralmente levam alguns dias. O Google diz que isso não é um sinal de classificação para outras partes da Busca.

Como manter o site acessível ao fazer isso

Bloquear rastreadores não deve quebrar leitores de tela, modos de leitura, a busca nem o seu feed RSS.

  • Mantenha os artigos como texto de verdade. Texto desenhado em um canvas, transformado em imagens ou embaralhado no HTML falha com leitores de tela e modos de leitura, que leem a página no próprio navegador do leitor.
  • Mantenha CAPTCHAs fora das páginas de leitura. Uma nota em rascunho do W3C diz que os CAPTCHAs muitas vezes impedem pessoas com deficiência de concluir a tarefa. Prefira verificações não interativas e ofereça alternativas onde um desafio não puder ser evitado.
  • Proteja a busca. Verifique o Googlebot por DNS ou pelas faixas de IP do Google e não o bloqueie quando o que você quer bloquear é o Google-Extended.
  • Mantenha o robots.txt acessível. Pela RFC 9309, uma resposta 5xx faz o rastreador presumir que tudo é proibido, e uma 4xx o deixa buscar qualquer coisa. Isente o arquivo das regras de bots.
  • Use códigos de erro por pouco tempo. O Google diz que respostas 500, 503 ou 429 repetidas por vários dias podem tirar uma URL do índice.
  • Isente o seu feed. Um desafio de navegador devolve uma página da web, que um leitor de feeds não consegue usar. O Super Bot Fight Mode da Cloudflare pode ser ignorado com uma regra personalizada para o caminho do seu feed. O Bot Fight Mode, no plano Free, não pode ser ignorado assim.

Qual é a posição do Mera

O Mera News está do lado da editora nesta questão. Não é um rastreador e não tira nada das suas páginas. As notícias dele vêm apenas do feed RSS que você publica, que costuma ter um pouco de texto e um link de volta. Você controla o que entra nele, e o Mera mostra a manchete e leva o leitor até você. Os rastreadores de conteúdo completo são o problema que este capítulo aborda.

O buscador de feeds se identifica como MeraNewsBot/1.0 (mera.news/bot), então garanta que a proteção contra bots não bloqueie o seu feed. Para testar, rode isto e procure por 200:

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Para sair do Mera, filtre esse User-Agent ou escreva para publishersupport@mera.news. O buscador solicita apenas a URL do seu feed e não lê o robots.txt, então uma regra do robots.txt não o alcança. Rastreador e feeds explica o que o Mera faz com o texto do feed e com uma ferramenta separada, iniciada manualmente, que procura páginas de assinatura.

Lista de verificação

  • Decida o que você quer para o treinamento, para a busca com IA e para a fundamentação. Cada empresa os separa de um jeito diferente.
  • Adicione ao robots.txt grupos de rastreadores nomeados e o grupo __usage_ai-training.
  • Defina o Google-Extended de propósito, sabendo que ele cobre tanto o treinamento do Gemini quanto a fundamentação.
  • Decida sobre o controle do Search Console e registre o motivo.
  • Publique uma reserva de direitos legível por máquina e pergunte a um advogado qual formato lhe convém.
  • Adicione regras de borda e limites de taxa para rastreadores que ignoram o seu arquivo.
  • Confirme que o robots.txt e o seu feed retornam 200 para os bots.
  • Depois de toda mudança de regra, teste um artigo com um leitor de tela e um modo de leitura e confira o Googlebot com a ferramenta de Inspeção de URL.

Fontes