Vai al contenuto
Mera News

Guida per gli editori, capitolo 7

Scraping dell'IA: cosa fa davvero ogni controllo

Ultima revisione novembre 2026

Le aziende di IA raccolgono notizie dal web per addestrare i modelli e per rispondere alle domande, e alcuni dei loro crawler copiano articoli interi. Nessuna impostazione da sola lo impedisce. Questo capitolo mostra cosa copre ogni controllo, come usarli senza danneggiare i tuoi lettori e qual è la posizione di Mera. Non è una consulenza legale.

Cosa fa ogni controllo

ControlloCosa faCosa non fa
robots.txt (RFC 9309)Chiede ai crawler di stare fuori dai percorsi che indichiÈ volontario, e l'RFC dice che non è un'autorizzazione di accesso
Token __usage_ai-trainingDichiara in robots.txt una preferenza contro l'addestramento dell'IANon è ancora uno standard IETF e riguarda solo l'addestramento. Non limita la scansione e non riguarda i contenuti già raccolti
Google-ExtendedGestisce l'uso dei tuoi contenuti per l'addestramento di Gemini e per il grounding in Gemini Apps e Vertex AINon ha alcun effetto sull'inclusione o sul posizionamento nella Ricerca Google e non tiene i tuoi contenuti fuori da AI Overviews o AI Mode
nosnippet, max-snippetLimitano il tuo testo come input diretto per AI Overviews e AI ModeTi costano anche i normali snippet nella Ricerca
Search Console, Search generative AIEsclude una proprietà da AI Overviews, AI Mode e dalle funzioni di IA generativa in DiscoverNon influisce sull'addestramento dell'IA. I siti esclusi non ricevono traffico né impressioni da queste funzioni
RSL 1.0Pubblica condizioni di licenza leggibili dalle macchine, tramite una riga License: e un file license.xmlNon cambia le regole Allow o Disallow e da solo non blocca nulla
Riserva UE (art. 4(3), direttiva 2019/790)Riserva i tuoi diritti contro il text and data mining, con mezzi leggibili dalle macchine per i contenuti onlineÈ una dichiarazione legale, non un blocco tecnico
Cloudflare Bot Preference SyncAggiunge al tuo robots.txt regole gestite per i crawler di IA, in base alle tue policy di accessoIl rispetto del file è volontario. Il blocco all'edge è il controllo successivo in questa tabella
Policy di accesso di CloudflareBlocca i crawler di IA all'edge, in base al comportamento: Search, Agent o TrainingScegli ogni comportamento con attenzione. Bloccare Search ferma anche i crawler che indicizzano le tue pagine per rispondere alle domande più tardi
Limiti di frequenza WAFLimitano le richieste per client in un periodo stabilitoI contatori hanno un ritardo di alcuni secondi, e le regole sui bot verificati possono influire sulla SEO

Un robots.txt di partenza

Indica i crawler che vuoi tenere fuori, aggiungi il token condiviso e rimanda alla tua licenza.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

Note su questo file:

  • Servi il file su /robots.txt, su ogni sottodominio.
  • Indica direttamente il token. La bozza dice che un gruppo User-agent: * non conta come corrispondenza.
  • Le aziende gestiscono più bot. GPTBot di OpenAI serve per l'addestramento e OAI-SearchBot per la ricerca di ChatGPT. ClaudeBot di Anthropic serve per l'addestramento e Claude-SearchBot per la ricerca. Bloccare un bot di ricerca può ridurre la tua visibilità lì, quindi scegli ciascuno con intenzione.
  • I fetcher richiesti dall'utente sono diversi. OpenAI dice che le regole di robots.txt potrebbero non valere per ChatGPT-User.

Il token condiviso per l'addestramento

OpenAI, Google, Microsoft e Anthropic hanno annunciato il supporto di __usage_ai-training il 30 ottobre 2026. Deriva da un Internet-Draft individuale che non ha alcun valore formale presso l'IETF, e l'adozione varia da azienda ad azienda.

AziendaStatoNota
AnthropicHa iniziato l'implementazioneIl supporto nei suoi servizi richiederà tempo. Una regola che nomina ClaudeBot ha la precedenza sul token
OpenAIPunta ai prossimi mesiI controlli esistenti sui crawler restano in vigore
MicrosoftDal 1 febbraio 2027Aggiunge anche preferenze a livello di pagina
GooglePunta al 2027, e all'inizio del 2027 nella documentazione dei suoi crawlerPrevede di leggere il token come un divieto per Google-Extended, a meno che tu non nomini direttamente Google-Extended

Google-Extended copre sia l'addestramento sia il grounding. Quando Google supporterà il token condiviso, usarlo senza nominare Google-Extended significherà rinunciare anche al grounding in Gemini Apps. Un gruppo User-agent: Google-Extended con Allow: / ti mantiene idoneo al grounding, ma consente anche l'addestramento di Gemini.

Se usi NoArchive o NoCache per segnalare preferenze a Microsoft, le sue nuove preferenze li sostituiscono, e dopo il 1 marzo 2027 smette di leggerli in quel modo.

Condizioni di licenza con RSL

RSL 1.0 si basa soprattutto sul rispetto da parte dei crawler, e i server possono aggiungere l'applicazione delle regole. Questo license.xml consente la ricerca con attribuzione e vieta gli usi legati all'IA.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

Ricerca e AI Overviews

Per limitare il testo di una pagina in AI Overviews e AI Mode, usa un controllo degli snippet. max-snippet imposta una lunghezza e nosnippet rimuove il testo.

<meta name="robots" content="max-snippet:160">

Per un intero sito o una sezione, vai su Impostazioni, poi Search generative AI, in Search Console. Una proprietà figlia può ereditare o sovrascrivere l'impostazione, e le modifiche di solito richiedono qualche giorno. Google dice che non è un segnale di ranking per le altre parti della Ricerca.

Mantenere il sito accessibile mentre lo fai

Bloccare i crawler non deve rompere gli screen reader, le modalità di lettura, la ricerca o il tuo feed RSS.

  • Tieni gli articoli come vero testo. Il testo disegnato su un canvas, trasformato in immagini o rimescolato nell'HTML mette in difficoltà gli screen reader e le modalità di lettura, che leggono la pagina nel browser del lettore.
  • Tieni i CAPTCHA fuori dalle pagine di lettura. Una nota in bozza del W3C dice che i CAPTCHA spesso impediscono alle persone con disabilità di completare l'attività. Preferisci controlli non interattivi e offri alternative dove una verifica non si può evitare.
  • Proteggi la ricerca. Verifica Googlebot tramite DNS o gli intervalli IP di Google, e non bloccarlo quando intendi bloccare Google-Extended.
  • Mantieni raggiungibile robots.txt. Secondo l'RFC 9309, una risposta 5xx fa presumere al crawler che tutto sia vietato, e una 4xx gli lascia scaricare qualsiasi cosa. Escludi il file dalle regole sui bot.
  • Usa i codici di errore con parsimonia. Google dice che risposte 500, 503 o 429 ripetute per diversi giorni possono far uscire un URL dal suo indice.
  • Escludi il tuo feed. Una verifica del browser restituisce una pagina web, che un lettore di feed non può usare. La Super Bot Fight Mode di Cloudflare può essere saltata con una regola personalizzata per il percorso del tuo feed. La Bot Fight Mode, nel piano Free, non può essere saltata in quel modo.

La posizione di Mera

Mera News qui sta dalla parte degli editori. Non è un crawler e non prende nulla dalle tue pagine. Le sue notizie arrivano solo dal feed RSS che pubblichi, che di solito è un po' di testo e un link di ritorno. Sei tu a controllare cosa contiene, e Mera mostra il titolo e porta il lettore da te. I crawler che copiano il contenuto completo sono il problema che questo capitolo affronta.

Il fetcher dei feed si identifica come MeraNewsBot/1.0 (mera.news/bot), quindi assicurati che la protezione dai bot non blocchi il tuo feed. Per provarlo, esegui questo e cerca 200:

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Per escluderti da Mera, filtra quello User-Agent oppure scrivi a publishersupport@mera.news. Il fetcher richiede solo l'URL del tuo feed e non legge robots.txt, quindi una regola di robots.txt non lo raggiunge. Crawler e feed descrive cosa fa Mera con il testo dei feed, e uno strumento separato, avviato a mano, che cerca le pagine di abbonamento.

Checklist

  • Decidi cosa vuoi per l'addestramento, per la ricerca con IA e per il grounding. Ogni azienda li separa in modo diverso.
  • Aggiungi a robots.txt i gruppi dei crawler nominati e il gruppo __usage_ai-training.
  • Imposta Google-Extended con intenzione, sapendo che copre sia l'addestramento di Gemini sia il grounding.
  • Decidi sul controllo di Search Console e annota il motivo.
  • Pubblica una riserva di diritti leggibile dalle macchine e chiedi a un consulente quale forma ti si addice.
  • Aggiungi regole all'edge e limiti di frequenza per i crawler che ignorano il tuo file.
  • Verifica che robots.txt e il tuo feed restituiscano 200 ai bot.
  • Dopo ogni modifica alle regole, prova un articolo con uno screen reader e una modalità di lettura, e controlla Googlebot con lo strumento Controllo URL.

Fonti