Naar de inhoud
Mera News

Gids voor uitgevers, hoofdstuk 7

AI-scraping: wat elke instelling echt doet

Laatst beoordeeld in november 2026

AI-bedrijven verzamelen nieuws van het web om modellen te trainen en om vragen te beantwoorden, en sommige van hun crawlers kopiëren hele artikelen. Geen enkele instelling houdt dit tegen. Dit hoofdstuk laat zien wat elke instelling afdekt, hoe u ze gebruikt zonder uw lezers te schaden en waar Mera staat. Het is geen juridisch advies.

Wat elke instelling doet

InstellingWat het doetWat het niet doet
robots.txt (RFC 9309)Vraagt crawlers weg te blijven van paden die u noemtHet is vrijwillig, en de RFC zegt dat het geen toegangsautorisatie is
__usage_ai-training-tokenGeeft in robots.txt een voorkeur aan tegen AI-trainingHet is nog geen IETF-standaard en het geldt alleen voor training. Het beperkt het crawlen niet en gaat niet over inhoud die al is verzameld
Google-ExtendedBeheert het gebruik van uw inhoud voor Gemini-training en voor grounding in Gemini-apps en Vertex AIHet heeft geen effect op opname of rangschikking in Google Search en houdt uw inhoud niet uit AI Overviews of AI Mode
nosnippet, max-snippetBeperken uw tekst als directe invoer voor AI Overviews en AI ModeZe kosten u ook de gewone snippets in Search
Search Console, Search generative AISluit een property uit van AI Overviews, AI Mode en generatieve AI-functies in DiscoverHet heeft geen invloed op AI-training. Uitgesloten sites krijgen geen verkeer of vertoningen van deze functies
RSL 1.0Publiceert machineleesbare licentievoorwaarden, via een License:-regel en een license.xml-bestandHet verandert geen Allow- of Disallow-regels en blokkeert op zichzelf niets
EU-voorbehoud (art. 4, lid 3, Richtlijn 2019/790)Behoudt uw rechten ten aanzien van tekst- en datamining, met machineleesbare middelen voor online inhoudHet is een juridische verklaring en geen technische blokkade
Cloudflare Bot Preference SyncVoegt beheerde regels voor AI-crawlers toe aan uw robots.txt, op basis van uw toegangsbeleidNaleving van het bestand is vrijwillig. Blokkeren aan de rand is de volgende instelling in deze tabel
Cloudflare-toegangsbeleidBlokkeert AI-crawlers aan de rand, op gedrag: Search, Agent of TrainingKies elk gedrag met zorg. Search blokkeren stopt ook crawlers die uw pagina's indexeren om later vragen te beantwoorden
WAF-limietenBeperken verzoeken per client over een bepaalde periodeTellers lopen een paar seconden achter en regels voor geverifieerde bots kunnen de SEO beïnvloeden

Een robots.txt om mee te beginnen

Noem de crawlers die u buiten wilt houden, voeg het gedeelde token toe en verwijs naar uw licentie.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

Opmerkingen bij dit bestand:

  • Serveer het bestand op /robots.txt, op elk subdomein.
  • Noem het token rechtstreeks. Het concept zegt dat een User-agent: *-groep niet als match telt.
  • Bedrijven draaien meerdere bots. GPTBot van OpenAI is voor training en OAI-SearchBot voor ChatGPT-zoeken. ClaudeBot van Anthropic is voor training en Claude-SearchBot voor zoeken. Een zoekbot blokkeren kan uw zichtbaarheid daar verkleinen, dus kies elke bewust.
  • Door gebruikers aangevraagde fetchers verschillen. OpenAI zegt dat robots.txt-regels mogelijk niet gelden voor ChatGPT-User.

Het gedeelde trainingstoken

OpenAI, Google, Microsoft en Anthropic kondigden op 30 oktober 2026 steun aan voor __usage_ai-training. Het komt uit een individuele Internet-Draft die bij de IETF geen formele status heeft, en de uitrol verschilt per bedrijf.

BedrijfStatusOpmerking
AnthropicIs begonnen met implementerenSteun in alle diensten kost tijd. Een regel die ClaudeBot noemt, gaat voor op het token
OpenAIMikt op de komende maandenBestaande crawlerinstellingen blijven gelden
MicrosoftVanaf 1 februari 2027Voegt ook voorkeuren op paginaniveau toe
GoogleMikt op 2027, en vroeg 2027 in de crawlerdocumentatieIs van plan het token te lezen als een verbod voor Google-Extended, tenzij u zelf Google-Extended noemt

Google-Extended omvat zowel training als grounding. Zodra Google het gedeelde token ondersteunt, geeft het gebruik ervan zonder Google-Extended te noemen ook de grounding in Gemini-apps op. Een User-agent: Google-Extended-groep met Allow: / houdt u in aanmerking komen voor grounding, maar staat ook Gemini-training toe.

Als u NoArchive of NoCache gebruikt om voorkeuren aan Microsoft door te geven, vervangen de nieuwe voorkeuren van Microsoft die, en na 1 maart 2027 leest Microsoft ze niet meer zo.

Licentievoorwaarden met RSL

RSL 1.0 rekent vooral op naleving door crawlers, en servers kunnen handhaving toevoegen. Deze license.xml staat zoeken met bronvermelding toe en verbiedt AI-gebruik.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

Search en AI Overviews

Om de tekst van één pagina in AI Overviews en AI Mode te beperken, gebruikt u een snippetinstelling. max-snippet bepaalt een lengte en nosnippet haalt de tekst weg.

<meta name="robots" content="max-snippet:160">

Voor een hele site of sectie gaat u in Search Console naar Instellingen en dan naar Search generative AI. Een onderliggende property kan de instelling overnemen of overschrijven, en wijzigingen duren doorgaans een paar dagen. Google zegt dat het geen rangschikkingssignaal is voor andere delen van Search.

De site toegankelijk houden terwijl u dit doet

Het blokkeren van crawlers mag schermlezers, leesmodi, zoeken of uw RSS-feed niet breken.

  • Houd artikelen als echte tekst. Tekst die op een canvas is getekend, in afbeeldingen is omgezet of in de HTML is dooreengehusseld, werkt niet in schermlezers en leesmodi, die de pagina in de eigen browser van de lezer lezen.
  • Houd CAPTCHA's weg van leespagina's. Een conceptnotitie van het W3C zegt dat CAPTCHA's mensen met een beperking vaak beletten de taak te voltooien. Geef de voorkeur aan niet-interactieve controles en bied alternatieven waar een uitdaging niet te vermijden is.
  • Bescherm zoeken. Verifieer Googlebot via DNS of via de IP-bereiken van Google en blokkeer hem niet wanneer u Google-Extended bedoelt.
  • Houd robots.txt bereikbaar. Volgens RFC 9309 laat een 5xx-antwoord een crawler aannemen dat alles verboden is, en een 4xx laat hem alles ophalen. Neem het bestand uit van botregels.
  • Gebruik foutcodes kort. Google zegt dat herhaalde 500-, 503- of 429-antwoorden over meerdere dagen een URL uit de index kunnen laten vallen.
  • Neem uw feed uit. Een browseruitdaging geeft een webpagina terug, en daar kan een feedreader niets mee. Super Bot Fight Mode van Cloudflare kunt u met een aangepaste regel voor het pad van uw feed overslaan. Bot Fight Mode, in het gratis abonnement, kan zo niet worden overgeslagen.

Waar Mera staat

Mera News staat hier aan de kant van de uitgever. Het is geen crawler en neemt niets van uw pagina's. Het nieuws komt alleen uit de RSS-feed die u publiceert, doorgaans een stukje tekst en een link terug. U bepaalt wat erin staat, en Mera toont de kop en stuurt de lezer naar u. Crawlers die de volledige inhoud binnenhalen, zijn het probleem dat dit hoofdstuk aanpakt.

De feedfetcher meldt zich als MeraNewsBot/1.0 (mera.news/bot), dus zorg dat botbescherming uw feed niet blokkeert. Om dat te testen, voert u dit uit en zoekt u naar 200:

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Om Mera te verlaten, filtert u die User-Agent of schrijft u naar publishersupport@mera.news. De fetcher vraagt alleen de URL van uw feed op en leest robots.txt niet, dus een robots.txt-regel bereikt hem niet. Crawler en feeds beschrijft wat Mera met feedtekst doet, en een apart hulpmiddel, met de hand gestart, dat naar abonnementspagina's zoekt.

Checklist

  • Bepaal wat u wilt voor training, voor AI-zoeken en voor grounding. Elk bedrijf scheidt ze anders.
  • Voeg benoemde crawlergroepen en de __usage_ai-training-groep toe aan robots.txt.
  • Stel Google-Extended bewust in, in de wetenschap dat het zowel Gemini-training als grounding omvat.
  • Beslis over de instelling in Search Console en leg uw reden vast.
  • Publiceer een machineleesbaar rechtenvoorbehoud en vraag een jurist welke vorm bij u past.
  • Voeg regels aan de rand en limieten toe voor crawlers die uw bestand negeren.
  • Controleer dat robots.txt en uw feed 200 teruggeven aan bots.
  • Test na elke regelwijziging een artikel met een schermlezer en een leesmodus en controleer Googlebot met de URL-inspectietool.

Bronnen