Zum Inhalt springen
Mera News

Leitfaden für Verlage, Kapitel 7

KI-Scraping: Was jede Steuerung wirklich bewirkt

Zuletzt geprüft im November 2026

KI-Unternehmen sammeln Nachrichten aus dem Web, um Modelle zu trainieren und Fragen zu beantworten, und manche ihrer Crawler kopieren ganze Artikel. Keine einzelne Einstellung stoppt das. Dieses Kapitel zeigt, was jede Steuerung abdeckt, wie Sie sie einsetzen, ohne Ihren Lesern zu schaden, und wo Mera steht. Es ist keine Rechtsberatung.

Was jede Steuerung bewirkt

SteuerungWas sie bewirktWas sie nicht bewirkt
robots.txt (RFC 9309)Bittet Crawler, von den Pfaden wegzubleiben, die Sie nennenSie ist freiwillig, und die RFC sagt, dass sie keine Zugriffsautorisierung ist
__usage_ai-training-TokenErklärt in der robots.txt eine Präferenz gegen KI-TrainingEr ist noch kein IETF-Standard und betrifft nur das Training. Er schränkt das Crawling nicht ein und betrifft keine bereits gesammelten Inhalte
Google-ExtendedSteuert die Nutzung Ihrer Inhalte für das Training von Gemini und für Grounding in Gemini Apps und Vertex AIEr hat keinen Einfluss darauf, ob Sie in der Google-Suche enthalten sind oder wie Sie dort ranken, und hält Ihre Inhalte nicht aus AI Overviews oder dem AI Mode heraus
nosnippet, max-snippetBegrenzen Ihren Text als direkte Eingabe für AI Overviews und den AI ModeSie kosten Sie auch die normalen Snippets in der Suche
Search Console, Search generative AISchließt eine Property von AI Overviews, dem AI Mode und generativen KI-Funktionen in Discover ausSie wirkt sich nicht auf das KI-Training aus. Ausgeschlossene Websites erhalten über diese Funktionen weder Traffic noch Impressionen
RSL 1.0Veröffentlicht maschinenlesbare Lizenzbedingungen, über eine License:-Zeile und eine license.xml-DateiSie ändert keine Allow- oder Disallow-Regeln und blockiert für sich allein nichts
EU-Vorbehalt (Art. 4(3), Richtlinie 2019/790)Behält Ihre Rechte gegenüber Text- und Data-Mining vor, bei Online-Inhalten mit maschinenlesbaren MittelnEr ist eine rechtliche Erklärung und keine technische Sperre
Cloudflare Bot Preference SyncFügt Ihrer robots.txt verwaltete Regeln für KI-Crawler hinzu, auf Basis Ihrer ZugriffsrichtlinienDie Einhaltung der Datei ist freiwillig. Das Sperren am Edge ist die nächste Steuerung in dieser Tabelle
Cloudflare-ZugriffsrichtlinienSperren KI-Crawler am Edge nach Verhalten: Search, Agent oder TrainingWählen Sie jedes Verhalten mit Bedacht. Wer Search sperrt, stoppt auch Crawler, die Ihre Seiten indexieren, um später Fragen zu beantworten
WAF-RatenbegrenzungenBegrenzen die Anfragen pro Client in einem festgelegten ZeitraumZähler hinken einige Sekunden hinterher, und Regeln für verifizierte Bots können die SEO beeinflussen

Eine robots.txt zum Einstieg

Nennen Sie die Crawler, die Sie fernhalten wollen, fügen Sie den gemeinsamen Token hinzu und verweisen Sie auf Ihre Lizenz.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

Hinweise zu dieser Datei:

  • Liefern Sie die Datei unter /robots.txt aus, auf jeder Subdomain.
  • Nennen Sie den Token direkt. Der Entwurf sagt, dass eine User-agent: *-Gruppe nicht als Treffer für ihn zählt.
  • Unternehmen betreiben mehrere Bots. GPTBot von OpenAI dient dem Training und OAI-SearchBot der Suche in ChatGPT. ClaudeBot von Anthropic dient dem Training und Claude-SearchBot der Suche. Das Sperren eines Such-Bots kann Ihre Sichtbarkeit dort verringern, wählen Sie also jeden bewusst.
  • Von Nutzern angeforderte Fetcher sind anders. OpenAI sagt, dass robots.txt-Regeln für ChatGPT-User möglicherweise nicht gelten.

Der gemeinsame Trainings-Token

OpenAI, Google, Microsoft und Anthropic haben am 30. Oktober 2026 die Unterstützung von __usage_ai-training angekündigt. Er stammt aus einem individuellen Internet-Draft, der bei der IETF keinen formalen Status hat, und die Einführung unterscheidet sich je nach Unternehmen.

UnternehmenStandHinweis
AnthropicHat mit der Umsetzung begonnenDie Unterstützung in allen Diensten wird Zeit brauchen. Eine Regel, die ClaudeBot nennt, hat Vorrang vor dem Token
OpenAIZiel sind die kommenden MonateBestehende Crawler-Steuerungen bleiben bestehen
MicrosoftAb 1. Februar 2027Es fügt außerdem Präferenzen auf Seitenebene hinzu
GoogleZiel ist 2027, in der Crawler-Dokumentation Anfang 2027Es plant, den Token als Sperre für Google-Extended zu lesen, es sei denn, Sie nennen Google-Extended selbst

Google-Extended umfasst Training und Grounding. Sobald Google den gemeinsamen Token unterstützt, gibt die Verwendung ohne Nennung von Google-Extended auch das Grounding in Gemini Apps auf. Eine Gruppe User-agent: Google-Extended mit Allow: / hält Sie für das Grounding berechtigt, erlaubt aber auch das Training von Gemini.

Wenn Sie NoArchive oder NoCache verwenden, um Microsoft Präferenzen zu signalisieren, ersetzen die neuen Präferenzen von Microsoft diese, und es liest sie nach dem 1. März 2027 nicht mehr so.

Lizenzbedingungen mit RSL

RSL 1.0 stützt sich vor allem auf die Einhaltung durch die Crawler, und Server können eine Durchsetzung ergänzen. Diese license.xml erlaubt die Suche mit Quellenangabe und untersagt KI-Nutzungen.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

Suche und AI Overviews

Um den Text einer Seite in AI Overviews und im AI Mode zu begrenzen, verwenden Sie eine Snippet-Steuerung. max-snippet legt eine Länge fest, und nosnippet entfernt den Text.

<meta name="robots" content="max-snippet:160">

Für eine ganze Website oder einen Bereich gehen Sie in der Search Console zu Einstellungen und dann zu Search generative AI. Eine untergeordnete Property kann die Einstellung erben oder überschreiben, und Änderungen dauern in der Regel einige Tage. Google sagt, dass es kein Ranking-Signal für andere Teile der Suche ist.

Die Website zugänglich halten

Das Sperren von Crawlern darf Screenreader, Lesemodi, die Suche oder Ihren RSS-Feed nicht beschädigen.

  • Halten Sie Artikel als echten Text. Text, der auf ein Canvas gezeichnet, in Bilder verwandelt oder im HTML durcheinandergebracht wird, scheitert an Screenreadern und Lesemodi, die die Seite im eigenen Browser des Lesers lesen.
  • Halten Sie CAPTCHAs von Leseseiten fern. Eine Notiz im W3C-Entwurf sagt, dass CAPTCHAs Menschen mit Behinderungen oft daran hindern, die Aufgabe zu erledigen. Bevorzugen Sie nicht interaktive Prüfungen und bieten Sie Alternativen an, wo sich eine Abfrage nicht vermeiden lässt.
  • Schützen Sie die Suche. Verifizieren Sie Googlebot über DNS oder über die IP-Bereiche von Google und sperren Sie ihn nicht, wenn Sie Google-Extended meinen.
  • Halten Sie robots.txt erreichbar. Nach RFC 9309 geht ein Crawler bei einer 5xx-Antwort davon aus, dass alles gesperrt ist, und bei einer 4xx-Antwort darf er alles abrufen. Nehmen Sie die Datei von den Bot-Regeln aus.
  • Setzen Sie Fehlercodes sparsam ein. Google sagt, dass wiederholte 500-, 503- oder 429-Antworten über mehrere Tage eine URL aus seinem Index entfernen können.
  • Nehmen Sie Ihren Feed aus. Eine Browser-Abfrage liefert eine Webseite zurück, die ein Feedreader nicht verwenden kann. Der Super Bot Fight Mode von Cloudflare lässt sich mit einer benutzerdefinierten Regel für Ihren Feed-Pfad überspringen. Der Bot Fight Mode im Free-Tarif lässt sich so nicht überspringen.

Wo Mera steht

Mera News steht hier auf der Seite der Verlage. Es ist kein Crawler und nimmt nichts von Ihren Seiten. Die Nachrichten stammen nur aus dem RSS-Feed, den Sie veröffentlichen, und das ist meist ein wenig Text und ein Link zurück. Sie bestimmen, was darin steht, und Mera zeigt die Schlagzeile und führt den Leser zu Ihnen. Crawler, die den vollständigen Inhalt kopieren, sind das Problem, das dieses Kapitel behandelt.

Der Feed-Abruf identifiziert sich als MeraNewsBot/1.0 (mera.news/bot), stellen Sie daher sicher, dass Ihr Bot-Schutz Ihren Feed nicht blockiert. Zum Testen führen Sie dies aus und suchen nach 200:

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Um Mera zu verlassen, filtern Sie diesen User-Agent oder schreiben Sie an publishersupport@mera.news. Der Abruf fragt nur Ihre Feed-URL an und liest robots.txt nicht, eine robots.txt-Regel erreicht ihn also nicht. Crawler und Feeds legt dar, was Mera mit Feed-Text macht, und ein separates, von Hand gestartetes Tool, das nach Abo-Seiten sucht.

Checkliste

  • Entscheiden Sie, was Sie für Training, für KI-Suche und für Grounding wollen. Jedes Unternehmen trennt sie anders.
  • Fügen Sie der robots.txt benannte Crawler-Gruppen und die Gruppe __usage_ai-training hinzu.
  • Setzen Sie Google-Extended bewusst, im Wissen, dass er sowohl das Training von Gemini als auch das Grounding umfasst.
  • Entscheiden Sie sich zur Steuerung in der Search Console und halten Sie Ihren Grund fest.
  • Veröffentlichen Sie einen maschinenlesbaren Rechtevorbehalt und fragen Sie Ihre Rechtsberatung, welche Form zu Ihnen passt.
  • Fügen Sie Edge-Regeln und Ratenbegrenzungen für Crawler hinzu, die Ihre Datei ignorieren.
  • Bestätigen Sie, dass robots.txt und Ihr Feed für Bots 200 liefern.
  • Testen Sie nach jeder Regeländerung einen Artikel mit einem Screenreader und einem Lesemodus und prüfen Sie Googlebot mit dem URL-Prüftool.

Quellen