Przejdź do treści
Mera News

Poradnik dla wydawców, rozdział 7

Scrapowanie przez AI: co naprawdę robi każda kontrola

Ostatnia weryfikacja: listopad 2026

Firmy AI zbierają wiadomości z sieci, aby trenować modele i odpowiadać na pytania, a niektóre ich roboty kopiują całe artykuły. Żadne pojedyncze ustawienie tego nie zatrzyma. Ten rozdział pokazuje, co obejmuje każda kontrola, jak z nich korzystać bez szkody dla czytelników i jakie stanowisko zajmuje Mera. Nie jest to porada prawna.

Co robi każda kontrola

KontrolaCo robiCzego nie robi
robots.txt (RFC 9309)Prosi roboty o niewchodzenie w ścieżki, które wskażeszJest dobrowolny, a RFC mówi, że nie jest autoryzacją dostępu
Token __usage_ai-trainingWyraża preferencję przeciwko trenowaniu AI, w robots.txtNie jest jeszcze standardem IETF i obejmuje tylko trenowanie. Nie ogranicza crawlowania i nie dotyczy treści już zebranych
Google-ExtendedZarządza wykorzystaniem Twoich treści do trenowania Gemini oraz do groundingu w Gemini Apps i Vertex AINie ma wpływu na uwzględnienie w wyszukiwarce Google ani na pozycję i nie wyklucza Twoich treści z AI Overviews ani AI Mode
nosnippet, max-snippetOgraniczają Twój tekst jako bezpośrednie dane wejściowe dla AI Overviews i AI ModeKosztują Cię też zwykłe fragmenty w wyszukiwarce
Search Console, Search generative AIWyklucza usługę z AI Overviews, AI Mode i funkcji generatywnej AI w DiscoverNie wpływa na trenowanie AI. Wykluczone serwisy nie dostają z tych funkcji ruchu ani wyświetleń
RSL 1.0Publikuje maszynowo czytelne warunki licencji, przez wiersz License: i plik license.xmlNie zmienia reguł Allow ani Disallow i sam z siebie niczego nie blokuje
Zastrzeżenie UE (art. 4 ust. 3 dyrektywy 2019/790)Zastrzega Twoje prawa wobec eksploracji tekstów i danych, środkami czytelnymi maszynowo dla treści onlineTo oświadczenie prawne, a nie blokada techniczna
Cloudflare Bot Preference SyncDodaje do Twojego robots.txt zarządzane reguły dla robotów AI, na podstawie Twoich polityk dostępuPrzestrzeganie pliku jest dobrowolne. Blokowanie na krawędzi to następna kontrola w tej tabeli
Polityki dostępu CloudflareBlokuje roboty AI na krawędzi, według zachowania: Search, Agent lub TrainingWybieraj każde zachowanie ostrożnie. Zablokowanie Search zatrzymuje też roboty, które indeksują Twoje strony, aby później odpowiadać na pytania
Limity szybkości WAFOgraniczają liczbę żądań na klienta w zadanym okresieLiczniki spóźniają się o kilka sekund, a reguły dla zweryfikowanych botów mogą wpływać na SEO

Wyjściowy robots.txt

Wskaż roboty, które chcesz trzymać z dala, dodaj wspólny token i wskaż swoją licencję.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

Uwagi do tego pliku:

  • Udostępniaj plik pod /robots.txt, na każdej subdomenie.
  • Wskaż token bezpośrednio. Wersja robocza mówi, że grupa User-agent: * nie jest uznawana za dopasowanie do niego.
  • Firmy prowadzą kilka botów. GPTBot OpenAI służy do trenowania, a OAI-SearchBot do wyszukiwania w ChatGPT. ClaudeBot Anthropic służy do trenowania, a Claude-SearchBot do wyszukiwania. Zablokowanie bota wyszukiwania może zmniejszyć Twoją widoczność tam, więc wybieraj każdy świadomie.
  • Roboty pobierające na żądanie użytkownika są inne. OpenAI mówi, że reguły robots.txt mogą nie dotyczyć ChatGPT-User.

Wspólny token treningowy

OpenAI, Google, Microsoft i Anthropic ogłosiły obsługę __usage_ai-training 30 października 2026 roku. Pochodzi on z indywidualnej wersji roboczej Internet-Draft, która nie ma formalnego statusu w IETF, a wdrażanie różni się w zależności od firmy.

FirmaStatusUwaga
AnthropicZaczęła wdrażanieObsługa w jej usługach zajmie czas. Reguła, która wskazuje ClaudeBot, ma pierwszeństwo przed tokenem
OpenAIPlanuje na najbliższe miesiąceIstniejące kontrole robotów pozostają
MicrosoftOd 1 lutego 2027Dodaje też preferencje na poziomie strony
GooglePlanuje na 2027, a w dokumentacji robotów na początek 2027Zamierza odczytywać token jako zakaz dla Google-Extended, chyba że sam wskażesz Google-Extended

Google-Extended obejmuje zarówno trenowanie, jak i grounding. Gdy Google zacznie obsługiwać wspólny token, użycie go bez wskazania Google-Extended oznacza też rezygnację z groundingu w Gemini Apps. Grupa User-agent: Google-Extended z Allow: / zachowuje Twoje uprawnienie do groundingu, ale pozwala też na trenowanie Gemini.

Jeśli używasz NoArchive lub NoCache, aby przekazywać preferencje Microsoftowi, jego nowe preferencje je zastępują, a po 1 marca 2027 roku przestaje je w ten sposób odczytywać.

Warunki licencji z RSL

RSL 1.0 opiera się głównie na przestrzeganiu zasad przez roboty, a serwery mogą dodać egzekwowanie. Ten license.xml zezwala na wyszukiwanie z podaniem źródła i zabrania zastosowań AI.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

Wyszukiwanie i AI Overviews

Aby ograniczyć tekst jednej strony w AI Overviews i AI Mode, użyj kontroli fragmentów. max-snippet ustawia długość, a nosnippet usuwa tekst.

<meta name="robots" content="max-snippet:160">

Dla całego serwisu lub działu przejdź w Search Console do Ustawienia, a potem Search generative AI. Usługa podrzędna może dziedziczyć to ustawienie albo je nadpisać, a zmiany zwykle zajmują kilka dni. Google mówi, że nie jest to sygnał rankingowy dla innych części wyszukiwarki.

Zachowaj dostępność serwisu podczas tych działań

Blokowanie robotów nie może psuć czytników ekranu, trybów czytania, wyszukiwania ani Twojego kanału RSS.

  • Zachowaj artykuły jako prawdziwy tekst. Tekst rysowany na canvasie, zamieniony w obrazy lub pomieszany w HTML nie działa w czytnikach ekranu i trybach czytania, które czytają stronę w przeglądarce czytelnika.
  • Trzymaj CAPTCHA z dala od stron do czytania. Notatka robocza W3C mówi, że CAPTCHA często uniemożliwiają osobom z niepełnosprawnościami wykonanie zadania. Wybieraj sprawdzenia nieinteraktywne i oferuj alternatywy tam, gdzie nie da się uniknąć wyzwania.
  • Chroń wyszukiwanie. Weryfikuj Googlebota przez DNS lub zakresy adresów IP Google i nie blokuj go, gdy masz na myśli Google-Extended.
  • Utrzymuj dostępność robots.txt. Zgodnie z RFC 9309 odpowiedź 5xx sprawia, że robot zakłada, że wszystko jest zabronione, a 4xx pozwala mu pobierać wszystko. Wyłącz ten plik spod reguł dla botów.
  • Używaj kodów błędów krótko. Google mówi, że powtarzające się odpowiedzi 500, 503 lub 429 przez kilka dni mogą usunąć adres URL z jego indeksu.
  • Wyłącz kanał spod reguł. Wyzwanie w przeglądarce zwraca stronę internetową, której czytnik kanałów nie może użyć. Super Bot Fight Mode w Cloudflare można ominąć własną regułą dla ścieżki kanału. Bot Fight Mode w planie Free nie da się w ten sposób ominąć.

Stanowisko Mera

Mera News jest tu po stronie wydawcy. Nie jest crawlerem i niczego nie bierze z Twoich stron. Jej wiadomości pochodzą wyłącznie z kanału RSS, który publikujesz, a zwykle jest to trochę tekstu i link zwrotny. To Ty kontrolujesz, co w nim jest, a Mera pokazuje nagłówek i kieruje czytelnika do Ciebie. Roboty pobierające pełną treść to problem, którym zajmuje się ten rozdział.

Mechanizm pobierania kanału przedstawia się jako MeraNewsBot/1.0 (mera.news/bot), więc upewnij się, że ochrona przed botami nie blokuje Twojego kanału. Aby to przetestować, uruchom poniższe polecenie i poszukaj 200:

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Aby wyłączyć Merę, odfiltruj ten User-Agent albo napisz na adres publishersupport@mera.news. Mechanizm pobiera tylko adres URL Twojego kanału i nie czyta robots.txt, więc reguła w robots.txt go nie dosięgnie. Crawler i kanały opisują, co Mera robi z tekstem z kanału, oraz osobne narzędzie, uruchamiane ręcznie, które szuka stron subskrypcji.

Lista kontrolna

  • Zdecyduj, czego chcesz dla trenowania, dla wyszukiwania AI i dla groundingu. Każda firma rozdziela je inaczej.
  • Dodaj do robots.txt grupy nazwanych robotów oraz grupę __usage_ai-training.
  • Ustaw Google-Extended świadomie, wiedząc, że obejmuje zarówno trenowanie Gemini, jak i grounding.
  • Zdecyduj o kontroli w Search Console i zapisz powód.
  • Opublikuj maszynowo czytelne zastrzeżenie praw i zapytaj prawnika, jaka forma Ci odpowiada.
  • Dodaj reguły na krawędzi i limity szybkości dla robotów, które ignorują Twój plik.
  • Upewnij się, że robots.txt i Twój kanał zwracają botom 200.
  • Po każdej zmianie reguł przetestuj artykuł z czytnikiem ekranu i trybem czytania oraz sprawdź Googlebota narzędziem Inspekcja adresu URL.

Źródła