Перейти до вмісту
Mera News

Посібник для видавців, розділ 7

AI-скрапінг: що насправді робить кожен засіб керування

Остання перевірка: листопад 2026 року

AI-компанії збирають новини з вебу, щоб навчати моделі та відповідати на запитання, і деякі їхні краулери копіюють статті повністю. Жодне окреме налаштування цього не зупиняє. Цей розділ показує, що охоплює кожен засіб керування, як користуватися ними, не шкодячи читачам, і яка позиція Mera. Це не юридична порада.

Що робить кожен засіб керування

Засіб керуванняЩо він робитьЧого він не робить
robots.txt (RFC 9309)Просить краулери триматися осторонь указаних вами шляхівВін добровільний, і RFC каже, що він не є авторизацією доступу
Токен __usage_ai-trainingЗаявляє про вподобання проти навчання ШІ, у robots.txtЦе ще не стандарт IETF, і він стосується лише навчання. Він не обмежує обхід і не стосується вже зібраного вмісту
Google-ExtendedКерує використанням вашого вмісту для навчання Gemini та для обґрунтування відповідей у застосунках Gemini й Vertex AIВін не впливає на включення в Google Search чи ранжування, і не виключає ваш вміст з AI Overviews чи AI Mode
nosnippet, max-snippetОбмежують ваш текст як безпосередній вхід для AI Overviews і AI ModeВони також позбавляють вас звичайних сніпетів у Пошуку
Search Console, Search generative AIВиключає ресурс з AI Overviews, AI Mode і генеративних функцій ШІ в DiscoverНе впливає на навчання ШІ. Виключені сайти не отримують трафіку чи показів від цих функцій
RSL 1.0Публікує машинночитні умови ліцензії через рядок License: і файл license.xmlВін не змінює правила Allow чи Disallow, і сам по собі нічого не блокує
Застереження ЄС (ст. 4(3), Директива 2019/790)Застерігає ваші права проти текстового й data mining, машинночитними засобами для онлайн-вмістуЦе юридична заява, а не технічний блок
Cloudflare Bot Preference SyncДодає до вашого robots.txt керовані правила для краулерів ШІ на основі ваших політик доступуДотримання файла добровільне. Блокування на межі мережі наступний засіб у цій таблиці
Політики доступу CloudflareБлокують краулери ШІ на межі мережі за поведінкою: Search, Agent чи TrainingОбирайте кожну поведінку обережно. Блокування Search також зупиняє краулери, які індексують ваші сторінки, щоб пізніше відповідати на запитання
Обмеження частоти WAFОбмежують кількість запитів на клієнта за заданий періодЛічильники відстають на кілька секунд, а правила для перевірених ботів можуть впливати на SEO

Початковий robots.txt

Назвіть краулери, які хочете не пускати, додайте спільний токен і вкажіть свою ліцензію.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

Примітки до цього файла:

  • Віддавайте файл за адресою /robots.txt, на кожному піддомені.
  • Називайте токен безпосередньо. Чернетка каже, що група User-agent: * не вважається збігом із ним.
  • Компанії запускають кілька ботів. GPTBot від OpenAI призначений для навчання, а OAI-SearchBot для пошуку ChatGPT. ClaudeBot від Anthropic призначений для навчання, а Claude-SearchBot для пошуку. Блокування пошукового бота може зменшити вашу видимість там, тож обирайте кожен свідомо.
  • Завантажувачі за запитом користувача відрізняються. OpenAI каже, що правила robots.txt можуть не застосовуватися до ChatGPT-User.

Спільний токен навчання

OpenAI, Google, Microsoft і Anthropic оголосили про підтримку __usage_ai-training 30 жовтня 2026 року. Він походить із індивідуальної Internet-Draft, яка не має формального статусу в IETF, а впровадження в компаній різне.

КомпаніяСтанПримітка
AnthropicПочала впровадженняПідтримка в усіх її сервісах потребуватиме часу. Правило, що називає ClaudeBot, має пріоритет над токеном
OpenAIПланує в найближчі місяціНаявні засоби керування краулерами залишаються
MicrosoftЗ 1 лютого 2027 рокуДодає також вподобання на рівні сторінки
GoogleПланує на 2027 рік, а в документації краулера на початок 2027 рокуПланує читати токен як заборону Google-Extended, якщо ви самі не назвете Google-Extended

Google-Extended охоплює і навчання, і обґрунтування відповідей. Коли Google підтримуватиме спільний токен, його використання без згадки Google-Extended також відмовляється від обґрунтування в застосунках Gemini. Група User-agent: Google-Extended з Allow: / зберігає вашу придатність для обґрунтування, але водночас дозволяє навчання Gemini.

Якщо ви використовуєте NoArchive чи NoCache, щоб сигналізувати про вподобання Microsoft, її нові вподобання їх замінюють, і після 1 березня 2027 року вона припиняє читати їх у такому розумінні.

Умови ліцензії з RSL

RSL 1.0 покладається здебільшого на дотримання краулерами, а сервери можуть додавати примусове виконання. Цей license.xml дозволяє пошук із зазначенням авторства й забороняє використання для ШІ.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

Пошук і AI Overviews

Щоб обмежити текст однієї сторінки в AI Overviews і AI Mode, використовуйте засіб керування сніпетом. max-snippet задає довжину, а nosnippet прибирає текст.

<meta name="robots" content="max-snippet:160">

Для всього сайту чи розділу перейдіть у Search Console до Settings, потім Search generative AI. Дочірній ресурс може успадкувати або перевизначити це налаштування, а зміни зазвичай набувають чинності за кілька днів. Google каже, що це не сигнал ранжування для інших частин Пошуку.

Як зберегти сайт доступним, поки ви це робите

Блокування краулерів не повинно ламати скрінрідери, режими читання, пошук чи ваш RSS-канал.

  • Залишайте статті справжнім текстом. Текст, намальований на canvas, перетворений на зображення чи перемішаний у HTML, не працює зі скрінрідерами й режимами читання, які читають сторінку у власному браузері читача.
  • Тримайте CAPTCHA подалі від сторінок для читання. Чернетка нотатки W3C каже, що CAPTCHA часто заважають людям з інвалідністю виконати завдання. Віддавайте перевагу неінтерактивним перевіркам і пропонуйте альтернативи там, де виклику не уникнути.
  • Захищайте пошук. Перевіряйте Googlebot за DNS або діапазонами IP Google і не блокуйте його, коли маєте на увазі Google-Extended.
  • Залишайте robots.txt доступним. За RFC 9309 відповідь 5xx змушує краулер припустити, що все заборонено, а 4xx дозволяє йому завантажити будь-що. Виключіть цей файл із правил для ботів.
  • Користуйтеся кодами помилок недовго. Google каже, що повторні відповіді 500, 503 чи 429 протягом кількох днів можуть вилучити URL з його індексу.
  • Виключіть свій канал. Браузерна перевірка повертає вебсторінку, яку читалка стрічок не може використати. Super Bot Fight Mode від Cloudflare можна обійти власним правилом для шляху вашого каналу. Bot Fight Mode у плані Free так обійти не можна.

Де стоїть Mera

Mera News тут на боці видавця. Вона не є краулером і нічого не бере з ваших сторінок. Її новини надходять лише з RSS-каналу, який ви публікуєте, і це зазвичай трохи тексту та посилання назад. Ви контролюєте, що в ньому, а Mera показує заголовок і відправляє читача до вас. Краулери повного вмісту і є проблемою, якій присвячено цей розділ.

Завантажувач каналів називає себе MeraNewsBot/1.0 (mera.news/bot), тож переконайтеся, що захист від ботів не блокує ваш канал. Щоб перевірити, виконайте це й шукайте 200:

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Щоб вимкнути Mera, відфільтруйте цей User-Agent або напишіть на publishersupport@mera.news. Завантажувач запитує лише URL вашого каналу й не читає robots.txt, тож правило robots.txt його не торкнеться. Краулер і канали пояснює, що Mera робить із текстом каналів, а також про окремий інструмент, який запускають уручну і який шукає сторінки підписки.

Контрольний список

  • Вирішіть, чого ви хочете для навчання, для AI-пошуку й для обґрунтування. Кожна компанія розділяє їх по-різному.
  • Додайте до robots.txt групи для названих краулерів і групу __usage_ai-training.
  • Задайте Google-Extended свідомо, знаючи, що він охоплює і навчання Gemini, і обґрунтування.
  • Вирішіть щодо засобу керування в Search Console й запишіть свою причину.
  • Опублікуйте машинночитне застереження прав і запитайте юриста, яка форма вам підходить.
  • Додайте правила на межі мережі й обмеження частоти для краулерів, що ігнорують ваш файл.
  • Переконайтеся, що robots.txt і ваш канал повертають 200 ботам.
  • Після кожної зміни правил протестуйте статтю зі скрінрідером і режимом читання та перевірте Googlebot за допомогою інструмента перевірки URL.

Джерела