Перейти к содержимому
Mera News

Руководство для издателей, глава 7

Сбор контента ИИ: что на самом деле делает каждый элемент управления

Последняя проверка: ноябрь 2026

ИИ-компании собирают новости из интернета, чтобы обучать модели и отвечать на вопросы, а некоторые их краулеры копируют статьи целиком. Ни одна отдельная настройка этого не останавливает. В этой главе показано, что охватывает каждый элемент управления, как пользоваться ими, не вредя читателям, и какую позицию занимает Mera. Это не юридическая консультация.

Что делает каждый элемент управления

Элемент управленияЧто он делаетЧего он не делает
robots.txt (RFC 9309)Просит краулеры не заходить в указанные вами путиОн добровольный, и в RFC сказано, что он не является разрешением на доступ
Токен __usage_ai-trainingЗаявляет в robots.txt о нежелании, чтобы контент использовали для обучения ИИОн пока не стандарт IETF и касается только обучения. Он не ограничивает обход и не затрагивает уже собранный контент
Google-ExtendedУправляет использованием вашего контента для обучения Gemini и для привязки к источникам в Gemini Apps и Vertex AIОн не влияет на включение в Google Поиск и ранжирование и не исключает ваш контент из AI Overviews или AI Mode
nosnippet, max-snippetОграничивают использование вашего текста как прямого источника для AI Overviews и AI ModeИз-за них вы теряете и обычные сниппеты в поиске
Search Console, Search generative AIИсключает ресурс из AI Overviews, AI Mode и функций генеративного ИИ в DiscoverНе влияет на обучение ИИ. Исключённые сайты не получают трафик и показы от этих функций
RSL 1.0Публикует машиночитаемые условия лицензии через строку License: и файл license.xmlОн не меняет правила Allow и Disallow и сам по себе ничего не блокирует
Оговорка в ЕС (ст. 4(3), Директива 2019/790)Закрепляет ваши права против text and data mining машиночитаемым способом для онлайн-контентаЭто юридическое заявление, а не техническая блокировка
Cloudflare Bot Preference SyncДобавляет в ваш robots.txt управляемые правила для ИИ-краулеров на основе ваших политик доступаСоблюдение файла добровольно. Блокировка на границе сети следующий элемент в этой таблице
Политики доступа CloudflareБлокируют ИИ-краулеры на границе сети по поведению: Search, Agent или TrainingВыбирайте каждое поведение с осторожностью. Блокировка Search останавливает и краулеры, которые индексируют ваши страницы, чтобы позже отвечать на вопросы
Ограничения частоты WAFОграничивают число запросов клиента за заданный периодСчётчики отстают на несколько секунд, а правила для проверенных ботов могут повлиять на SEO

Базовый robots.txt

Назовите краулеры, которые хотите не пускать, добавьте общий токен и укажите свою лицензию.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

Замечания к этому файлу:

  • Отдавайте файл по адресу /robots.txt на каждом поддомене.
  • Называйте токен напрямую. В черновике сказано, что группа User-agent: * не считается совпадением с ним.
  • У компаний несколько ботов. GPTBot от OpenAI предназначен для обучения, а OAI-SearchBot для поиска ChatGPT. ClaudeBot от Anthropic предназначен для обучения, а Claude-SearchBot для поиска. Блокировка поискового бота может снизить вашу заметность там, поэтому выбирайте каждый осознанно.
  • Загрузчики по запросу пользователя отличаются. OpenAI говорит, что правила robots.txt могут не применяться к ChatGPT-User.

Общий токен для обучения

OpenAI, Google, Microsoft и Anthropic объявили о поддержке __usage_ai-training 30 октября 2026 года. Он происходит из индивидуального Internet-Draft, не имеющего официального статуса в IETF, и внедрение у разных компаний идёт по-разному.

КомпанияСтатусПримечание
AnthropicНачала внедрениеПоддержка во всех её сервисах потребует времени. Правило с именем ClaudeBot имеет приоритет над токеном
OpenAIПланирует в ближайшие месяцыСуществующие средства управления краулерами сохраняются
MicrosoftС 1 февраля 2027 годаТакже добавляет предпочтения на уровне страницы
GoogleПланирует на 2027 год, а в документации по краулерам на начало 2027 годаПланирует читать токен как запрет для Google-Extended, если вы сами не назовёте Google-Extended

Google-Extended охватывает и обучение, и привязку к источникам. Когда Google начнёт поддерживать общий токен, его использование без явного упоминания Google-Extended также откажется от привязки в Gemini Apps. Группа User-agent: Google-Extended с Allow: / сохраняет право на привязку, но разрешает и обучение Gemini.

Если вы используете NoArchive или NoCache, чтобы сообщать предпочтения Microsoft, её новые настройки заменяют их, и после 1 марта 2027 года она перестаёт читать их так.

Условия лицензии через RSL

RSL 1.0 опирается в основном на соблюдение краулерами, а серверы могут добавить принудительное применение. Этот license.xml разрешает поиск с указанием источника и запрещает использование для ИИ.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

Поиск и AI Overviews

Чтобы ограничить текст одной страницы в AI Overviews и AI Mode, используйте управление сниппетами. max-snippet задаёт длину, а nosnippet убирает текст.

<meta name="robots" content="max-snippet:160">

Для всего сайта или раздела откройте в Search Console «Настройки», затем Search generative AI. Дочерний ресурс может наследовать или переопределять настройку, а изменения обычно вступают в силу через несколько дней. Google говорит, что это не сигнал ранжирования для других частей поиска.

Сохраняйте доступность сайта

Блокировка краулеров не должна ломать программы чтения с экрана, режимы чтения, поиск и ваш RSS-канал.

  • Оставляйте статьи настоящим текстом. Текст, нарисованный на canvas, превращённый в изображения или перемешанный в HTML, не работает в программах чтения с экрана и режимах чтения, которые читают страницу в браузере самого читателя.
  • Не ставьте CAPTCHA на страницы для чтения. В черновой заметке W3C сказано, что CAPTCHA часто мешают людям с ограничениями завершить задачу. Предпочитайте неинтерактивные проверки и предлагайте альтернативы там, где без проверки не обойтись.
  • Защитите поиск. Проверяйте Googlebot по DNS или по диапазонам IP-адресов Google и не блокируйте его, когда имеете в виду Google-Extended.
  • Держите robots.txt доступным. По RFC 9309 ответ 5xx заставляет краулер считать, что запрещено всё, а ответ 4xx позволяет ему забирать что угодно. Исключите файл из правил для ботов.
  • Используйте коды ошибок недолго. Google говорит, что повторяющиеся ответы 500, 503 или 429 в течение нескольких дней могут привести к исключению URL из индекса.
  • Исключите свой канал. Проверка в браузере возвращает веб-страницу, которой программа чтения лент воспользоваться не может. Cloudflare Super Bot Fight Mode можно обойти пользовательским правилом для пути вашего канала. Bot Fight Mode на тарифе Free так обойти нельзя.

Позиция Mera

Mera News здесь на стороне издателя. Это не краулер, и он ничего не берёт с ваших страниц. Его новости приходят только из RSS-канала, который вы публикуете, а это обычно немного текста и ссылка обратно. Что в нём будет, решаете вы, а Mera показывает заголовок и отправляет читателя к вам. Проблема, которой посвящена эта глава, это краулеры, забирающие содержимое целиком.

Загрузчик каналов называется MeraNewsBot/1.0 (mera.news/bot), поэтому убедитесь, что защита от ботов не блокирует ваш канал. Чтобы проверить, выполните команду и найдите 200:

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Чтобы отключить Mera, отфильтруйте этот User-Agent или напишите на publishersupport@mera.news. Загрузчик запрашивает только URL вашего канала и не читает robots.txt, поэтому правило в robots.txt до него не дойдёт. В материале Crawler and feeds описано, что Mera делает с текстом канала и с отдельным инструментом, запускаемым вручную, который ищет страницы подписки.

Чек-лист

  • Решите, что вы хотите для обучения, для ИИ-поиска и для привязки к источникам. Каждая компания разделяет их по-своему.
  • Добавьте в robots.txt группы с именами краулеров и группу __usage_ai-training.
  • Задайте Google-Extended осознанно, помня, что он охватывает и обучение Gemini, и привязку к источникам.
  • Решите, что делать с управлением в Search Console, и запишите причину.
  • Опубликуйте машиночитаемую оговорку о правах и спросите юриста, какая форма вам подходит.
  • Добавьте правила на границе сети и ограничения частоты для краулеров, которые игнорируют ваш файл.
  • Убедитесь, что robots.txt и ваш канал возвращают ботам 200.
  • После каждого изменения правил проверяйте статью с программой чтения с экрана и в режиме чтения, а Googlebot проверяйте инструментом проверки URL.

Источники