跳到主要内容
Mera News

出版商指南，第 7 章

AI 抓取：每种控制手段实际上做了什么

最近审查：2026 年 11 月

AI 公司从网络上收集新闻，用来训练模型和回答问题，其中一些爬虫会复制整篇文章。没有任何单一设置能阻止这一点。本章介绍每种控制手段涵盖什么、如何在不伤害读者的前提下使用它们，以及 Mera 的立场。本章不构成法律意见。

每种控制手段做什么

控制手段它做什么它不做什么
robots.txt（RFC 9309）请求爬虫不要进入你指定的路径它是自愿的，RFC 也说明它不是访问授权
__usage_ai-training 令牌在 robots.txt 中表明反对 AI 训练的偏好它尚未成为 IETF 标准，而且只涵盖训练。它不限制抓取，也不处理已收集的内容
Google-Extended管理你的内容在 Gemini 训练中的使用，以及在 Gemini 应用和 Vertex AI 中的内容引用它不影响被 Google 搜索收录或排名，也不会让你的内容不出现在 AI 概览或 AI 模式中
nosnippet、max-snippet限制你的文本作为 AI 概览和 AI 模式的直接输入它们也会让你失去搜索中的普通摘要
Search Console，搜索生成式 AI将一个资源排除在 AI 概览、AI 模式和 Discover 中的生成式 AI 功能之外它不影响 AI 训练。被排除的网站不会从这些功能获得流量或展示次数
RSL 1.0通过 License: 行和 license.xml 文件，发布机器可读的许可条款它不改变 Allow 或 Disallow 规则，单靠它不会阻止任何东西
欧盟保留（第 4(3) 条，指令 2019/790）对在线内容通过机器可读的方式，保留你针对文本和数据挖掘的权利它是一项法律声明，而不是技术屏蔽
Cloudflare Bot Preference Sync根据你的访问策略，向你的 robots.txt 添加针对 AI 爬虫的托管规则遵守该文件是自愿的。边缘屏蔽是本表中的下一种控制手段
Cloudflare 访问策略按行为在边缘屏蔽 AI 爬虫：搜索、代理或训练请谨慎选择每种行为。屏蔽搜索，也会阻止那些为稍后回答问题而索引你页面的爬虫
WAF 速率限制限制每个客户端在一段时间内的请求数计数器会有几秒的延迟，针对已验证机器人的规则可能影响 SEO

一份起步用的 robots.txt

写明你想拦在门外的爬虫，加入共用的令牌，并指向你的许可。

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

关于这份文件的说明：

  • 在 /robots.txt 提供这份文件，每个子域名都要有。
  • 直接写出令牌的名称。草案说，User-agent: * 组不算与它匹配。
  • 各公司都运行多个机器人。OpenAI 的 GPTBot 用于训练，OAI-SearchBot 用于 ChatGPT 搜索。Anthropic 的 ClaudeBot 用于训练，Claude-SearchBot 用于搜索。屏蔽搜索机器人可能降低你在那里的可见度，所以请有意识地逐个选择。
  • 由用户发起请求的抓取器有所不同。OpenAI 说，robots.txt 规则可能不适用于 ChatGPT-User。

共用的训练令牌

OpenAI、Google、Microsoft 和 Anthropic 于 2026 年 10 月 30 日宣布支持 __usage_ai-training。它来自一份个人提交的 Internet-Draft，在 IETF 没有正式地位，各公司的推进进度不同。

公司状态说明
Anthropic已开始实施在其各项服务中全面支持需要时间。指名 ClaudeBot 的规则优先于该令牌
OpenAI目标是未来几个月现有的爬虫控制保持不变
Microsoft自 2027 年 2 月 1 日起它还会添加页面级偏好
Google目标是 2027 年，在其爬虫文档中为 2027 年初它计划把该令牌解读为禁止 Google-Extended，除非你自己指名 Google-Extended

Google-Extended 同时涵盖训练和内容引用。一旦 Google 支持共用令牌，只使用它而不指名 Google-Extended，也会放弃在 Gemini 应用中的内容引用。带有 Allow: / 的 User-agent: Google-Extended 组会让你保持符合内容引用的资格，但它同时也允许 Gemini 训练。

如果你用 NoArchive 或 NoCache 向 Microsoft 表明偏好，它的新偏好会取代它们，并且在 2027 年 3 月 1 日之后，它不再按那种方式读取它们。

用 RSL 设定许可条款

RSL 1.0 主要依靠爬虫自觉遵守，服务器可以另外加上强制执行。下面这个 license.xml 允许带署名的搜索，并禁止 AI 用途。

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

搜索与 AI 概览

要限制某一页的文本在 AI 概览和 AI 模式中的使用，请使用摘要控制。max-snippet 设定长度，nosnippet 则移除文本。

<meta name="robots" content="max-snippet:160">

对于整个网站或某个栏目，请在 Search Console 中依次进入“设置”和“搜索生成式 AI”。子资源可以继承或覆盖该设置，更改通常需要几天才会生效。Google 说，它不是搜索其他部分的排名信号。

在此过程中保持网站的无障碍

屏蔽爬虫不能破坏读屏软件、阅读模式、搜索或你的 RSS 源。

  • 让文章保持为真正的文本。 画在画布上、转成图片或在 HTML 中被打乱的文字，会让读屏软件和阅读模式失效，因为它们是在读者自己的浏览器中读取页面。
  • 不要在阅读页面上放验证码。 W3C 的一份草案说明指出，验证码常常让残障人士无法完成任务。优先使用非交互式的检查，在无法避免挑战的地方提供替代方案。
  • 保护搜索。 通过 DNS 或 Google 的 IP 范围验证 Googlebot，并且在你想屏蔽的是 Google-Extended 时，不要屏蔽 Googlebot。
  • 让 robots.txt 保持可访问。 根据 RFC 9309，返回 5xx 会让爬虫假定一切都被禁止，返回 4xx 则让它可以抓取任何内容。请让该文件不受机器人规则影响。
  • 谨慎使用错误码。 Google 表示，连续数天反复返回 500、503 或 429 响应，可能让某个 URL 从其索引中消失。
  • 让你的源不受影响。 浏览器质询返回的是一个网页，RSS 阅读器无法使用。可以用针对你的源路径的自定义规则，跳过 Cloudflare 的 Super Bot Fight Mode。免费套餐上的 Bot Fight Mode 无法用这种方式跳过。

Mera 的立场

在这件事上，Mera News 站在出版商一边。它不是爬虫，也不会从你的页面拿走任何东西。它的新闻只来自你发布的 RSS 源，而源里通常只有一点文字和一个返回的链接。源里放什么由你控制，Mera 显示标题，并把读者送到你那里。全文爬虫才是本章要处理的问题。

源抓取器以 MeraNewsBot/1.0（mera.news/bot）表明身份，所以请确认你的机器人防护没有屏蔽你的源。要测试它，请运行下面的命令，并查看是否返回 200：

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

要停止与 Mera 的往来，请过滤该 User-Agent，或写信到 publishersupport@mera.news。该抓取器只请求你的源 URL，不会读取 robots.txt，所以 robots.txt 规则对它不起作用。爬虫与源说明了 Mera 如何处理源中的文本，以及另一个手动启动、用于查找订阅页面的独立工具。

检查清单

  • 决定你对训练、AI 搜索和内容引用各自的意愿。每家公司对它们的区分方式各不相同。
  • 在 robots.txt 中添加指名爬虫的组和 __usage_ai-training 组。
  • 有意识地设置 Google-Extended，并清楚它同时涵盖 Gemini 训练和内容引用。
  • 决定 Search Console 的控制选项，并记录你的理由。
  • 发布一份机器可读的权利保留声明，并询问法律顾问哪种形式适合你。
  • 为无视你文件的爬虫添加边缘规则和速率限制。
  • 确认 robots.txt 和你的源对机器人返回 200。
  • 每次修改规则之后，用读屏软件和阅读模式测试一篇文章，并用网址检查工具检查 Googlebot。

来源