跳至內容
Mera News

出版商指南，第 7 章

AI 爬取：各項控制實際上做了什麼

最後審閱：2026 年 11 月

AI 公司從網路上蒐集新聞，用來訓練模型與回答問題，有些爬蟲還會複製整篇文章。沒有任何單一設定能阻止這件事。本章說明各項控制涵蓋什麼、如何在不傷害讀者的前提下使用它們，以及 Mera 的立場。本章不構成法律意見。

各項控制做什麼

控制它做什麼它不做什麼
robots.txt (RFC 9309)請爬蟲不要進入您指定的路徑它是自願性的，RFC 也說明它不是存取授權
__usage_ai-training 代號在 robots.txt 中表明不同意 AI 訓練的偏好它還不是 IETF 標準，而且只涵蓋訓練。它不限制爬取，也不處理已經蒐集的內容
Google-Extended管理您的內容是否用於 Gemini 訓練，以及用於 Gemini Apps 與 Vertex AI 的接地它不影響 Google 搜尋的收錄或排名，也不會讓您的內容不出現在 AI 總覽或 AI 模式中
nosnippet、max-snippet限制您的文字作為 AI 總覽與 AI 模式的直接輸入它們也會讓您失去搜尋中的一般摘要
Search Console、Search generative AI讓某個資源排除在 AI 總覽、AI 模式，以及 Discover 中的生成式 AI 功能之外它不影響 AI 訓練。被排除的網站不會從這些功能得到流量或曝光
RSL 1.0透過 License: 行與 license.xml 檔案，發布機器可讀的授權條款它不會改變 Allow 或 Disallow 規則，單靠它不會封鎖任何東西
歐盟權利保留（第 4(3) 條，Directive 2019/790）以機器可讀的方式，為線上內容保留您對文字與資料探勘的權利它是一項法律聲明，而不是技術封鎖
Cloudflare Bot Preference Sync依據您的存取政策，把針對 AI 爬蟲的託管規則加進您的 robots.txt是否遵守該檔案是自願的。邊緣封鎖是本表的下一項控制
Cloudflare 存取政策依行為在邊緣封鎖 AI 爬蟲：搜尋、代理或訓練請謹慎選擇每一種行為。封鎖搜尋，也會擋下為了日後回答問題而為您的頁面建立索引的爬蟲
WAF 速率限制限制每個用戶端在一段時間內的請求數計數器會延遲幾秒，而且針對已驗證機器人的規則可能影響 SEO

起步用的 robots.txt

指名您想擋在外面的爬蟲，加上共用的代號，並指向您的授權條款。

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

關於這個檔案的注意事項：

  • 在每個子網域的 /robots.txt 提供這個檔案。
  • 直接指名這個代號。草案指出，User-agent: * 群組不算符合它。
  • 各家公司都有好幾種機器人。OpenAI 的 GPTBot 用於訓練，OAI-SearchBot 用於 ChatGPT 搜尋。Anthropic 的 ClaudeBot 用於訓練，Claude-SearchBot 用於搜尋。封鎖搜尋機器人可能降低您在那裡的能見度，所以請有意識地逐一選擇。
  • 使用者要求的擷取器不同。OpenAI 表示，robots.txt 規則可能不適用於 ChatGPT-User。

共用的訓練代號

OpenAI、Google、Microsoft 與 Anthropic 在 2026 年 10 月 30 日宣布支援 __usage_ai-training。它來自一份個人提出的 Internet-Draft，在 IETF 沒有正式地位，各公司的推行情況也不同。

公司狀態備註
Anthropic已開始實作要在其各項服務中全面支援還需要時間。指名 ClaudeBot 的規則優先於這個代號
OpenAI目標是未來幾個月既有的爬蟲控制仍然有效
Microsoft自 2027 年 2 月 1 日起它也會加入頁面層級的偏好設定
Google目標是 2027 年，其爬蟲文件中寫的是 2027 年初它計畫把這個代號解讀為不允許 Google-Extended，除非您自己指名 Google-Extended

Google-Extended 同時涵蓋訓練與接地。一旦 Google 支援共用代號，只用它而不指名 Google-Extended，也會放棄 Gemini Apps 中的接地。帶有 Allow: / 的 User-agent: Google-Extended 群組，能讓您保有接地的資格，但同時也允許 Gemini 訓練。

如果您使用 NoArchive 或 NoCache 向 Microsoft 表達偏好，它的新偏好設定會取代它們，並且在 2027 年 3 月 1 日之後，不再以那種方式讀取它們。

以 RSL 設定授權條款

RSL 1.0 主要仰賴爬蟲的遵守，伺服器也可以加上強制措施。這個 license.xml 允許附帶歸屬的搜尋，並禁止 AI 用途。

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

搜尋與 AI 總覽

若要限制單一頁面的文字在 AI 總覽與 AI 模式中的使用，請使用摘要控制。max-snippet 設定長度，nosnippet 則移除文字。

<meta name="robots" content="max-snippet:160">

若要針對整個網站或某個區段，請到 Search Console 的「設定」，再選「Search generative AI」。子資源可以繼承或覆寫這項設定，變更通常需要幾天才會生效。Google 表示，這不是搜尋其他部分的排名訊號。

在做這些事的同時，保持網站的無障礙

封鎖爬蟲不能破壞螢幕閱讀器、閱讀模式、搜尋或您的 RSS 摘要。

  • 讓文章維持真正的文字。 畫在 canvas 上、轉成圖片，或在 HTML 中被打亂的文字，會讓螢幕閱讀器與閱讀模式失效，因為它們是在讀者自己的瀏覽器中讀取頁面。
  • 不要在閱讀頁面使用 CAPTCHA。 W3C 的一份草案說明指出，CAPTCHA 常常讓身心障礙者無法完成任務。請優先採用非互動式的檢查，在無法避免挑戰時，提供替代方式。
  • 保護搜尋。 以 DNS 或 Google 的 IP 範圍驗證 Googlebot，並且在您想封鎖 Google-Extended 時，不要連 Googlebot 一起封鎖。
  • 讓 robots.txt 保持可存取。 依 RFC 9309，5xx 回應會讓爬蟲假設一切都不允許，4xx 則讓它可以擷取任何東西。請讓這個檔案不受機器人規則影響。
  • 簡短使用錯誤碼。 Google 表示，連續幾天重複出現 500、503 或 429 回應，可能讓某個網址從索引中消失。
  • 讓您的摘要不受影響。 瀏覽器挑戰會傳回一個網頁，RSS 閱讀器無法使用。Cloudflare 的 Super Bot Fight Mode 可以用自訂規則針對您的摘要路徑略過。免費方案上的 Bot Fight Mode 無法用這種方式略過。

Mera 的立場

在這件事上，Mera News 站在出版商這一邊。它不是爬蟲，也不會從您的頁面取走任何東西。它的新聞只來自您發布的 RSS 摘要，通常只有一點文字和一個連回的連結。放什麼進去由您控制，Mera 只顯示標題，並把讀者送到您那裡。全文爬蟲才是本章要處理的問題。

摘要擷取器會以 MeraNewsBot/1.0 表明身分（mera.news/bot），所以請確認機器人防護沒有封鎖您的摘要。要測試它，請執行以下指令並確認結果為 200：

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

若要退出 Mera，請過濾該 User-Agent，或寫信至 publishersupport@mera.news。擷取器只請求您的摘要網址，並不讀取 robots.txt，所以 robots.txt 規則不會對它生效。爬蟲與摘要說明了 Mera 如何處理摘要文字，以及另一項由人工啟動、用來尋找訂閱頁面的獨立工具。

檢查清單

  • 決定您對訓練、AI 搜尋與接地各自想要什麼。每家公司區分它們的方式不同。
  • 在 robots.txt 中加入指名的爬蟲群組與 __usage_ai-training 群組。
  • 有意識地設定 Google-Extended，並了解它同時涵蓋 Gemini 訓練與接地。
  • 決定 Search Console 的控制設定，並記錄您的理由。
  • 發布機器可讀的權利保留聲明，並詢問法律顧問哪一種形式適合您。
  • 為忽略您檔案的爬蟲加入邊緣規則與速率限制。
  • 確認 robots.txt 與您的摘要對機器人傳回 200。
  • 每次變更規則後，用螢幕閱讀器與閱讀模式測試一篇文章，並用網址檢查工具檢查 Googlebot。

來源