本文へスキップ
Mera News

パブリッシャー向けガイド 第7章

AIスクレイピング：各制御が実際にしていること

最終確認：2026年11月

AI企業は、モデルの学習と質問への回答のために、ウェブからニュースを集めており、一部のクローラーは記事全体をコピーします。これを止められる設定は、1つもありません。この章では、各制御が何をカバーするか、読者に害を与えずにそれらを使う方法、そしてMeraの立場を説明します。法的な助言ではありません。

各制御がしていること

制御できることできないこと
robots.txt（RFC 9309）指定したパスに入らないよう、クローラーに求める任意であり、RFCも、アクセスの許可ではないとしている
__usage_ai-training トークンrobots.txt で、AIの学習に反対する意向を示すまだIETFの標準ではなく、学習だけが対象。クロールは制限せず、すでに集められたコンテンツにも対応しない
Google-ExtendedGeminiの学習と、Geminiアプリ、Vertex AIでのグラウンディングへのコンテンツの利用を管理するGoogle検索への掲載や順位には影響せず、AI OverviewsやAI Modeからコンテンツを外すこともしない
nosnippet、max-snippetAI OverviewsとAI Modeへの直接の入力としての、テキストを制限する検索での通常のスニペットも失う
Search Consoleの「Search generative AI」プロパティを、AI Overviews、AI Mode、Discoverの生成AI機能から除外するAIの学習には影響しない。除外されたサイトは、これらの機能からのトラフィックも表示回数も得られない
RSL 1.0License: の行と license.xml ファイルで、機械が読めるライセンス条件を公開するAllow や Disallow のルールは変えず、これだけでは何もブロックしない
EUの留保（指令2019/790、第4条(3)）テキストとデータのマイニングに対する権利を、オンラインコンテンツについては機械が読める手段で留保する法的な表明であり、技術的なブロックではない
Cloudflare Bot Preference Syncアクセスポリシーに基づいて、AIクローラー向けの管理ルールを robots.txt に追加するファイルの遵守は任意。エッジでのブロックは、この表の次の制御
Cloudflareのアクセスポリシー動作（Search、Agent、Training）ごとに、エッジでAIクローラーをブロックする各動作は慎重に選ぶこと。Searchをブロックすると、あとで質問に答えるためにページをインデックスするクローラーも止まる
WAFのレート制限一定期間内の、クライアントごとのリクエスト数を制限するカウンターは数秒遅れ、検証済みのボットへのルールはSEOに影響することがある

出発点となる robots.txt

締め出したいクローラーを名前で指定し、共通のトークンを加え、ライセンスを指し示します。

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

このファイルについての注意点は、次のとおりです。

  • ファイルは、すべてのサブドメインの /robots.txt に置きます。
  • トークンは、名前で直接指定します。ドラフトによると、User-agent: * のグループは、一致とは見なされません。
  • 企業は複数のボットを運用しています。OpenAIの GPTBot は学習用、OAI-SearchBot はChatGPTの検索用です。Anthropicの ClaudeBot は学習用、Claude-SearchBot は検索用です。検索ボットをブロックすると、そこでの露出が減ることがあるため、1つずつ意図して選びます。
  • ユーザーの求めで取得するフェッチャーは別です。OpenAIは、robots.txt のルールが ChatGPT-User には適用されないことがあるとしています。

共通の学習トークン

OpenAI、Google、Microsoft、Anthropicは、2026年10月30日に、__usage_ai-training への対応を発表しました。これは、IETFでは正式な位置づけのない、個人のInternet-Draftに由来するもので、対応の進み方は企業ごとに異なります。

企業状況備考
Anthropic実装を開始済み各サービスでの対応には時間がかかる。ClaudeBot を名指しするルールは、トークンより優先される
OpenAI今後数か月を目標既存のクローラー制御は、そのまま残る
Microsoft2027年2月1日からページ単位の設定も追加する
Google2027年を目標とし、クローラーのドキュメントでは2027年の初めGoogle-Extended を自分で指定しない限り、トークンを Google-Extended の不許可として読む予定

Google-Extended は、学習とグラウンディングの両方を対象にしています。Googleが共通トークンに対応したあとは、Google-Extended を指定せずにトークンを使うと、Geminiアプリでのグラウンディングも手放すことになります。Allow: / を付けた User-agent: Google-Extended のグループを置けば、グラウンディングの対象にはとどまれますが、Geminiの学習も許可することになります。

Microsoftに意向を伝えるために NoArchive や NoCache を使っている場合は、Microsoftの新しい設定がそれらに取って代わり、2027年3月1日以降は、そのようには読まれなくなります。

RSLによるライセンス条件

RSL 1.0は、主にクローラー側の遵守に依存しており、サーバーが強制を加えることもできます。次の license.xml は、帰属表示を条件に検索を許可し、AIの利用を禁止します。

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

検索とAI Overviews

AI OverviewsとAI Modeで、1ページ分のテキストを制限するには、スニペットの制御を使います。max-snippet は長さを設定し、nosnippet はテキストを取り除きます。

<meta name="robots" content="max-snippet:160">

サイト全体やセクション全体については、Search Consoleの設定から、Search generative AIへ進みます。子プロパティは、設定を継承することも、上書きすることもでき、変更は通常、数日かかります。Googleは、これが検索のほかの部分のランキングシグナルではないとしています。

これを行いながら、サイトのアクセシビリティを保つ

クローラーをブロックしても、スクリーンリーダー、リーダーモード、検索、RSSフィードが壊れてはいけません。

  • 記事は、本物のテキストのままにする。 キャンバスに描いたテキスト、画像にしたテキスト、HTMLの中で並べ替えたテキストは、読者自身のブラウザーでページを読むスクリーンリーダーとリーダーモードで、失敗します。
  • 読むためのページに、CAPTCHAを置かない。 W3Cのドラフトノートは、CAPTCHAが、障害のある人の作業の完了を妨げることが多いとしています。操作を伴わない確認を優先し、チャレンジを避けられない場合は、代わりの手段を用意します。
  • 検索を守る。 Googlebotは、DNSかGoogleのIPレンジで検証し、Google-Extended を意図している場面で、Googlebotをブロックしないようにします。
  • robots.txt に届くようにしておく。 RFC 9309では、5xxの応答が返ると、クローラーはすべてが不許可だと想定し、4xxの応答が返ると、何でも取得してよいと見なします。このファイルは、ボット向けのルールから除外してください。
  • エラーコードは、短い間だけ使う。 Googleは、500、503、429 の応答が数日にわたって繰り返されると、そのURLがインデックスから外れることがあるとしています。
  • フィードを除外する。 ブラウザーのチャレンジはウェブページを返しますが、フィードリーダーはそれを使えません。CloudflareのSuper Bot Fight Modeは、フィードのパスに対するカスタムルールでスキップできます。Freeプランにあるボット対策のBot Fight Modeは、その方法ではスキップできません。

Meraの立場

Mera Newsは、この件ではパブリッシャーの側に立っています。クローラーではなく、あなたのページから何も取りません。ニュースの取得元は、あなたが公開しているRSSフィードだけで、通常は少しのテキストと、戻るためのリンクです。そこに何を入れるかは、あなたが決めます。Meraは見出しを表示し、読者をあなたのもとへ送ります。この章が扱うのは、全文を取得するクローラーという問題です。

フィードの取得ツールは、MeraNewsBot/1.0（mera.news/bot）と名乗ります。ボット対策が、あなたのフィードをブロックしていないことを確認してください。テストするには、次を実行して、200 が返ることを確かめます。

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Meraをやめるには、そのUser-Agentをフィルターするか、publishersupport@mera.news 宛てに連絡してください。取得ツールがリクエストするのはフィードのURLだけで、robots.txt は読まないため、robots.txt のルールは届きません。クローラーとフィードには、Meraがフィードのテキストをどう扱うか、そして、手動で起動し、購読ページを探す、別のツールについて書かれています。

チェックリスト

  • 学習、AI検索、グラウンディングについて、それぞれ何を望むかを決める。企業ごとに、分け方が違う。
  • 名前を指定したクローラーのグループと、__usage_ai-training のグループを、robots.txt に追加する。
  • Google-Extended を、Geminiの学習とグラウンディングの両方を対象にすることを理解した上で、意図して設定する。
  • Search Consoleの制御について決め、その理由を記録する。
  • 機械が読める形の権利の留保を公開し、どの形式が合うか、弁護士に確認する。
  • ファイルを無視するクローラー向けに、エッジのルールとレート制限を追加する。
  • robots.txt とフィードが、ボットに 200 を返すことを確認する。
  • ルールを変更するたびに、スクリーンリーダーとリーダーモードで記事をテストし、URL検査ツールでGooglebotを確認する。

出典