본문으로 건너뛰기
Mera News

퍼블리셔 가이드, 7장

AI 스크래핑: 각 제어 수단이 실제로 하는 일

마지막 검토: 2026년 11월

AI 기업은 모델을 학습시키고 질문에 답하기 위해 웹에서 뉴스를 수집하며, 일부 크롤러는 기사 전체를 복사합니다. 이를 막아 주는 단일 설정은 없습니다. 이 장에서는 각 제어 수단이 다루는 범위, 독자에게 해를 끼치지 않고 사용하는 방법, 그리고 Mera의 입장을 설명합니다. 법률 자문이 아닙니다.

각 제어 수단이 하는 일

제어 수단하는 일하지 않는 일
robots.txt (RFC 9309)크롤러에게 지정한 경로에 들어오지 말라고 요청합니다강제가 아니며, RFC도 접근 권한 부여가 아니라고 밝힙니다
__usage_ai-training 토큰robots.txt에서 AI 학습을 원하지 않는다는 선호를 밝힙니다아직 IETF 표준이 아니며 학습만 다룹니다. 크롤링을 제한하지 않고, 이미 수집된 콘텐츠는 다루지 않습니다
Google-ExtendedGemini 학습과, Gemini 앱 및 Vertex AI의 그라운딩에 콘텐츠를 사용하는 것을 관리합니다Google 검색 포함이나 순위에는 영향이 없으며, AI Overviews나 AI Mode에서 콘텐츠를 빼 주지도 않습니다
nosnippet, max-snippetAI Overviews와 AI Mode에서 직접 입력으로 쓰이는 텍스트를 제한합니다검색의 일반 스니펫도 함께 사라집니다
Search Console, 검색 생성형 AI속성을 AI Overviews, AI Mode, Discover의 생성형 AI 기능에서 제외합니다AI 학습에는 영향이 없습니다. 제외된 사이트는 이 기능들에서 트래픽이나 노출을 얻지 못합니다
RSL 1.0License: 줄과 license.xml 파일로 기계가 읽을 수 있는 라이선스 조건을 게시합니다Allow나 Disallow 규칙을 바꾸지 않으며, 그것만으로는 아무것도 차단하지 않습니다
EU 권리 유보(지침 2019/790 제4조 3항)온라인 콘텐츠의 경우 기계가 읽을 수 있는 방식으로 텍스트 및 데이터 마이닝에 대한 권리를 유보합니다법적 선언이며 기술적 차단이 아닙니다
Cloudflare Bot Preference Sync접근 정책을 바탕으로 AI 크롤러에 대한 관리형 규칙을 robots.txt에 추가합니다파일 준수는 강제가 아닙니다. 에지 차단은 이 표의 다음 제어 수단입니다
Cloudflare 접근 정책검색, 에이전트, 학습이라는 행동 유형별로 에지에서 AI 크롤러를 차단합니다각 행동 유형은 신중히 선택하세요. 검색을 차단하면 나중에 질문에 답하려고 페이지를 색인하는 크롤러도 막힙니다
WAF 속도 제한일정 기간 동안 클라이언트당 요청 수를 제한합니다카운터가 몇 초 늦게 반영되며, 검증된 봇에 대한 규칙은 SEO에 영향을 줄 수 있습니다

시작용 robots.txt

막고 싶은 크롤러의 이름을 적고, 공통 토큰을 추가하고, 라이선스를 가리키세요.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

이 파일에 대한 참고 사항입니다.

  • 파일은 모든 하위 도메인의 /robots.txt에서 제공하세요.
  • 토큰은 직접 이름을 적으세요. 초안에 따르면 User-agent: * 그룹은 토큰과 일치하는 것으로 보지 않습니다.
  • 기업은 여러 봇을 운영합니다. OpenAI의 GPTBot은 학습용이고 OAI-SearchBot은 ChatGPT 검색용입니다. Anthropic의 ClaudeBot은 학습용이고 Claude-SearchBot은 검색용입니다. 검색 봇을 차단하면 그 서비스에서의 노출이 줄어들 수 있으므로, 각각을 의도를 갖고 선택하세요.
  • 사용자 요청으로 가져오는 페처는 다릅니다. OpenAI는 robots.txt 규칙이 ChatGPT-User에는 적용되지 않을 수 있다고 밝힙니다.

공통 학습 토큰

OpenAI, Google, Microsoft, Anthropic은 2026년 10월 30일에 __usage_ai-training 지원을 발표했습니다. 이 토큰은 IETF에서 공식 지위가 없는 개인 Internet-Draft에서 나왔으며, 도입 상황은 기업마다 다릅니다.

기업상태참고
Anthropic구현을 시작함모든 서비스에 적용되려면 시간이 걸립니다. ClaudeBot을 지정한 규칙이 토큰보다 우선합니다
OpenAI앞으로 몇 달 안을 목표로 함기존 크롤러 제어는 그대로 유지됩니다
Microsoft2027년 2월 1일부터페이지 단위 선호도도 추가합니다
Google2027년을 목표로 하며, 크롤러 문서에는 2027년 초로 되어 있음Google-Extended를 직접 지정하지 않는 한, 토큰을 Google-Extended 불허로 해석할 계획입니다

Google-Extended는 학습과 그라운딩을 모두 다룹니다. Google이 공통 토큰을 지원하게 되면, Google-Extended를 지정하지 않고 토큰만 쓸 때 Gemini 앱의 그라운딩도 함께 포기하게 됩니다. Allow: /가 있는 User-agent: Google-Extended 그룹은 그라운딩 대상으로 남게 해 주지만, Gemini 학습도 함께 허용합니다.

Microsoft에 선호를 알리려고 NoArchive나 NoCache를 사용한다면, Microsoft의 새 선호도 설정이 이를 대체하며 2027년 3월 1일 이후에는 그런 용도로 읽지 않습니다.

RSL로 라이선스 조건 밝히기

RSL 1.0은 주로 크롤러의 준수에 의존하며, 서버가 강제 수단을 더할 수 있습니다. 이 license.xml은 출처 표기를 전제로 검색을 허용하고 AI 사용을 금지합니다.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

검색과 AI Overviews

한 페이지의 텍스트가 AI Overviews와 AI Mode에 나오는 것을 제한하려면 스니펫 제어를 사용하세요. max-snippet은 길이를 정하고, nosnippet은 텍스트를 없앱니다.

<meta name="robots" content="max-snippet:160">

사이트 전체나 한 섹션에는 Search Console의 설정에서 검색 생성형 AI로 이동하세요. 하위 속성은 설정을 상속하거나 덮어쓸 수 있으며, 변경에는 보통 며칠이 걸립니다. Google은 이것이 검색의 다른 부분에 대한 순위 신호가 아니라고 밝힙니다.

이렇게 하면서도 사이트를 접근 가능하게 유지하기

크롤러를 차단하더라도 스크린 리더, 리더 모드, 검색, RSS 피드가 깨지면 안 됩니다.

  • 기사는 진짜 텍스트로 유지하세요. 캔버스에 그린 텍스트, 이미지로 바꾼 텍스트, HTML에서 뒤섞은 텍스트는 독자 자신의 브라우저에서 페이지를 읽는 스크린 리더와 리더 모드가 읽지 못합니다.
  • 읽는 페이지에는 CAPTCHA를 두지 마세요. W3C 초안 노트는 CAPTCHA가 장애가 있는 사람이 작업을 끝내지 못하게 하는 경우가 많다고 설명합니다. 상호작용이 필요 없는 확인을 우선하고, 챌린지를 피할 수 없는 곳에는 대안을 제공하세요.
  • 검색을 보호하세요. Googlebot은 DNS나 Google의 IP 대역으로 검증하고, Google-Extended를 막으려는 것이라면 Googlebot을 차단하지 마세요.
  • robots.txt에 접근할 수 있게 유지하세요. RFC 9309에 따르면 5xx 응답은 크롤러가 모든 것이 불허된 것으로 가정하게 하고, 4xx 응답은 무엇이든 가져가도 되는 것으로 보게 합니다. 이 파일은 봇 규칙에서 제외하세요.
  • 오류 코드는 짧게 사용하세요. Google은 500, 503, 429 응답이 며칠 동안 반복되면 URL이 색인에서 빠질 수 있다고 밝힙니다.
  • 피드를 예외로 두세요. 브라우저 챌린지는 웹 페이지를 돌려주는데, 피드 리더는 그것을 쓸 수 없습니다. Cloudflare의 Super Bot Fight Mode는 피드 경로에 대한 사용자 지정 규칙으로 건너뛸 수 있습니다. Free 요금제의 Bot Fight Mode는 그렇게 건너뛸 수 없습니다.

Mera의 입장

Mera News는 여기서 퍼블리셔 편에 있습니다. 크롤러가 아니며 귀사의 페이지에서 아무것도 가져가지 않습니다. 뉴스는 귀사가 발행하는 RSS 피드에서만 가져오며, 피드에는 보통 짧은 텍스트와 원문으로 가는 링크가 있을 뿐입니다. 무엇을 담을지는 귀사가 정하고, Mera는 헤드라인을 보여 주고 독자를 귀사로 보냅니다. 이 장이 다루는 문제는 전체 콘텐츠를 가져가는 크롤러입니다.

피드 가져오기 프로그램은 MeraNewsBot/1.0(mera.news/bot)으로 자신을 밝히므로, 봇 보호가 귀사의 피드를 막지 않는지 확인하세요. 테스트하려면 다음을 실행해 200이 나오는지 보세요.

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Mera에서 빠지려면 해당 User-Agent를 필터링하거나 publishersupport@mera.news로 메시지를 보내 주세요. 이 프로그램은 귀사의 피드 URL만 요청하고 robots.txt는 읽지 않으므로, robots.txt 규칙은 적용되지 않습니다. 크롤러와 피드에는 Mera가 피드 텍스트로 하는 일과, 구독 페이지를 찾는 별도의 수동 실행 도구가 설명되어 있습니다.

체크리스트

  • 학습, AI 검색, 그라운딩에 대해 원하는 바를 정하세요. 기업마다 이를 다르게 구분합니다.
  • 이름을 지정한 크롤러 그룹과 __usage_ai-training 그룹을 robots.txt에 추가하세요.
  • Google-Extended가 Gemini 학습과 그라운딩을 모두 다룬다는 점을 알고 의도적으로 설정하세요.
  • Search Console 제어를 정하고 그 이유를 기록하세요.
  • 기계가 읽을 수 있는 권리 유보를 게시하고, 어떤 형식이 맞는지 법률 전문가에게 문의하세요.
  • 파일을 무시하는 크롤러에 대한 에지 규칙과 속도 제한을 추가하세요.
  • robots.txt와 피드가 봇에게 200을 반환하는지 확인하세요.
  • 규칙을 바꿀 때마다 스크린 리더와 리더 모드로 기사를 테스트하고, URL 검사 도구로 Googlebot을 확인하세요.

출처