Chuyển đến nội dung
Mera News

Cẩm nang nhà xuất bản, chương 7

Thu thập dữ liệu cho AI: mỗi công cụ kiểm soát thực sự làm gì

Xem lại lần cuối vào tháng 11 năm 2026

Các công ty AI thu thập tin tức từ web để huấn luyện mô hình và để trả lời câu hỏi, và một số trình thu thập của họ sao chép nguyên cả bài viết. Không có thiết lập đơn lẻ nào ngăn được việc này. Chương này cho thấy mỗi công cụ kiểm soát bao quát những gì, cách dùng chúng mà không gây hại cho độc giả của bạn, và Mera đứng ở đâu. Đây không phải tư vấn pháp lý.

Mỗi công cụ kiểm soát làm gì

Công cụ kiểm soátLàm gìKhông làm gì
robots.txt (RFC 9309)Yêu cầu các trình thu thập tránh xa những đường dẫn bạn nêu tênMang tính tự nguyện, và RFC nói rõ nó không phải là sự cho phép truy cập
Mã thông báo __usage_ai-trainingNêu một ưu tiên không muốn dùng cho huấn luyện AI, trong robots.txtChưa phải tiêu chuẩn của IETF, và chỉ bao quát việc huấn luyện. Nó không giới hạn việc thu thập và không xử lý nội dung đã được thu thập
Google-ExtendedQuản lý việc dùng nội dung của bạn để huấn luyện Gemini và để làm căn cứ trong Gemini Apps và Vertex AIKhông ảnh hưởng đến việc trang có mặt hay xếp hạng trong Google Search, và không giữ nội dung của bạn khỏi AI Overviews hay AI Mode
nosnippet, max-snippetGiới hạn văn bản của bạn làm đầu vào trực tiếp cho AI Overviews và AI ModeChúng cũng làm bạn mất các đoạn trích thông thường trong Search
Search Console, Search generative AILoại một thuộc tính khỏi AI Overviews, AI Mode và các tính năng AI tạo sinh trong DiscoverKhông ảnh hưởng đến việc huấn luyện AI. Các trang bị loại trừ không nhận được lưu lượng hay lượt hiển thị từ những tính năng này
RSL 1.0Công bố điều khoản cấp phép máy đọc được, qua một dòng License: và một tệp license.xmlKhông thay đổi các quy tắc Allow hay Disallow, và tự nó không chặn gì
Bảo lưu của EU (Điều 4(3), Chỉ thị 2019/790)Bảo lưu quyền của bạn đối với khai thác văn bản và dữ liệu, bằng phương tiện máy đọc được đối với nội dung trực tuyếnLà một tuyên bố pháp lý, không phải một rào chắn kỹ thuật
Cloudflare Bot Preference SyncThêm các quy tắc được quản lý cho trình thu thập AI vào robots.txt của bạn, dựa trên chính sách truy cập của bạnViệc tuân thủ tệp này là tự nguyện. Chặn ở biên là công cụ kiểm soát tiếp theo trong bảng này
Chính sách truy cập của CloudflareChặn trình thu thập AI ở biên, theo hành vi: Search, Agent hoặc TrainingHãy chọn từng hành vi cẩn thận. Chặn Search cũng ngăn các trình thu thập lập chỉ mục trang của bạn để trả lời câu hỏi về sau
Giới hạn tốc độ của WAFGiới hạn số yêu cầu của mỗi máy khách trong một khoảng thời gian nhất địnhBộ đếm trễ vài giây, và các quy tắc áp dụng cho bot đã xác minh có thể ảnh hưởng đến SEO

Một robots.txt khởi đầu

Nêu tên các trình thu thập bạn muốn chặn, thêm mã thông báo dùng chung, và trỏ đến giấy phép của bạn.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

Lưu ý về tệp này:

  • Phục vụ tệp tại /robots.txt, trên mọi tên miền phụ.
  • Nêu tên trực tiếp mã thông báo. Bản dự thảo nói một nhóm User-agent: * không được tính là khớp với nó.
  • Các công ty chạy nhiều bot. GPTBot của OpenAI dùng cho huấn luyện và OAI-SearchBot dùng cho tìm kiếm của ChatGPT. ClaudeBot của Anthropic dùng cho huấn luyện và Claude-SearchBot dùng cho tìm kiếm. Chặn một bot tìm kiếm có thể làm giảm khả năng hiển thị của bạn ở đó, nên hãy chọn từng bot một cách có chủ đích.
  • Các trình tải do người dùng yêu cầu thì khác. OpenAI cho biết các quy tắc robots.txt có thể không áp dụng cho ChatGPT-User.

Mã thông báo huấn luyện dùng chung

OpenAI, Google, Microsoft và Anthropic đã thông báo hỗ trợ __usage_ai-training vào ngày 30 tháng 10 năm 2026. Mã này xuất phát từ một Internet-Draft cá nhân không có vị thế chính thức tại IETF, và tiến độ triển khai khác nhau giữa các công ty.

Công tyTrạng tháiGhi chú
AnthropicĐã bắt đầu triển khaiViệc hỗ trợ trên các dịch vụ của họ sẽ cần thời gian. Một quy tắc nêu tên ClaudeBot được ưu tiên hơn mã thông báo
OpenAIĐặt mục tiêu trong những tháng tớiCác công cụ kiểm soát trình thu thập hiện có vẫn được giữ nguyên
MicrosoftTừ ngày 1 tháng 2 năm 2027Họ cũng thêm các ưu tiên ở cấp trang
GoogleĐặt mục tiêu năm 2027, và đầu năm 2027 trong tài liệu về trình thu thập của họHọ dự định đọc mã thông báo này như việc không cho phép Google-Extended, trừ khi bạn tự nêu tên Google-Extended

Google-Extended bao quát cả huấn luyện và làm căn cứ. Khi Google hỗ trợ mã thông báo dùng chung, việc dùng nó mà không nêu tên Google-Extended cũng đồng nghĩa từ bỏ việc làm căn cứ trong Gemini Apps. Một nhóm User-agent: Google-Extended với Allow: / giữ cho bạn đủ điều kiện làm căn cứ, nhưng cũng cho phép huấn luyện Gemini.

Nếu bạn dùng NoArchive hoặc NoCache để báo ưu tiên cho Microsoft, các ưu tiên mới của họ sẽ thay thế chúng, và họ ngừng đọc chúng theo cách đó sau ngày 1 tháng 3 năm 2027.

Điều khoản cấp phép với RSL

RSL 1.0 chủ yếu dựa vào sự tuân thủ của các trình thu thập, và máy chủ có thể bổ sung việc thực thi. Tệp license.xml này cho phép tìm kiếm kèm ghi nhận nguồn và cấm các cách dùng cho AI.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

Search và AI Overviews

Để giới hạn văn bản của một trang trong AI Overviews và AI Mode, hãy dùng một công cụ kiểm soát đoạn trích. max-snippet đặt độ dài, và nosnippet gỡ bỏ văn bản.

<meta name="robots" content="max-snippet:160">

Với cả một trang web hay một mục, hãy vào Settings, rồi Search generative AI, trong Search Console. Một thuộc tính con có thể kế thừa hoặc ghi đè thiết lập này, và các thay đổi thường mất vài ngày. Google cho biết đây không phải là tín hiệu xếp hạng cho các phần khác của Search.

Giữ cho trang vẫn dễ tiếp cận khi làm việc này

Việc chặn trình thu thập không được làm hỏng trình đọc màn hình, chế độ đọc, tìm kiếm hay nguồn cấp RSS của bạn.

  • Giữ bài viết ở dạng văn bản thật. Văn bản vẽ trên canvas, chuyển thành hình ảnh hoặc bị xáo trộn trong HTML sẽ làm hỏng trình đọc màn hình và chế độ đọc, vốn đọc trang ngay trong trình duyệt của độc giả.
  • Không đặt CAPTCHA trên các trang đọc. Một ghi chú dự thảo của W3C nói CAPTCHA thường ngăn người khuyết tật hoàn thành tác vụ. Hãy ưu tiên các kiểm tra không tương tác, và đưa ra phương án thay thế ở nơi không thể tránh một thử thách.
  • Bảo vệ tìm kiếm. Xác minh Googlebot qua DNS hoặc dải IP của Google, và đừng chặn nó khi bạn chỉ định chặn Google-Extended.
  • Giữ cho robots.txt truy cập được. Theo RFC 9309, một phản hồi 5xx khiến trình thu thập cho rằng mọi thứ đều bị cấm, và một phản hồi 4xx cho phép nó tải bất cứ thứ gì. Hãy miễn tệp này khỏi các quy tắc bot.
  • Dùng mã lỗi một cách ngắn gọn. Google cho biết các phản hồi 500, 503 hay 429 lặp lại trong nhiều ngày có thể khiến một URL bị loại khỏi chỉ mục của họ.
  • Miễn trừ nguồn cấp của bạn. Một thử thách của trình duyệt trả về một trang web, mà trình đọc nguồn cấp không dùng được. Super Bot Fight Mode của Cloudflare có thể được bỏ qua bằng một quy tắc tùy chỉnh cho đường dẫn nguồn cấp của bạn. Bot Fight Mode, trên gói Free, không thể bỏ qua theo cách đó.

Mera đứng ở đâu

Mera News đứng về phía nhà xuất bản trong vấn đề này. Mera không phải là trình thu thập dữ liệu và không lấy gì từ các trang của bạn. Tin tức của Mera chỉ đến từ nguồn cấp RSS mà bạn công bố, thường là một ít văn bản và một liên kết quay về. Bạn kiểm soát những gì có trong đó, và Mera hiển thị tiêu đề rồi đưa độc giả đến với bạn. Các trình thu thập toàn bộ nội dung mới là vấn đề mà chương này đề cập.

Trình tải nguồn cấp tự nhận diện là MeraNewsBot/1.0 (mera.news/bot), nên hãy bảo đảm việc bảo vệ bot không chặn nguồn cấp của bạn. Để kiểm tra, hãy chạy lệnh sau và tìm mã 200:

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Để Mera ngừng đọc, hãy lọc User-Agent đó hoặc viết đến publishersupport@mera.news. Trình tải này chỉ yêu cầu URL nguồn cấp của bạn và không đọc robots.txt, nên một quy tắc robots.txt sẽ không đến được nó. Trình thu thập và nguồn cấp nêu rõ Mera làm gì với văn bản trong nguồn cấp, và một công cụ riêng, được khởi chạy thủ công, dùng để tìm các trang đăng ký.

Danh sách kiểm tra

  • Quyết định bạn muốn gì cho việc huấn luyện, cho tìm kiếm bằng AI và cho việc làm căn cứ. Mỗi công ty tách chúng ra theo cách khác nhau.
  • Thêm các nhóm trình thu thập có nêu tên và nhóm __usage_ai-training vào robots.txt.
  • Đặt Google-Extended một cách có chủ đích, biết rằng nó bao quát cả huấn luyện Gemini lẫn việc làm căn cứ.
  • Quyết định về công cụ kiểm soát trong Search Console, và ghi lại lý do của bạn.
  • Công bố một tuyên bố bảo lưu quyền máy đọc được, và hỏi luật sư hình thức nào phù hợp với bạn.
  • Thêm các quy tắc ở biên và giới hạn tốc độ cho các trình thu thập bỏ qua tệp của bạn.
  • Xác nhận robots.txt và nguồn cấp của bạn trả về 200 cho các bot.
  • Sau mỗi lần đổi quy tắc, hãy thử một bài viết bằng trình đọc màn hình và chế độ đọc, và kiểm tra Googlebot bằng công cụ URL Inspection.

Nguồn