ข้ามไปยังเนื้อหา
Mera News

คู่มือสำหรับสำนักพิมพ์ บทที่ 7

การดึงข้อมูลโดย AI: ตัวควบคุมแต่ละอย่างทำอะไรได้จริง

ตรวจทานล่าสุด พฤศจิกายน 2026

บริษัท AI รวบรวมข่าวจากเว็บเพื่อฝึกโมเดลและตอบคำถาม และตัวรวบรวมข้อมูลของบางบริษัทคัดลอกบทความทั้งชิ้น ไม่มีการตั้งค่าเดียวที่หยุดสิ่งนี้ได้ บทนี้แสดงว่าตัวควบคุมแต่ละอย่างครอบคลุมอะไร ใช้อย่างไรโดยไม่ทำร้ายผู้อ่านของคุณ และ Mera ยืนอยู่ตรงไหน บทนี้ไม่ใช่คำปรึกษาทางกฎหมาย

ตัวควบคุมแต่ละอย่างทำอะไร

ตัวควบคุมสิ่งที่ทำสิ่งที่ไม่ทำ
robots.txt (RFC 9309)ขอให้ตัวรวบรวมข้อมูลอยู่ห่างจากเส้นทางที่คุณระบุเป็นการสมัครใจ และ RFC ระบุว่าไม่ใช่การอนุญาตให้เข้าถึง
โทเคน __usage_ai-trainingระบุความต้องการไม่ให้ใช้ฝึก AI ใน robots.txtยังไม่ใช่มาตรฐานของ IETF และครอบคลุมเฉพาะการฝึก ไม่จำกัดการรวบรวมข้อมูล และไม่ครอบคลุมเนื้อหาที่รวบรวมไปแล้ว
Google-Extendedจัดการการใช้เนื้อหาของคุณเพื่อฝึก Gemini และเพื่อ grounding ใน Gemini Apps และ Vertex AIไม่มีผลต่อการรวมอยู่ใน Google Search หรืออันดับ และไม่กันเนื้อหาของคุณออกจาก AI Overviews หรือ AI Mode
nosnippet, max-snippetจำกัดข้อความของคุณในฐานะอินพุตโดยตรงให้ AI Overviews และ AI Modeทำให้คุณเสียสนิปเพ็ตปกติใน Search ไปด้วย
Search Console, Search generative AIตัดพร็อพเพอร์ตีออกจาก AI Overviews, AI Mode และฟีเจอร์ generative AI ใน Discoverไม่มีผลต่อการฝึก AI เว็บไซต์ที่ถูกตัดออกจะไม่ได้ทราฟฟิกหรือการแสดงผลจากฟีเจอร์เหล่านี้
RSL 1.0เผยแพร่เงื่อนไขสัญญาอนุญาตที่เครื่องอ่านได้ ผ่านบรรทัด License: และไฟล์ license.xmlไม่เปลี่ยนกฎ Allow หรือ Disallow และลำพังไม่ได้บล็อกอะไร
การสงวนสิทธิ์ของ EU (มาตรา 4(3), Directive 2019/790)สงวนสิทธิ์ของคุณต่อการทำเหมืองข้อความและข้อมูล ด้วยวิธีที่เครื่องอ่านได้สำหรับเนื้อหาออนไลน์เป็นถ้อยแถลงทางกฎหมาย ไม่ใช่การบล็อกทางเทคนิค
Cloudflare Bot Preference Syncเพิ่มกฎที่จัดการให้สำหรับตัวรวบรวมข้อมูล AI ลงใน robots.txt ตามนโยบายการเข้าถึงของคุณการปฏิบัติตามไฟล์เป็นการสมัครใจ การบล็อกที่ edge คือตัวควบคุมถัดไปในตารางนี้
นโยบายการเข้าถึงของ Cloudflareบล็อกตัวรวบรวมข้อมูล AI ที่ edge ตามพฤติกรรม ได้แก่ Search, Agent หรือ Trainingเลือกแต่ละพฤติกรรมอย่างระมัดระวัง การบล็อก Search ยังหยุดตัวรวบรวมข้อมูลที่จัดทำดัชนีหน้าของคุณเพื่อตอบคำถามภายหลังด้วย
ขีดจำกัดอัตราของ WAFจำกัดจำนวนคำขอต่อไคลเอนต์ในช่วงเวลาที่กำหนดตัวนับล่าช้าไปไม่กี่วินาที และกฎกับบอตที่ยืนยันแล้วอาจกระทบ SEO

robots.txt เริ่มต้น

ระบุชื่อตัวรวบรวมข้อมูลที่ต้องการกันออก เพิ่มโทเคนที่ใช้ร่วมกัน และชี้ไปที่สัญญาอนุญาตของคุณ

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

หมายเหตุเกี่ยวกับไฟล์นี้

  • ให้บริการไฟล์ที่ /robots.txt บนทุกซับโดเมน
  • ระบุชื่อโทเคนโดยตรง ร่างระบุว่ากลุ่ม User-agent: * ไม่นับว่าตรงกับโทเคน
  • บริษัทต่าง ๆ รันบอตหลายตัว GPTBot ของ OpenAI ใช้สำหรับการฝึก และ OAI-SearchBot ใช้สำหรับการค้นหาของ ChatGPT ClaudeBot ของ Anthropic ใช้สำหรับการฝึก และ Claude-SearchBot ใช้สำหรับการค้นหา การบล็อกบอตค้นหาอาจลดการมองเห็นของคุณที่นั่น จึงควรเลือกทีละตัวอย่างตั้งใจ
  • ตัวดึงข้อมูลที่ผู้ใช้เป็นผู้ร้องขอต่างออกไป OpenAI ระบุว่ากฎของ robots.txt อาจไม่ใช้กับ ChatGPT-User

โทเคนฝึกที่ใช้ร่วมกัน

OpenAI, Google, Microsoft และ Anthropic ประกาศรองรับ __usage_ai-training เมื่อวันที่ 30 ตุลาคม 2026 โทเคนนี้มาจาก Internet-Draft ของบุคคลหนึ่งที่ไม่มีสถานะทางการใน IETF และการเปิดใช้ของแต่ละบริษัทต่างกัน

บริษัทสถานะหมายเหตุ
Anthropicเริ่มดำเนินการแล้วการรองรับทั่วทุกบริการต้องใช้เวลา กฎที่ระบุชื่อ ClaudeBot มีลำดับก่อนโทเคน
OpenAIตั้งเป้าในอีกไม่กี่เดือนข้างหน้าตัวควบคุมตัวรวบรวมข้อมูลเดิมยังคงอยู่
Microsoftตั้งแต่ 1 กุมภาพันธ์ 2027เพิ่มความต้องการระดับหน้าด้วย
Googleตั้งเป้าในปี 2027 และต้นปี 2027 ในเอกสารตัวรวบรวมข้อมูลของ Googleวางแผนอ่านโทเคนว่าเป็นการไม่อนุญาต Google-Extended เว้นแต่คุณระบุชื่อ Google-Extended เอง

Google-Extended ครอบคลุมทั้งการฝึกและ grounding เมื่อ Google รองรับโทเคนที่ใช้ร่วมกันแล้ว การใช้โทเคนโดยไม่ระบุชื่อ Google-Extended จะสละ grounding ใน Gemini Apps ด้วย กลุ่ม User-agent: Google-Extended ที่มี Allow: / ทำให้คุณยังมีสิทธิ์ได้รับ grounding แต่ก็อนุญาตการฝึก Gemini ด้วยเช่นกัน

หากคุณใช้ NoArchive หรือ NoCache เพื่อส่งสัญญาณความต้องการถึง Microsoft ความต้องการใหม่ของ Microsoft จะมาแทนที่ และ Microsoft จะเลิกอ่านค่าเหล่านั้นในลักษณะนั้นหลังวันที่ 1 มีนาคม 2027

เงื่อนไขสัญญาอนุญาตด้วย RSL

RSL 1.0 พึ่งพาการปฏิบัติตามของตัวรวบรวมข้อมูลเป็นหลัก และเซิร์ฟเวอร์อาจเพิ่มการบังคับใช้ license.xml นี้อนุญาตการค้นหาพร้อมการระบุที่มา และห้ามการใช้งานด้าน AI

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

Search และ AI Overviews

หากต้องการจำกัดข้อความของหน้าหนึ่งใน AI Overviews และ AI Mode ให้ใช้ตัวควบคุมสนิปเพ็ต max-snippet กำหนดความยาว และ nosnippet เอาข้อความออก

<meta name="robots" content="max-snippet:160">

สำหรับทั้งเว็บไซต์หรือบางส่วน ให้ไปที่ Settings แล้ว Search generative AI ใน Search Console พร็อพเพอร์ตีลูกสืบทอดหรือแทนที่การตั้งค่าได้ และการเปลี่ยนแปลงมักใช้เวลาไม่กี่วัน Google ระบุว่าไม่ใช่สัญญาณจัดอันดับสำหรับส่วนอื่นของ Search

ทำให้เว็บไซต์ยังเข้าถึงได้ขณะทำสิ่งเหล่านี้

การบล็อกตัวรวบรวมข้อมูลต้องไม่ทำให้โปรแกรมอ่านหน้าจอ โหมดอ่าน การค้นหา หรือฟีด RSS ของคุณใช้ไม่ได้

  • เก็บบทความเป็นข้อความจริง ข้อความที่วาดบน canvas แปลงเป็นรูปภาพ หรือสลับตัวอักษรใน HTML จะใช้ไม่ได้กับโปรแกรมอ่านหน้าจอและโหมดอ่าน ซึ่งอ่านหน้าในเบราว์เซอร์ของผู้อ่านเอง
  • อย่าใส่ CAPTCHA ในหน้าอ่าน บันทึกร่างของ W3C ระบุว่า CAPTCHA มักทำให้ผู้พิการทำงานให้เสร็จไม่ได้ ควรเลือกการตรวจแบบไม่ต้องโต้ตอบ และมีทางเลือกอื่นในที่ที่หลีกเลี่ยงการท้าทายไม่ได้
  • ปกป้องการค้นหา ตรวจสอบ Googlebot ด้วย DNS หรือช่วง IP ของ Google และอย่าบล็อกเมื่อคุณหมายถึง Google-Extended
  • ทำให้ robots.txt เข้าถึงได้เสมอ ตาม RFC 9309 การตอบกลับ 5xx ทำให้ตัวรวบรวมข้อมูลสันนิษฐานว่าไม่อนุญาตทุกอย่าง และ 4xx ทำให้ดึงอะไรก็ได้ ให้ยกเว้นไฟล์นี้จากกฎของบอต
  • ใช้รหัสข้อผิดพลาดเพียงชั่วคราว Google ระบุว่าการตอบกลับ 500, 503 หรือ 429 ซ้ำ ๆ เป็นเวลาหลายวันอาจทำให้ URL หลุดจากดัชนี
  • ยกเว้นฟีดของคุณ การท้าทายของเบราว์เซอร์ส่งหน้าเว็บกลับมา ซึ่งโปรแกรมอ่านฟีดใช้ไม่ได้ Super Bot Fight Mode ของ Cloudflare ข้ามได้ด้วยกฎกำหนดเองสำหรับเส้นทางฟีดของคุณ ส่วน Bot Fight Mode บนแผน Free ข้ามด้วยวิธีนั้นไม่ได้

Mera ยืนอยู่ตรงไหน

Mera News อยู่ข้างสำนักพิมพ์ในเรื่องนี้ Mera ไม่ใช่ตัวรวบรวมข้อมูลและไม่ได้เอาอะไรจากหน้าของคุณ ข่าวของ Mera มาจากฟีด RSS ที่คุณเผยแพร่เท่านั้น ซึ่งมักเป็นข้อความเล็กน้อยกับลิงก์กลับ คุณควบคุมได้ว่าในฟีดมีอะไร และ Mera แสดงพาดหัวแล้วพาผู้อ่านไปหาคุณ ตัวรวบรวมข้อมูลที่ดึงเนื้อหาเต็มคือปัญหาที่บทนี้กล่าวถึง

ตัวดึงฟีดระบุตัวตนว่า MeraNewsBot/1.0 (mera.news/bot) จึงควรตรวจให้แน่ใจว่าการป้องกันบอตไม่บล็อกฟีดของคุณ หากต้องการทดสอบ ให้รันคำสั่งนี้และมองหา 200

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

หากต้องการออกจาก Mera ให้กรอง User-Agent นั้นหรือเขียนมาที่ publishersupport@mera.news ตัวดึงฟีดขอเฉพาะ URL ฟีดของคุณและไม่อ่าน robots.txt กฎใน robots.txt จึงไม่ถึงตัวดึงฟีด ตัวรวบรวมข้อมูลและฟีดอธิบายว่า Mera ทำอะไรกับข้อความในฟีด และเครื่องมือแยกต่างหากที่เริ่มด้วยมือซึ่งหาหน้าสมัครสมาชิก

รายการตรวจสอบ

  • ตัดสินใจว่าคุณต้องการอะไรสำหรับการฝึก สำหรับการค้นหาด้วย AI และสำหรับ grounding แต่ละบริษัทแยกสามอย่างนี้ต่างกัน
  • เพิ่มกลุ่มตัวรวบรวมข้อมูลที่ระบุชื่อและกลุ่ม __usage_ai-training ใน robots.txt
  • ตั้ง Google-Extended อย่างตั้งใจ โดยรู้ว่าครอบคลุมทั้งการฝึก Gemini และ grounding
  • ตัดสินใจเรื่องตัวควบคุมใน Search Console และบันทึกเหตุผลของคุณ
  • เผยแพร่การสงวนสิทธิ์ที่เครื่องอ่านได้ และถามที่ปรึกษากฎหมายว่ารูปแบบใดเหมาะกับคุณ
  • เพิ่มกฎที่ edge และขีดจำกัดอัตราสำหรับตัวรวบรวมข้อมูลที่ไม่สนใจไฟล์ของคุณ
  • ยืนยันว่า robots.txt และฟีดของคุณตอบ 200 ให้บอต
  • หลังเปลี่ยนกฎทุกครั้ง ให้ทดสอบบทความด้วยโปรแกรมอ่านหน้าจอและโหมดอ่าน และตรวจ Googlebot ด้วยเครื่องมือ URL Inspection

แหล่งอ้างอิง