AI स्क्रैपिंग: हर कंट्रोल असल में क्या करता है

पिछली समीक्षा नवंबर 2026

AI कंपनियां मॉडल को ट्रेन करने और सवालों के जवाब देने के लिए वेब से ख़बरें जुटाती हैं, और उनके कुछ क्रॉलर पूरे लेख कॉपी कर लेते हैं। कोई एक सेटिंग इसे नहीं रोकती। इस अध्याय में बताया गया है कि हर कंट्रोल क्या कवर करता है, उन्हें अपने पाठकों को नुक़सान पहुंचाए बिना कैसे इस्तेमाल करें, और इसमें Mera कहां खड़ा है। यह कानूनी सलाह नहीं है।

हर कंट्रोल क्या करता है

शुरुआती robots.txt

जिन क्रॉलरों को बाहर रखना है उनके नाम लिखें, साझा टोकन जोड़ें, और अपने लाइसेंस की ओर इशारा करें।

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

इस फ़ाइल पर कुछ बातें:

• फ़ाइल को /robots.txt पर परोसें, हर सबडोमेन पर।
• टोकन का नाम सीधे लिखें। ड्राफ़्ट कहता है कि User-agent: * वाला समूह उससे मेल खाता नहीं गिना जाता।
• कंपनियां कई बॉट चलाती हैं। OpenAI का GPTBot ट्रेनिंग के लिए है और OAI-SearchBot ChatGPT सर्च के लिए। Anthropic का ClaudeBot ट्रेनिंग के लिए है और Claude-SearchBot सर्च के लिए। सर्च बॉट को ब्लॉक करने से वहां आपकी दृश्यता घट सकती है, इसलिए हर एक को सोच-समझकर चुनें।
• उपयोगकर्ता के कहने पर फ़ेच करने वाले टूल अलग हैं। OpenAI कहता है कि robots.txt के नियम ChatGPT-User पर लागू नहीं हो सकते।

साझा ट्रेनिंग टोकन

OpenAI, Google, Microsoft और Anthropic ने 30 अक्टूबर 2026 को __usage_ai-training के समर्थन की घोषणा की। यह एक व्यक्तिगत Internet-Draft से आया है जिसकी IETF में कोई औपचारिक हैसियत नहीं है, और रोलआउट हर कंपनी का अलग है।

Google-Extended ट्रेनिंग और ग्राउंडिंग दोनों को कवर करता है। जब Google साझा टोकन को सपोर्ट करने लगे, तो Google-Extended का नाम लिए बिना उसका उपयोग करने से Gemini Apps में ग्राउंडिंग भी छूट जाती है। Allow: / वाला User-agent: Google-Extended समूह आपको ग्राउंडिंग के लिए पात्र रखता है, लेकिन वह Gemini ट्रेनिंग की भी अनुमति देता है।

अगर आप Microsoft को अपनी पसंद बताने के लिए NoArchive या NoCache इस्तेमाल करते हैं, तो उसकी नई पसंद उनकी जगह ले लेती हैं, और वह 1 मार्च 2027 के बाद उन्हें उस तरह पढ़ना बंद कर देता है।

RSL के साथ लाइसेंस शर्तें

RSL 1.0 मुख्य रूप से क्रॉलरों के पालन पर निर्भर है, और सर्वर प्रवर्तन जोड़ सकते हैं। यह license.xml एट्रिब्यूशन के साथ सर्च की अनुमति देती है और AI उपयोगों पर रोक लगाती है।

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

Search और AI Overviews

AI Overviews और AI Mode में किसी एक पेज के टेक्स्ट को सीमित करने के लिए स्निपेट कंट्रोल इस्तेमाल करें। max-snippet लंबाई तय करता है, और nosnippet टेक्स्ट हटा देता है।

<meta name="robots" content="max-snippet:160">

पूरी साइट या किसी सेक्शन के लिए, Search Console में Settings, फिर Search generative AI पर जाएं। चाइल्ड प्रॉपर्टी सेटिंग को विरासत में ले सकती है या उसे बदल सकती है, और बदलावों में आम तौर पर कुछ दिन लगते हैं। Google कहता है कि यह Search के बाक़ी हिस्सों के लिए रैंकिंग सिग्नल नहीं है।

यह सब करते हुए साइट को सुलभ रखना

क्रॉलर ब्लॉक करने से स्क्रीन रीडर, रीडर मोड, सर्च या आपकी RSS फ़ीड नहीं टूटनी चाहिए।

• लेखों को असली टेक्स्ट रखें। कैनवास पर बना, इमेज में बदला हुआ या HTML में उलझाया हुआ टेक्स्ट स्क्रीन रीडर और रीडर मोड में विफल होता है, जो पेज को पाठक के अपने ब्राउज़र में पढ़ते हैं।
• CAPTCHA को पढ़ने वाले पेजों से दूर रखें। एक W3C ड्राफ़्ट नोट कहता है कि CAPTCHA अक्सर विकलांग लोगों को काम पूरा करने से रोकते हैं। गैर-इंटरैक्टिव जांचों को प्राथमिकता दें, और जहां चुनौती से बचा न जा सके, वहां विकल्प दें।
• सर्च को सुरक्षित रखें। Googlebot को DNS से या Google की IP रेंज से सत्यापित करें, और जब आपका मतलब Google-Extended से हो तब उसे ब्लॉक न करें।
• robots.txt को पहुंच में रखें। RFC 9309 के तहत, 5xx जवाब से क्रॉलर मान लेता है कि सब कुछ अस्वीकृत है, और 4xx उसे कुछ भी फ़ेच करने देता है। फ़ाइल को बॉट नियमों से छूट दें।
• एरर कोड कम समय के लिए इस्तेमाल करें। Google कहता है कि कई दिनों तक बार-बार 500, 503 या 429 जवाब किसी URL को उसके इंडेक्स से हटा सकते हैं।
• अपनी फ़ीड को छूट दें। ब्राउज़र चुनौती एक वेब पेज लौटाती है, जिसे फ़ीड रीडर इस्तेमाल नहीं कर सकता। Cloudflare के Super Bot Fight Mode को आपकी फ़ीड के पाथ के लिए एक कस्टम नियम से छोड़ा जा सकता है। Free प्लान का Bot Fight Mode इस तरह नहीं छोड़ा जा सकता।

Mera यहां कहां खड़ा है

Mera News यहां प्रकाशक के पक्ष में है। यह क्रॉलर नहीं है और आपके पेजों से कुछ नहीं लेता। इसकी ख़बरें केवल उस RSS फ़ीड से आती हैं जो आप प्रकाशित करते हैं, जिसमें आम तौर पर थोड़ा टेक्स्ट और वापस आपकी ओर एक लिंक होता है। उसमें क्या जाए, यह आप तय करते हैं, और Mera हेडलाइन दिखाता है और पाठक को आपके पास भेजता है। पूरे कंटेंट वाले क्रॉलर वह समस्या हैं जिसे यह अध्याय संबोधित करता है।

फ़ीड फ़ेचर अपनी पहचान MeraNewsBot/1.0 (mera.news/bot) के रूप में बताता है, इसलिए पक्का करें कि बॉट सुरक्षा आपकी फ़ीड को ब्लॉक न करे। इसे परखने के लिए, यह चलाएं और 200 देखें:

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Mera से बाहर होने के लिए, उस User-Agent को फ़िल्टर करें या publishersupport@mera.news पर लिखें। फ़ेचर केवल आपकी फ़ीड का URL मांगता है और robots.txt नहीं पढ़ता, इसलिए robots.txt का नियम उस तक नहीं पहुंचेगा। क्रॉलर और फ़ीड बताता है कि Mera फ़ीड के टेक्स्ट के साथ क्या करता है, और एक अलग टूल के बारे में, जो हाथ से शुरू किया जाता है और सब्सक्रिप्शन पेज खोजता है।

चेकलिस्ट

• तय करें कि ट्रेनिंग, AI सर्च और ग्राउंडिंग के लिए आप क्या चाहते हैं। हर कंपनी इन्हें अलग तरह से बांटती है।
• robots.txt में नाम वाले क्रॉलर समूह और __usage_ai-training समूह जोड़ें।
• Google-Extended को सोच-समझकर सेट करें, यह जानते हुए कि वह Gemini ट्रेनिंग और ग्राउंडिंग दोनों को कवर करता है।
• Search Console के कंट्रोल पर फ़ैसला करें, और अपना कारण दर्ज करें।
• मशीन-पठनीय अधिकार आरक्षण प्रकाशित करें, और अपने वकील से पूछें कि कौन सा रूप आपके लिए ठीक है।
• जो क्रॉलर आपकी फ़ाइल को नज़रअंदाज़ करते हैं उनके लिए एज नियम और रेट लिमिट जोड़ें।
• पुष्टि करें कि robots.txt और आपकी फ़ीड बॉट को 200 लौटाती हैं।
• हर नियम बदलने के बाद, एक लेख को स्क्रीन रीडर और रीडर मोड के साथ टेस्ट करें, और URL Inspection टूल से Googlebot को जांचें।

स्रोत

• RFC 9309: Robots Exclusion Protocol, IETF
• Machine-Readable Training Preference Signal, Internet-Draft, IETF Datatracker
• AIPREF working group documents, IETF Datatracker
• Anthropic implementation note, IETF ai-control mailing list
• Supporting a shared AI training control for websites, Google Search Central Blog
• Google's common crawlers, Google
• AI features and your website, Google Search Central
• Robots Meta Tags Specifications, Google Search Central
• Search generative AI control, Search Console Help
• New opportunities, control and insights for website owners, Google
• Verify Requests from Google Crawlers and Fetchers, Google
• Reduce Google Crawl Rate, Google Search Central
• Your content, your choice, Bing Blog
• Making it easier for websites to express AI training preferences, OpenAI
• Overview of OpenAI Crawlers, OpenAI
• Does Anthropic crawl data from the web, and how can site owners block the crawler?, Anthropic
• CCBot, Common Crawl
• Really Simple Licensing (RSL) 1.0 Specification, RSL Standard
• Directive (EU) 2019/790 on copyright in the Digital Single Market, Official Journal of the EU, Publications Office
• robots.txt setting, Cloudflare docs
• AI Crawler and Agent access policies, Cloudflare docs
• Rate limiting rules, Cloudflare docs
• Get started with Bot Fight Mode, Cloudflare docs
• Configure a custom rule with the Skip action, Cloudflare docs
• Inaccessibility of CAPTCHA, W3C