İçeriğe geç
Mera News

Yayıncı rehberi, bölüm 7

Yapay zekâ ile kazıma: her denetim gerçekte ne yapar

Son gözden geçirme: Kasım 2026

Yapay zekâ şirketleri modelleri eğitmek ve soruları yanıtlamak için web'den haber toplar ve bazı tarayıcıları makalelerin tamamını kopyalar. Hiçbir tek ayar bunu durdurmaz. Bu bölüm her denetimin neyi kapsadığını, okurlarınıza zarar vermeden onları nasıl kullanacağınızı ve Mera'nın nerede durduğunu gösterir. Hukuki tavsiye değildir.

Her denetim ne yapar

DenetimNe yaparNe yapmaz
robots.txt (RFC 9309)Tarayıcılardan adını verdiğiniz yollara girmemelerini isterGönüllüdür ve RFC bunun erişim yetkisi olmadığını söyler
__usage_ai-training jetonurobots.txt içinde yapay zekâ eğitimine karşı bir tercih belirtirHenüz bir IETF standardı değildir ve yalnızca eğitimi kapsar. Taramayı sınırlamaz ve zaten toplanmış içeriği ele almaz
Google-Extendedİçeriğinizin Gemini eğitimi ile Gemini Apps ve Vertex AI'daki dayanak için kullanımını yönetirGoogle Arama'ya dahil edilmenizi veya sıralamanızı etkilemez ve içeriğinizi AI Overviews veya AI Mode'un dışında tutmaz
nosnippet, max-snippetMetninizin AI Overviews ve AI Mode için doğrudan girdi olarak kullanımını sınırlarAramada normal snippet'lerinizi de kaybettirir
Search Console, Search generative AIBir mülkü AI Overviews, AI Mode ve Discover'daki üretken yapay zekâ özelliklerinden hariç tutarYapay zekâ eğitimini etkilemez. Hariç tutulan siteler bu özelliklerden trafik veya gösterim almaz
RSL 1.0License: satırı ve bir license.xml dosyasıyla makine tarafından okunabilir lisans koşulları yayımlarAllow veya Disallow kurallarını değiştirmez ve tek başına hiçbir şeyi engellemez
AB çekincesi (Md. 4(3), Directive 2019/790)Çevrimiçi içerik için makine tarafından okunabilir yollarla metin ve veri madenciliğine karşı haklarınızı saklı tutarHukuki bir beyandır, teknik bir engel değildir
Cloudflare Bot Preference SyncErişim politikalarınıza dayanarak robots.txt dosyanıza yapay zekâ tarayıcıları için yönetilen kurallar eklerDosyaya uyum gönüllüdür. Uç noktada engelleme bu tablodaki bir sonraki denetimdir
Cloudflare erişim politikalarıYapay zekâ tarayıcılarını uçta davranışa göre engeller: Search, Agent veya TrainingHer davranışı özenle seçin. Search'ü engellemek, daha sonra soruları yanıtlamak için sayfalarınızı dizine ekleyen tarayıcıları da durdurur
WAF hız sınırlarıBelirli bir süre içinde istemci başına istekleri sınırlarSayaçlar birkaç saniye geriden gelir ve doğrulanmış botlara uygulanan kurallar SEO'yu etkileyebilir

Başlangıç için bir robots.txt

Dışarıda tutmak istediğiniz tarayıcıların adını verin, ortak jetonu ekleyin ve lisansınıza işaret edin.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

Bu dosya hakkında notlar:

  • Dosyayı /robots.txt adresinde, her alt alan adında sunun.
  • Jetonu doğrudan adlandırın. Taslak, bir User-agent: * grubunun onunla eşleşmiş sayılmayacağını söyler.
  • Şirketler birden fazla bot çalıştırır. OpenAI'ın GPTBot'u eğitim, OAI-SearchBot'u ChatGPT araması içindir. Anthropic'in ClaudeBot'u eğitim, Claude-SearchBot'u arama içindir. Bir arama botunu engellemek orada görünürlüğünüzü azaltabilir; bu yüzden her birini bilerek seçin.
  • Kullanıcı isteğiyle getirenler farklıdır. OpenAI, robots.txt kurallarının ChatGPT-User için geçerli olmayabileceğini söyler.

Ortak eğitim jetonu

OpenAI, Google, Microsoft ve Anthropic, __usage_ai-training desteğini 30 Ekim 2026'da duyurdu. Jeton, IETF'de resmi bir statüsü olmayan bireysel bir Internet-Draft'tan gelir ve kullanıma alma şirketten şirkete değişir.

ŞirketDurumNot
AnthropicUygulamaya başladıHizmetlerinin tamamında destek zaman alacak. ClaudeBot'u adlandıran bir kural jetona göre önceliklidir
OpenAIÖnümüzdeki aylar hedefleniyorMevcut tarayıcı denetimleri yerinde kalır
Microsoft1 Şubat 2027'den itibarenSayfa düzeyinde tercihler de ekler
Google2027 hedefleniyor, tarayıcı belgelerinde 2027 başıSiz Google-Extended'i kendiniz adlandırmadıkça jetonu Google-Extended'e izin vermemek olarak okumayı planlıyor

Google-Extended hem eğitimi hem dayanağı kapsar. Google ortak jetonu desteklediğinde, Google-Extended'i adlandırmadan onu kullanmak Gemini Apps'teki dayanağı da bırakmak anlamına gelir. Allow: / içeren bir User-agent: Google-Extended grubu sizi dayanak için uygun tutar, ancak Gemini eğitimine de izin verir.

Microsoft'a tercih bildirmek için NoArchive veya NoCache kullanıyorsanız, yeni tercihleri onların yerini alır ve 1 Mart 2027'den sonra onları bu şekilde okumayı bırakır.

RSL ile lisans koşulları

RSL 1.0 esas olarak tarayıcıların uyumuna dayanır ve sunucular uygulama zorlaması ekleyebilir. Bu license.xml, atıfla aramaya izin verir ve yapay zekâ kullanımlarını yasaklar.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

Arama ve AI Overviews

Bir sayfanın metnini AI Overviews ve AI Mode'da sınırlamak için bir snippet denetimi kullanın. max-snippet bir uzunluk belirler, nosnippet metni kaldırır.

<meta name="robots" content="max-snippet:160">

Tüm bir site veya bölüm için Search Console'da Ayarlar, ardından Search generative AI bölümüne gidin. Bir alt mülk ayarı devralabilir veya geçersiz kılabilir ve değişiklikler genellikle birkaç gün sürer. Google bunun Aramanın diğer bölümleri için bir sıralama sinyali olmadığını söyler.

Bunu yaparken siteyi erişilebilir tutmak

Tarayıcıları engellemek ekran okuyucuları, okuma modlarını, aramayı veya RSS beslemenizi bozmamalıdır.

  • Makaleleri gerçek metin olarak tutun. Bir tuvale çizilen, görsele dönüştürülen veya HTML içinde karıştırılan metin, sayfayı okurun kendi tarayıcısında okuyan ekran okuyucularda ve okuma modlarında başarısız olur.
  • CAPTCHA'ları okuma sayfalarından uzak tutun. Bir W3C taslak notu, CAPTCHA'ların engelli kişilerin görevi tamamlamasını çoğu zaman engellediğini söyler. Etkileşimsiz denetimleri tercih edin ve bir sınamadan kaçınılamayacak yerlerde alternatifler sunun.
  • Aramayı koruyun. Googlebot'u DNS veya Google'ın IP aralıklarıyla doğrulayın ve Google-Extended'i kastettiğinizde onu engellemeyin.
  • robots.txt dosyasını erişilebilir tutun. RFC 9309 uyarınca, bir 5xx yanıtı tarayıcının her şeyin yasak olduğunu varsaymasına, bir 4xx ise her şeyi getirebilmesine yol açar. Dosyayı bot kurallarından muaf tutun.
  • Hata kodlarını kısa süre kullanın. Google, birkaç gün boyunca tekrarlanan 500, 503 veya 429 yanıtlarının bir URL'yi dizininden düşürebileceğini söyler.
  • Beslemenizi muaf tutun. Bir tarayıcı sınaması, bir besleme okuyucunun kullanamayacağı bir web sayfası döndürür. Cloudflare'in Super Bot Fight Mode'u, besleme yolunuz için özel bir kuralla atlanabilir. Free planındaki Bot Fight Mode bu şekilde atlanamaz.

Mera nerede duruyor

Mera News burada yayıncının yanındadır. Bir tarayıcı değildir ve sayfalarınızdan hiçbir şey almaz. Haberleri yalnızca yayımladığınız RSS beslemesinden gelir; bu da genellikle biraz metin ve geri bir bağlantıdır. İçine ne gireceğini siz denetlersiniz ve Mera başlığı gösterip okuru size yönlendirir. Bu bölümün ele aldığı sorun, tam içerik tarayıcılarıdır.

Besleme getirici kendini MeraNewsBot/1.0 (mera.news/bot) olarak tanıtır; bu yüzden bot korumasının beslemenizi engellemediğinden emin olun. Test etmek için bunu çalıştırın ve 200 arayın:

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Mera'dan ayrılmak için o User-Agent'ı filtreleyin veya publishersupport@mera.news adresine yazın. Getirici yalnızca besleme URL'nizi ister ve robots.txt dosyasını okumaz; bu yüzden bir robots.txt kuralı ona ulaşmaz. Tarayıcı ve beslemeler, Mera'nın besleme metniyle ne yaptığını ve abonelik sayfalarını arayan, elle başlatılan ayrı bir aracı ortaya koyar.

Kontrol listesi

  • Eğitim, yapay zekâ araması ve dayanak için ne istediğinize karar verin. Her şirket bunları farklı ayırır.
  • robots.txt dosyasına adlandırılmış tarayıcı gruplarını ve __usage_ai-training grubunu ekleyin.
  • Google-Extended'i, hem Gemini eğitimini hem dayanağı kapsadığını bilerek, bilinçli biçimde ayarlayın.
  • Search Console denetimine karar verin ve nedeninizi kaydedin.
  • Makine tarafından okunabilir bir hak çekincesi yayımlayın ve hangi biçimin size uyduğunu hukuk danışmanınıza sorun.
  • Dosyanızı yok sayan tarayıcılar için uç kuralları ve hız sınırları ekleyin.
  • robots.txt dosyasının ve beslemenizin botlara 200 döndürdüğünü doğrulayın.
  • Her kural değişikliğinden sonra bir makaleyi ekran okuyucu ve okuma moduyla test edin ve Googlebot'u URL Denetimi aracıyla kontrol edin.

Kaynaklar