Langsung ke konten
Mera News

Panduan penerbit, bab 7

Scraping oleh AI: apa yang sebenarnya dilakukan setiap kontrol

Terakhir ditinjau November 2026

Perusahaan AI mengumpulkan berita dari web untuk melatih model dan menjawab pertanyaan, dan sebagian crawler mereka menyalin seluruh artikel. Tidak ada satu pengaturan pun yang menghentikannya. Bab ini menunjukkan apa yang dicakup setiap kontrol, cara memakainya tanpa merugikan pembaca Anda, dan posisi Mera. Ini bukan nasihat hukum.

Apa yang dilakukan setiap kontrol

KontrolYang dilakukanYang tidak dilakukan
robots.txt (RFC 9309)Meminta crawler menjauh dari jalur yang Anda sebutkanSifatnya sukarela, dan RFC menyatakan ini bukan otorisasi akses
Token __usage_ai-trainingMenyatakan preferensi menolak pelatihan AI, di robots.txtBelum menjadi standar IETF, dan hanya mencakup pelatihan. Tidak membatasi crawling dan tidak menangani konten yang sudah dikumpulkan
Google-ExtendedMengatur penggunaan konten Anda untuk pelatihan Gemini dan untuk grounding di Gemini Apps dan Vertex AITidak berpengaruh pada pencantuman atau peringkat di Google Search, dan tidak menjauhkan konten Anda dari AI Overviews atau AI Mode
nosnippet, max-snippetMembatasi teks Anda sebagai input langsung untuk AI Overviews dan AI ModeJuga menghilangkan snippet normal Anda di Search
Search Console, Search generative AIMengecualikan sebuah properti dari AI Overviews, AI Mode, dan fitur generative AI di DiscoverTidak memengaruhi pelatihan AI. Situs yang dikecualikan tidak mendapat lalu lintas atau tayangan dari fitur-fitur ini
RSL 1.0Menerbitkan ketentuan lisensi yang bisa dibaca mesin, lewat baris License: dan berkas license.xmlTidak mengubah aturan Allow atau Disallow, dan sendirian tidak memblokir apa pun
Reservasi UE (Pasal 4(3), Direktif 2019/790)Mencadangkan hak Anda terhadap text and data mining, dengan cara yang bisa dibaca mesin untuk konten daringIni pernyataan hukum, bukan pemblokiran teknis
Cloudflare Bot Preference SyncMenambahkan aturan terkelola untuk crawler AI ke robots.txt Anda, berdasarkan kebijakan akses AndaKepatuhan pada berkas itu bersifat sukarela. Pemblokiran di edge adalah kontrol berikutnya dalam tabel ini
Kebijakan akses CloudflareMemblokir crawler AI di edge, berdasarkan perilaku: Search, Agent, atau TrainingPilih setiap perilaku dengan hati-hati. Memblokir Search juga menghentikan crawler yang mengindeks halaman Anda untuk menjawab pertanyaan nanti
Batas laju WAFMembatasi permintaan per klien dalam periode tertentuPenghitung tertinggal beberapa detik, dan aturan pada bot terverifikasi bisa memengaruhi SEO

robots.txt untuk memulai

Sebutkan crawler yang ingin Anda tolak, tambahkan token bersama, dan arahkan ke lisensi Anda.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

Catatan untuk berkas ini:

  • Sajikan berkas di /robots.txt, pada setiap subdomain.
  • Sebut token secara langsung. Drafnya menyatakan grup User-agent: * tidak dianggap cocok dengannya.
  • Perusahaan menjalankan beberapa bot. GPTBot milik OpenAI untuk pelatihan dan OAI-SearchBot untuk pencarian ChatGPT. ClaudeBot milik Anthropic untuk pelatihan dan Claude-SearchBot untuk pencarian. Memblokir bot pencarian bisa mengurangi visibilitas Anda di sana, jadi pilih masing-masing dengan sengaja.
  • Pengambil yang diminta pengguna berbeda. OpenAI menyatakan aturan robots.txt mungkin tidak berlaku untuk ChatGPT-User.

Token pelatihan bersama

OpenAI, Google, Microsoft, dan Anthropic mengumumkan dukungan untuk __usage_ai-training pada 30 Oktober 2026. Token ini berasal dari Internet-Draft perorangan yang tidak memiliki kedudukan formal di IETF, dan penerapannya berbeda di tiap perusahaan.

PerusahaanStatusCatatan
AnthropicSudah mulai menerapkanDukungan di seluruh layanannya akan memerlukan waktu. Aturan yang menyebut ClaudeBot didahulukan dibanding token
OpenAIMenargetkan beberapa bulan ke depanKontrol crawler yang ada tetap berlaku
MicrosoftMulai 1 Februari 2027Juga menambahkan preferensi tingkat halaman
GoogleMenargetkan 2027, dan awal 2027 dalam dokumentasi crawler-nyaBerencana membaca token itu sebagai melarang Google-Extended, kecuali Anda menyebut Google-Extended sendiri

Google-Extended mencakup pelatihan dan grounding. Begitu Google mendukung token bersama, memakainya tanpa menyebut Google-Extended juga melepaskan grounding di Gemini Apps. Grup User-agent: Google-Extended dengan Allow: / membuat Anda tetap memenuhi syarat untuk grounding, tetapi juga mengizinkan pelatihan Gemini.

Jika Anda memakai NoArchive atau NoCache untuk memberi sinyal preferensi ke Microsoft, preferensi barunya menggantikannya, dan Microsoft berhenti membacanya seperti itu setelah 1 Maret 2027.

Ketentuan lisensi dengan RSL

RSL 1.0 terutama bergantung pada kepatuhan crawler, dan server boleh menambahkan penegakan. license.xml ini mengizinkan pencarian dengan atribusi dan melarang penggunaan AI.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

Search dan AI Overviews

Untuk membatasi teks satu halaman di AI Overviews dan AI Mode, gunakan kontrol snippet. max-snippet menetapkan panjang, dan nosnippet menghapus teksnya.

<meta name="robots" content="max-snippet:160">

Untuk seluruh situs atau satu bagian, buka Settings, lalu Search generative AI, di Search Console. Properti turunan bisa mewarisi atau menimpa pengaturan itu, dan perubahan umumnya memerlukan beberapa hari. Google menyatakan ini bukan sinyal peringkat untuk bagian Search lainnya.

Menjaga situs tetap mudah diakses saat melakukan ini

Memblokir crawler tidak boleh merusak pembaca layar, mode baca, pencarian, atau RSS feed Anda.

  • Biarkan artikel tetap berupa teks sungguhan. Teks yang digambar di canvas, diubah menjadi gambar, atau diacak di HTML gagal bagi pembaca layar dan mode baca, yang membaca halaman di browser pembaca sendiri.
  • Jauhkan CAPTCHA dari halaman baca. Catatan draf W3C menyebut CAPTCHA sering menghalangi penyandang disabilitas menyelesaikan tugas. Pilih pemeriksaan non-interaktif, dan tawarkan alternatif jika tantangan tidak bisa dihindari.
  • Lindungi pencarian. Verifikasi Googlebot lewat DNS atau rentang IP Google, dan jangan memblokirnya ketika yang Anda maksud adalah Google-Extended.
  • Jaga robots.txt tetap bisa dijangkau. Menurut RFC 9309, respons 5xx membuat crawler menganggap semuanya dilarang, dan 4xx membuatnya boleh mengambil apa saja. Kecualikan berkas itu dari aturan bot.
  • Pakai kode kesalahan secara singkat. Google menyatakan respons 500, 503, atau 429 yang berulang selama beberapa hari bisa menghapus sebuah URL dari indeksnya.
  • Kecualikan feed Anda. Tantangan browser mengembalikan halaman web, yang tidak bisa dipakai pembaca feed. Super Bot Fight Mode milik Cloudflare bisa dilewati dengan aturan kustom untuk jalur feed Anda. Bot Fight Mode, di paket Free, tidak bisa dilewati dengan cara itu.

Posisi Mera

Mera News berada di pihak penerbit dalam hal ini. Mera bukan crawler dan tidak mengambil apa pun dari halaman Anda. Beritanya hanya berasal dari RSS feed yang Anda terbitkan, yang biasanya berisi sedikit teks dan tautan kembali. Anda yang mengendalikan isinya, dan Mera menampilkan judul berita lalu mengarahkan pembaca kepada Anda. Crawler konten penuh adalah masalah yang dibahas bab ini.

Pengambil feed Mera mengenalkan diri sebagai MeraNewsBot/1.0 (mera.news/bot), jadi pastikan perlindungan bot tidak memblokir feed Anda. Untuk mengujinya, jalankan ini dan cari 200:

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Untuk berhenti dari Mera, saring User-Agent itu atau tulis ke publishersupport@mera.news. Pengambil hanya meminta URL feed Anda dan tidak membaca robots.txt, jadi aturan robots.txt tidak akan menjangkaunya. Crawler dan feed menjelaskan apa yang dilakukan Mera dengan teks feed, dan alat terpisah, yang dijalankan manual, yang mencari halaman berlangganan.

Daftar periksa

  • Tentukan apa yang Anda inginkan untuk pelatihan, pencarian AI, dan grounding. Setiap perusahaan memisahkannya dengan cara berbeda.
  • Tambahkan grup crawler bernama dan grup __usage_ai-training ke robots.txt.
  • Atur Google-Extended dengan sengaja, dengan mengetahui bahwa ia mencakup pelatihan Gemini dan grounding.
  • Putuskan soal kontrol Search Console, dan catat alasan Anda.
  • Terbitkan reservasi hak yang bisa dibaca mesin, dan tanyakan kepada penasihat hukum bentuk mana yang cocok bagi Anda.
  • Tambahkan aturan edge dan batas laju untuk crawler yang mengabaikan berkas Anda.
  • Pastikan robots.txt dan feed Anda mengembalikan 200 kepada bot.
  • Setelah setiap perubahan aturan, uji sebuah artikel dengan pembaca layar dan mode baca, dan periksa Googlebot dengan alat URL Inspection.

Sumber