Saltar al contenido
Mera News

Guía para editores, capítulo 7

Extracción de contenido por IA: qué hace realmente cada control

Última revisión: noviembre de 2026

Las empresas de IA recopilan noticias de la web para entrenar modelos y responder preguntas, y algunos de sus rastreadores copian artículos enteros. Ningún ajuste por sí solo lo impide. Este capítulo muestra qué cubre cada control, cómo usarlos sin perjudicar a tus lectores y qué postura tiene Mera. No es asesoramiento jurídico.

Qué hace cada control

ControlQué haceQué no hace
robots.txt (RFC 9309)Pide a los rastreadores que no entren en las rutas que indiquesEs voluntario, y la RFC dice que no es una autorización de acceso
Token __usage_ai-trainingExpresa una preferencia contra el entrenamiento de IA, en robots.txtTodavía no es un estándar de la IETF y cubre solo el entrenamiento. No limita el rastreo ni trata el contenido ya recopilado
Google-ExtendedGestiona el uso de tu contenido para el entrenamiento de Gemini y para la fundamentación en Gemini Apps y Vertex AINo afecta a la inclusión ni al posicionamiento en la Búsqueda de Google, y no mantiene tu contenido fuera de las Vistas creadas con IA ni del Modo IA
nosnippet, max-snippetLimitan tu texto como entrada directa para las Vistas creadas con IA y el Modo IATambién te cuestan los fragmentos normales en la Búsqueda
Search Console, IA generativa en la BúsquedaExcluye una propiedad de las Vistas creadas con IA, el Modo IA y las funciones de IA generativa en DiscoverNo afecta al entrenamiento de IA. Los sitios excluidos no reciben tráfico ni impresiones de estas funciones
RSL 1.0Publica términos de licencia legibles por máquinas, mediante una línea License: y un archivo license.xmlNo cambia las reglas Allow ni Disallow y, por sí solo, no bloquea nada
Reserva de la UE (art. 4(3), Directiva 2019/790)Reserva tus derechos frente a la minería de textos y datos, por medios legibles por máquinas para el contenido en líneaEs una declaración legal y no un bloqueo técnico
Cloudflare Bot Preference SyncAñade a tu robots.txt reglas gestionadas para rastreadores de IA, según tus políticas de accesoEl cumplimiento del archivo es voluntario. El bloqueo en el borde es el siguiente control de esta tabla
Políticas de acceso de CloudflareBloquea rastreadores de IA en el borde, por comportamiento: Búsqueda, Agente o EntrenamientoElige cada comportamiento con cuidado. Bloquear Búsqueda también detiene a los rastreadores que indexan tus páginas para responder preguntas más tarde
Límites de frecuencia del WAFLimitan las solicitudes por cliente durante un periodo fijoLos contadores se retrasan unos segundos, y las reglas sobre bots verificados pueden afectar al SEO

Un robots.txt de partida

Nombra los rastreadores que quieres mantener fuera, añade el token compartido y apunta a tu licencia.

License: https://example.com/license.xml

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /

User-agent: __usage_ai-training
Disallow: /

User-agent: *
Allow: /

Notas sobre este archivo:

  • Sirve el archivo en /robots.txt, en cada subdominio.
  • Nombra el token directamente. El borrador dice que un grupo User-agent: * no cuenta como coincidencia con él.
  • Las empresas ejecutan varios bots. GPTBot de OpenAI es para entrenamiento y OAI-SearchBot es para la búsqueda de ChatGPT. ClaudeBot de Anthropic es para entrenamiento y Claude-SearchBot es para la búsqueda. Bloquear un bot de búsqueda puede reducir tu visibilidad en ese servicio, así que elige cada uno a propósito.
  • Los sistemas de obtención solicitados por el usuario son distintos. OpenAI dice que las reglas de robots.txt pueden no aplicarse a ChatGPT-User.

El token compartido de entrenamiento

OpenAI, Google, Microsoft y Anthropic anunciaron su apoyo a __usage_ai-training el 30 de octubre de 2026. Procede de un Internet-Draft individual sin estatus formal en la IETF, y el despliegue varía según la empresa.

EmpresaEstadoNota
AnthropicHa empezado a implementarloLlevará tiempo extender el apoyo a todos sus servicios. Una regla que nombre a ClaudeBot tiene prioridad sobre el token
OpenAIApunta a los próximos mesesLos controles de rastreador existentes se mantienen
MicrosoftDesde el 1 de febrero de 2027También añade preferencias a nivel de página
GoogleApunta a 2027, y a principios de 2027 en la documentación de su rastreadorPrevé leer el token como una prohibición de Google-Extended, salvo que nombres Google-Extended tú mismo

Google-Extended cubre tanto el entrenamiento como la fundamentación. Cuando Google admita el token compartido, usarlo sin nombrar Google-Extended también renuncia a la fundamentación en Gemini Apps. Un grupo User-agent: Google-Extended con Allow: / te mantiene apto para la fundamentación, pero también permite el entrenamiento de Gemini.

Si usas NoArchive o NoCache para señalar preferencias a Microsoft, sus nuevas preferencias los sustituyen, y dejará de leerlos así después del 1 de marzo de 2027.

Términos de licencia con RSL

RSL 1.0 se basa sobre todo en el cumplimiento por parte de los rastreadores, y los servidores pueden añadir su aplicación. Este license.xml permite la búsqueda con atribución y prohíbe los usos de IA.

<rsl xmlns="https://rslstandard.org/rsl">
  <content url="/">
    <license>
      <permits type="usage">search</permits>
      <prohibits type="usage">ai-all</prohibits>
      <payment type="attribution"/>
    </license>
  </content>
</rsl>

Búsqueda y Vistas creadas con IA

Para limitar el texto de una página en las Vistas creadas con IA y el Modo IA, usa un control de fragmentos. max-snippet fija una longitud y nosnippet elimina el texto.

<meta name="robots" content="max-snippet:160">

Para un sitio o sección completos, ve a Configuración y luego a IA generativa en la Búsqueda, en Search Console. Una propiedad secundaria puede heredar o anular el ajuste, y los cambios suelen tardar unos días. Google dice que no es una señal de posicionamiento para otras partes de la Búsqueda.

Mantener el sitio accesible mientras lo haces

Bloquear rastreadores no debe romper los lectores de pantalla, los modos de lectura, la búsqueda ni tu feed RSS.

  • Mantén los artículos como texto real. El texto dibujado en un canvas, convertido en imágenes o desordenado en el HTML falla en los lectores de pantalla y los modos de lectura, que leen la página en el propio navegador del lector.
  • Mantén los CAPTCHA fuera de las páginas de lectura. Una nota en borrador del W3C dice que los CAPTCHA suelen impedir que personas con discapacidad completen la tarea. Prefiere comprobaciones no interactivas y ofrece alternativas donde no se pueda evitar un desafío.
  • Protege la búsqueda. Verifica Googlebot por DNS o por los rangos de IP de Google, y no lo bloquees cuando lo que quieres es Google-Extended.
  • Mantén robots.txt accesible. Según la RFC 9309, una respuesta 5xx hace que un rastreador asuma que todo está prohibido, y una 4xx le permite obtener cualquier cosa. Exime al archivo de las reglas de bots.
  • Usa los códigos de error con brevedad. Google dice que las respuestas 500, 503 o 429 repetidas durante varios días pueden sacar una URL de su índice.
  • Exime tu feed. Un desafío del navegador devuelve una página web, que un lector de feeds no puede usar. El Super Bot Fight Mode de Cloudflare se puede omitir con una regla personalizada para la ruta de tu feed. El Bot Fight Mode, en el plan gratuito, no se puede omitir así.

Qué postura tiene Mera

Mera News está aquí del lado del editor. No es un rastreador y no toma nada de tus páginas. Sus noticias proceden solo del feed RSS que publicas, que suele ser un poco de texto y un enlace de vuelta. Tú controlas lo que contiene, y Mera muestra el titular y envía al lector a tu sitio. Los rastreadores de contenido completo son el problema que aborda este capítulo.

El sistema que obtiene los feeds se identifica como MeraNewsBot/1.0 (mera.news/bot), así que asegúrate de que la protección contra bots no bloquee tu feed. Para probarlo, ejecuta esto y busca 200:

curl -s -o /dev/null -w "%{http_code}\n" -A "MeraNewsBot/1.0 (+https://mera.news/bot)" https://example.com/feed.xml

Para dejar Mera, filtra ese User-Agent o escribe a publishersupport@mera.news. El sistema solo solicita la URL de tu feed y no lee robots.txt, así que una regla de robots.txt no lo alcanzará. Rastreador y feeds detalla qué hace Mera con el texto de los feeds y una herramienta aparte, iniciada a mano, que busca páginas de suscripción.

Lista de comprobación

  • Decide qué quieres para el entrenamiento, para la búsqueda con IA y para la fundamentación. Cada empresa los separa de forma distinta.
  • Añade a robots.txt grupos de rastreadores con nombre y el grupo __usage_ai-training.
  • Configura Google-Extended a propósito, sabiendo que cubre tanto el entrenamiento de Gemini como la fundamentación.
  • Decide sobre el control de Search Console y anota tu motivo.
  • Publica una reserva de derechos legible por máquinas y pregunta a un asesor qué forma te conviene.
  • Añade reglas en el borde y límites de frecuencia para los rastreadores que ignoren tu archivo.
  • Confirma que robots.txt y tu feed devuelven 200 a los bots.
  • Tras cada cambio de reglas, prueba un artículo con un lector de pantalla y un modo de lectura, y revisa Googlebot con la herramienta de inspección de URL.

Fuentes