Cloudflare anunció una nueva designación denominada «Accountable» (responsable) para clasificar a los rastreadores de inteligencia artificial, junto con el lanzamiento de una función llamada Disallow AI Training, que permite a cualquier sitio web rechazar que su contenido se use para entrenar modelos de IA sin perder por ello su presencia en los resultados de búsqueda. La medida, informada por la compañía con sede en San Francisco, busca resolver una tensión que, según Cloudflare, había obligado a los propietarios de sitios web a elegir entre ser encontrados por los buscadores o proteger su contenido del entrenamiento de sistemas de IA.
Según cifras difundidas por la propia empresa, los llamados rastreadores de uso mixto —aquellos que recopilan contenido tanto para indexar búsquedas como para entrenar modelos de IA— representan actualmente el 36.6% del tráfico de rastreadores verificados en la red de Cloudflare, lo que los convierte en la categoría individual más grande de ese tipo de tráfico. La compañía también señaló que menos del 1% de los propietarios de sitios bloquea los rastreadores de búsqueda, mientras que un 17% restringe el entrenamiento de IA, un dato que, según Cloudflare, refleja que la mayoría de los sitios sigue queriendo ser hallado en buscadores aun cuando prefiere excluirse del entrenamiento.
Apple, Google y Microsoft fueron señaladas por Cloudflare como las primeras compañías en obtener la etiqueta Accountable, tras demostrar que cumplen —o se comprometieron con plazos definidos para cumplir— cuatro criterios: ofrecer una vía clara de exclusión del entrenamiento de IA mediante robots.txt o un estándar equivalente, permitir que los sitios se excluyan de los resúmenes de búsqueda generados por IA, dar visibilidad a nivel de URL sobre el uso del contenido, y confirmar públicamente que optar por no participar en el entrenamiento no afectará el posicionamiento de un sitio en la búsqueda tradicional. Los rastreadores que no cumplan estos requisitos serán bloqueados si el propietario del sitio activa la opción Block Training.
«Así es como mejoramos Internet: preservando la apertura que hace que la búsqueda sea valiosa mientras damos a las personas y empresas detrás de la web un control significativo sobre cómo se utiliza su trabajo», declaró Matthew Prince, cofundador y director ejecutivo de Cloudflare, al presentar la iniciativa.
La compañía también sustituirá su antiguo interruptor «Block AI Bots» por tres controles independientes —para búsqueda, entrenamiento de IA y agentes de IA—, además de reemplazar la función «Managed Robots.txt» por «Bot Preference Sync», que aplica automáticamente las preferencias de rastreo a todos los rastreadores compatibles.
Este anuncio se produce casi tres meses después de que Cloudflare lanzara, el 1 de julio de 2026, la segunda edición de lo que denominó «Content Independence Day», cuando presentó Pay Per Crawl y estableció el 15 de septiembre como fecha límite para que las compañías de IA separaran sus rastreadores de entrenamiento de los de búsqueda o enfrentaran bloqueos por defecto. Cloudflare, que cotiza en la Bolsa de Nueva York bajo el símbolo NET, procesa una porción significativa del tráfico global de Internet, lo que le otorga a estas políticas un alcance considerable sobre cómo interactúan los rastreadores de IA con millones de sitios web. La compañía indicó, además, que participa en el desarrollo de «ai-prefs», un estándar abierto que el Internet Engineering Task Force (IETF) trabaja para permitir que cualquier sitio exprese sus preferencias de acceso a la IA de forma estandarizada y portátil.
Impacto en el sector IT: la iniciativa consolida a Cloudflare como intermediario de facto entre editores y compañías de IA en la disputa por el uso del contenido web, en momentos en que el tráfico de rastreadores automatizados —incluidos los de IA— continúa en expansión y las empresas del sector buscan mecanismos de gobernanza que equilibren visibilidad en buscadores, control de datos y potenciales fuentes de monetización para los propietarios de sitios.
Fuente: Cloudflare | Editado por CDOL
