Cloudflare redefine el juego: bloquea rastreadores de IA por defecto y lanza un modelo de pago por visita

Cloudflare, proveedor de infraestructura de Internet que cubre aproximadamente el 20 % de la web, ha dado un paso decisivo en la protección del contenido digital frente a los bots de inteligencia artificial. A partir de ahora, los rastreador­es de IA serán bloqueados por defecto para todos los nuevos dominios que utilicen sus servicios, salvo que el propietario del sitio decida lo contrario. De esta forma, deja atrás el método opt-out de 2024, utilizado por más de un millón de clientes, para adoptar un modelo opt-in que da el control absoluto a los editores. Los sitios ahora podrán establecer si permiten el acceso de bots de IA, deniegan completamente o lo gestionan mediante una opción intermedia: Pay Per Crawl, actualmente en fase beta. Cloudflare introduce así un cambio de paradigma: ya no basta con bloquear o permitir; el contenido web ahora puede monetizarse por su uso por parte de IA, en un intento de devolver poder y control a los creadores, y establecer un nuevo modelo sostenible en la era de la inteligencia artificial.

Con este sistema, los propietarios de sitio pueden cobrar por cada visita realizada por un bot de IA. Si el bot no puede o no quiere pagar, se le devuelve una respuesta HTTP 402 indicando el precio, o se le deniega el acceso mediante un HTTP 403, incluso sin posibilidad de pago. Cloudflare actúa como intermediario, gestionando la facturación y distribución de ingresos a los autores del contenido.

¿Qué significa para los medios?

• El despliegue del bloqueo predeterminado ya ha sido adoptado por medios como Time, Condé Nast, The Atlantic y Fortune, que han restringido el rastreo automático mediante Cloudflare.

• La medida responde a la caída del tráfico referido desde buscadores debido al auge de respuestas directas de IA como ChatGPT o Gemini, que consumen contenidos sin redirigir a las fuentes originales.

• Ejecutivos como Roger Lynch (Condé Nast) y Neil Vogel (Dotdash Meredith) han elogiado la iniciativa como un avance hacia una «economía de valor justo» en línea, donde los creadores reciban compensación o control por el uso de su contenido.

Aunque el sistema aporta control a los creadores, algunos analistas advierten que el modelo de flat‑rate podría desalentar a empresas de IA y simplificar el valor del contenido, dificultando su viabilidad. Además, actores maliciosos podrían evadir estas barreras mediante proxies o bots camuflados. También se plantean preocupaciones sobre cómo estas medidas podrían afectar actividades legítimas como la investigación académica o la preservación digital.

Matthew Prince, CEO y cofundador de Cloudflare, ha instado a otras grandes empresas de IA, como Google, OpenAI o Meta, a adoptar protocolos similares de bloqueo o de autorización clara sin comprometer los resultados de búsqueda tradicionales. La compañía también ha desarrollado otras herramientas como AI Labyrinth, que capta bots no autorizados mediante contenido falso, y nuevas formas de identificación de crawlers mediante autenticación de clave pública.