Cloudflare updates robots.txt to let sites block AI scraping while allowing search indexing and charging for crawls. Cloudflare actualiza robots.txt para permitir que los sitios bloqueen el scraping de IA mientras permiten la indexación de búsquedas y cobran por rastreos.

Cloudflare has updated the robots.txt protocol with new AI controls, allowing website owners to block AI scraping for training while still permitting search indexing and enabling pay-per-crawl fees. Cloudflare ha actualizado el protocolo robots.txt con nuevos controles de IA, lo que permite a los propietarios de sitios web bloquear el raspado de IA para la capacitación, al tiempo que permite la indexación de búsquedas y permite tarifas de pago por rastreo. The Content Signals Policy introduces directives like “noai” and monetization options, aiming to give publishers more control over how their content is used. La política de señales de contenido introduce directivas como "noai" y opciones de monetización, con el objetivo de dar a los editores un mayor control sobre cómo se utiliza su contenido. While the tools are free for Cloudflare customers and include enhanced monitoring, skepticism remains over voluntary compliance, as many AI bots ignore robots.txt. Si bien las herramientas son gratuitas para los clientes de Cloudflare e incluyen un monitoreo mejorado, el escepticismo persiste sobre el cumplimiento voluntario, ya que muchos bots de IA ignoran robots.txt. Critics stress the need for enforceable legal standards, warning that self-regulation alone won’t protect creators from unauthorized data use. Los críticos destacan la necesidad de normas legales exigibles, advirtiendo que la autorregulación por sí sola no protegerá a los creadores del uso no autorizado de datos.