Cloudflare enfrenta bots que coletam dados para IA
A Cloudflare intensificou sua postura contra bloqueio de bots de IA, implementando medidas para proteger o conteúdo original de seus clientes. Essa ação visa mitigar o rastreamento não autorizado de sites, prática comum de IAs generativas. Adicionalmente, a empresa está testando um recurso inovador, o “Pay Per Crawl”, que permitirá aos administradores de sites definir preços para o rastreamento de seus conteúdos por serviços de IA.
O objetivo é garantir que os criadores de conteúdo sejam devidamente compensados pelo uso de seus dados. Este novo sistema está sendo introduzido gradualmente, começando com um número limitado de sites, com planos de expansão em etapas futuras. A Cloudflare busca, com essa iniciativa, equilibrar o acesso à informação com a proteção dos direitos autorais e a sustentabilidade dos sites.
A Cloudflare, conhecida por seus serviços de otimização e segurança para inúmeros sites, está em uma posição estratégica para observar e agir contra o rastreamento de bots. No passado, esses rastreadores eram utilizados primariamente por grandes empresas como Google e Microsoft para indexar páginas para seus motores de busca. Hoje, o cenário é diferente, com uma proliferação de bots que alimentam serviços de IA generativa, como ChatGPT e Google Gemini.

O problema central é que, ao contrário dos rastreadores tradicionais, os serviços de inteligência artificial coletam dados de páginas da web para gerar respostas diretas aos usuários, o que frequentemente resulta em pouco ou nenhum tráfego direcionado de volta aos sites originais. Isso impacta diretamente a receita de publicidade e vendas dos sites, tornando o modelo insustentável. A Cloudflare responde a essa ameaça com o bloqueio de bots de IA.
Diante dessa situação, a Cloudflare decidiu implementar o bloqueio de bots de IA, uma medida que visa proteger os interesses de seus clientes. A partir de agora, novos clientes serão questionados sobre sua preferência em relação ao rastreamento de seus sites por bots de IA. Os clientes existentes também terão a opção de configurar suas preferências, permitindo-lhes bloquear rastreadores específicos ou limitar o acesso a páginas que exibem anúncios.
A Cloudflare já oferece ferramentas para controlar a ação de bots de IA, mas a nova abordagem oferece um controle mais granular e personalizado. Além do bloqueio de bots de IA, a Cloudflare está introduzindo o recurso “Pay Per Crawl”. Com essa funcionalidade, os administradores de sites podem definir um preço para o rastreamento de suas páginas por serviços de IA.
Esses serviços podem, então, decidir se estão dispostos a pagar pelo acesso aos dados. Inicialmente, o “Pay Per Crawl” estará disponível para um grupo seleto de sites, mas a Cloudflare planeja expandir o acesso ao recurso em fases subsequentes. O CEO da Cloudflare, Matthew Prince, já havia alertado sobre a “morte da web” devido ao crescimento do “zero clique”, onde os usuários encontram informações sem precisar visitar os sites.
Esse fenômeno, impulsionado pela IA, pode inviabilizar inúmeros sites que dependem de tráfego para gerar receita. A medida de bloqueio de bots de IA e o “Pay Per Crawl” representam uma tentativa de reverter essa tendência. Ao dar aos proprietários de sites mais controle sobre como seu conteúdo é acessado e utilizado, a Cloudflare espera promover um ecossistema mais justo e sustentável para a web.
Via Tecnoblog