A Cloudflare iniciou a oferta de uma nova proteção para sites, permitindo que administradores controlem o acesso de crawlers de inteligência artificial (IA) que coletam conteúdo da web. Essa medida visa dar maior autonomia aos proprietários de domínios e evitar o uso não autorizado de seus materiais no treinamento de modelos generativos. Além disso, a empresa introduziu o modelo “pay per crawl“, que possibilita a monetização dos acessos por bots.
A iniciativa de Bloqueio de crawlers de IA da Cloudflare responde à crescente preocupação com a forma como os dados da internet são utilizados para alimentar sistemas de inteligência artificial. Os crawlers, também conhecidos como bots ou spiders, são programas automatizados que navegam pela web, indexando e coletando informações. Tradicionalmente, essa função é utilizada por plataformas como Google e Bing para alimentar seus motores de busca, porém, atualmente, esses mesmos crawlers são empregados para o treinamento de IAs.
Com essa nova ferramenta de Bloqueio de crawlers de IA, a Cloudflare permite que os donos de sites decidam se querem ou não permitir que seus conteúdos sejam acessados por bots de IA. Caso permitam, podem até mesmo lucrar com isso. Matthew Prince, cofundador e CEO da Cloudflare, declarou que o objetivo é devolver o poder aos criadores de conteúdo, ao mesmo tempo em que se busca auxiliar as empresas de IA a continuarem inovando.
A decisão da Cloudflare surge em um momento em que a discussão sobre direitos autorais e o uso de dados para treinamento de IA ganha força. O avanço dos grandes modelos de linguagem (LLMs) tem impulsionado a necessidade de grandes volumes de dados, e muitas empresas têm buscado formas de proteger seu conteúdo. Redes sociais, como o Reddit, já implementaram medidas semelhantes, cobrando pelo acesso às suas APIs. A Cloudflare, por sua vez, busca equilibrar os interesses de criadores de conteúdo e empresas de IA, oferecendo uma solução que permite o controle e a monetização do acesso aos dados.
O Bloqueio de crawlers de IA e o modelo pay per crawl representam uma resposta da Cloudflare à complexa questão do uso de conteúdo online para treinar inteligência artificial. A empresa, que detém uma grande rede de distribuição de conteúdo (CDN), busca criar um ambiente mais justo e transparente para todos os envolvidos. A ferramenta será inicialmente disponibilizada para um número limitado de sites, com a promessa de expansão para mais clientes no futuro.
Diante da ausência de uma legislação clara sobre direitos autorais na era da IA, empresas de infraestrutura como a Cloudflare assumem um papel importante na mediação entre os diversos interesses. A iniciativa de Bloqueio de crawlers de IA é um passo importante para garantir que os criadores de conteúdo tenham mais controle sobre seus dados e possam ser devidamente compensados pelo seu uso.
Via TecMundo
