A Cloudflare bloqueia crawlers de IA por defeito em todos os websites que utilizam a sua rede, numa alteração que redefine as regras de acesso a conteúdo online.
Agora, os proprietários dos sites passam a autorizar explicitamente a recolha de dados por sistemas de inteligência artificial, em vez de terem de a proibir manualmente.
Esta decisão, anunciada ontem (1 de julho) responde ao consumo massivo de dados por crawlers de IA, que acedem a conteúdos para treinar modelos sem gerar tráfego de retorno ou receita para os criadores.
O objetivo é reequilibrar a relação entre produtores de conteúdo e empresas tecnológicas, devolvendo o controlo e a possibilidade de compensação financeira aos criadores.
Novas regras para o controlo de acesso a sites
A Cloudflare introduziu um modelo de permissão ativa (opt-in) para crawlers de IA.
Entre as principais funcionalidades disponíveis para os proprietários de sites destacam-se:
- Bloqueio por defeito de todos os crawlers de IA conhecidos em novos domínios.
- Possibilidade de visualizar e gerir, no painel de controlo, quais bots tentam aceder ao conteúdo.
- Criação de regras específicas para permitir ou negar acesso, com base no objetivo declarado pelo crawler (treino de modelos, inferência, pesquisa).
- Diferenciação entre bots legítimos e “shadow scrapers” que tentam contornar restrições.
- Definição de permissões para cada fase do ciclo de vida da IA (treino, afinação, inferência).
- Possibilidade de definir taxas para acesso, através do modelo “Pay Per Crawl”.
Um novo modelo de monetização de conteúdo IA
A Cloudflare lançou o marketplace experimental “Pay Per Crawl”, permitindo aos editores definir um preço por cada acesso autorizado de um crawler de IA.
As opções para os proprietários de websites incluem:
- Cobrar micropagamentos por cada acesso de crawler autorizado.
- Conceder acesso gratuito a determinados bots.
- Manter o bloqueio total de crawlers de IA.
O processo é simples: cada vez que um crawler solicita acesso, deve apresentar intenção de pagamento, a Cloudflare processa o pagamento e distribui os ganhos ao editor. Os proprietários de sites podem definir preços fixos por pedido e diferenciar o acesso entre crawlers.
Apoio alargado dos grupos de media e tecnologia
A iniciativa da Cloudflare recebeu o apoio de dezenas de grupos de media, tecnologia e plataformas digitais de referência, entre os quais:
- ADWEEK
- The Arena Group
- The Associated Press
- The Atlantic
- Atlas Obscura
- BuzzFeed, Inc.
- Condé Nast
- Digital Content Next
- Dotdash Meredith
- Drupal & Acquia
- Fortune
- Gannett Media | USA Today Network
- Independent Media
- News/Media Alliance
- O’Reilly Media
- PMC
- Quora
- Sky News Group
- Snopes.com
- Stack Overflow
- TIME
- Universal Music Group
- Webflow
- Ziff Davis
Estes grupos defendem um ecossistema digital mais sustentável, onde o acesso a conteúdos para IA depende de permissão e compensação justa.
Contexto e impacto para o setor
O CEO da Cloudflare, Matthew Prince, sublinha que os crawlers de IA têm extraído conteúdos sem limites, colocando em risco a sustentabilidade dos criadores. O novo modelo pretende devolver o poder aos produtores de conteúdo, promovendo a inovação responsável e protegendo a viabilidade da internet aberta.
Os editores passam a ter:
- Controlo total sobre quem acede aos seus conteúdos e para que fins.
- Transparência sobre as intenções dos crawlers (treino, pesquisa, inferência).
- Possibilidade de monetizar o acesso ao conteúdo, criando um novo fluxo de receita.
A Cloudflare espera que esta abordagem incentive negociações diretas e acordos de licenciamento, promovendo um ambiente de maior transparência e sustentabilidade para todos os intervenientes do ecossistema digital.
Conclusão
A decisão da Cloudflare de bloquear crawlers de IA por defeito representa uma mudança estrutural na economia da internet. Ao transferir o poder de decisão para os criadores de conteúdo e facilitar mecanismos de compensação financeira, a empresa estabelece um novo precedente para a forma como os dados são acedidos e valorizados na era da inteligência artificial. Esta abordagem força um diálogo necessário sobre a sustentabilidade do ecossistema digital e o valor do conteúdo original.
Para mais informações, leia o comunicado de imprensa da Cloudflare na íntegra.
Outros artigos interessantes:
