A Cloudflare bloqueia crawlers de IA por defeito em todos os websites que utilizam a sua rede, numa alteração que redefine as regras de acesso a conteúdo online.

Agora, os proprietários dos sites passam a autorizar explicitamente a recolha de dados por sistemas de inteligência artificial, em vez de terem de a proibir manualmente.

Esta decisão, anunciada ontem (1 de julho) responde ao consumo massivo de dados por crawlers de IA, que acedem a conteúdos para treinar modelos sem gerar tráfego de retorno ou receita para os criadores.

O objetivo é reequilibrar a relação entre produtores de conteúdo e empresas tecnológicas, devolvendo o controlo e a possibilidade de compensação financeira aos criadores.

Novas regras para o controlo de acesso a sites

A Cloudflare introduziu um modelo de permissão ativa (opt-in) para crawlers de IA.
Entre as principais funcionalidades disponíveis para os proprietários de sites destacam-se:

Bloqueio por defeito de todos os crawlers de IA conhecidos em novos domínios.
Possibilidade de visualizar e gerir, no painel de controlo, quais bots tentam aceder ao conteúdo.
Criação de regras específicas para permitir ou negar acesso, com base no objetivo declarado pelo crawler (treino de modelos, inferência, pesquisa).
Diferenciação entre bots legítimos e “shadow scrapers” que tentam contornar restrições.
Definição de permissões para cada fase do ciclo de vida da IA (treino, afinação, inferência).
Possibilidade de definir taxas para acesso, através do modelo “Pay Per Crawl”.

Um novo modelo de monetização de conteúdo IA

A Cloudflare lançou o marketplace experimental “Pay Per Crawl”, permitindo aos editores definir um preço por cada acesso autorizado de um crawler de IA.
As opções para os proprietários de websites incluem:

Cobrar micropagamentos por cada acesso de crawler autorizado.
Conceder acesso gratuito a determinados bots.
Manter o bloqueio total de crawlers de IA.

O processo é simples: cada vez que um crawler solicita acesso, deve apresentar intenção de pagamento, a Cloudflare processa o pagamento e distribui os ganhos ao editor. Os proprietários de sites podem definir preços fixos por pedido e diferenciar o acesso entre crawlers.

Apoio alargado dos grupos de media e tecnologia

A iniciativa da Cloudflare recebeu o apoio de dezenas de grupos de media, tecnologia e plataformas digitais de referência, entre os quais:

ADWEEK
The Arena Group
The Associated Press
The Atlantic
Atlas Obscura
BuzzFeed, Inc.
Condé Nast
Digital Content Next
Dotdash Meredith
Drupal & Acquia
Fortune
Gannett Media | USA Today Network
Independent Media
News/Media Alliance
O’Reilly Media
Pinterest
PMC
Quora
Reddit
Sky News Group
Snopes.com
Stack Overflow
TIME
Universal Music Group
Webflow
Ziff Davis

Estes grupos defendem um ecossistema digital mais sustentável, onde o acesso a conteúdos para IA depende de permissão e compensação justa.

Contexto e impacto para o setor

O CEO da Cloudflare, Matthew Prince, sublinha que os crawlers de IA têm extraído conteúdos sem limites, colocando em risco a sustentabilidade dos criadores. O novo modelo pretende devolver o poder aos produtores de conteúdo, promovendo a inovação responsável e protegendo a viabilidade da internet aberta.
Os editores passam a ter:

Controlo total sobre quem acede aos seus conteúdos e para que fins.
Transparência sobre as intenções dos crawlers (treino, pesquisa, inferência).
Possibilidade de monetizar o acesso ao conteúdo, criando um novo fluxo de receita.

A Cloudflare espera que esta abordagem incentive negociações diretas e acordos de licenciamento, promovendo um ambiente de maior transparência e sustentabilidade para todos os intervenientes do ecossistema digital.

Conclusão

A decisão da Cloudflare de bloquear crawlers de IA por defeito representa uma mudança estrutural na economia da internet. Ao transferir o poder de decisão para os criadores de conteúdo e facilitar mecanismos de compensação financeira, a empresa estabelece um novo precedente para a forma como os dados são acedidos e valorizados na era da inteligência artificial. Esta abordagem força um diálogo necessário sobre a sustentabilidade do ecossistema digital e o valor do conteúdo original.

Para mais informações, leia o comunicado de imprensa da Cloudflare na íntegra.

Outros artigos interessantes: