OpenAI, Google, Microsoft e Anthropic estão a apoiar um mecanismo comum para que os responsáveis por websites indiquem que não querem os seus conteúdos utilizados no treino de inteligência artificial. A novidade pretende simplificar uma tarefa que atualmente exige gerir instruções específicas para diferentes empresas.
O sinal será publicado no ficheiro robots.txt do site e permitirá comunicar a mesma preferência a vários fornecedores participantes. A OpenAI anunciou o seu apoio a 30 de outubro e confirmou que os controlos já existentes para os seus crawlers continuarão a funcionar.
A adoção será faseada. Além disso, a proposta distingue a preferência sobre o uso dos conteúdos das regras que controlam a recolha de páginas: recusar o treino através deste sinal não equivale, por si só, a impedir todas as visitas de robôs ao website.
Uma instrução comum para vários fornecedores
O mecanismo utiliza o identificador __usage_ai-training, colocado numa linha User-Agent do robots.txt. Associado à instrução Disallow: /, expressa uma preferência contra a utilização dos conteúdos de todo o site para treino de IA generativa.
Também será possível definir exceções por secção. O exemplo apresentado na proposta recusa o treino em todo o website, mas permite-o numa pasta destinada a materiais de imprensa. Assim, um editor poderá estabelecer regras diferentes para conjuntos específicos de conteúdos.
A proposta foi submetida por Kevin Kelley, da Anthropic, e aproveita trabalho do grupo AIPREF da Internet Engineering Task Force. Continua a ser um documento individual em desenvolvimento, sem aprovação como norma final da IETF.
Para quem gere um website, a vantagem pretendida é reduzir a manutenção: uma preferência comum poderá chegar a vários fornecedores sem exigir uma nova configuração para cada um. A OpenAI descreve a iniciativa como voluntária e prevê implementá-la nos próximos meses, com detalhes adicionais nessa altura.
Treino e respostas com fontes têm tratamentos diferentes
O impacto concreto dependerá da implementação de cada empresa de inteligência artificial.
A Google explica que, quando não existir uma instrução específica para o Google-Extended, pretende interpretar a recusa comum como se o site tivesse bloqueado esse controlo. As configurações específicas continuarão disponíveis, permitindo combinar uma preferência geral com escolhas dirigidas à empresa.
Há uma consequência relevante: o Google-Extended abrange tanto o treino de futuras gerações do Gemini como o grounding em determinadas experiências Gemini. Este último corresponde à utilização de fontes para fundamentar respostas quando são geradas. A documentação esclarece que o Google-Extended não afeta a inclusão do site na Pesquisa Google nem constitui um sinal de classificação.
A Microsoft vai separar as preferências de treino e de grounding. Poderás, por exemplo, recusar o uso dos teus conteúdos para treinar modelos e permitir que sejam consultados para informar respostas com ligações às fontes. Estas escolhas não alteram a elegibilidade para resultados tradicionais do Bing, sujeita aos requisitos habituais de recolha e indexação.
A implementação avança com calendários diferentes
Os compromissos anunciados ainda não representam disponibilidade simultânea:
| Empresa | Calendário anunciado |
|---|---|
| OpenAI | Implementação prevista nos próximos meses. |
| Suporte previsto para o início de 2027. | |
| Microsoft | Aplicação das novas preferências a partir de 1 de fevereiro de 2027, à medida que recolhe as páginas. |
| Anthropic | Implementação já iniciada, segundo a comunicação de Kevin Kelley citada pelo PPC Land, sem data de conclusão indicada. |
Os prazos constam dos anúncios e documentação das empresas; no caso da Anthropic, a informação refere o início dos trabalhos de implementação.
Os controlos atuais continuarão, por isso, a ter importância durante a transição. Para sites que utilizam NoArchive ou NoCache como preferências de treino e grounding na Microsoft, existe ainda uma mudança concreta: a empresa deixará de interpretar essas indicações para essas finalidades a partir de 1 de março de 2027.
Outros artigos interessantes:
