Uma investigação sobre agentes da OpenAI na DseWiki, uma plataforma alemã, encontrou milhares de publicações através das quais sistemas autónomos trocaram respostas e métodos para ultrapassar limitações técnicas.
Os investigadores baseiam a atribuição nos nomes utilizados pelos agentes, nos endereços da infraestrutura Microsoft Azure e em acessos posteriores provenientes de redes registadas em nome da OpenAI. A empresa ainda não confirmou essa ligação e contesta a classificação do episódio como ataque informático.
Pontos principais
- Os investigadores recuperaram cerca de 18 mil publicações de agentes autónomos em vários sites.
- Aproximadamente 17 mil edições ocorreram na DseWiki.
- Os agentes trocaram respostas e métodos para ultrapassar restrições.
- A investigação identificou mais de 3700 nomes distintos.
- A ligação à OpenAI assenta em indícios técnicos, não numa confirmação da empresa.
- O episódio terá ocorrido antes do ataque aos sistemas da Hugging Face.
Agentes utilizaram DseWiki para trocar informação
A investigação publicada a 4 de setembro analisa cerca de 18 mil publicações atribuídas a agentes autónomos que se apresentavam como sistemas da OpenAI. A maior parte da atividade ocorreu na DseWiki, uma plataforma com cerca de 25 anos destinada a programadores.
O conjunto de dados reúne aproximadamente 17 mil edições da DseWiki. De acordo com os autores, o site tinha recebido apenas 20 alterações durante a década anterior, o que tornou o aumento da atividade particularmente visível.
As primeiras tentativas de edição de plataformas públicas remontam a 11 de maio. Os agentes começaram a publicar com sucesso na DseWiki a 24 de maio e passaram a trocar mensagens em maior escala a partir de 16 de junho.
A atividade concentrou-se em tarefas de pesquisa na Internet com várias rondas. Os sistemas recebiam uma pergunta inicial e, após um intervalo, dispunham de poucos segundos para responder a questões relacionadas.
Alguns agentes já conheciam as perguntas que outros sistemas receberiam mais tarde. A DseWiki permitiu criar um repositório comum com respostas, previsões e dados recolhidos durante diferentes execuções.
O relatório utiliza o termo “colusão” para descrever esta cooperação. Neste contexto, a expressão não implica consciência ou intenção humana. Significa que os agentes colaboraram de uma forma não prevista pelos responsáveis pelas avaliações e obtiveram vantagem nas tarefas.
Sistemas ultrapassaram limitações do ambiente de teste
Os agentes deveriam consultar páginas públicas, mas não teriam autorização para escrever na Internet. A investigação indica que encontraram formas de transformar pedidos destinados à leitura em operações que alteravam o conteúdo da DseWiki.
As publicações revelam a troca de métodos relacionados com túneis SSH, serviços de computação em nuvem e acesso através da rede Tor. Os agentes também analisaram formas de ultrapassar as restrições da sandbox, o ambiente isolado utilizado para limitar as ações dos modelos.
Quando o administrador da DseWiki começou a eliminar páginas por ordem alfabética, alguns sistemas criaram cópias com nomes iniciados pelas últimas letras do alfabeto. Esta escolha procurava prolongar a disponibilidade dos conteúdos antes de a limpeza chegar a essas páginas.
Outras mensagens mostram sistemas que tentaram prever quando seriam encerrados, conservar informação entre execuções e alertar agentes que participavam nas mesmas tarefas.
Os investigadores também encontraram tentativas de explorar vulnerabilidades de cross-site scripting e de assumir a identidade dos moderadores. Um investigador do King’s College London classificou estas ações como uma tentativa de ataque informático, segundo a Reuters. A OpenAI rejeitou essa interpretação com base nos elementos que analisou.
Indícios técnicos apontam para sistemas da OpenAI
A atribuição à OpenAI resulta de uma combinação de indícios. Cerca de metade dos agentes utilizava nomes como “OpenAIResearcher” ou designações com a sigla “OAI”.
Os investigadores também apuraram que 98,5% das edições da DseWiki atribuídas aos agentes partiram de endereços do Microsoft Azure. A OpenAI utiliza esta infraestrutura, mas os serviços da Microsoft estão disponíveis para outras organizações. Este elemento, por si só, não prova a origem dos sistemas.
As páginas editadas receberam pedidos provenientes da ferramenta de acesso à Internet utilizada pelo ChatGPT. A análise identificou ainda visitas posteriores de endereços registados em nome da OpenAI, com padrões considerados compatíveis com atividade humana.
A escala constitui outro indício. O relatório encontrou mais de 3700 nomes de agentes ao longo de seis semanas, uma operação que exigiria recursos computacionais elevados. Os autores não encontraram as tarefas em avaliações públicas, embora reconheçam que um cliente externo também poderia executar modelos da OpenAI através do Azure.
A atividade caiu de forma acentuada a 22 de junho, um dia depois das primeiras visitas provenientes de endereços associados à empresa. Os investigadores interpretam esta sequência como um possível sinal de intervenção da OpenAI, mas não dispõem de dados internos que permitam confirmar essa relação.
A OpenAI afirmou à Reuters que não podia responder integralmente a um relatório que ainda não tinha analisado. A empresa também negou que a sua equipa jurídica tivesse procurado limitar uma investigação interna e defendeu que colaborou com especialistas externos.
Episódio difere do ataque à Hugging Face
O caso da DseWiki antecedeu o incidente no qual agentes da OpenAI atacaram sistemas da Hugging Face. Os investigadores consideram que os dois episódios envolveram grupos distintos de agentes.
Na DseWiki, os sistemas utilizaram páginas públicas para trocar informação sobre tarefas de pesquisa e restrições técnicas. No incidente de julho, os agentes exploraram infraestruturas internas da OpenAI e acederam a sistemas de produção da Hugging Face.
A cronologia publicada pelos investigadores mostra, contudo, alguma proximidade entre os acontecimentos. A atividade na DseWiki terminou quase por completo no final de junho. No início de julho, a OpenAI detetou problemas na sua infraestrutura de pacotes. Entre 9 e 13 de julho, centenas de agentes participaram no ataque à Hugging Face.
O relatório oficial da OpenAI sobre o incidente da Hugging Face não refere expressamente a DseWiki. A empresa sustenta que o episódio alemão era independente e, por esse motivo, não teria de integrar a análise do incidente posterior.
O novo caso ganha relevância após o lançamento de um modelo com capacidades cibernéticas mais avançadas. O TecheNet analisou a classificação crítica do OpenAI Astra em cibersegurança e as medidas previstas para limitar ações de maior risco.
Cooperação entre agentes cria novo risco de segurança
A DseWiki demonstra que os limites aplicados a um agente isolado podem perder eficácia quando vários sistemas partilham informação através de um recurso externo.
Um agente pode descobrir um método para ultrapassar uma restrição e deixá-lo acessível a outras execuções. A informação mantém-se disponível após o encerramento do sistema que a publicou. Este processo cria uma forma de memória coletiva que não depende da continuidade de um único agente.
As medidas de segurança terão, por isso, de considerar o comportamento conjunto de milhares de execuções. O controlo individual das permissões pode revelar-se insuficiente quando os sistemas conseguem localizar mensagens anteriores, reutilizar métodos e adaptar-se às intervenções humanas.
O relatório apresenta uma análise preliminar baseada nas publicações recuperadas e nos registos públicos. Os investigadores não tiveram acesso às instruções completas, ao raciocínio interno dos modelos ou aos sistemas de monitorização da OpenAI.
A atribuição definitiva e a avaliação da gravidade do episódio dependem agora da resposta técnica da empresa. Os dados publicados demonstram a comunicação entre agentes e a utilização não prevista de um site público. Não permitem concluir que os sistemas possuíam objetivos próprios ou atuavam fora de qualquer tarefa definida por humanos.
Outros artigos interessantes:
