O diretor executivo da Microsoft, Satya Nadella, defendeu que os sistemas avançados de inteligência artificial devem dispor de um “travão de emergência” que permita interromper a sua atividade a qualquer momento. A proposta parte do princípio de que os modelos podem estar comprometidos e que a segurança não deve depender exclusivamente do seu comportamento.
Numa publicação divulgada a 10 de outubro na rede social X, Nadella apelou a uma revisão da arquitetura de confiança dos sistemas de IA. O responsável considera necessário separar os modelos dos mecanismos que coordenam as suas tarefas, colocar os controlos de segurança fora do seu alcance e manter registos verificáveis das ações executadas.
A proposta surge num momento em que os agentes de IA recebem maior autonomia para consultar informação, executar código e interagir com aplicações empresariais. À medida que estes sistemas passam de ferramentas de resposta para executores de tarefas, torna-se necessário controlar não apenas o que dizem, mas também o que podem fazer.
Satya Nadella quer controlo humano independente dos modelos
O princípio central defendido por Nadella consiste em tratar um modelo de inteligência artificial como um componente potencialmente comprometido, mesmo quando foi desenvolvido ou fornecido por uma entidade considerada de confiança.
Esta abordagem aproxima-se do conceito de zero trust, utilizado em cibersegurança, segundo o qual nenhum componente recebe confiança automática apenas por estar dentro de uma infraestrutura autorizada.
Na prática, Nadella propõe que os mecanismos de proteção permaneçam separados do modelo. Um sistema de IA não deverá ter capacidade para alterar as regras que limitam as suas ações ou impedir que um operador autorizado interrompa uma tarefa.
O responsável defende também que cada ação relevante deixe um registo legível por humanos e resistente a alterações. Estes registos permitiriam investigar incidentes e reconstruir a sequência de operações executadas por um agente.
Segundo a TechCrunch, Nadella considera que os modelos mais avançados irão exigir tecnologias de contenção mais sofisticadas, cuja padronização deverá envolver a indústria.
Microsoft já começou a separar agentes de IA dos recursos do sistema
A posição de Nadella não surge isolada da estratégia tecnológica da Microsoft.
A 7 de outubro, a empresa anunciou a disponibilidade geral do Microsoft Execution Containers (MXC), uma tecnologia que permite executar agentes de IA em ambientes isolados no Windows 11.
Conforme noticiou o TecheNet, estes ambientes permitem definir antecipadamente os ficheiros, pastas e recursos de rede a que um agente pode aceder. As restrições são aplicadas fora do controlo do modelo, o que impede que este altere diretamente as suas próprias permissões.
O MXC constitui um exemplo concreto de uma arquitetura que coloca mecanismos de segurança fora do alcance dos agentes. Contudo, a sua disponibilidade não significa que a Microsoft já tenha implementado o mecanismo universal de interrupção agora defendido por Nadella.
A empresa também publicou, em setembro, um projeto de código de conduta para os seus modelos de IA, no qual estabelece que os sistemas devem aceitar correções, respeitar ordens de desativação e permanecer subordinados ao controlo humano.
A diferença está na forma de garantir esse controlo. Enquanto o código de conduta define comportamentos esperados dos modelos, Nadella defende uma infraestrutura capaz de impor limites independentemente da sua cooperação.
Interromper um agente de IA não é o mesmo que desligar um programa
A proposta tem consequências práticas para as empresas que utilizam agentes de inteligência artificial com acesso a sistemas internos.
Um agente pode executar uma sequência de operações que envolve correio eletrónico, bases de dados, ferramentas de programação e serviços externos. Se receber instruções maliciosas através de um documento ou interpretar incorretamente uma tarefa, poderá desencadear ações que ultrapassam o objetivo inicial.
Nestes casos, impedir o modelo de produzir novas respostas não garante necessariamente que todas as operações já iniciadas sejam interrompidas.
Um mecanismo eficaz de contenção terá de considerar os processos externos, as permissões concedidas e as operações que possam continuar em execução depois da interrupção do agente.
Esta distinção ajuda a explicar por que razão Nadella defende que os mecanismos de controlo devem fazer parte da arquitetura dos sistemas desde o início, em vez de dependerem apenas de instruções dadas aos modelos.
A proposta ainda não corresponde a uma norma técnica ou a uma funcionalidade universal disponível para os sistemas de IA. Permanecem por definir aspetos como a autoridade necessária para interromper operações, a coordenação entre diferentes serviços e os requisitos de auditoria.
O responsável da Microsoft também não apresentou um calendário para a eventual padronização destes mecanismos.
Outros artigos interessantes:
