A Universidade de Coimbra, em parceria com a Indra Group, divulgou um novo estudo que expõe fragilidades críticas nos modelos avançados de IA (Inteligência Artificial). A investigação revela que mais de 80% dos modelos testados geraram código inseguro quando sujeitos a ataques de manipulação dissimulados.
O whitepaper, intitulado “IA e Cibersegurança: O Desafio da Confiança Digital”, foi apresentado ontem, 26 de novembro, e propõe um enquadramento inovador para avaliar a segurança dos Grandes Modelos de Linguagem (LLMs), a tecnologia base da IA generativa atual.
Vulnerabilidades persistem nos modelos avançados de IA
Desenvolvido por investigadores do Centro de Informática e Sistemas da Universidade de Coimbra (CISUC), o estudo traça um retrato da maturidade da IA que contrasta com o entusiasmo comercial. Apesar do seu poder transformador, a tecnologia permanece “longe de ser invulnerável”.
As conclusões destacam a eficácia contínua de técnicas de manipulação sofisticadas. Ataques “multi-turno” e de role-play (como o método “Crescendo”) demonstraram capacidade para contornar mecanismos de segurança que eram considerados robustos pela indústria.
Embora modelos recentes, como o Llama 3.1:70b, mostrem progressos na distinção entre risco real e aparente, mantêm fragilidades contextuais que exigem uma vigilância permanente.
Um novo enquadramento para a segurança
Os autores do estudo, João Donato e João Campos, defendem que a segurança da IA “precisa de ser mensurável, comparável e contínua” para criar confiança digital real.
Para responder a este desafio, os investigadores propõem um novo enquadramento de avaliação. Este sistema combina métricas objetivas, cenários de ataque realistas e um “júri automatizado” de modelos independentes para testar a robustez dos sistemas face a diferentes vetores de ameaça.
O objetivo é transformar a investigação em valor prático, promovendo o desenvolvimento de sistemas “seguros por design“, onde a inovação não compromete a segurança.
O papel da tecnologia na confiança digital
A Indra Group, que apoiou o estudo, sublinha a importância da colaboração entre academia e empresas para antecipar riscos. António Ribeiro, responsável de Cibersegurança da Minsait (Indra Group) em Portugal, afirmou que a empresa procura tornar a cibersegurança “um motor de valor e confiança”.
O estudo enfatiza que ferramentas de monitorização avançada e algoritmos de análise comportamental serão decisivos para detectar vulnerabilidades precocemente, antes que comprometam a integridade dos modelos de IA em ambientes de produção.
Notas finais
O estudo da Universidade de Coimbra lança um alerta necessário sobre a segurança da IA generativa. Ao demonstrar que a maioria dos modelos ainda é suscetível a manipulação para gerar código malicioso, a investigação reforça a urgência de adotar padrões de segurança mais rigorosos e auditáveis no desenvolvimento desta tecnologia crítica.
Outros artigos interessantes:
