Se acompanhas as notícias de tecnologia, provavelmente ouviste falar de um estudo recente da Apple que causou um grande impacto. A investigação, intitulada “A Ilusão do Pensamento”, chegou a uma conclusão bastante direta: até os mais avançados modelos de inteligência artificial, conhecidos como Modelos de Raciocínio Abrangente (LRMs), acabam por “colapsar” quando confrontados com tarefas verdadeiramente complexas. Esta ideia espalhou-se rapidamente, mas parece que a história não fica por aqui.
Agora, um novo artigo de investigação vem desafiar diretamente as conclusões da Apple, argumentando que o problema pode não estar na capacidade de raciocínio da IA, mas sim na forma como ela foi testada.
Publicado por Alex Lawsen, um investigador da Open Philanthropy, e tendo o próprio modelo de IA Claude Opus da Anthropic como coautor, este novo trabalho sugere que muitos dos resultados mais alarmantes do estudo da Apple se devem a falhas na metodologia experimental e não a uma limitação fundamental da tecnologia.
Uma ilusão da avaliação, não do pensamento
A nova investigação, com o título provocador “A Ilusão da Ilusão do Pensamento”, não nega que os modelos de IA atuais tenham dificuldades com quebra-cabeças de planeamento complexos. O que ela argumenta é que o estudo da Apple confunde as limitações práticas de geração de texto e as configurações de avaliação deficientes com uma falha real de raciocínio. Lawsen aponta três problemas principais na forma como a Apple conduziu os seus testes.
O primeiro grande problema está relacionado com os limites de “tokens”, que são, de forma simplificada, as unidades de texto que um modelo de IA pode gerar de uma só vez. Lawsen aponta que, nos testes onde a Apple afirmava que os modelos “colapsavam”, como no quebra-cabeças da Torre de Hanói com 8 ou mais discos, os modelos estavam simplesmente a atingir o seu limite máximo de texto. As respostas dos próprios modelos confirmam isto, com frases como: “O padrão continua, mas vou parar aqui para poupar tokens”. Ou seja, o modelo não falhou a raciocinar, apenas parou de escrever por causa de uma restrição técnica.
Outro ponto crítico levantado é que o estudo da Apple incluía nos seus testes versões de quebra-cabeças que eram matematicamente impossíveis de resolver dentro das regras dadas. Por exemplo, no teste da Travessia do Rio, foram usadas configurações em que o número de agentes e a capacidade do barco tornavam a tarefa insolúvel. Os modelos de IA foram penalizados por reconhecerem que o problema não tinha solução e por se recusarem a tentar resolvê-lo, o que, ironicamente, demonstra uma forma de raciocínio lógico.
Por fim, a Apple utilizou sistemas automáticos para avaliar as respostas da IA. Estes sistemas julgavam os modelos unicamente pela sua capacidade de fornecer uma lista completa de todos os movimentos necessários para resolver o quebra-cabeças. Esta abordagem rígida classificava injustamente as respostas parciais ou estratégicas como falhas totais, mesmo nos casos em que a solução completa excederia o tal limite de tokens.
Uma forma alternativa de medir o raciocínio
Para provar o seu ponto de vista, Lawsen realizou uma parte dos testes da Torre de Hanói de uma forma diferente. Em vez de pedir aos modelos para listarem exaustivamente todos os movimentos, ele pediu-lhes que gerassem uma função em código (na linguagem Lua) que resolvesse o problema. O resultado foi surpreendente. Modelos como o Claude, o Gemini e o o3 da OpenAI não tiveram qualquer dificuldade em produzir soluções algoritmicamente corretas para problemas com 15 discos, uma complexidade muito para além do ponto onde a Apple tinha reportado um sucesso nulo.
A conclusão de Lawsen é clara: quando se removem as restrições artificiais na forma como a IA pode responder, os modelos parecem perfeitamente capazes de raciocinar sobre tarefas de alta complexidade, pelo menos ao nível da geração de algoritmos. Este debate é mais do que uma picardia académica. A questão fundamental é perceber se as limitações que vemos na IA de hoje são um defeito no seu “motor” de raciocínio ou se somos nós que ainda não aprendemos a fazer as perguntas — e a avaliar as respostas — da forma correta. Antes de declararmos que a capacidade de raciocínio da IA é uma ilusão, talvez valha a pena verificar se os nossos métodos de medição não são a verdadeira ilusão.
Outros artigos interessantes:
