Um estudo da Universidade do Estado do Arizona trouxe à tona críticas à verdadeira capacidade de raciocínio da inteligência artificial. Pesquisadores apontam que modelos como ChatGPT podem apenas simular a resolução de problemas, sem realmente compreendê-los.
As técnicas utilizadas pela IA, como a “cadeia de pensamentos”, apresentam diversas limitações. Durante avaliações, modelos falharam ao lidar com tarefas novas, revelando sérias dúvidas sobre sua habilidade de generalização. Esses desafios levanta questões importantes sobre a confiança que os usuários devem ter na tecnologia.
Além disso, cientistas afirmam que é fundamental lembrar que a supervisão humana continua sendo indispensável. Apesar das capacidades da IA, as falhas lógicas e inconsistentes nos resultados ressaltam a necessidade de um olhar crítico sobre as soluções oferecidas por esses sistemas.
“`html
Um estudo recente da Universidade do Estado do Arizona lança dúvidas sobre a real capacidade de raciocínio da IA. A pesquisa sugere que os modelos de linguagem de grande escala (LLMs), como ChatGPT e Gemini, podem estar apenas simulando o raciocínio, sem a habilidade de resolver problemas lógicos fora de seu treinamento.
Esses assistentes de inteligência artificial utilizam a técnica de “cadeia de pensamentos”, que consiste em decompor um problema em etapas lógicas. No entanto, o estudo indica que essa abordagem possui limitações significativas.
A Fragilidade da Capacidade de Raciocínio da IA
O artigo, ainda não revisado por pares, está disponível no Arxiv. Para testar a capacidade de raciocínio da IA, os pesquisadores criaram um ambiente de treinamento com transformações de texto simples, como a troca de letras em palavras para criar cifras.
Os LLMs foram então desafiados com tarefas variadas. Algumas eram semelhantes às do treinamento, enquanto outras exigiam a combinação de várias transformações para formar operações inéditas. E foi aí que os problemas começaram a surgir.
Os modelos de linguagem falharam ao lidar com transformações novas. Por exemplo, um modelo treinado para “deslocar” letras (substituir cada letra pela seguinte no alfabeto) não conseguia embaralhar a ordem das letras em uma palavra. Além disso, modelos treinados com palavras de quatro letras apresentaram dificuldades com palavras de três ou cinco letras. Isso levanta sérias questões sobre a generalização da capacidade de raciocínio da IA.
Quando a IA Erra Tentando Acertar
Apesar de tentarem generalizar regras lógicas com base em padrões observados durante o treinamento, os modelos de IA frequentemente erravam nas respostas. Em alguns casos, chegavam à resposta correta por meio de um raciocínio incoerente. Além disso, o desempenho dos modelos piorava à medida que o prompt e o número de passos necessários para a resposta aumentavam.
Uma possível solução seria introduzir dados relacionados a diferentes tipos de problemas. No entanto, os pesquisadores consideram essa estratégia “insustentável e reativa”. A técnica de “cadeia de pensamentos” pode gerar resultados aparentemente convincentes, mas com falhas lógicas. Isso representa riscos se os usuários confiarem nas soluções da IA sem verificação.
Outras Perspectivas Sobre o “Pensamento” da IA
Esta não é a primeira vez que cientistas questionam a capacidade de raciocínio da IA. Pesquisadores da Apple já publicaram um artigo argumentando que os LLMs utilizam reconhecimento de padrões em vez de planejamento simbólico ou compreensão estrutural.
Estudos de universidades chinesas revelaram que o aprendizado por reforço com recompensas verificáveis não auxilia os modelos a desenvolver estratégias para resolver problemas. Cientistas da Universidade de Nova York descobriram que modelos de raciocínio não dividiam as tarefas em etapas suficientes.
Críticos argumentam que essas pesquisas são simplistas e não consideram a capacidade dos LLMs de gerar códigos de programação ou recorrer a ferramentas externas para encontrar soluções. No entanto, a questão da real capacidade de raciocínio da IA permanece em debate.
O debate sobre a capacidade da IA de realmente raciocinar, em vez de simplesmente replicar padrões, continua. Embora a IA possa auxiliar em diversas tarefas, é fundamental reconhecer suas limitações e evitar a confiança cega em suas soluções. Afinal, a supervisão humana e o pensamento crítico ainda são indispensáveis.
Via Tecnoblog
“`
