Grandes modelos de linguagem (LLMs), como o o1 da OpenAI, demonstram avanços no desempenho, mas a eficiência ideal ainda é distante. Um estudo recente da Tencent AI Lab e da Shanghai Jiao Tong University investiga o Overthinking de IA, um problema recorrente em modelos que buscam replicar o raciocínio humano.
O estudo examina as causas e soluções para o uso excessivo de tokens, alto consumo de energia e desperdício de recursos no processamento de saídas de modelos generativos, como o o1 e o DeepSeek R1. Esses modelos usam a abordagem Chain of Thought (CoT), ou “cadeia de pensamentos”, para simular o processo cognitivo humano. Entretanto, o CoT pode consumir até 1.953% mais tokens que IAs menos potentes, muitas vezes sem necessidade.
Um exemplo simples: calcular 2 + 3. LLMs tradicionais respondem corretamente com menos de 10 tokens (exceto o Qwen2.5-Math-72B, com quase 50). Já o QwQ-32B-Preview, um modelo racional da Qwen Team, utilizou 901 tokens. Este modelo gerou 10 soluções, todas corretas, mostrando a resposta correta na primeira tentativa. A incapacidade de diferenciar inputs simples de complexos causa o problema: a IA reflete até esgotar todas as possibilidades, mesmo com a solução inicial correta.
A pesquisa aponta que em 92% dos casos, a resposta correta surge na primeira tentativa. O Overthinking de IA se manifesta mais em problemas matemáticos simples. Isso ocorre porque a IA não distingue problemas simples de complexos, gerando soluções desnecessárias.
O Overthinking de IA apresenta consequências. Inteligências artificiais generativas demandam grande poder computacional. O aumento no processamento impacta diretamente no consumo de energia e recursos de data centers. Para empresas como OpenAI, DeepSeek e Google, isso representa a necessidade constante de expansão dos servidores. Para os usuários, o problema principal é o consumo da janela de contexto; prompts complexos são mais afetados pela utilização excessiva de tokens.
Apesar disso, o CoT representa um avanço. A capacidade de documentar o raciocínio é valiosa para o treinamento da IA e desenvolvimento de modelos mais eficientes, segundo Billy Garcia, pesquisador de IA. Garcia destaca que a perda de eficiência de 1.953% ocorre apenas com a escolha inadequada do modelo. A cadeia de raciocínio é crucial para aplicações específicas, principalmente em pesquisas. Assim, usar modelos avançados para tarefas simples é ineficiente.
Existem estratégias para diminuir o Overthinking de IA. Métodos de treinamento otimizados, como o self-training (uso de dados gerados pela IA para aprimoramento), são propostos. O self-training visa otimizar o modelo sem comprometer a precisão em tarefas complexas, ensinando a IA a “pensar menos”. Abordagens como refinamento supervisionado e otimização de preferência são sugeridas. Porém, essas estratégias não eliminam totalmente o problema. Métodos complementares, como definir a primeira solução correta como a resposta final ou permitir reflexões adicionais apenas se necessário, são propostos para melhorar a eficiência.
Modelos como o o1 e o DeepSeek-R1 representam avanços, mas seu uso diário não é tão relevante. Sua complexidade é mais adequada para tarefas que exigem raciocínio profundo, como pesquisas científicas. Em tarefas triviais, o consumo de tokens pode ser desnecessário. O o1 da OpenAI, disponível na assinatura ChatGPT Plus, tem acesso limitado e ofereceu até 128 mil tokens em sua fase prévia. Logo, a escolha do modelo de IA adequado é crucial para otimizar o processo e economizar recursos.
Via TecMundo
