Inteligências artificiais generativas estão mostrando utilidade em diversas áreas, desde responder perguntas complexas até auxiliar na criação de códigos. Uma nova pesquisa do Hao AI Lab da Universidade da Califórnia, San Diego, explora o desempenho de IA jogar Mario, utilizando uma versão modificada do clássico jogo, para avaliar as capacidades de aprendizado e adaptação das IAs.
O estudo utiliza o GamingAgent, um framework que permite que modelos de linguagem controlem o Mario em um emulador, desviando de obstáculos e interagindo com o ambiente do jogo. As IAs são treinadas para reconhecer elementos do jogo e os comandos necessários para navegar e superar os desafios.
À medida que as IAs enfrentam os níveis do jogo, elas aprendem e desenvolvem estratégias para otimizar sua progressão. Essa capacidade de adaptação levanta questões sobre a aplicabilidade do aprendizado de IA jogar Mario em cenários do mundo real.
A pesquisa do Hao AI Lab revelou que a IA o1 da OpenAI, apesar de seu poder em benchmarks tradicionais, teve um desempenho inferior em comparação com modelos mais simples como o Gemini 1.5 Pro do Google e o Claude 3.5 da Anthropic. Esse resultado intrigante destaca que agilidade no processamento de informações é crucial para jogos de ação, onde decisões rápidas são necessárias.
A equipe de pesquisa também observou limitações similares no GPT-4.5, lançado recentemente. Apesar de seu poder computacional, a alta latência do modelo prejudicou sua capacidade de jogar, demonstrando a importância da velocidade de resposta em ambientes dinâmicos. O Gemini 2 Flash, por outro lado, teve um desempenho notavelmente melhor.
Além de Super Mario Bros., os pesquisadores também testaram as IAs no jogo Pokémon Red, onde o Claude 3.7 Sonnet foi desafiado a jogar em tempo real com transmissão ao vivo na Twitch. Embora a IA tenha conseguido conquistar três insígnias de líderes de ginásio, sua progressão foi notavelmente lenta, o que demonstra que ainda há desafios a serem superados no uso de IA jogar Mario em jogos complexos.
O projeto MINDcraft, exibido no canal Emergent Garden no YouTube, analisa como modelos generativos adaptados para Minecraft lidam com os sistemas internos do jogo. Os vídeos revelam que, quanto mais complexos os comandos, maior a chance de a IA se perder e precisar ser reiniciada.
Richard Socher, fundador do buscador com IA You.com, argumenta que jogar games não comprova inteligência real, pois os jogos permitem que os modelos sejam treinados com grandes quantidades de dados. Ele cita o caso do OpenAI Five, IA treinada para jogar Dota 2, que acumulava o equivalente a 180 anos de gameplay todos os dias.
Os jogos podem auxiliar no avanço da pesquisa com novas ideias, mas Socher explica que o problema é que as pessoas assumem que o que é difícil para humanos também é difícil para as máquinas. Uma IA que aprende a jogar xadrez não ficou mais inteligente, ela apenas se tornou boa em xadrez.
O estudo das capacidades de IA jogar Mario oferece uma visão fascinante sobre as limitações e os potenciais da tecnologia. Observar o desempenho desses modelos generativos pode auxiliar a compreender melhor a capacidade de adaptação e o aprendizado das IAs.
Via TecMundo
