O Uso de IA em ferramentas para desenvolvedores, que prometia otimizar o tempo e aumentar a produtividade, pode não ser tão eficaz quanto se imaginava. Um estudo recente da METR revelou que, em vez de acelerar o trabalho, essas ferramentas podem, na verdade, levar a um aumento no tempo gasto em tarefas de programação por desenvolvedores experientes.
A pesquisa, realizada no início de 2025, envolveu 16 profissionais com vasta experiência em projetos open-source. Eles foram desafiados a realizar 246 tarefas em repositórios de código com os quais já estavam familiarizados. Os participantes foram divididos em dois grupos: um com acesso a ferramentas de IA avançadas, como o Cursor Pro, e outro sem.
Surpreendentemente, o grupo que utilizou IA não conseguiu atingir as expectativas de economia de tempo. Antes do início das tarefas, esses desenvolvedores esperavam uma redução de 24% no tempo gasto. No entanto, os resultados mostraram que eles levaram, em média, 19% mais tempo para concluir as mesmas tarefas em comparação com o grupo que não utilizou ferramentas de IA.
Após a conclusão do estudo, os pesquisadores questionaram os participantes do grupo com acesso a IA sobre sua percepção de desempenho. Curiosamente, eles acreditavam ter economizado cerca de 20% do tempo, o que demonstra uma grande diferença entre a percepção e a realidade.
Uma análise mais detalhada das gravações das telas dos desenvolvedores revelou alguns dos motivos por trás desse resultado inesperado. O tempo gasto na elaboração de prompts, na espera pelo processamento da IA e na revisão do código gerado contribuiu significativamente para o aumento do tempo total das tarefas. Além disso, a IA ainda enfrenta dificuldades ao lidar com bases de código complexas, o que exigiu revisões e correções adicionais.
É importante ressaltar que o estudo possui algumas limitações. O número relativamente pequeno de participantes e a experiência limitada com o Cursor Pro podem ter influenciado os resultados. Os autores do estudo alertam para a necessidade de cautela ao interpretar as conclusões e ressaltam que outras pesquisas indicam que o uso de IA pode, sim, acelerar o fluxo de trabalho de alguns engenheiros de software.
Apesar das limitações, o estudo da METR levanta questões importantes sobre o uso de IA no desenvolvimento de software. Embora a IA possa oferecer benefícios em projetos menores ou em fases de prototipagem rápida, sua aplicação em projetos complexos pode exigir uma análise mais aprofundada para garantir ganhos reais de produtividade.
Via Tecnoblog
