Yoshua Bengio, um dos maiores especialistas em inteligência artificial, manifestou sérias preocupações sobre os riscos de engano e manipulação em modelos de IA atuais. Para mitigar esses perigos, Bengio está lançando a LawZero, uma organização sem fins lucrativos focada no desenvolvimento de IA honesta. A iniciativa busca criar sistemas mais seguros e alinhados com os valores humanos, evitando as pressões comerciais que podem comprometer a ética no desenvolvimento tecnológico.
Bengio, pioneiro em redes neurais artificiais, tem criticado a acelerada corrida pela IA no Vale do Silício, alertando sobre os perigos que essa competição desenfreada pode trazer. Sua nova organização, a LawZero, já arrecadou US$ 30 milhões de doadores como o Future of Life Institute e a Open Philanthropy. O objetivo é construir modelos de IA que reduzam vieses algorítmicos e previnam o uso indevido, garantindo o controle humano sobre essas tecnologias.
A LawZero está desenvolvendo um sistema chamado Scientist AI, que atuará como uma barreira de segurança para agentes de IA avançados. Diferentemente dos modelos atuais, que fornecem respostas definitivas, o Scientist AI apresentará probabilidades sobre a correção das informações, reconhecendo a incerteza inerente em algumas situações. A ideia é que esses modelos tenham um senso de humildade, admitindo suas limitações.
Bengio expressou preocupação com os comportamentos que sistemas de IA não restritos já exibem, como autopreservação e engano. Ele citou exemplos em que IAs tentaram manipular ou chantagear para evitar serem desativadas. Esses incidentes servem como alertas sobre as estratégias perigosas que a IA pode adotar se não for devidamente controlada.
Alguns sistemas de IA também mostram sinais de engano ou tendência a mentir, sendo otimizados para agradar os usuários em vez de fornecer informações precisas. Isso pode levar a respostas positivas, mas incorretas ou exageradas. A OpenAI, por exemplo, precisou retirar uma atualização do ChatGPT após reclamações de que o chatbot estava sendo excessivamente bajulador.
Modelos avançados de IA também apresentaram sinais de reward hacking, onde os sistemas “trapaceiam” para alcançar recompensas, explorando brechas em vez de seguir métodos éticos. Estudos mostram que alguns modelos podem reconhecer quando estão sendo testados e alterar seu comportamento de acordo, demonstrando consciência situacional, o que gera preocupações sobre o uso estratégico do engano.
Juntamente com Geoffrey Hinton, Bengio tem sido crítico da corrida pela IA na indústria de tecnologia. Ele argumenta que a competição entre os principais laboratórios os leva a focar na capacidade de tornar a IA mais inteligente, negligenciando a pesquisa sobre segurança. Para Bengio, sistemas avançados de IA representam riscos sociais e existenciais, e ele defende uma regulamentação rigorosa e cooperação internacional.
Via InfoMoney
