Os Novos Modelos de IA da OpenAI são mais Alucinantes do que o Esperado

Créditos da imagem: Bryce Durbin / TechCrunch

Os modelos de IA o3 e o4-mini recém-lançados da OpenAI expandem os limites da tecnologia atual de diversas maneiras. No entanto, apesar de seus avanços, esses modelos apresentam um aumento nas alucinações — inventando informações incorretas ou fictícias — com mais frequência do que alguns dos modelos mais antigos da empresa.

Alucinações continuam sendo um desafio persistente

As alucinações continuam sendo um dos desafios mais persistentes na inteligência artificial, mesmo para os sistemas mais avançados. Historicamente, cada nova geração de modelos apresentou ligeiras melhorias nessa área, apresentando menos alucinações do que seus antecessores. Mas essa tendência parece ter se revertido com o o3 e o o4-mini.

De acordo com avaliações internas da OpenAI, esses modelos de “raciocínio” apresentam alucinações com mais frequência do que modelos de raciocínio anteriores, como o o1, o1-mini e o o3-mini, bem como modelos tradicionais sem raciocínio, como o GPT-4o.

Mais preocupante ainda, a própria OpenAI não compreende completamente por que isso está acontecendo.

Na documentação técnica do o3 e do o4-mini, a empresa admite que “mais pesquisas são necessárias” para determinar por que as taxas de alucinação estão aumentando à medida que as capacidades de raciocínio se expandem. Embora os modelos tenham melhor desempenho em determinadas tarefas — como codificação e matemática —, eles também produzem mais afirmações gerais, o que leva à geração de mais informações corretas e incorretas.

Benchmarking mostra taxas significativas de alucinação

No PersonQA, o benchmark interno da OpenAI que avalia o conhecimento de um modelo sobre pessoas, o o3 teve alucinações em 33% de suas respostas — mais que o dobro da taxa do o1 (16%) e do o3-mini (14,8%). O o4-mini teve um desempenho ainda pior, com alucinações em 48% das respostas.

Testes independentes do laboratório de pesquisa em IA sem fins lucrativos Transluce também sinalizaram problemas. Em um caso, o modelo o3 alegou ter executado código em um MacBook Pro 2021 “fora do ChatGPT” e usou esses resultados em sua resposta — algo que o modelo não é capaz de fazer.

Neil Chowdhury, pesquisador da Transluce e ex-funcionário da OpenAI, sugeriu que a abordagem de aprendizado por reforço usada na série O poderia amplificar problemas normalmente reduzidos durante as fases finais de treinamento. A cofundadora da Transluce, Sarah Schwettmann, também observou que a alta taxa de alucinações poderia limitar a utilidade do modelo.

Kian Katanforoosh, professor adjunto de Stanford e CEO da plataforma de aprimoramento Workera, disse ao TechCrunch que sua equipe já está testando o O3 em seus fluxos de trabalho de codificação. Embora o modelo tenha um bom desempenho em geral, eles notaram que ele frequentemente alucina links quebrados — fornecendo URLs que, na verdade, não funcionam.

Alucinações minam a confiança em áreas críticas de precisão

Embora as alucinações possam, às vezes, levar a ideias criativas ou inovadoras, elas representam um problema significativo em áreas onde a precisão não é negociável. Por exemplo, é improvável que um escritório de advocacia adote um modelo que corra o risco de inserir erros factuais em contratos.

Um método promissor para melhorar a precisão dos modelos é a integração de recursos de pesquisa na web. O GPT-4o da OpenAI com acesso à pesquisa, por exemplo, atinge 90% de precisão no SimpleQA, um dos benchmarks internos da empresa. Em teoria, dar aos modelos de raciocínio acesso à pesquisa em tempo real poderia ajudar a reduzir as alucinações — supondo que os usuários se sintam confortáveis ​​com o acesso de terceiros às suas solicitações.

Se a escalabilidade dos modelos de raciocínio continuar a piorar as taxas de alucinação, a pressão para encontrar uma solução só aumentará.

“Reduzir as alucinações em todos os nossos modelos é uma prioridade de pesquisa contínua, e estamos constantemente trabalhando para aprimorar sua precisão e confiabilidade”, disse o porta-voz da OpenAI, Niko Felix, em um e-mail para o TechCrunch.

No último ano, a indústria de IA mudou o foco para modelos de raciocínio, especialmente porque as melhorias nos modelos tradicionais começaram a gerar retornos decrescentes. O raciocínio oferece melhorias de desempenho em muitas tarefas sem a necessidade de enormes dados ou poder computacional. No entanto, agora parece que esse caminho traz um novo desafio: uma maior tendência a alucinar.

Leia o Artigo Original Techcrunch

Leia mais Investigadores Sugerem que a OpenAI Treinou os seus Modelos em Livros O’Reilly Pagos