IA Gera Ideias de Investigação Mais Inovadoras do que os Especialistas Humanos

Os primeiros resultados estatisticamente significativos já estão disponíveis: As IAs do tipo Large Language Model (LLM) não só são capazes deOs primeiros resultados estatisticamente significativos já estão disponíveis: As IAs do tipo Large Language Model (LLM) não só são capazes de gerar ideias de investigação científica ao nível de peritos, como também as suas ideias são consideradas mais inovadoras e estimulantes do que as dos peritos humanos, de acordo com avaliações de peritos.

Os recentes avanços nos LLM despertaram o entusiasmo dos investigadores quanto ao seu potencial para transformar a descoberta científica. Modelos como o ChatGPT e o Anthropic’s Claude demonstraram a capacidade de produzir e validar autonomamente novos conceitos de investigação.

Esta era uma das muitas tarefas em que as pessoas acreditavam que a IA nunca poderia ultrapassar os humanos – gerar novos conhecimentos e fazer descobertas científicas, em vez de simplesmente combinar informações existentes a partir dos seus dados de treino.

IA multimodal: uma nova fronteira na investigação original

No entanto, tal como a criação artística, a composição musical, a codificação e até a compreensão do subtexto ou da linguagem corporal, as actuais IA multimodais parecem capazes de produzir investigação verdadeiramente original – muitas vezes mais inovadora do que as ideias geradas por humanos.

Até há pouco tempo, nenhuma investigação tinha explorado este potencial. Num novo estudo, mais de 100 especialistas em processamento de linguagem natural (PNL) (doutorados e pós-doutorados de 36 instituições conceituadas) competiram com “agentes de ideação” orientados por IA. As suas ideias de investigação foram avaliadas em termos de originalidade, entusiasmo e viabilidade por peritos humanos.

O Processamento de Linguagem Natural (PNL) é um ramo da IA centrado na facilitação da comunicação entre humanos e máquinas, permitindo que ambos se “compreendam” mutuamente – não apenas em termos de sintaxe básica, mas também no que diz respeito a nuances, tom e inflexão emocional.

No estudo, 49 especialistas humanos desenvolveram ideias sobre sete tópicos de PNL, enquanto um modelo de IA treinado pelos investigadores gerou ideias sobre os mesmos assuntos. Para motivar os participantes, o estudo ofereceu 300 dólares por ideia e um bónus de 1000 dólares para os cinco melhores conceitos gerados por humanos, encorajando propostas claras e acionáveis.

Padronização das submissões

Depois de todas as entradas terem sido submetidas, foi empregue um LLM para padronizar o estilo de escrita de cada entrada, mantendo o conteúdo original. Esta abordagem tinha como objetivo criar condições mais equitativas e garantir que o estudo permanecesse o mais cego possível.

Um painel de 79 especialistas humanos analisou todas as submissões numa avaliação cega, fornecendo um total de 298 avaliações, com cada ideia a receber entre duas e quatro avaliações independentes. Os resultados mostraram que as ideias geradas por IA superaram as dos investigadores humanos em termos de novidade e entusiasmo. Embora as IA tenham sido classificadas ligeiramente abaixo em termos de viabilidade e ligeiramente acima em termos de eficácia em comparação com os humanos, estas diferenças não foram estatisticamente significativas. gerar ideias de investigação científica ao nível de peritos, como também as suas ideias são consideradas mais inovadoras e estimulantes do que as dos peritos humanos, de acordo com avaliações de peritos.

Identificar as limitações

O estudo revelou alguns pontos fracos nos LLMs, como a falta de diversidade de ideias e dificuldades na autoavaliação. Apesar de ter sido instruído a não se repetir, o LLM frequentemente o fez. Além disso, os LLMs tiveram dificuldades com a consistência ao rever e pontuar ideias, mostrando baixa concordância com julgamentos humanos.

O estudo também refere que a avaliação da “originalidade” de uma ideia é subjectiva, mesmo entre especialistas. Para explorar melhor se os LLM são realmente mais adequados para a descoberta científica autónoma, os investigadores planeiam envolver mais participantes especialistas num estudo de acompanhamento. Desta vez, as ideias, tanto de IA como de humanos, serão totalmente desenvolvidas em projectos para avaliar o seu impacto no mundo real.

A falta de fiabilidade dos modelos linguísticos avançados

Estas descobertas iniciais são certamente reveladoras. A humanidade enfrenta agora um desafio invulgar por parte de modelos de linguagem de IA altamente capazes. Embora estes modelos possam realizar feitos notáveis, continuam a ser pouco fiáveis e propensos àquilo a que as empresas de IA chamam “alucinações” – ou aquilo a que outros podem chamar fabricações.

Embora as IAs possam lidar com grandes quantidades de papelada, o método científico exige rigor e não há lugar para “alucinações”. Já é preocupante que as estimativas sugiram que as IAs são co-autoras de pelo menos 10% dos artigos de investigação.

Por outro lado, não podemos ignorar o potencial da IA para acelerar o progresso, como se viu com o sistema GNoME da DeepMind, que condensou 800 anos de descoberta de materiais em meses, produzindo receitas para 380.000 novos cristais inorgânicos com potencial para aplicações revolucionárias.

Sendo a tecnologia que evolui mais rapidamente, muitas das actuais falhas da IA poderão ser corrigidas nos próximos anos. Alguns investigadores acreditam mesmo que estamos a aproximar-nos da superinteligência geral, em que as IA ultrapassarão o conhecimento especializado na maioria dos domínios.

Ver as IAs dominarem rapidamente competências que outrora pensávamos definir a singularidade humana, incluindo a geração de ideias inovadoras, é uma experiência estranha. O engenho humano parece estar a ultrapassar os humanos, mas, por agora, o melhor caminho a seguir é uma parceria entre a inteligência orgânica e a artificial, desde que alinhemos os nossos objectivos.

Se isto fosse uma competição, seria IA: 1, humanos: 0 para esta ronda.

Leia o Artigo Original: New Atlas

Leia mais: Uma Luva Robótica Macia Devolve a Força de Preensão a Mãos Enfraquecidas