Startups de IA usam Revisão por Pares para Autopromoção, dizem Pesquisadores

Créditos da imagem: Zastrozhnov (abre em uma nova janela)/ Getty Images

Uma controvérsia surgiu sobre estudos “gerados por IA” enviados ao ICLR deste ano, uma conferência de pesquisa de IA bem estabelecida.

Três laboratórios de IA — Sakana, Intology e Autoscience — alegam que seus estudos gerados por IA foram aceitos em workshops do ICLR, onde as submissões são normalmente revisadas pelos organizadores do workshop antes da publicação.

Sakana informou a liderança do ICLR antes de enviar seus artigos gerados por IA e obteve o consentimento dos revisores por pares. No entanto, Intology e Autoscience não o fizeram, de acordo com um porta-voz do ICLR que falou com o TechCrunch.

Vários pesquisadores de IA criticaram Intology e Autoscience nas mídias sociais, argumentando que eles exploraram o sistema de revisão por pares.

“Esses artigos gerados por IA estão usando locais revisados ​​por pares como ferramentas de avaliação humana, mas ninguém consentiu com esse trabalho não remunerado”, escreveu Prithviraj Ammanabrolu, professor assistente de ciência da computação na UC San Diego, em um post no X. “Isso diminui meu respeito por todos os envolvidos, não importa o quão impressionante o sistema seja. Por favor, divulgue isso aos editores.”

O Crescente Fardo da Revisão por Pares

Os críticos destacaram que a revisão por pares é um processo exigente e demorado, realizado em grande parte por voluntários. Uma pesquisa recente da Nature descobriu que 40% dos acadêmicos gastam entre duas e quatro horas revisando um único estudo. A carga de trabalho tem aumentado, com submissões para a NeurIPS, a maior conferência de IA, chegando a 17.491 no ano passado — um salto de 41% em relação a 12.345 em 2023.

A academia já estava lutando com conteúdo gerado por IA. Uma análise estimou que entre 6,5% e 16,9% dos artigos submetidos a conferências de IA em 2023 provavelmente continham texto sintético. No entanto, as empresas de IA que alavancam a revisão por pares para validar e promover sua tecnologia são um desenvolvimento mais recente.

A Intology se gabou de seus resultados do ICLR em uma publicação no X, afirmando que seus artigos receberam “avaliações unanimemente positivas” e que os revisores do workshop elogiaram um estudo gerado por IA por suas “ideias inteligentes”.

No entanto, muitos acadêmicos não ficaram impressionados.

Preocupações com o Respeito aos Revisores por Pares

Ashwinee Panda, um pesquisador de pós-doutorado na Universidade de Maryland, criticou o envio de artigos gerados por IA sem dar aos organizadores do workshop a chance de rejeitá-los, chamando isso de “falta de respeito pelo tempo dos revisores humanos”. Ele observou que Sakana havia buscado permissão para seu experimento em um workshop que ele estava organizando no ICLR, mas ele e sua equipe recusaram. “Acho que enviar artigos de IA para um local sem entrar em contato com os [revisores] é ruim”, acrescentou.

Muitos pesquisadores também questionaram se os artigos gerados por IA valiam o esforço de revisão por pares. Até mesmo Sakana admitiu que sua IA introduziu erros de citação “embaraçosos” e que apenas um de seus três artigos gerados por IA atendia ao padrão para aceitação em conferência. No interesse da transparência e respeito às normas do ICLR, Sakana retirou seu artigo antes da publicação.

Alexander Doria, cofundador da startup de IA Pleias, argumentou que o aumento de submissões geradas por IA enfatizou a necessidade de um órgão regulamentado para conduzir avaliações rigorosas — a um custo.

“As avaliações devem ser feitas por pesquisadores totalmente compensados ​​por seu tempo”, escreveu Doria em uma série de postagens X. “A academia não está aqui para fornecer avaliações gratuitas de IA.”

Leia o Artigo Original TechCrunch

Leia mais Nvidia e Google DeepMind Apoiam o Desenvolvimento de Robôs Adoráveis ​​da Disney