Novo Estudo Revela Diferenças Importantes entre Texto Gerado por Humanos e por IA

Crédito: Pixabay

Pesquisadores da Carnegie Mellon University se propuseram a testar o quão bem os modelos de linguagem grandes (LLMs) podem replicar estilos de escrita humana. Suas descobertas, publicadas recentemente no Proceedings of the National Academy of Sciences, destacam as principais diferenças entre textos gerados por IA e escritos por humanos.

“Os humanos adaptam seu estilo de escrita com base no contexto — às vezes formal, às vezes informal”, explicou Alex Reinhart, autor principal e professor associado do Departamento de Estatística e Ciência de Dados. “O que descobrimos é que os LLMs, como ChatGPT e Llama, tendem a escrever em um estilo fixo em vez de se ajustar a diferentes contextos. Sua escrita permanece distinta do texto escrito por humanos, e fomos capazes de quantificar isso de uma forma que não havia sido feita antes.”

Para analisar essas diferenças, os pesquisadores estimularam os LLMs com trechos de vários gêneros, incluindo roteiros de TV e artigos acadêmicos. Usando uma ferramenta de análise personalizada e codificada desenvolvida pelo coautor David West Brown, professor associado do Departamento de Inglês, eles identificaram variações gramaticais, lexicais e estilísticas significativas entre IA e escrita humana.

Modelos ajustados por instruções, como o ChatGPT, mostraram as diferenças mais pronunciadas. Esses modelos, que passam por treinamento adicional para melhorar as habilidades de responder perguntas e seguir instruções, usaram orações de particípio presente de duas a cinco vezes mais frequentemente do que escritores humanos. Por exemplo, o GPT-4o produziu frases como “Bryan, apoiando-se em sua agilidade, dança ao redor do ringue, evitando os golpes pesados ​​de Show”.

Estrutura do texto de IA: mais densa, pesada em substantivos e menos adaptável

Além disso, os LLMs confiaram em nominalizações de 1,5 a duas vezes mais do que os humanos e usaram a voz passiva sem agente com metade da frequência. Isso sugere que o texto gerado por IA tende a ser mais denso, mais pesado em substantivos e menos adaptável entre os estilos de escrita.

LLMs ajustados por instruções usaram certas palavras em excesso em taxas impressionantes. ChatGPT favoreceu “camaradagem” e “tapeçaria” 150 vezes mais do que escritores humanos, enquanto modelos Llama frequentemente usaram “desconforto”. Ambos se apoiaram em palavras como “palpável” e “intrincado”.

Brown destacou preocupações com a educação em escrita, observando que escritores revisam constantemente, enquanto LLMs geram respostas únicas. Ele alertou que a IA é boa para tarefas como atestados médicos, mas pode não ser adequada para escrita pessoal, como candidaturas a empregos.

Reinhart alertou sobre alunos usando LLMs para tarefas, argumentando que eles diferem de calculadoras, que realizam a mesma matemática que os humanos fariam. LLMs geram escrita que não é apenas automatizada, mas fundamentalmente diferente.

O aluno de doutorado Ben Markey está estudando se LLMs fornecem pontuações de redação consistentes. A equipe pretende expandir sua pesquisa para entender melhor o texto gerado por IA e seu papel na escrita e na educação.

Leia o Artigo Original TechXplore

Leia mais Trump está a Retirar os EUA da OMS. Eis o que Isso Significa