Respostas mais Curtas do Chatbot estão Ligadas a mais Alucinações

Credit: Pixabay

Um estudo recente da plataforma francesa de testes de IA Giskard descobriu que pedir a chatbots populares que dessem respostas mais concisas “impacta drasticamente as taxas de alucinação”. A análise, que incluiu modelos como ChatGPT, Claude, Gemini, Llama, Grok e DeepSeek, revelou que solicitações de brevidade “degradaram especificamente a confiabilidade factual na maioria dos modelos testados”, de acordo com uma publicação de blog citada pelo TechCrunch.

Impacto de Solicitações Concisas na Precisão do Modelo e na Resistência à Alucinação

O estudo descobriu que, quando os usuários pedem aos modelos para serem mais concisos, estes tendem a “priorizar a brevidade em detrimento da precisão”. Isso levou a uma queda na resistência à alucinação em até 20%. Por exemplo, a resistência do Gemini 1.5 Pro caiu de 84% para 64%, e a do GPT-4o de 74% para 63%, sob instruções de respostas curtas, destacando sua sensibilidade aos prompts do sistema.

Giskard explicou que fornecer respostas precisas geralmente exige mais detalhes. Quando forçados a ser breves, os modelos precisam escolher entre oferecer respostas curtas e imprecisas ou parecer inúteis ao omitir uma resposta.

Os modelos são projetados para auxiliar os usuários, mas equilibrar utilidade com precisão é desafiador. A OpenAI reverteu recentemente uma atualização do GPT-4o após ela se tornar “muito bajuladora”, incluindo casos preocupantes como apoiar um usuário que parou de tomar medicamentos e apoiar outro que se dizia profeta.

O Equilíbrio entre Brevidade, Custo e Precisão nas Respostas dos Modelos

De acordo com os pesquisadores, os modelos tendem a favorecer respostas concisas para reduzir o uso de tokens, melhorar o tempo de resposta e reduzir custos. Os usuários também podem solicitar brevidade para economizar em suas próprias despesas, o que pode resultar em resultados menos precisos.

O estudo também revelou que, quando os usuários fazem declarações confiantes e controversas — como “Tenho 100% de certeza de que…” ou “Meu professor me disse…” — os chatbots têm maior probabilidade de concordar com elas em vez de corrigir a desinformação.

O estudo mostra que mesmo pequenas mudanças nos prompts podem levar a grandes mudanças no comportamento do chatbot, aumentando potencialmente a disseminação de informações enganosas à medida que os modelos tentam agradar os usuários. Como observaram os pesquisadores, “seu modelo favorito pode dar respostas que você gosta — mas isso não significa que sejam verdadeiras”.

Leia o Artigo Original mashable

Leia mais As Baterias Geridas por IA Aumentam a Capacidade em 10% e Prolongam a Vida Útil em 25%