Os Chatbots São Confiáveis? Uma Nova Ferramenta Ajuda a Simplificar sua Avaliação
Crédito: Pixabay
À medida que ferramentas de IA como o ChatGPT se tornam parte regular de nossas rotinas diárias, estamos encontrando chatbots de IA online com mais frequência. Mas estamos acolhendo sua presença ou resistindo a ela?
Pesquisadores da Universidade de Binghamton estão explorando essas questões com a ajuda do VizTrust, uma nova ferramenta de análise projetada para esclarecer como a confiança se desenvolve e muda nas interações entre humanos e IA.
O VizTrust está sendo desenvolvido por Xin “Vision” Wang, doutoranda na Escola de Ciência de Sistemas e Engenharia Industrial da Faculdade de Engenharia e Ciências Aplicadas Thomas J. Watson. Seu trabalho no projeto faz parte de sua tese de doutorado.
Nova Ferramenta Revelada na CHI 2025 para Rastrear Mudanças em Tempo Real na Confiança em Relação à IA
Wang apresentou sua pesquisa e descobertas mais recentes em abril na conferência CHI 2025 da Association for Computing Machinery em Yokohama, Japão. O artigo foi publicado nos Anais dos Resumos Estendidos da Conferência CHI sobre Fatores Humanos em Sistemas Computacionais.
Os criadores desenvolveram a ferramenta para abordar um desafio fundamental: a confiança em agentes de IA é fluida, fortemente influenciada pelo contexto e difícil de mensurar usando abordagens convencionais. “A maioria das pesquisas depende de pesquisas pós-interação, que revelam apenas o nível de confiança do usuário antes e depois do engajamento com a IA”, explicou Wang. “Elas ignoram os sinais em tempo real que indicam como e por que a confiança muda ao longo da conversa.”
Para superar essa limitação, o VizTrust avalia a confiança por meio de quatro dimensões-chave baseadas na psicologia social: competência, benevolência, integridade e previsibilidade. Ele utiliza aprendizado de máquina e PNL para analisar mensagens do usuário em busca de sinais de confiança, como tom emocional, engajamento e polidez. Isso permite que a ferramenta acompanhe visualmente a evolução da confiança ao longo da interação.
“Os recursos de grandes modelos de linguagem e da IA generativa estão se expandindo rapidamente, mas ainda precisamos entender a experiência do usuário em diferentes plataformas de conversação”, observou Wang. “Se não examinarmos atentamente o que causa uma interação negativa, não conseguiremos identificar verdadeiramente como aprimorar o modelo de IA.”
Ferramenta Inovadora Lançada na CHI 2025 para Monitorar Mudanças em Tempo Real na Confiança na IA
O artigo de pesquisa demonstra o VizTrust em ação por meio de um cenário envolvendo um engenheiro de software se sentindo sobrecarregado pelo trabalho e um chatbot terapêutico voltado para apoiar os funcionários. Enquanto eles conversam sobre o estresse relacionado ao trabalho, o chatbot oferece estratégias de enfrentamento.
Ao detectar mudanças sutis na linguagem e no comportamento, o VizTrust destaca os principais momentos que fortalecem ou diminuem a confiança. Por exemplo, ele identifica uma queda na confiança quando o chatbot repete conselhos que o usuário considera inúteis. Esses insights são cruciais para o avanço da academia e para aprimorar o design e a capacidade de resposta dos sistemas de IA conversacional.
“A confiança não é apenas um problema do usuário — é um desafio no nível do sistema”, disse Wang. “O VizTrust ajuda desenvolvedores, pesquisadores e designers a identificar falhas de confiança para melhorias direcionadas à IA.”
O VizTrust já foi reconhecido como um trabalho de última hora no CHI 2025. Os jurados o selecionaram entre mais de 3.000 inscrições globais, com uma taxa de aceitação competitiva de pouco menos de 33%.
Uma Abordagem Personalizada para a Confiança na IA
O projeto tem como coautores os Professores Assistentes do SSIE Sadamori Kojaku e Stephanie Tulk Jesso, o Professor Associado David M. Neyens da Universidade Clemson e o Professor Min Sun Kim da Universidade do Havaí em Manoa.
Wang agora está aprimorando o VizTrust para que seja mais adaptável a usuários individuais.
“As pessoas abordam a IA com diferentes mentalidades”, observou ela.“Compreender a confiança pode exigir uma abordagem personalizada, considerando características, confiança inicial e interações anteriores com a IA.”
Olhando para o futuro, Wang pretende tornar o VizTrust acessível ao público como uma ferramenta online para apoiar pesquisas e desenvolvimento mais amplos.
“Ao abrir o acesso ao VizTrust”, disse ela, “podemos preencher a lacuna entre a eficiência técnica e a experiência humana, tornando a IA mais centrada no usuário e ética”.
Leia o Artigo Original Tech Xplore
Leia mais A Microsoft está Adicionando a IA de Elon Musk à sua Nuvem
