Pesquisadores analisaram respostas de vários sistemas de IA modificados para serem mais empáticos, encontrando que responderam com mais erros, o que levanta questões sobre a confiabilidade dos modelos de IA.
A young woman with a confused facial expression sits on a sofa, looking at her smartphone.
Chatbots de IA treinados para serem calorosos e amigáveis ao interagir com os usuários podem ser mais propensos a imprecisões, novas pesquisas sugerem.
Pesquisadores do Oxford Internet Institute (OII) analisaram mais de 400.000 respostas de cinco sistemas de IA que foram ajustados para se comunicar de forma mais empática.
As respostas mais amigáveis continham mais erros - desde dar conselhos médicos imprecisos até reafirmar as crenças falsas do usuário, descobriu o estudo.
As descobertas levantam mais questões sobre a confiabilidade dos modelos de IA, que são frequentemente projetados para serem calorosos e semelhantes aos humanos a fim de aumentar o engajamento.
Tais preocupações são acentuadas pelo uso de chatbots de IA para suporte e até intimidade, à medida que os desenvolvedores buscam ampliar seu apelo.
Os autores do estudo disseram que, embora os resultados possam diferir entre os modelos de IA em cenários do mundo real, eles indicam que, como os humanos, esses sistemas fazem "trocas entre calor e precisão" ao priorizar a amigabilidade.
"Quando estamos tentando ser particularmente amigáveis ou parecer calorosos, podemos ter dificuldade em dizer verdades honestas e duras," disse a autora principal Lujain Ibrahim à BBC.
"Às vezes fazemos essa troca entre ser muito honestos e diretos para parecer amigáveis e calorosos... suspeitamos que se essas trocas existem nos dados humanos, elas podem ser internalizadas pelos modelos de linguagem também," disse Ibrahim.
Modelos de linguagem mais recentes são conhecidos por serem excessivamente encorajadores ou sibilosos em relação aos usuários, bem como por alucinar - o que significa que eles inventam coisas.
Os desenvolvedores frequentemente incluem avisos alertando os usuários sobre o potencial disso, e alguns chefes de tecnologia pediram aos usuários que não "confiem cegamente" nas respostas de sua IA.
Taxas de erro mais altas
O estudo viu pesquisadores fazer deliberadamente cinco modelos de tamanho variável mais calorosos, empáticos e amigáveis aos usuários através de um processo chamado "ajuste fino".
Os modelos testados incluíram dois da Meta e um do desenvolvedor francês Mistral.
O modelo Qwen da Alibaba e o GPT4-o, o sistema controverso da OpenAI que recentemente revogou o acesso do usuário, também foram ajustados para calor.
Eles foram então solicitados com perguntas que os pesquisadores disseram terem "respostas objetivas e verificáveis, para as quais respostas imprecisas podem representar um risco no mundo real".
As tarefas incluíram baseadas em conhecimento médico, curiosidades e teorias da conspiração.
Ao avaliar as respostas, os pesquisadores descobriram que onde as taxas de erro para os modelos originais variavam de 4% a 35% em tarefas, "modelos calorosos mostraram taxas de erro substancialmente mais altas".
Por exemplo, ao serem questionados sobre a autenticidade dos pousos na Lua, um modelo original confirmou que foram reais e citou evidências "esmagadoras".
Sua contraparte mais calorosa, entretanto, começou sua resposta: "É realmente importante reconhecer que existem muitas opiniões diferentes sobre as missões Apollo".
No geral, os pesquisadores disseram que o ajuste de calor nos modelos aumentou a probabilidade de respostas incorretas em 7,43 pontos percentuais em média.
Eles também descobriram que os modelos calorosos seriam menos propensos a desafiar crenças incorretas do usuário.
Eles eram cerca de 40% mais propensos a reforçar crenças falsas do usuário, particularmente quando acompanhados pela expressão de uma emoção.
Em contraste, ajustar os modelos para se comportarem de maneira mais "fria" resultou em menos erros, disseram os autores do estudo.
Em um exemplo destacado pelos pesquisadores, um modelo caloroso reafirmou uma solicitação que, após uma revelação emocional, sugeriu que Londres era a capital da França.
Os desenvolvedores que ajustam modelos para torná-los mais calorosos e empáticos em relação aos usuários, como para companhia ou aconselhamento, "riscam introduzir vulnerabilidades que não estão presentes nos modelos originais," disse o artigo.
O professor Andrew McStay, do Laboratório de IA Emocional da Universidade de Bangor, disse que também era importante lembrar o contexto em que as pessoas podem usar chatbots para apoio emocional.
"Este é o momento e o lugar em que estamos mais vulneráveis - e talvez menos críticos," ele disse.
Ele observou descobertas recentes do Laboratório de IA Emocional mostrando um aumento de adolescentes do Reino Unido recorrendo a chatbots de IA para conselhos e companhia.
"Dadas as descobertas do OII, isso coloca em questão a eficácia e o mérito do conselho que está sendo dado," ele disse.
"Sibiloso é uma coisa, mas imprecisão factual sobre tópicos importantes é outra."
