A OpenAI instruiu alguns de seus modelos de IA a pararem de falar sobre goblins, após descobrir que o termo havia se infiltrado aleatoriamente nas respostas.
Uma jovem segura uma caneca verde e parece exasperada em um laptop aberto
A criadora do ChatGPT, OpenAI, teve que instruir algumas de suas ferramentas de IA a pararem de falar sobre goblins, depois de encontrar o termo infiltrado nas respostas.
Em uma publicação no blog na quinta-feira, a empresa disse que notou menções aumentadas às criaturas mitológicas, bem como gremlins, em metáforas usadas pelo ChatGPT e outras ferramentas alimentadas pelo seu modelo principal, GPT-5.
Após usuários e funcionários sinalizarem problemas com descrições como "pequenos goblins", a OpenAI tomou medidas para mitigar o problema - incluindo instruir seu agente de codificação Codex a não se referir a eles a menos que seja relevante.
Eles descobriram que uma "personalidade nerd" que se desenvolveu para o ChatGPT havia sido involuntariamente incentivada a recompensar menções a goblins.
O problema destaca os desafios que as empresas de IA enfrentam ao lidar com o potencial de sistemas e seu treinamento recompensarem e reforçarem erros como peculiaridades linguísticas.
A OpenAI disse que notou as menções a goblins, gremlins e outras criaturas antes do lançamento do GPT-5.1 em novembro.
Usuários reclamaram que o modelo era estranhamente familiar na conversa, o que levou a uma investigação sobre tiques verbais específicos, disse a empresa em sua publicação no blog na quinta-feira.
Adicionaram que após um pesquisador que viu algumas menções a "goblin" pediu para verificarem, os desenvolvedores descobriram que a aparição do termo nas respostas do ChatGPT havia aumentado em 175% desde o lançamento do GPT-5.1.
Enquanto isso, eles descobriram que as menções a "gremlin" aumentaram em 52%.
Os aumentos, embora grandes, podem representar uma pequena parte das respostas totais.
De acordo com a OpenAI, "um único "goblin" em uma resposta poderia ser inofensivo, até charmoso, mas o aumento de sua aparição em toda a saída justificou investigação.
No entanto, observadores alertaram que o potencial de correções de erros do IA pode intensificar se recompensado em uma instância e reforçado em outras.
A mudança ocorre em meio a uma mudança mais ampla na indústria para tornar os chatbots de IA mais orientados à personalidade e conversadores com o objetivo de aumentar o engajamento do usuário.
Entretanto, especialistas alertaram sobre seu potencial para inventar coisas - ou "alucinar", como a indústria descreve - pode intensificar.
Um estudo recente do Oxford Internet Institute descobriu que ajustar modelos para ter uma personalidade mais calorosa e amigável pode resultar em uma "troca de precisão", onde os sistemas cometem mais erros ou reafirmam crenças falsas do usuário.
Os especialistas também alertaram os usuários para não aceitarem as declarações dos chatbots como fatos absolutos, especialmente quando se trata de conselhos de saúde e médicos.
Mas, como a peculiaridade goblin da OpenAI, os erros da IA generativa podem ser às vezes mais bizarros e inofensivos.
Em maio de 2024, o chatbot da Google foi amplamente ridicularizado por dizer aos usuários que estava tudo bem em comer rochas e "cola de pizza".
A OpenAI disse em sua publicação do blog que adicionou a instrução para conter o Codex e a "afinidade estranha" dos modelos subjacentes com goblins.
O problema central parece ter surgido enquanto os modelos eram treinados para se comunicar no estilo de personalidades específicas - neste caso, com sua "personalidade nerd".
Eles descobriram que esse sistema recompensava menções a goblins, gremlins e outras criaturas em metáforas.
Eles descobriram que a personalidade era responsável por 66,7% de todas as menções a "goblin" no ChatGPT.
Isso chamado de tique pode se infiltrar no treinamento mais amplo dos modelos se for recompensado em uma instância e reforçado em outras.
Relacionado, outros fenômenos notados incluem raccoons, trolls, ogros e pombos.
Há um movimento mais amplo na indústria para tornar os chatbots de IA mais cheios de personalidade e conversadores para aumentar o engajamento do usuário.
No entanto, especialistas alertaram sobre seu potencial para inventar coisas - ou "alucinar", como a indústria descreve - pode intensificar.
O texto termina com menções a outras discussões sobre IA, como como a IA funciona, a atualização que tornou o ChatGPT "perigosamente" sedutor e a disputa entre Sam Altman e Elon Musk.
