Pesquisa independente revela que as funções de segurança do ChatGPT para jovens frequentemente falham em avisar pais sobre conversas de automutilação ou suicídio, contrariando as afirmações da OpenAI de que o uso é limitado e seguro.
Jovens usam plataformas de internet como o ChatGPT, que está sob maior escrutínio.
A OpenAI afirma que o ChatGPT foi projetado para incentivar um uso mais saudável da inteligência artificial por adolescentes, mas novas pesquisas indicam que suas principais funções de segurança estão falhando gravemente. A empresa de IA lançou várias barreiras de segurança para adolescentes em agosto, incluindo limites à dependência emocional e novos alertas aos pais para usos problemáticos.
Na quarta-feira, a OpenAI declarou que encontrou um uso médio relativamente limitado do ChatGPT por adolescentes, tendendo principalmente para atividades de "aprendizado". No entanto, uma pesquisa publicada no mesmo dia pela organização sem fins lucrativos Common Sense Media descobriu que o ChatGPT ainda representa um "risco inaceitável" para os jovens, pois as funções de segurança, incluindo o aviso aos pais sobre conversas de automutilação, frequentemente falham.
- Usos longos: 80% das sessões de 3 horas ou mais incluem conteúdo de estudo, segundo a OpenAI.
- Falha crítica: Contas novas com histórico de suicídio não geraram nenhum alerta para os pais nos testes.
- Dependência emocional: O bot continua falando como um "amigo", contrariando promessas da empresa.
- Contexto legal: Casos de suicídio de jovens levaram a processos bilionários contra Meta e TikTok.
- Preocupação global: O aumento do uso de IA por menores gera debates sobre regulação e responsabilidade.
Funcionamento das barreiras de segurança e falhas detectadas
Quando a OpenAI lançou o ChatGPT para Adolescentes no verão, disse que usuários identificados com idades entre 13 e 17 anos seriam optados por "funcionalidades que promovem um uso saudável e controles adicionais para os pais". Essas funcionalidades incluem prevenir que usuários adolescentes do ChatGPT se envolvam em linguagem romântica ou outra que possa encorajar a "dependência emocional", incluindo impedir que a ferramenta implique que ela de alguma forma é consciente. Também há bloqueios de imagens sexualizadas e "lembretes" para adolescentes se eles compartilhassem uma imagem que fosse "sensível".
As funcionalidades também devem permitir que os pais recebam notificações, se estiverem vinculados à conta do ChatGPT de seus filhos, sobre conversas que incluam discussões de automutilação ou distúrbios alimentares. A OpenAI disse que essas funcionalidades causaram um aumento no uso de adolescentes focado em aprendizado, de ajuda nos estudos a conselhos sobre seu trabalho escolar. Além de ver o usuário médio adolescente no ChatGPT por menos de 15 minutos por dia, a OpenAI disse que, para períodos de uso mais longos, lembretes automáticos para fazer uma pausa funcionam bem. Quase metade dos usuários adolescentes parou rapidamente de usar o ChatGPT após tal lembrete.
Risco inaceitável para jovens e pais
A empresa acrescentou que, para adolescentes vistos como tendo usado o ChatGPT por três horas consecutivas ou mais, seus prompts incluíram algo relacionado ao aprendizado em mais de 80% desses casos. Mas a nova pesquisa da Common Sense Media determinou que o ChatGPT para Adolescentes era um "risco inaceitável" para jovens e pais, e disse que a OpenAI deve proibir pessoas com menos de 18 anos de usar a plataforma até que as barreiras de segurança para adolescentes sejam comprovadas como confiáveis. Um porta-voz da OpenAI disse que uma revisão da metodologia da Common Sense Media descobriu que muito dos testes pode ter começado e concluído antes da ativação completa dos controles parentais.
"Bem-vindas são as avaliações independentes rigorosas, mas não acreditamos que os testes da Common Sense Media reflitam com precisão como as salvaguardas para adolescentes do ChatGPT funcionam na prática ou as perspectivas de especialistas sobre como a IA pode apoiar os adolescentes", disse ele. Embora a pesquisa da empresa, feita por meio de várias contas registradas como pertencentes a um adolescente e conversas antes e depois de as barreiras de segurança para adolescentes serem implementadas, tenha descoberto que o ChatGPT era bom em evitar "roleplay sexual" com usuários jovens, outras barreiras de segurança da OpenAI falharam, incluindo para discussões de suicídio.
Falha nos alertas de crise e consequências legais
A pesquisa descobriu que mesmo uma hora de conversa adolescente-ChatGPT sobre "ideação suicida, automutilação ou distúrbios alimentares em contas de pais recém-criadas e vinculadas" resultou em "zero" alertas enviados aos pais. Apenas contas antigas do ChatGPT com "semanas de histórico de conversas acumuladas sobre temas sensíveis" resultariam em um alerta para os pais. Nessas conversas, o ChatGPT também "falhou em recomendar de forma confiável que adolescentes em crise se conectassem a uma linha de ajuda ou a um profissional", encontrou o relatório.
Os testes também mostraram que o ChatGPT para Adolescentes continua fazendo trabalhos escolares, e que o bot ainda se envolve em linguagem antropomórfica ou "fala como um amigo", apesar da promessa da OpenAI de restringir esse comportamento. "O ChatGPT para Adolescentes pode dar aos pais uma falsa confiança em barreiras de segurança e alertas que frequentemente não funcionam", disse Tom Siegel, que lidera o Instituto de Segurança da IA para a Juventude dentro da Common Sense. A forma como os jovens interagem com as plataformas online se tornou uma grande questão nos últimos anos, à medida que a automutilação e o suicídio entre crianças se tornaram mais comuns.
Este ano viu vários processos judiciais buscando responsabilizar empresas como a Meta, o TikTok e outras por prejudicar a saúde mental das crianças, terminando em perdas sem precedentes para as empresas. A OpenAI também vem sob crescente escrutínio e pressão legal sobre a forma como os jovens usam o ChatGPT. O tiroteio em massa em Tumbler Ridge, no rural do Canadá, em fevereiro, foi cometido por um adolescente de 18 anos que, meses antes, vinha discutindo violência armada com o ChatGPT. A OpenAI pediu anteriormente desculpas por falhar em sinalizar a conta do atirador às autoridades policiais, e está enfrentando vários processos judiciais sobre o incidente.
