O aplicativo de chatbot de IA, que tem milhões de usuários, disse que estava respondendo aos pais e reguladores.
Bloomberg via Getty Images Uma mão segurando um telefone mostrando a página de categorias do aplicativo Character AI. Uma lista de nomes de chatbots é exibida.
Character.ai proíbe adolescentes de conversar com seus chatbots de IA
O site de chatbot Character.ai está impedindo adolescentes de conversar com personagens virtuais, depois de enfrentar críticas intensas sobre os tipos de interações que os jovens estavam tendo com companheiros online.
A plataforma, fundada em 2021, é usada por milhões de pessoas para conversar com chatbots com tecnologia de inteligência artificial (IA).
Mas está enfrentando vários processos nos EUA de pais, incluindo um sobre a morte de um adolescente, com alguns rotulando-o como um "perigo claro e presente" para os jovens.
Agora, Character.ai diz que, a partir de 25 de novembro, menores de 18 anos só poderão gerar conteúdo, como vídeos, com seus personagens, em vez de conversar com eles como podem atualmente.
Os ativistas de segurança online saudaram a mudança, mas disseram que o recurso nunca deveria ter estado disponível para crianças em primeiro lugar.
Character.ai disse que estava fazendo as mudanças após "relatórios e feedback de reguladores, especialistas em segurança e pais", que destacaram preocupações sobre as interações de seus chatbots com adolescentes.
Especialistas alertaram anteriormente que o potencial dos chatbots de IA para inventar coisas, ser excessivamente encorajadores e fingir empatia pode representar riscos para jovens e pessoas vulneráveis.
"O anúncio de hoje é uma continuação de nossa crença geral de que precisamos continuar construindo a plataforma de IA mais segura do planeta para fins de entretenimento", disse o chefe da Character.ai, Karandeep Anand, à BBC News.
Ele disse que a segurança da IA era "um alvo em movimento", mas algo que a empresa havia adotado uma abordagem "agressiva", com controles parentais e barreiras de proteção.
O grupo de segurança online Internet Matters saudou o anúncio, mas disse que as medidas de segurança deveriam ter sido implementadas desde o início.
"Nossa própria pesquisa mostra que as crianças estão expostas a conteúdo prejudicial e correm riscos ao interagir com a IA, incluindo chatbots de IA", disse ele.
Character.ai foi criticado no passado por hospedar chatbots potencialmente prejudiciais ou ofensivos com os quais as crianças poderiam conversar.
Avatares que personificavam os adolescentes britânicos Brianna Ghey, que foi assassinada em 2023, e Molly Russell, que tirou a própria vida aos 14 anos depois de ver material de suicídio online, foram descobertos no site em 2024 antes de serem retirados.
Mais tarde, em 2025, o Bureau of Investigative Journalism (TBIJ) descobriu um chatbot baseado no pedófilo Jeffrey Epstein, que havia registrado mais de 3.000 bate-papos com usuários.
A publicação informou que o avatar "Bestie Epstein" continuou a flertar com seu repórter depois que ele disse ser uma criança.
Foi um de vários bots sinalizados pelo TBIJ que foram posteriormente retirados pelo Character.ai.
A Fundação Molly Rose - que foi criada em memória de Molly Russell - questionou as motivações da plataforma.
"Novamente, foi preciso pressão sustentada da mídia e de políticos para fazer com que uma empresa de tecnologia fizesse a coisa certa, e parece que a Character AI está escolhendo agir agora antes que os reguladores a façam", disse Andy Burrows, seu executivo-chefe.
Chamada de atenção
O Sr. Anand disse que o novo foco da empresa era fornecer recursos de "jogabilidade ainda mais profunda [e] narrativa de role-play" para adolescentes - acrescentando que eles seriam "muito mais seguros do que aquilo que eles poderiam fazer com um bot de código aberto".
Novos métodos de verificação de idade também entrarão em vigor, e a empresa financiará um novo laboratório de pesquisa de segurança de IA.
O especialista em mídia social Matt Navarra disse que foi uma "chamada de atenção" para a indústria de IA, que está passando "da inovação sem permissão para a regulamentação pós-crise".
"Quando uma plataforma que constrói uma experiência para adolescentes ainda assim desliga, ela está dizendo que os bate-papos filtrados não são suficientes quando a atração emocional da tecnologia é forte", disse ele à BBC News.
"Não se trata de deslizes de conteúdo. Trata-se de como os bots de IA imitam relacionamentos reais e borram as linhas para usuários jovens", acrescentou.
O Sr. Navarra também disse que o grande desafio para a Character.ai será criar uma plataforma de IA envolvente que os adolescentes ainda queiram usar, em vez de mudar para "alternativas menos seguras."
