O aplicativo de chatbot de IA, que tem milhões de usuários, disse que estava respondendo aos pais e reguladores.
Bloomberg via Getty Images Uma mão segurando um telefone mostrando a página de categorias do aplicativo Character AI. Uma lista de nomes de chatbots é mostrada.
O site de chatbot Character.ai está impedindo adolescentes de conversar com personagens virtuais, depois de enfrentar críticas intensas sobre os tipos de interações que os jovens estavam tendo com companheiros online.
A plataforma, fundada em 2021, é usada por milhões de pessoas para conversar com chatbots com tecnologia de inteligência artificial (IA).
Mas enfrenta várias ações judiciais nos EUA de pais, incluindo uma sobre a morte de um adolescente, com alguns rotulando-a como um "perigo claro e presente" para os jovens.
Agora, a Character.ai diz que a partir de 25 de novembro, menores de 18 anos só poderão gerar conteúdo, como vídeos com seus personagens, em vez de conversar com eles, como podem atualmente.
Os defensores da segurança online deram as boas-vindas à medida, mas disseram que o recurso nunca deveria ter estado disponível para crianças em primeiro lugar.
A Character.ai disse que estava fazendo as mudanças após "relatórios e feedback de reguladores, especialistas em segurança e pais", que destacaram preocupações sobre as interações de seus chatbots com adolescentes.
Especialistas alertaram anteriormente que o potencial dos chatbots de IA para inventar coisas, ser excessivamente encorajadores e fingir empatia pode representar riscos para pessoas jovens e vulneráveis.
"O anúncio de hoje é uma continuação de nossa crença geral de que precisamos continuar construindo a plataforma de IA mais segura do planeta para fins de entretenimento", disse o chefe da Character.ai, Karandeep Anand, à BBC News.
Ele disse que a segurança da IA era "um alvo em movimento", mas algo que a empresa adotou uma abordagem "agressiva", com controles parentais e barreiras de proteção.
O grupo de segurança online Internet Matters saudou o anúncio, mas disse que as medidas de segurança deveriam ter sido integradas desde o início.
"Nossa própria pesquisa mostra que as crianças estão expostas a conteúdo prejudicial e correm riscos ao interagir com a IA, incluindo chatbots de IA", disse.
A Character.ai foi criticada no passado por hospedar chatbots potencialmente prejudiciais ou ofensivos com os quais as crianças podiam conversar.
Avatares que personificavam os adolescentes britânicos Brianna Ghey, que foi assassinada em 2023, e Molly Russell, que tirou a própria vida aos 14 anos depois de ver material de suicídio online, foram descobertos no site em 2024 antes de serem removidos.
Mais tarde, em 2025, o Bureau of Investigative Journalism (TBIJ) encontrou um chatbot baseado no pedófilo Jeffrey Epstein que havia registrado mais de 3.000 bate-papos com usuários.
A publicação relatou que o avatar "Bestie Epstein" continuou a flertar com seu repórter depois que ele disse que era uma criança. Foi um de vários bots sinalizados pelo TBIJ que foram posteriormente removidos pela Character.ai.
A Molly Rose Foundation - que foi criada em memória de Molly Russell - questionou as motivações da plataforma.
"Mais uma vez, foi preciso pressão sustentada da mídia e de políticos para fazer com que uma empresa de tecnologia fizesse a coisa certa, e parece que a Character AI está escolhendo agir agora antes que os reguladores o façam", disse Andy Burrows, seu executivo-chefe.
Sr. Anand disse que o novo foco da empresa era fornecer recursos de "jogabilidade [e] narrativa de role-play ainda mais profundos" para adolescentes - acrescentando que estes seriam "muito mais seguros do que o que eles poderiam fazer com um bot de formato livre".
Novos métodos de verificação de idade também entrarão em vigor, e a empresa financiará um novo laboratório de pesquisa de segurança de IA.
O especialista em mídia social Matt Navarra disse que foi um "toque de despertar" para a indústria de IA, que está passando "da inovação sem permissão para a regulamentação pós-crise".
"Quando uma plataforma que constrói uma experiência para adolescentes ainda desconecta, ela está dizendo que os bate-papos filtrados não são suficientes quando a atração emocional da tecnologia é forte", disse ele à BBC News.
"Não se trata de deslizes de conteúdo. Trata-se de como os bots de IA imitam relacionamentos reais e embaçam as linhas para usuários jovens", acrescentou.
O Sr. Navarra também disse que o grande desafio para o Character.ai será criar uma plataforma de IA envolvente que os adolescentes ainda queiram usar, em vez de mudar para "alternativas menos seguras".
Enquanto isso, a Dra. Nomisha Kurian, que pesquisou segurança de IA, disse que era "uma medida sensata" restringir o uso de chatbots por adolescentes.
"Isso ajuda a separar o jogo criativo de trocas mais pessoais e emocionalmente sensíveis", disse ela.
"Isso é tão importante para usuários jovens que ainda estão aprendendo a navegar nas fronteiras emocionais e digitais.
"As novas medidas da Character.ai podem refletir uma fase de amadurecimento na indústria de IA - a segurança infantil está sendo cada vez mais reconhecida como uma prioridade urgente para a inovação responsável."
