Acusada de favorecer suicídios de jovens, Character.AI anuncia medidas de segurança

Empresa diz que tinha desenvolvido modelo de IA separado para menores de 18 anos e que planeja introduzir controles parentais no início de 2025. Criança no celular
Canva
A Character.AI, uma das startups de inteligência artificial mais promissoras do Vale do Silício, anunciou, nesta quinta-feira (12), novas medidas de segurança para proteger usuários adolescentes, enquanto enfrenta acusações de que seus chatbots contribuíram para o suicídio e a automutilação de jovens.
A empresa californiana, fundada por ex-engenheiros do Google, é uma das várias que oferecem chatbots projetados para fornecer conversas, entretenimento e apoio emocional através de interações semelhantes às humanas.
Em uma ação judicial apresentada em outubro no estado da Flórida, uma mãe afirmou que a plataforma é responsável pelo suicídio de seu filho de 14 anos.
O adolescente, Sewell Setzer III, mantinha um relacionamento íntimo com um chatbot baseado na personagem de “Game of Thrones” Daenerys Targaryen e havia mencionado o desejo de se suicidar.
De acordo com a denúncia, o robô incentivou o ato final do jovem, respondendo “por favor, meu doce rei” quando ele disse que “voltaria para casa”, antes de tirar a própria vida com a arma de seu padrasto.
A Character.AI “fez de tudo para criar a dependência prejudicial de Sewell, de 14 anos, de seus produtos, abusou sexual e emocionalmente dele e, finalmente, não ofereceu ajuda nem notificou seus pais quando ele expressou ideias suicidas”, diz a denúncia.
Outra ação, apresentada no Texas na segunda-feira, envolve duas famílias que alegam que a plataforma expôs seus filhos a conteúdo sexual e incentivou a automutilação.
Um dos casos envolve um adolescente autista de 17 anos que supostamente sofreu uma crise de saúde mental após usar a plataforma, enquanto a outra denúncia alega que a Character.AI incentivou um adolescente a matar seus pais por limitarem seu tempo de tela.
A plataforma, que hospeda milhões de personagens criados por usuários que vão desde figuras históricas até conceitos abstratos, tornou-se popular entre usuários jovens que buscam apoio emocional.
Seus críticos dizem que ela levou adolescentes vulneráveis a um nível perigoso de dependência.
Em resposta, a Character.AI anunciou que havia desenvolvido um modelo de IA separado para usuários menores de 18 anos, com filtros de conteúdo mais rígidos e respostas mais moderadas.
A plataforma marcará automaticamente o conteúdo relacionado ao suicídio e direcionará os usuários para a Linha Nacional de Prevenção do Suicídio.
“Nosso objetivo é fornecer um espaço atraente e seguro para nossa comunidade”, disse um porta-voz da empresa.
A Character.AI também planeja introduzir controles parentais a partir do início de 2025, o que permitirá supervisionar o uso por parte das crianças da plataforma.
Para os bots que incluem descrições como terapeuta ou médico, uma nota especial advertirá que eles não substituem o aconselhamento profissional.
As novas características também incluem notificações de pausas obrigatórias e advertências sobre a natureza artificial das interações.
Ambas as ações mencionam os fundadores da Character.AI e o Google, que investe na startup.
Os fundadores, Noam Shazeer e Daniel de Freitas Adiwarsana, retornaram ao Google em agosto como parte de um acordo de licença de tecnologia com a Character.AI.
O porta-voz do Google, José Castañeda, disse em um comunicado que o Google e a Character.AI são empresas completamente separadas e não relacionadas.
“A segurança do usuário é uma de nossas principais preocupações, por isso adotamos um enfoque cauteloso e responsável para desenvolver e implementar nossos produtos de IA, com testes rigorosos e processos de segurança”, acrescentou.
Veja mais:
Crianças x redes sociais: como os países restringem acesso de menores de idade às plataformas
Menores desdenham da educação e dizem ganhar muito dinheiro vendendo cursos