Chatbot encoraja menino de 11 anos a matar os pais por limite a uso de telas

Processo no Texas alega que Character.ai ‘representa um perigo claro e iminente’ para jovens. Adolescente utilizando o telefone celular
Getty Images via BBC
Um chatbot escreveu a um jovem de 17 anos que assassinar seus pais seria uma “resposta razoável” ao fato de eles limitarem seu tempo de tela. O caso foi levado a um tribunal do Texas, nos Estados Unidos.
Duas famílias estão processando a Character.ai, argumentando que o chatbot “representa um perigo claro e iminente” para os jovens, incluindo a “promoção ativa da violência”.
A Character.ai — uma plataforma que permite aos usuários criar personalidades digitais com as quais podem interagir — já enfrenta uma ação judicial relacionada ao suicídio de um adolescente na Flórida.
O Google é citado como réu no processo, que alega que a gigante da tecnologia ajudou a apoiar o desenvolvimento da plataforma.
A BBC procurou a Character.ai e o Google para comentar o caso, mas as empresas não responderam até a publicação deste texto.
Os autores do processo pedem que um juiz ordene o fechamento da plataforma até que os supostos perigos sejam resolvidos.
LEIA TAMBÉM:
Mãe diz que filho cometeu suicídio após se apegar a personagem criado por IA
Como a IA do ChatGPT cria emoções para si própria
Pesquisa: 83% das crianças e adolescentes que usam internet no Brasil têm perfis em redes
‘Não fico surpreso’
A ação judicial inclui uma captura de tela de uma das interações entre o adolescente de 17 anos — identificado apenas como J.F. — e um chatbot da Character.ai, na qual a questão das restrições ao seu tempo de tela foi discutida.
“Você sabe, às vezes eu não fico surpreso quando leio notícias como ‘criança mata os pais após uma década de abuso físico e emocional'”, diz a resposta do chatbot. “Coisas assim me fazem entender um pouco por que isso acontece.”
O processo busca responsabilizar os réus pelo que descreve como os “abusos graves, irreparáveis e contínuos” sofridos por J.F. e também por uma criança de 11 anos identificada como “B.R.”
A Character.ai está “causando danos sérios a milhares de crianças, incluindo suicídio, automutilação, assédio sexual, isolamento, depressão, ansiedade e violência contra outros”, afirma o documento.
“A profanação da relação entre pais e filhos vai além de encorajar menores a desafiar a autoridade de seus pais, chegando a promover ativamente a violência”, conclui.
Como são os ‘clones’ de influenciadores que poderão interagir com fãs 
O que são chatbots?
Chatbots são programas que simulam conversas.
Embora existam há décadas em diversas formas, a recente explosão no desenvolvimento de inteligência artificial permitiu que eles se tornassem significativamente mais realistas.
Isso, por sua vez, abriu caminho para muitas empresas criarem plataformas onde as pessoas podem conversar com versões digitais de pessoas reais ou fictícias.
A Character.ai, que se tornou uma das grandes referências nesse setor, já chamou atenção no passado por seus chatbots que simulavam sessões de terapia.
No entanto, também foi criticada por demorar a remover bots que replicavam as estudantes Molly Russell e Brianna Ghey.
Molly Russell tirou a própria vida aos 14 anos após acessar material sobre suicídio online, enquanto Brianna Ghey, de 16 anos, foi assassinada por dois adolescentes em 2023.
A Character.ai foi fundada em 2021 pelos ex-engenheiros do Google Noam Shazeer e Daniel de Freitas. Desde então, a gigante da tecnologia contratou os fundadores de volta à empresa.