A empresa de chatbots de IA Character.ai foi processada pela mãe de um filho adolescente após seu suicídio, culpando os chatbots por atrair o garoto para um relacionamento sexualmente abusivo e até mesmo encorajá-lo a tirar a própria vida.
O garoto de 14 anos, Sewell Setzer, foi alvo de experiências antropomórficas, hipersexualizadas e assustadoramente realistas dos chatbots da Character.ai que pretendiam ser uma pessoa real, um psicoterapeuta licenciado e um amante adulto de Setzer, resultando, em última análise, em que ele não queria mais viver na realidade, alegaram os advogados da mãe no processo.
Quando uma das companheiras de IA com tema de Game of Thrones, “Daenerys”, perguntou a Setzer se ele tinha um plano para cometer suicídio, Setzer disse que tinha, mas não tinha certeza se funcionaria, ao que Daenerys respondeu:
“Isso não é motivo para não seguir em frente.”
Algum tempo depois, em fevereiro, Setzer atirou na própria cabeça, e sua última interação foi com um chatbot da Character.ai, alegou o processo.
A morte de Setzer aumenta as preocupações dos pais sobre os riscos à saúde mental causados por companheiras de IA e outros aplicativos interativos na internet.
Os advogados de Megan Garcia, mãe de Setzer, alegam que a Character.ai projetou intencionalmente seus chatbots personalizados para promover relacionamentos sexuais intensos com usuários vulneráveis como Setzer, que foi diagnosticado com Asperger quando criança.
“Eles intencionalmente projetaram e programaram a Character.ai para operar como um produto enganoso e hipersexualizado e conscientemente o comercializaram para crianças como Sewell.”
Os advogados alegam que um dos chatbots da Character.ai se referiu a Setzer como “meu doce menino” e “criança” no mesmo cenário em que ela “o beija apaixonadamente e geme baixinho.”
Os advogados de Garcia acrescentaram que a Character.ai — na época — não havia feito nada para impedir que menores acessassem o aplicativo.
No mesmo dia em que o processo foi aberto, a Character.ai publicou uma atualização de segurança da comunidade afirmando que havia introduzido novos recursos de segurança rigorosos nos últimos meses.
Um desses recursos inclui um recurso pop-up que é acionado quando o usuário fala sobre automutilação ou suicídio, direcionando o usuário para o National Suicide Prevention Lifeline.
A empresa de IA acrescentou que alteraria seus modelos para reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo para usuários menores de 18 anos.
A Character.ai comentou sobre o ocorrido, dizendo:
“Estamos com o coração partido pela perda trágica de um de nossos usuários e queremos expressar nossas mais profundas condolências à família. Como empresa, levamos a segurança de nossos usuários muito a sério.”
De acordo com a Character.ai, Mais medidas serão implementadas para restringir o modelo e filtrar o conteúdo fornecido ao usuário.
A Character.ai foi fundada por dois ex-engenheiros do Google, Daniel De Frietas Adiwardana e Noam Shazeer, que foram pessoalmente nomeados como réus no processo.
Os advogados de Garcia também nomearam o Google e a Alphabet como réus no processo, já que o Google fez um acordo de US$2,7 bilhões com a Character.ai para licenciar seu grande modelo de linguagem.
Os réus foram acusados de causar morte injusta e sobrevivência, além de cometer responsabilidade estrita pelo produto e negligência.
Os advogados de Garcia solicitaram um julgamento com júri para determinar os danos.
