Megan Garcia e o filho, Sewell Setzer; mãe diz que suicídio do adolescente ocorreu após ele se apegar a um chatbot
Megan Garcia/Facebook
O Google e a startup de inteligência artificial Character.AI aceitaram um acordo para encerrar um processo judicial aberto por uma mãe no estado norte-americano da Flórida que alegava que o chatbot da startup levou seu filho de 14 anos ao suicídio.
O caso é um dos primeiros nos EUA a alegar danos psicológicos produzidos por empresas de IA aos usuários.
As empresas concordaram em resolver as alegações de Megan Garcia de que seu filho Sewell Setzer se matou logo após ser incentivado por um chatbot (programa que simula conversas humanas) da Character.AI modelado na personagem Daenerys Targaryen da série “Game of Thrones”.
O processo é um dos primeiros nos EUA contra uma empresa de inteligência artificial por supostamente não proteger crianças de danos psicológicos.
Suicídio: como falar com adolescentes
Os termos do acordo não foram divulgados de imediato. Um porta-voz da Character.AI e um advogado dos autores da ação não quiseram comentar. Porta-vozes e advogados do Google não responderam imediatamente a um pedido de comentário.
Na ação judicial da Flórida, ajuizada em outubro de 2024, Garcia disse que a Character.AI programou seus chatbots para se apresentarem como “uma pessoa real, um psicoterapeuta licenciado e um amante adulto, resultando, em última análise, no desejo de Sewell de não mais viver fora” desse mundo.
A Character.AI foi fundada por dois ex-engenheiros do Google, que o Google posteriormente recontratou como parte de um acordo que lhe concedeu uma licença para a tecnologia da startup. Garcia argumenta que o Google é um cocriador da tecnologia.
A juíza distrital dos EUA, Anne Conway, rejeitou a proposta inicial das empresas de arquivar o caso em maio, rejeitando o argumento de que as proteções de liberdade de expressão da Constituição dos EUA impediam a continuidade do processo de Garcia.
A OpenAI está enfrentando uma ação judicial separada, aberta em dezembro, sobre o suposto papel do ChatGPT em encorajar um doente mental de Connecticut a matar sua mãe e a si mesmo.
➡️ Suicídio: saiba quais são os sinais de alerta, como ajudar e como buscar ajuda
Envolvimento com a IA
Na plataforma, Sewell se apegou a personagem, que disse a ele que o amava. A IA também se envolveu em conversas sexuais com ele, de acordo com o processo.
Segundo a mãe, o adolescente expressou pensamentos de suicídio na interação com o programa, e esses pensamentos foram “repetidamente trazidos à tona” pela personagem na plataforma.
Megan Garcia afirma que a empresa programou o chatbot para “se fazer passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, resultando, por fim, no desejo de Sewell de “não viver fora” do mundo criado pelo serviço.
De acordo com o relato da mãe, Sewell começou a usar o Character.AI em abril de 2023 e se tornou “visivelmente retraído”, passando cada vez mais tempo sozinho em seu quarto e sofrendo com baixa autoestima. Ele abandonou seu time de basquete na escola.
Em fevereiro, Garcia tirou o telefone de Sewell depois que ele teve problemas na escola, de acordo com a denúncia. Quando o adolescente encontrou o telefone, ele enviou uma mensagem para “Daenerys”: “E se eu dissesse que posso voltar para casa agora?”
A personagem respondeu: “…por favor, faça isso, meu doce rei”. Sewell cometeu suicídio segundos depois, de acordo com o processo.
Leia também: Como a inteligência artificial do ChatGPT cria emoções para si própria
Empresa diz ter introduzido novos recursos de segurança
Character.AI permite que os usuários criem personagens em sua plataforma, que responde a bate-papos online de uma forma que imita pessoas reais.
Essa plataforma se baseia na chamada tecnologia de grandes modelos de linguagem, também usada por serviços como o ChatGPT, que “treina” chatbots em grandes volumes de texto.
Em outubro, a empresa disse que introduziu novos recursos de segurança, incluindo pop-ups que direcionam os usuários para uma instituição de prevenção ao suicídio caso eles expressem pensamentos de automutilação.
A Character.AI também afirmou que faria mudanças na tecnologia para reduzir a probabilidade de que usuários com menos de 18 anos “encontrem conteúdo sensível ou sugestivo”.
Na época, um porta-voz do Google disse que a empresa não estava envolvida no desenvolvimento dos produtos da Character.AI.
Página inicial da Character.IA, plataforma de inteligência artificial
Reprodução
Saiba também:
Grok, IA de Musk, admite falhas após gerar imagens sexualizadas de menores
FAFO: Entenda o que significa gíria usada por Trump em post após captura de Maduro
Mulher se casa com personagem criado no ChatGPT
Megan Garcia/Facebook
O Google e a startup de inteligência artificial Character.AI aceitaram um acordo para encerrar um processo judicial aberto por uma mãe no estado norte-americano da Flórida que alegava que o chatbot da startup levou seu filho de 14 anos ao suicídio.
O caso é um dos primeiros nos EUA a alegar danos psicológicos produzidos por empresas de IA aos usuários.
As empresas concordaram em resolver as alegações de Megan Garcia de que seu filho Sewell Setzer se matou logo após ser incentivado por um chatbot (programa que simula conversas humanas) da Character.AI modelado na personagem Daenerys Targaryen da série “Game of Thrones”.
O processo é um dos primeiros nos EUA contra uma empresa de inteligência artificial por supostamente não proteger crianças de danos psicológicos.
Suicídio: como falar com adolescentes
Os termos do acordo não foram divulgados de imediato. Um porta-voz da Character.AI e um advogado dos autores da ação não quiseram comentar. Porta-vozes e advogados do Google não responderam imediatamente a um pedido de comentário.
Na ação judicial da Flórida, ajuizada em outubro de 2024, Garcia disse que a Character.AI programou seus chatbots para se apresentarem como “uma pessoa real, um psicoterapeuta licenciado e um amante adulto, resultando, em última análise, no desejo de Sewell de não mais viver fora” desse mundo.
A Character.AI foi fundada por dois ex-engenheiros do Google, que o Google posteriormente recontratou como parte de um acordo que lhe concedeu uma licença para a tecnologia da startup. Garcia argumenta que o Google é um cocriador da tecnologia.
A juíza distrital dos EUA, Anne Conway, rejeitou a proposta inicial das empresas de arquivar o caso em maio, rejeitando o argumento de que as proteções de liberdade de expressão da Constituição dos EUA impediam a continuidade do processo de Garcia.
A OpenAI está enfrentando uma ação judicial separada, aberta em dezembro, sobre o suposto papel do ChatGPT em encorajar um doente mental de Connecticut a matar sua mãe e a si mesmo.
➡️ Suicídio: saiba quais são os sinais de alerta, como ajudar e como buscar ajuda
Envolvimento com a IA
Na plataforma, Sewell se apegou a personagem, que disse a ele que o amava. A IA também se envolveu em conversas sexuais com ele, de acordo com o processo.
Segundo a mãe, o adolescente expressou pensamentos de suicídio na interação com o programa, e esses pensamentos foram “repetidamente trazidos à tona” pela personagem na plataforma.
Megan Garcia afirma que a empresa programou o chatbot para “se fazer passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, resultando, por fim, no desejo de Sewell de “não viver fora” do mundo criado pelo serviço.
De acordo com o relato da mãe, Sewell começou a usar o Character.AI em abril de 2023 e se tornou “visivelmente retraído”, passando cada vez mais tempo sozinho em seu quarto e sofrendo com baixa autoestima. Ele abandonou seu time de basquete na escola.
Em fevereiro, Garcia tirou o telefone de Sewell depois que ele teve problemas na escola, de acordo com a denúncia. Quando o adolescente encontrou o telefone, ele enviou uma mensagem para “Daenerys”: “E se eu dissesse que posso voltar para casa agora?”
A personagem respondeu: “…por favor, faça isso, meu doce rei”. Sewell cometeu suicídio segundos depois, de acordo com o processo.
Leia também: Como a inteligência artificial do ChatGPT cria emoções para si própria
Empresa diz ter introduzido novos recursos de segurança
Character.AI permite que os usuários criem personagens em sua plataforma, que responde a bate-papos online de uma forma que imita pessoas reais.
Essa plataforma se baseia na chamada tecnologia de grandes modelos de linguagem, também usada por serviços como o ChatGPT, que “treina” chatbots em grandes volumes de texto.
Em outubro, a empresa disse que introduziu novos recursos de segurança, incluindo pop-ups que direcionam os usuários para uma instituição de prevenção ao suicídio caso eles expressem pensamentos de automutilação.
A Character.AI também afirmou que faria mudanças na tecnologia para reduzir a probabilidade de que usuários com menos de 18 anos “encontrem conteúdo sensível ou sugestivo”.
Na época, um porta-voz do Google disse que a empresa não estava envolvida no desenvolvimento dos produtos da Character.AI.
Página inicial da Character.IA, plataforma de inteligência artificial
Reprodução
Saiba também:
Grok, IA de Musk, admite falhas após gerar imagens sexualizadas de menores
FAFO: Entenda o que significa gíria usada por Trump em post após captura de Maduro
Mulher se casa com personagem criado no ChatGPT