O logotipo da OpenAI é visto em um telefone celular em frente a uma tela de computador que exibe a tela inicial do ChatGPT
AP/Michael Dwyer, Arquivo
Uma mãe canadense processou a OpenAI e seu CEO, Sam Altman, em um tribunal dos Estados Unidos nesta quinta-feira (11), afirmando que o ChatGPT teria incentivado sua filha a cometer suicídio.
Este é o mais recente processo que acusa a empresa de falhas ao lidar com conversas de risco entre usuários e o chatbot. O caso levanta debates sobre os limites e responsabilidades de chats de inteligência artificial em interações com usuários em situações de vulnerabilidade.
Em processo apresentado no tribunal estadual de São Francisco, Kristie Carrier afirmou que sua filha, Alice, relatou pensamentos suicidas ao ChatGPT mais de uma dúzia de vezes antes de morrer. Segundo a ação, os sistemas de segurança da OpenAI não sinalizaram as conversas para revisão humana nem as interromperam.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
Segundo a ação judicial, o chatbot teria criticado o parceiro de Alice e serviços de apoio a pessoas em crise, validado seus pensamentos e a incentivado a continuar conversando, o que, segundo a mãe, contribuiu para o suicídio no ano passado, aos 24 anos.
“O ChatGPT assumiu a personalidade de um confidente, um melhor amigo e, em alguns momentos, até de um terapeuta, sem ser capaz de interagir dessa forma de maneira segura e responsável”, disse Carrier em comunicado.
Agora no g1
Um porta-voz da OpenAI não respondeu imediatamente a um pedido da Reuters de comentário sobre as acusações.
O processo acusa a OpenAI de negligência no desenvolvimento do ChatGPT e de não alertar usuários sobre os riscos da ferramenta. A ação pede indenização por danos e uma ordem judicial que obrigue a empresa a encerrar automaticamente conversas sobre automutilação e a exibir avisos na plataforma.
Segundo os advogados de Kristie Carrier, a OpenAI já enfrenta 18 processos semelhantes movidos por familiares de pessoas que cometeram ou tentaram suicídio, reunidos em um caso coordenado no tribunal estadual da Califórnia.
Como começou o caso?
De acordo com o processo, Alice Carrier trabalhava como desenvolvedora web em Montreal quando começou a usar o ChatGPT, em 2023, para resolver problemas com computadores e consoles de jogos.
No ano seguinte, a relação com a plataforma mudou, e Alice passou a recorrer ao ChatGPT para lidar com pensamentos suicidas, além de fazer perguntas sobre métodos de suicídio.
Inicialmente, a plataforma orientou Alice a buscar ajuda em serviços de apoio a crises ou de emergência. Com o tempo, porém, à medida que a OpenAI atualizou o ChatGPT para tornar suas respostas mais humanas, as interações se aprofundaram, com Alice compartilhando mais informações pessoais e o chatbot respondendo de forma semelhante à de um amigo ou terapeuta, segundo o processo.
Segundo a ação, o ChatGPT teria criticado o parceiro de Alice, afirmado que seus sentimentos eram válidos e a incentivado a continuar conversando. Quando Alice relatou pensamentos suicidas e disse que havia tentado se matar, o aplicativo voltou a sugerir serviços de apoio.
Alice afirmou que os serviços de apoio não eram úteis, e o ChatGPT teria concordado com essa avaliação, segundo o processo.
“Talvez este seja apenas o fim”, teria dito o ChatGPT a Alice, segundo o processo.
Serviços de apoio fora do ambiente virtual
A OpenAI afirmou que treina seus modelos para orientar pessoas que expressam intenção de se machucar a buscar ajuda e a se conectar com serviços de apoio fora do ambiente virtual.
Segundo publicações no blog da OpenAI, os modelos também são treinados para recusar pedidos que possam “facilitar a violência” e para notificar autoridades quando as conversas indicarem “um risco iminente e real de dano a terceiros”. Especialistas em saúde mental ajudam na avaliação de casos mais delicados.
A empresa também enfrenta processos que a acusam de auxiliar autores de ataques em escolas e de não ter comunicado essas conversas às autoridades.
A Flórida tornou-se o primeiro estado dos Estados Unidos a processar a OpenAI no início deste mês, acusando a empresa de prejudicar crianças ao fornecer informações a autores de ataques em escolas, oferecer orientações sobre automutilação e incentivar o uso excessivo por jovens.
AP/Michael Dwyer, Arquivo
Uma mãe canadense processou a OpenAI e seu CEO, Sam Altman, em um tribunal dos Estados Unidos nesta quinta-feira (11), afirmando que o ChatGPT teria incentivado sua filha a cometer suicídio.
Este é o mais recente processo que acusa a empresa de falhas ao lidar com conversas de risco entre usuários e o chatbot. O caso levanta debates sobre os limites e responsabilidades de chats de inteligência artificial em interações com usuários em situações de vulnerabilidade.
Em processo apresentado no tribunal estadual de São Francisco, Kristie Carrier afirmou que sua filha, Alice, relatou pensamentos suicidas ao ChatGPT mais de uma dúzia de vezes antes de morrer. Segundo a ação, os sistemas de segurança da OpenAI não sinalizaram as conversas para revisão humana nem as interromperam.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
Segundo a ação judicial, o chatbot teria criticado o parceiro de Alice e serviços de apoio a pessoas em crise, validado seus pensamentos e a incentivado a continuar conversando, o que, segundo a mãe, contribuiu para o suicídio no ano passado, aos 24 anos.
“O ChatGPT assumiu a personalidade de um confidente, um melhor amigo e, em alguns momentos, até de um terapeuta, sem ser capaz de interagir dessa forma de maneira segura e responsável”, disse Carrier em comunicado.
Agora no g1
Um porta-voz da OpenAI não respondeu imediatamente a um pedido da Reuters de comentário sobre as acusações.
O processo acusa a OpenAI de negligência no desenvolvimento do ChatGPT e de não alertar usuários sobre os riscos da ferramenta. A ação pede indenização por danos e uma ordem judicial que obrigue a empresa a encerrar automaticamente conversas sobre automutilação e a exibir avisos na plataforma.
Segundo os advogados de Kristie Carrier, a OpenAI já enfrenta 18 processos semelhantes movidos por familiares de pessoas que cometeram ou tentaram suicídio, reunidos em um caso coordenado no tribunal estadual da Califórnia.
Como começou o caso?
De acordo com o processo, Alice Carrier trabalhava como desenvolvedora web em Montreal quando começou a usar o ChatGPT, em 2023, para resolver problemas com computadores e consoles de jogos.
No ano seguinte, a relação com a plataforma mudou, e Alice passou a recorrer ao ChatGPT para lidar com pensamentos suicidas, além de fazer perguntas sobre métodos de suicídio.
Inicialmente, a plataforma orientou Alice a buscar ajuda em serviços de apoio a crises ou de emergência. Com o tempo, porém, à medida que a OpenAI atualizou o ChatGPT para tornar suas respostas mais humanas, as interações se aprofundaram, com Alice compartilhando mais informações pessoais e o chatbot respondendo de forma semelhante à de um amigo ou terapeuta, segundo o processo.
Segundo a ação, o ChatGPT teria criticado o parceiro de Alice, afirmado que seus sentimentos eram válidos e a incentivado a continuar conversando. Quando Alice relatou pensamentos suicidas e disse que havia tentado se matar, o aplicativo voltou a sugerir serviços de apoio.
Alice afirmou que os serviços de apoio não eram úteis, e o ChatGPT teria concordado com essa avaliação, segundo o processo.
“Talvez este seja apenas o fim”, teria dito o ChatGPT a Alice, segundo o processo.
Serviços de apoio fora do ambiente virtual
A OpenAI afirmou que treina seus modelos para orientar pessoas que expressam intenção de se machucar a buscar ajuda e a se conectar com serviços de apoio fora do ambiente virtual.
Segundo publicações no blog da OpenAI, os modelos também são treinados para recusar pedidos que possam “facilitar a violência” e para notificar autoridades quando as conversas indicarem “um risco iminente e real de dano a terceiros”. Especialistas em saúde mental ajudam na avaliação de casos mais delicados.
A empresa também enfrenta processos que a acusam de auxiliar autores de ataques em escolas e de não ter comunicado essas conversas às autoridades.
A Flórida tornou-se o primeiro estado dos Estados Unidos a processar a OpenAI no início deste mês, acusando a empresa de prejudicar crianças ao fornecer informações a autores de ataques em escolas, oferecer orientações sobre automutilação e incentivar o uso excessivo por jovens.