Como a inteligência artificial é usada para criar deepfakes com síndrome de Down em conteúdo sexual lucrativo
BBC
Alice relembra o dia em que ela viu pela primeira vez a conta deepfake no Instagram usando sua imagem.
“O que passou pela minha cabeça foi simplesmente surpresa e humilhação”, contou à BBC a jovem de 17 anos.
A conta falsa usava fotos e vídeos do seu corpo. Seu rosto foi editado com inteligência artificial, fazendo parecer que ela era uma pessoa com síndrome de Down.
O perfil tinha 25 mil seguidores e levava os usuários para conteúdo adulto em websites externos.
Alice enviou mensagens diretas para a conta diversas vezes, pedindo aos criadores que a derrubassem. Ela os informou que era menor de idade, mas não recebeu resposta.
“Foi muito assustador observar a completa desconsideração pela minha idade ou pelos meus sentimentos”, declarou ela.
O perfil faz parte de uma tendência perturbadora de contas criadas com deepfake simulando deficiências para ganhar dinheiro, segundo descobriu a BBC.
As personagens no Instagram, geradas por IA, usam imagens de corpos de mulheres reais sem o seu consentimento, provavelmente retiradas de contas públicas nas redes sociais. Filtros de IA alteram seus rostos para criar imagens de pessoas com síndrome de Down.
As contas falsas postam mensagens sexualmente sugestivas para gerar engajamento. Em troca, os usuários que consomem o conteúdo respondem com observações sexualmente explícitas.
Estas contas retiram dados das mulheres “sem o seu consentimento e os usam para capitalizar a deficiência como forma de ganhar dinheiro”, segundo a pesquisadora sênior em ética de IA Eleanor Drage, da Universidade de Cambridge, no Reino Unido.
“É efetivamente prejudicial para pessoas como Alice”, afirma ela.
A monetização desta tendência ocorre em outro lugar. Todas as contas encontradas pela BBC direcionam os usuários para outros perfis, no serviço pago por assinatura OnlyFans, conhecido por hospedar conteúdo sexual.
Os perfis no OnlyFans usam o mesmo nome das contas falsas do Instagram, mas sem o filtro de síndrome de Down. Eles mostram os corpos de diferentes mulheres, com seus rostos ocultos ou cortados.
O OnlyFans proíbe conteúdo não consensual gerado por IA, o que pode ser a razão por trás da estratégia de cortar os rostos das mulheres, em vez de criar deepfakes com elas.
A BBC não conseguiu determinar se as outras mulheres autorizaram para que seus corpos aparecessem nas contas do OnlyFans.
Com “diversas mulheres diferentes fazendo parte de um único perfil”, o resultado é uma “rede de exploração”, segundo Drage.
Alice afirma que denunciou a conta para o Instagram, mas recebeu uma resposta automática, alegando que o usuário não violou as normas da plataforma.
Deepfakes sexualmente explícitos contrariam a política do Instagram, mas os vídeos deepfake usando o corpo de Alice não eram sexualmente explícitos.
Cópia de tela de uma das contas deepfake no Instagram
BBC
Em busca das pessoas que criaram as contas, a BBC investigou o mundo dos autoproclamados “Gerentes de IA do OnlyFans” — pessoas que criam influenciadores com IA para promover contas de conteúdo adulto e ganhar dinheiro com elas.
Encontramos um “gerente” francês de nome Dorian. Ele mantinha um canal no YouTube com centenas de tutoriais de vídeo para criar influenciadores com IA e um canal no Telegram com milhares de assinantes.
Em um dos seus tutoriais no YouTube, ele conta que “uma das melhores coisas com a IA é que você pode criar qualquer nicho sob demanda”.
“Você quer uma e-girl gótica? Vamos lá. Uma modelo de fitness latina? Tudo bem. Você quer algo ainda mais louco que isso?” Ele cita outros exemplos do que chama de mercado de “nicho”, como modelos trans ou com nanismo.
“Você pode criar qualquer personagem instantaneamente e dominar nichos pouco atendidos ou em alta tendência”, ele conta.
Analisando as contas que ele afirma possuir no seu canal no Telegram e as imagens de personagens que ele criou com IA, visíveis nos seus tutoriais no YouTube, a BBC encontrou evidências de que um dos chamados “nichos” explorados por Dorian é a síndrome de Down.
No Telegram, ele compartilhou uma cópia de tela de uma de suas contas de “influenciadora”, incluindo o rosto. A BBC identificou a silhueta, o fundo e a sequência de postagens com uma conta deepfake no Instagram, que se apresenta como sendo uma pessoa com síndrome de Down.
Também identificamos, em segundo plano, uma modelo com síndrome de Down gerada por IA em um dos tutoriais de Dorian.
Não temos evidências para sugerir que Dorian tivesse feito os deepfakes de Alice. A BBC tentou entrar em contato com ele no Telegram e no Instagram, além de escrever para os endereços associados aos seus negócios. Mas não houve resposta até a publicação desta reportagem.
Este tipo de conta não prejudica apenas as pessoas que têm seu conteúdo roubado. Elas também afetam a comunidade com síndrome de Down como um todo.
Jeremy e Audrey são ativistas e produtores de podcasts com síndrome de Down nos Estados Unidos. Eles estão profundamente preocupados com esta tendência.
“Acho que não está certo que eles tenham uma deficiência falsa”, afirma Audrey.
“Eu e Jeremy temos síndrome de Down e adoramos isso. Ela é única e eu adoro. É meio que a melhor coisa da minha vida. E, com esses deepfakes, parece que estou sendo usada.”
“Estão fazendo isso por dinheiro”, lamenta Jeremy. “Por favor, parem com isso.”
Audrey e Jeremy conversaram com a BBC do seu estúdio na Califórnia, nos Estados Unidos
The Audrey and Jeremy Show
O YouTube respondeu às descobertas feitas pela BBC. A plataforma declarou ter cancelado os canais de Dorian, por violar suas políticas de spam, scam e práticas enganosas.
A empresa Meta, proprietária do Instagram, afirmou à BBC que todas as contas que denunciamos já haviam sido removidas da plataforma, exceto uma.
A remoção se deu por desrespeito às suas regras, como a proibição da personificação de terceiros ou a promoção de serviços sexuais. A conta que usou a imagem de Alice não está mais ativa.
A BBC também informou o OnlyFans sobre suas descobertas. A plataforma respondeu que “todos os criadores passam por profunda verificação das suas identidades, para garantir que eles têm mais de 18 anos e consentimento de uso das imagens”.
O OnlyFans afirmou que todo o conteúdo é moderado e que a plataforma não permite imagens deste tipo.
LEIA TAMBÉM:
‘Atriz’ criada por inteligência artificial gera protestos em Hollywood
Como a inteligência artificial ajudou a salvar o Google
O risco das imagens perfeitas geradas por inteligência artificial
BBC
Alice relembra o dia em que ela viu pela primeira vez a conta deepfake no Instagram usando sua imagem.
“O que passou pela minha cabeça foi simplesmente surpresa e humilhação”, contou à BBC a jovem de 17 anos.
A conta falsa usava fotos e vídeos do seu corpo. Seu rosto foi editado com inteligência artificial, fazendo parecer que ela era uma pessoa com síndrome de Down.
O perfil tinha 25 mil seguidores e levava os usuários para conteúdo adulto em websites externos.
Alice enviou mensagens diretas para a conta diversas vezes, pedindo aos criadores que a derrubassem. Ela os informou que era menor de idade, mas não recebeu resposta.
“Foi muito assustador observar a completa desconsideração pela minha idade ou pelos meus sentimentos”, declarou ela.
O perfil faz parte de uma tendência perturbadora de contas criadas com deepfake simulando deficiências para ganhar dinheiro, segundo descobriu a BBC.
As personagens no Instagram, geradas por IA, usam imagens de corpos de mulheres reais sem o seu consentimento, provavelmente retiradas de contas públicas nas redes sociais. Filtros de IA alteram seus rostos para criar imagens de pessoas com síndrome de Down.
As contas falsas postam mensagens sexualmente sugestivas para gerar engajamento. Em troca, os usuários que consomem o conteúdo respondem com observações sexualmente explícitas.
Estas contas retiram dados das mulheres “sem o seu consentimento e os usam para capitalizar a deficiência como forma de ganhar dinheiro”, segundo a pesquisadora sênior em ética de IA Eleanor Drage, da Universidade de Cambridge, no Reino Unido.
“É efetivamente prejudicial para pessoas como Alice”, afirma ela.
A monetização desta tendência ocorre em outro lugar. Todas as contas encontradas pela BBC direcionam os usuários para outros perfis, no serviço pago por assinatura OnlyFans, conhecido por hospedar conteúdo sexual.
Os perfis no OnlyFans usam o mesmo nome das contas falsas do Instagram, mas sem o filtro de síndrome de Down. Eles mostram os corpos de diferentes mulheres, com seus rostos ocultos ou cortados.
O OnlyFans proíbe conteúdo não consensual gerado por IA, o que pode ser a razão por trás da estratégia de cortar os rostos das mulheres, em vez de criar deepfakes com elas.
A BBC não conseguiu determinar se as outras mulheres autorizaram para que seus corpos aparecessem nas contas do OnlyFans.
Com “diversas mulheres diferentes fazendo parte de um único perfil”, o resultado é uma “rede de exploração”, segundo Drage.
Alice afirma que denunciou a conta para o Instagram, mas recebeu uma resposta automática, alegando que o usuário não violou as normas da plataforma.
Deepfakes sexualmente explícitos contrariam a política do Instagram, mas os vídeos deepfake usando o corpo de Alice não eram sexualmente explícitos.
Cópia de tela de uma das contas deepfake no Instagram
BBC
Em busca das pessoas que criaram as contas, a BBC investigou o mundo dos autoproclamados “Gerentes de IA do OnlyFans” — pessoas que criam influenciadores com IA para promover contas de conteúdo adulto e ganhar dinheiro com elas.
Encontramos um “gerente” francês de nome Dorian. Ele mantinha um canal no YouTube com centenas de tutoriais de vídeo para criar influenciadores com IA e um canal no Telegram com milhares de assinantes.
Em um dos seus tutoriais no YouTube, ele conta que “uma das melhores coisas com a IA é que você pode criar qualquer nicho sob demanda”.
“Você quer uma e-girl gótica? Vamos lá. Uma modelo de fitness latina? Tudo bem. Você quer algo ainda mais louco que isso?” Ele cita outros exemplos do que chama de mercado de “nicho”, como modelos trans ou com nanismo.
“Você pode criar qualquer personagem instantaneamente e dominar nichos pouco atendidos ou em alta tendência”, ele conta.
Analisando as contas que ele afirma possuir no seu canal no Telegram e as imagens de personagens que ele criou com IA, visíveis nos seus tutoriais no YouTube, a BBC encontrou evidências de que um dos chamados “nichos” explorados por Dorian é a síndrome de Down.
No Telegram, ele compartilhou uma cópia de tela de uma de suas contas de “influenciadora”, incluindo o rosto. A BBC identificou a silhueta, o fundo e a sequência de postagens com uma conta deepfake no Instagram, que se apresenta como sendo uma pessoa com síndrome de Down.
Também identificamos, em segundo plano, uma modelo com síndrome de Down gerada por IA em um dos tutoriais de Dorian.
Não temos evidências para sugerir que Dorian tivesse feito os deepfakes de Alice. A BBC tentou entrar em contato com ele no Telegram e no Instagram, além de escrever para os endereços associados aos seus negócios. Mas não houve resposta até a publicação desta reportagem.
Este tipo de conta não prejudica apenas as pessoas que têm seu conteúdo roubado. Elas também afetam a comunidade com síndrome de Down como um todo.
Jeremy e Audrey são ativistas e produtores de podcasts com síndrome de Down nos Estados Unidos. Eles estão profundamente preocupados com esta tendência.
“Acho que não está certo que eles tenham uma deficiência falsa”, afirma Audrey.
“Eu e Jeremy temos síndrome de Down e adoramos isso. Ela é única e eu adoro. É meio que a melhor coisa da minha vida. E, com esses deepfakes, parece que estou sendo usada.”
“Estão fazendo isso por dinheiro”, lamenta Jeremy. “Por favor, parem com isso.”
Audrey e Jeremy conversaram com a BBC do seu estúdio na Califórnia, nos Estados Unidos
The Audrey and Jeremy Show
O YouTube respondeu às descobertas feitas pela BBC. A plataforma declarou ter cancelado os canais de Dorian, por violar suas políticas de spam, scam e práticas enganosas.
A empresa Meta, proprietária do Instagram, afirmou à BBC que todas as contas que denunciamos já haviam sido removidas da plataforma, exceto uma.
A remoção se deu por desrespeito às suas regras, como a proibição da personificação de terceiros ou a promoção de serviços sexuais. A conta que usou a imagem de Alice não está mais ativa.
A BBC também informou o OnlyFans sobre suas descobertas. A plataforma respondeu que “todos os criadores passam por profunda verificação das suas identidades, para garantir que eles têm mais de 18 anos e consentimento de uso das imagens”.
O OnlyFans afirmou que todo o conteúdo é moderado e que a plataforma não permite imagens deste tipo.
LEIA TAMBÉM:
‘Atriz’ criada por inteligência artificial gera protestos em Hollywood
Como a inteligência artificial ajudou a salvar o Google
O risco das imagens perfeitas geradas por inteligência artificial