Há dez anos, o influenciador digital e cientista da comunicação Christian Gonzatti, de 33 anos, denuncia a violência algorítmica, argumentando que os algoritmos de redes sociais costumam dar menos visibilidade a alguns conteúdos de temática LGBTQIA+ produzidos por ele sem transparência quanto aos termos que seriam supostamente “proibidos” pelo sistema.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
Gonzatti, que também é professor na Universidade do Vale do Rio dos Sinos (Unisinos), começou a publicar conteúdos culturais classificados como “nerd” dentro do segmento LGBTQIA+ em um canal chamado Viado Nerd.
“O algoritmo não lê contexto. Não via ‘viado’ como uma ressignificação, da maneira que historicamente o movimento faz a partir de termos criados originalmente para difamar e caluniar. A página começou a ser denunciada e a plataforma as acatou, como se o espaço fosse de veiculação de discursos de ódio”, recorda ele.
De lá para cá, mesmo rebatizando o projeto de Diversidade Nerd, ele continua sendo frequentemente classificado de forma errônea pelas plataformas ou, acredita, muitas vezes tendo seus posts rebaixados em relevância conforme algumas terminologias adotadas. “Se coloco a palavra gay ou lésbica na legenda, por exemplo, o alcance é menor”, afirma.
Agora no g1
Esse não é um caso específico. Há violência algorítmica quando sistemas de reconhecimento facial classificam de forma pejorativa traços ligados a etnias não brancas, quando a inteligência artificial (IA) produz e distribui deep fakes para destruir a reputação de alguém e até quando modelos automatizados buscam interferir no comportamento das pessoas.
“Muitas vezes estou já dirigindo há 10 horas, 12 horas, sem parar e, quando penso em encerrar o dia, recebo mensagem no aplicativo que estou a uma corrida de ganhar um bônus. Quando vejo, fico 14 horas trabalhando direto, sem parar nem para comer”, conta um motorista de aplicativo que atua em São Paulo – mas pede para não ser identificado.
“Neste caso, os algoritmos forçam as pessoas a aumentar a produtividade de um jeito que não reconhece os limites naturais da humanidade. É violência”, afirma o cientista da computação e jornalista Alexandre Gonçalves, professor e pesquisador na Universidade de Illinois Urbana-Champaign, nos Estados Unidos.
Logo do Instagram, da Meta, e do TikTok.
Reuters
Agressão automatizada
Professor de mídia e democracia na Universidade de Maryland, também nos Estados Unidos, o jornalista Daniel Trielli explica que violência algorítmica é um “tipo de agressão ou ataque que depende ou se integra a sistemas computacionais automatizados”. Isto inclui não só algoritmos de redes sociais, mas também plataformas de vigilância digital e ferramentas de inteligência artificial. Esses meios podem intensificar os modos tradicionais de violência e também possibilitam novas maneiras de violência.
O exemplo mais corriqueiro seria a disseminação de fake news via redes sociais. “Quando alguém espalha esse conteúdo, os algoritmos amplificam o alcance de mensagem que têm apelo emocional”, explica Trielli.
O termo violência algorítmica passou a ser utilizado no início da década passada – por acadêmicos, intelectuais e artistas engajados na problemática. Pesquisadores na Unisinos, a jurista e professora Haide Maria Hupffer e o advogado Gabriel Cemin Petry explicam que o termo foi fundamentado com propriedade a partir do livro Topologia da Violência, do filósofo Byung-Chul Han.
“Não há uma pessoa única que tenha ‘inventado’ a expressão. Ela faz parte de um campo mais amplo de debates sobre discriminação algorítmica, opressão, racismo, colonialismo de dados e injustiça automatizada”, comenta a assistente social Bruna Irineu, professora na Universidade Federal de Mato Grosso e coautora do livro Violência Algorítmica e Vidas LGBTQIAPN+.
No cerne da questão está o fato de que os algoritmos não são neutros. Criados por pessoas, empresa e instituições que foram alçadas a ocupar papéis hegemônicos em sociedades alicerçadas em pilares de racismo, sexismo e outras desigualdades estruturais, esses sistemas tendem a reproduzir este “pensamento” preponderante. Afinal, de forma muito simplificada, as ferramentas de inteligência artificial são treinadas a partir da exposição de milhões de conteúdos e decisões oriundos da mente humana.
“Podemos dizer que violência algorítmica acontece quando sistemas automatizados, plataformas digitais, inteligências artificiais, mecanismos de busca, redes sociais ou bancos de dados produzem, reproduzem e amplificam desigualdades sociais”, define a antropóloga Larissa Pelúcio, professora na Universidade Estadual Paulista (Unesp) e coautora do livro Violência Algorítmica e Vidas LGBTQIAPN+.
“Ela aparece quando uma tecnologia decide quem será visto, quem será silenciado, quem será considerado suspeito, quem terá acesso a oportunidades, crédito, emprego, circulação, reconhecimento ou proteção”, acrescenta.
Irineu completa frisando que a violência algorítmica não cria a desigualdade, mas organiza, amplifica, potencializa, automatiza e dá mais relevância a uma desigualdade que já estava presente na sociedade.
Discriminação digital
No Brasil, o problema é potencializado por diversas razões. Pelúcio ressalta que a sociedade brasileira já é marcada por formas “naturalizadas de violência institucional”. No caldo nacional, há uma combinação peculiar entre “intensa presença digital e profundas desigualdades sociais”.
Para a antropóloga, são ingredientes fundamentais para conferir gravidade à questão. Ela frisa ainda que há, no panorama brasileiro, uma “centralidade da violência contra populações negras, indígenas, periféricas e LGBTQIAPN+”.
Hupffer e Petry dão um exemplo que ilustra o problema. Em 2021, o Conselho Nacional de Justiça criou um grupo de trabalho para realizar um diagnóstico em processos criminais para evitar condenação de inocentes. Partiram de estudos da Defensoria Pública do Estado do Rio de Janeiro que demonstravam os efeitos do racismos estrutural no sistema, em âmbito nacional. Segundo a pesquisa, em 83% dos casos de reconhecimento facial equivocado que levou pessoas inocentes à prisão preventiva, os encarcerados eram pessoas negras.
Se dados assim forem usados para treinamento de algoritmos, argumentam os pesquisadores, a consequência seria a automatização de falhas que prejudicam os afrodescendentes. É o racismo estrutural, portanto, se tornando racismo digital.
Além disso, para as pesquisadoras Pelúcio e Irineu há a questão do “pânico moral” ligado às plataformas digitais. “Os algoritmos de engajamento tendem a favorecer conteúdos que provocam medo, indignação e conflito. Isso faz com que discursos de ódio e desinformação ganhem escala e velocidade”, pontua Irineu.
O cientista da computação Gonçalves explica que esse cenário tende a ser mais complicado no Brasil pelo papel periférico que o país ocupa na construção dessas tecnologias. Como é um setor que importa muito as soluções, os dados muitas vezes não são adequados para as diferenças demográficas brasileiras. “Pode gerar decisões ainda mais enviesadas”, argumenta ele.
Mas os juristas Hupffer e Petry lembram que o Brasil “explicitamente reconheceu” a proteção de dados pessoais como um direito fundamental, a partir de emenda constitucional de 2022. Além disso, a Lei Geral de Proteção de Dados do país carrega o princípio da não discriminação. Ou seja: ao menos no arcabouço jurídico e legislativo, há um amparo.
Educação e regulação
Não há uma panaceia para resolver o problema. Há um conjunto de medidas que precisam ser tomadas. A começar pela educação, os esforços de letramento digital em busca do exercício consciente de uma cidadania online. “É muito importante educar para que todos entendam a maluquice que é o fato de darmos todos os nossos dados para as empresas de tecnologia”, comenta Gonçalves.
Especialistas também cobram regulação do setor das big techs. “Precisamos de leis e políticas públicas que responsabilizem plataformas e empresas de tecnologias por danos algorítmicos”, afirma a antropóloga Pelúcio. O influenciador Gonzatti também defende que as plataformas tenham mais transparência em suas diretrizes algorítmicas.
Em um espectro mais profundo, Pelúcio e Irineu entendem ser necessária uma técnica amparada por justiça social, em um esforço envolvendo auditorias independentes e revisão em bases de dados com participação de grupos afetados pelo desenho das tecnologias. “Não se trata de corrigir viés como se fosse um pequeno defeito técnico, mas de reconhecer que muitos sistemas são construídos sobre desigualdades históricas”, afirma Irineu.
Algoritmo desenvolvido no ICMC da USP de São Carlos identifica possibilidade de pedofilia em conversas em aplicativos de mensagens
Reprodução EPTV
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
Gonzatti, que também é professor na Universidade do Vale do Rio dos Sinos (Unisinos), começou a publicar conteúdos culturais classificados como “nerd” dentro do segmento LGBTQIA+ em um canal chamado Viado Nerd.
“O algoritmo não lê contexto. Não via ‘viado’ como uma ressignificação, da maneira que historicamente o movimento faz a partir de termos criados originalmente para difamar e caluniar. A página começou a ser denunciada e a plataforma as acatou, como se o espaço fosse de veiculação de discursos de ódio”, recorda ele.
De lá para cá, mesmo rebatizando o projeto de Diversidade Nerd, ele continua sendo frequentemente classificado de forma errônea pelas plataformas ou, acredita, muitas vezes tendo seus posts rebaixados em relevância conforme algumas terminologias adotadas. “Se coloco a palavra gay ou lésbica na legenda, por exemplo, o alcance é menor”, afirma.
Agora no g1
Esse não é um caso específico. Há violência algorítmica quando sistemas de reconhecimento facial classificam de forma pejorativa traços ligados a etnias não brancas, quando a inteligência artificial (IA) produz e distribui deep fakes para destruir a reputação de alguém e até quando modelos automatizados buscam interferir no comportamento das pessoas.
“Muitas vezes estou já dirigindo há 10 horas, 12 horas, sem parar e, quando penso em encerrar o dia, recebo mensagem no aplicativo que estou a uma corrida de ganhar um bônus. Quando vejo, fico 14 horas trabalhando direto, sem parar nem para comer”, conta um motorista de aplicativo que atua em São Paulo – mas pede para não ser identificado.
“Neste caso, os algoritmos forçam as pessoas a aumentar a produtividade de um jeito que não reconhece os limites naturais da humanidade. É violência”, afirma o cientista da computação e jornalista Alexandre Gonçalves, professor e pesquisador na Universidade de Illinois Urbana-Champaign, nos Estados Unidos.
Logo do Instagram, da Meta, e do TikTok.
Reuters
Agressão automatizada
Professor de mídia e democracia na Universidade de Maryland, também nos Estados Unidos, o jornalista Daniel Trielli explica que violência algorítmica é um “tipo de agressão ou ataque que depende ou se integra a sistemas computacionais automatizados”. Isto inclui não só algoritmos de redes sociais, mas também plataformas de vigilância digital e ferramentas de inteligência artificial. Esses meios podem intensificar os modos tradicionais de violência e também possibilitam novas maneiras de violência.
O exemplo mais corriqueiro seria a disseminação de fake news via redes sociais. “Quando alguém espalha esse conteúdo, os algoritmos amplificam o alcance de mensagem que têm apelo emocional”, explica Trielli.
O termo violência algorítmica passou a ser utilizado no início da década passada – por acadêmicos, intelectuais e artistas engajados na problemática. Pesquisadores na Unisinos, a jurista e professora Haide Maria Hupffer e o advogado Gabriel Cemin Petry explicam que o termo foi fundamentado com propriedade a partir do livro Topologia da Violência, do filósofo Byung-Chul Han.
“Não há uma pessoa única que tenha ‘inventado’ a expressão. Ela faz parte de um campo mais amplo de debates sobre discriminação algorítmica, opressão, racismo, colonialismo de dados e injustiça automatizada”, comenta a assistente social Bruna Irineu, professora na Universidade Federal de Mato Grosso e coautora do livro Violência Algorítmica e Vidas LGBTQIAPN+.
No cerne da questão está o fato de que os algoritmos não são neutros. Criados por pessoas, empresa e instituições que foram alçadas a ocupar papéis hegemônicos em sociedades alicerçadas em pilares de racismo, sexismo e outras desigualdades estruturais, esses sistemas tendem a reproduzir este “pensamento” preponderante. Afinal, de forma muito simplificada, as ferramentas de inteligência artificial são treinadas a partir da exposição de milhões de conteúdos e decisões oriundos da mente humana.
“Podemos dizer que violência algorítmica acontece quando sistemas automatizados, plataformas digitais, inteligências artificiais, mecanismos de busca, redes sociais ou bancos de dados produzem, reproduzem e amplificam desigualdades sociais”, define a antropóloga Larissa Pelúcio, professora na Universidade Estadual Paulista (Unesp) e coautora do livro Violência Algorítmica e Vidas LGBTQIAPN+.
“Ela aparece quando uma tecnologia decide quem será visto, quem será silenciado, quem será considerado suspeito, quem terá acesso a oportunidades, crédito, emprego, circulação, reconhecimento ou proteção”, acrescenta.
Irineu completa frisando que a violência algorítmica não cria a desigualdade, mas organiza, amplifica, potencializa, automatiza e dá mais relevância a uma desigualdade que já estava presente na sociedade.
Discriminação digital
No Brasil, o problema é potencializado por diversas razões. Pelúcio ressalta que a sociedade brasileira já é marcada por formas “naturalizadas de violência institucional”. No caldo nacional, há uma combinação peculiar entre “intensa presença digital e profundas desigualdades sociais”.
Para a antropóloga, são ingredientes fundamentais para conferir gravidade à questão. Ela frisa ainda que há, no panorama brasileiro, uma “centralidade da violência contra populações negras, indígenas, periféricas e LGBTQIAPN+”.
Hupffer e Petry dão um exemplo que ilustra o problema. Em 2021, o Conselho Nacional de Justiça criou um grupo de trabalho para realizar um diagnóstico em processos criminais para evitar condenação de inocentes. Partiram de estudos da Defensoria Pública do Estado do Rio de Janeiro que demonstravam os efeitos do racismos estrutural no sistema, em âmbito nacional. Segundo a pesquisa, em 83% dos casos de reconhecimento facial equivocado que levou pessoas inocentes à prisão preventiva, os encarcerados eram pessoas negras.
Se dados assim forem usados para treinamento de algoritmos, argumentam os pesquisadores, a consequência seria a automatização de falhas que prejudicam os afrodescendentes. É o racismo estrutural, portanto, se tornando racismo digital.
Além disso, para as pesquisadoras Pelúcio e Irineu há a questão do “pânico moral” ligado às plataformas digitais. “Os algoritmos de engajamento tendem a favorecer conteúdos que provocam medo, indignação e conflito. Isso faz com que discursos de ódio e desinformação ganhem escala e velocidade”, pontua Irineu.
O cientista da computação Gonçalves explica que esse cenário tende a ser mais complicado no Brasil pelo papel periférico que o país ocupa na construção dessas tecnologias. Como é um setor que importa muito as soluções, os dados muitas vezes não são adequados para as diferenças demográficas brasileiras. “Pode gerar decisões ainda mais enviesadas”, argumenta ele.
Mas os juristas Hupffer e Petry lembram que o Brasil “explicitamente reconheceu” a proteção de dados pessoais como um direito fundamental, a partir de emenda constitucional de 2022. Além disso, a Lei Geral de Proteção de Dados do país carrega o princípio da não discriminação. Ou seja: ao menos no arcabouço jurídico e legislativo, há um amparo.
Educação e regulação
Não há uma panaceia para resolver o problema. Há um conjunto de medidas que precisam ser tomadas. A começar pela educação, os esforços de letramento digital em busca do exercício consciente de uma cidadania online. “É muito importante educar para que todos entendam a maluquice que é o fato de darmos todos os nossos dados para as empresas de tecnologia”, comenta Gonçalves.
Especialistas também cobram regulação do setor das big techs. “Precisamos de leis e políticas públicas que responsabilizem plataformas e empresas de tecnologias por danos algorítmicos”, afirma a antropóloga Pelúcio. O influenciador Gonzatti também defende que as plataformas tenham mais transparência em suas diretrizes algorítmicas.
Em um espectro mais profundo, Pelúcio e Irineu entendem ser necessária uma técnica amparada por justiça social, em um esforço envolvendo auditorias independentes e revisão em bases de dados com participação de grupos afetados pelo desenho das tecnologias. “Não se trata de corrigir viés como se fosse um pequeno defeito técnico, mas de reconhecer que muitos sistemas são construídos sobre desigualdades históricas”, afirma Irineu.
Algoritmo desenvolvido no ICMC da USP de São Carlos identifica possibilidade de pedofilia em conversas em aplicativos de mensagens
Reprodução EPTV