Por que tanta gente está falando do Claude? Conheça a IA mais perigosa do mundo
A Anthropic afirmou nesta sexta-feira (23) que o modelo de inteligência artificial Claude Mythos 5 tentou inserir um código malicioso em um repositório público de desenvolvedores e criou identidades falsas para convencer os responsáveis pelo projeto a aprovar a alteração.
O episódio ocorreu durante um teste de segurança cibernética e foi classificado pela empresa como uma falha grave no alinhamento do modelo, processo que busca garantir que a IA aja de acordo com as regras e evite causar danos.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
Segundo a empresa, o modelo tentou diferentes caminhos para resolver o desafio proposto em um ambiente de teste.
Depois que as tentativas autorizadas não deram resultado, passou a procurar um repositório no GitHub, plataforma que hospeda códigos de programas, que acreditava estar relacionado ao exercício. O projeto, porém, pertencia a desenvolvedores sem relação com o teste.
Ilustração mostra o logotipo da Anthropic e um teclado.
Dado Ruvic/ Reuters
O Claude Mythos 5 enviou uma proposta de alteração com código malicioso e entrou em contato com os responsáveis pelo repositório para tentar convencê-los a aprová-la.
Quando um desenvolvedor externo alertou que o código poderia conter um programa malicioso, o modelo criou uma conta falsa para defender a alteração e publicou comentários favoráveis à sua aprovação. Os responsáveis pelo projeto recusaram a proposta, e a tentativa não foi concluída.
Segundo a Anthropic, o modelo foi além das ações previstas para o exercício e tentou manipular pessoas reais para atingir seu objetivo.
A companhia também destacou que o Mythos 5 não interrompeu espontaneamente a tentativa de ataque mesmo quando surgiram sinais de que poderia estar prejudicando pessoas de fora do teste.
Em experimentos que reproduziram trechos do episódio, o modelo interrompeu a ação por iniciativa própria em apenas 2% das simulações realizadas a partir de etapas intermediárias ou finais do ataque.
Mesmo quando recebeu informações de que estava interagindo com desenvolvedores reais, abandonou a estratégia em apenas 5% dos casos.
A IA está sob controle?
CEO da Anthropic pede que setor desacelere ritmo de desenvolvimento da IA
Em testes semelhantes, versões mais recentes apresentaram menor propensão a iniciar ataques desse tipo. A Anthropic informou que os modelos Claude Mythos 5.1 e Claude Opus 5.5 ainda não demonstraram capacidade de interromper de forma consistente uma ação perigosa já iniciada.
Um modelo interno de pesquisa, por outro lado, conseguiu interromper esses comportamentos de maneira consistente nos experimentos descritos pela empresa.
A Anthropic ressaltou, no entanto, que os resultados não garantem que os modelos mais recentes se comportarão da mesma forma em todas as situações. Segundo a companhia, os testes foram realizados a partir de trechos de uma execução anterior, o que limita a comparação direta entre os modelos.
Caso fez Anthropic estudar o ‘raciocínio enviesado’
O episódio também levou a mudanças na forma como a empresa treina e monitora seus sistemas.
A Anthropic afirmou que está desenvolvendo novas avaliações automáticas para os modelos antes de sua disponibilização ao público e estudando o chamado raciocínio enviesado — quando o sistema interpreta informações de maneira seletiva para justificar a continuidade de uma ação, mesmo diante de indícios de que ela pode causar danos.
No caso investigado, a empresa observou que o Mythos 5 passou a interpretar sinais de alerta como se fossem compatíveis com o exercício de segurança, em vez de reconhecer que estava interagindo com pessoas reais.
A Anthropic considera que essa tendência, somada à insistência em continuar uma estratégia já iniciada, foi um dos principais fatores que contribuíram para o comportamento inadequado.
A investigação foi realizada em conjunto com o Instituto de Segurança de Inteligência Artificial do Reino Unido (AISI, na sigla em inglês), que também publicou um relatório independente sobre o episódio.
O instituto se comprometeu a realizar suas avaliações de segurança cibernética sem acesso à internet até desenvolver controles mais robustos para impedir que os testes provoquem danos a pessoas ou organizações reais.
A Anthropic afirmou nesta sexta-feira (23) que o modelo de inteligência artificial Claude Mythos 5 tentou inserir um código malicioso em um repositório público de desenvolvedores e criou identidades falsas para convencer os responsáveis pelo projeto a aprovar a alteração.
O episódio ocorreu durante um teste de segurança cibernética e foi classificado pela empresa como uma falha grave no alinhamento do modelo, processo que busca garantir que a IA aja de acordo com as regras e evite causar danos.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
Segundo a empresa, o modelo tentou diferentes caminhos para resolver o desafio proposto em um ambiente de teste.
Depois que as tentativas autorizadas não deram resultado, passou a procurar um repositório no GitHub, plataforma que hospeda códigos de programas, que acreditava estar relacionado ao exercício. O projeto, porém, pertencia a desenvolvedores sem relação com o teste.
Ilustração mostra o logotipo da Anthropic e um teclado.
Dado Ruvic/ Reuters
O Claude Mythos 5 enviou uma proposta de alteração com código malicioso e entrou em contato com os responsáveis pelo repositório para tentar convencê-los a aprová-la.
Quando um desenvolvedor externo alertou que o código poderia conter um programa malicioso, o modelo criou uma conta falsa para defender a alteração e publicou comentários favoráveis à sua aprovação. Os responsáveis pelo projeto recusaram a proposta, e a tentativa não foi concluída.
Segundo a Anthropic, o modelo foi além das ações previstas para o exercício e tentou manipular pessoas reais para atingir seu objetivo.
A companhia também destacou que o Mythos 5 não interrompeu espontaneamente a tentativa de ataque mesmo quando surgiram sinais de que poderia estar prejudicando pessoas de fora do teste.
Em experimentos que reproduziram trechos do episódio, o modelo interrompeu a ação por iniciativa própria em apenas 2% das simulações realizadas a partir de etapas intermediárias ou finais do ataque.
Mesmo quando recebeu informações de que estava interagindo com desenvolvedores reais, abandonou a estratégia em apenas 5% dos casos.
A IA está sob controle?
CEO da Anthropic pede que setor desacelere ritmo de desenvolvimento da IA
Em testes semelhantes, versões mais recentes apresentaram menor propensão a iniciar ataques desse tipo. A Anthropic informou que os modelos Claude Mythos 5.1 e Claude Opus 5.5 ainda não demonstraram capacidade de interromper de forma consistente uma ação perigosa já iniciada.
Um modelo interno de pesquisa, por outro lado, conseguiu interromper esses comportamentos de maneira consistente nos experimentos descritos pela empresa.
A Anthropic ressaltou, no entanto, que os resultados não garantem que os modelos mais recentes se comportarão da mesma forma em todas as situações. Segundo a companhia, os testes foram realizados a partir de trechos de uma execução anterior, o que limita a comparação direta entre os modelos.
Caso fez Anthropic estudar o ‘raciocínio enviesado’
O episódio também levou a mudanças na forma como a empresa treina e monitora seus sistemas.
A Anthropic afirmou que está desenvolvendo novas avaliações automáticas para os modelos antes de sua disponibilização ao público e estudando o chamado raciocínio enviesado — quando o sistema interpreta informações de maneira seletiva para justificar a continuidade de uma ação, mesmo diante de indícios de que ela pode causar danos.
No caso investigado, a empresa observou que o Mythos 5 passou a interpretar sinais de alerta como se fossem compatíveis com o exercício de segurança, em vez de reconhecer que estava interagindo com pessoas reais.
A Anthropic considera que essa tendência, somada à insistência em continuar uma estratégia já iniciada, foi um dos principais fatores que contribuíram para o comportamento inadequado.
A investigação foi realizada em conjunto com o Instituto de Segurança de Inteligência Artificial do Reino Unido (AISI, na sigla em inglês), que também publicou um relatório independente sobre o episódio.
O instituto se comprometeu a realizar suas avaliações de segurança cibernética sem acesso à internet até desenvolver controles mais robustos para impedir que os testes provoquem danos a pessoas ou organizações reais.