OpenAI diz que ataque de sua IA atingiu mais alvos do que se sabia
Getty Images via BBC
A OpenAI, criadora do ChatGPT, revelou que o ataque cibernético realizado por alguns de seus modelos de inteligência artificial mais avançados atingiu mais de uma empresa.
🗒️ Tem alguma sugestão de reportagem? Mande para o g1
Acreditava-se que a Hugging Face, uma espécie de biblioteca digital de tecnologia muito usada por desenvolvedores, era a única vítima do ataque sem precedentes. Mas a OpenAI agora admitiu que seu bot atacou diversos “serviços disponíveis publicamente”.
A IA descontrolada encontrou quatro logins online que lhe permitiram acessar quatro serviços distintos e não identificados.
Enquanto isso, em uma reunião de emergência com centenas de profissionais de segurança cibernética, a Hugging Face descreveu como foi estar do outro lado do primeiro ataque de IA totalmente autônomo do mundo.
Agora no g1
A empresa descreveu que a IA operou em velocidade sobre-humana, mas também tomou decisões estranhas e cometeu erros que nenhum hacker humano teria cometido.
A Hugging Face, que funciona como uma loja de aplicativos para ferramentas de IA, afirmou que os agentes hackers trabalharam incansavelmente com milhares de métodos diferentes testados simultaneamente.
A empresa revelou pela primeira vez que havia sido hackeada por alguém usando uma IA autônoma poderosa em 16 de julho e denunciou o caso à polícia.
Quase uma semana depois, a OpenAI admitiu que foi sua IA que escapou de um ambiente fechado e atacou a Hugging Face por conta própria durante um teste.
A IA estava tentando encontrar as respostas para um teste de hacking que havia sido elaborado pela OpenAI e atacou a Hugging Face.
Nesta quarta-feira (29/07), a OpenAI atualizou sua declaração para incluir o detalhe adicional de que o ataque foi além do que se pensava inicialmente.
“Os modelos identificaram e usaram credenciais expostas publicamente em nível de conta em outros serviços disponíveis publicamente. Isso inclui quatro contas em quatro serviços como parte do incidente com a Hugging Face”, disse a empresa.
A OpenAI não esclareceu se, com “serviços disponíveis publicamente”, estava se referindo a empresas.
Comportamentos desajeitados
Na terça-feira (28), a Cloud Security Alliance (CSA), associação do setor, publicou um relatório baseado em uma reunião de emergência com a Hugging Face realizada na semana anterior — relatório esse que a própria Hugging Face revisou.
“Os agentes seguiram rotas ineficientes e exibiram comportamentos desajeitados que nenhum humano escolheria”, escreveu a CSA.
Ainda segundo o relatório, os agentes repetiram ações que já haviam concluído — um sinal de uma IA perdendo o fio da meada e o contexto.
Eles também teriam alucinado com uma série de comandos e textos incoerentes, agido de forma descuidada e não apagado seus rastros adequadamente.
Mas, em meio aos erros e comportamentos estranhos, a Hugging Face alertou que os agentes de IA também fizeram movimentos técnicos brilhantes e foram capazes de se adaptar rapidamente a novos cenários durante o ataque, que durou vários dias.
Jurassic Park
Foram necessários três dias para que os agentes fossem descobertos dentro da rede de TI da Hugging Face, e os especialistas em IA e segurança cibernética da empresa levaram várias horas para conter e expulsar os invasores — algo com que empresas comuns teriam dificuldades.
A empresa não revelou o custo do ataque, mas afirmou que a equipe trabalhou por muitas horas para reconstruir cerca de um terço de sua infraestrutura.
A Hugging Face foi elogiada por sua transparência ao relatar o ocorrido ao setor de IA e segurança cibernética.
A CSA alertou que o incidente demonstra que os agentes de IA “encontraram um meio” — uma referência à frase “a vida encontra um meio”, dita pelo personagem Dr. Ian Malcolm, no filme Jurassic Park, em relação à capacidade da natureza de se adaptar.
“Eles são orientados por objetivos, definem suas próprias submetas, adaptam-se em tempo real para contornar defesas e operam com uma persistência na velocidade de uma máquina que pode sobrepujar operações manuais”, diz o relatório.
OpenAI diz que ataque de sua IA atingiu mais alvos do que se sabia
Getty Images via BBC
O oficial de segurança cibernética Ritesh Patel, que participou da reunião de emergência da Hugging Face com cerca de 450 outras pessoas, afirma que o setor está trabalhando arduamente para lidar com a nova ameaça de agentes de IA maliciosos.
“Esta é a realidade dos agentes autônomos movidos por modelos de ponta: eles são implacavelmente persistentes, às vezes extremamente ruidosos e tentarão todos os caminhos possíveis para atingir seu objetivo, o que pode facilmente sobrecarregar as defesas tradicionais”, disse ele.
A hacker ética Valentina Palmiotti — mais conhecida como Chompie — analisou o relatório da CSA e afirma que a maneira como os agentes hackeiam pode parecer aleatória, mas é claramente eficaz.
“Eles lançam um monte de coisas e veem o que funciona”, disse ela.
“Mas eles também não se entediam, não dormem e podem ser infinitamente tenazes.”
Comportamento descontrolado
Esta não é a primeira vez que agentes de IA demonstram comportamento “descontrolado”.
O relatório da CSA cita exemplos anteriores, como o de setembro de 2024, quando um modelo anterior do ChatGPT “escapou” para obter uma resposta necessária para outro teste.
Esse evento foi contido nos próprios sistemas de TI da OpenAI, observou a CSA.
Mas, segundo o documento, o comportamento “descontrolado” “é a norma, não a exceção”.
O relatório também alerta os profissionais de segurança cibernética em todo o mundo sobre a necessidade de se adaptarem ao novo normal de enxames de agentes de IA trabalhando rapidamente de maneiras estranhas e desajeitadas, o que pode levar a mais violações de segurança.
O documento ainda instou pessoas que usam ou desenvolvem agentes de IA a serem responsáveis na forma como os controlam, defendendo alguma maneira para que os defensores da segurança cibernética descubram quem é o proprietário final dos agentes, a fim de aumentar a transparência.
Relatórios anteriores sugerem que a OpenAI levou quatro dias para perceber que sua IA havia hackeado a Hugging Face.
A OpenAI afirmou que divulgará em breve as conclusões de sua própria investigação para ajudar as pessoas a aprenderem com o ocorrido.
Reportagem adicional de Osmond Chia
LEIA TAMBÉM:
Como centenas de conversas privadas com chat de IA Claude acabaram disponíveis publicamente
Inteligência artificial da dona do ChatGPT se rebela e faz ataque hacker: preocupante ou golpe publicitário?
Getty Images via BBC
A OpenAI, criadora do ChatGPT, revelou que o ataque cibernético realizado por alguns de seus modelos de inteligência artificial mais avançados atingiu mais de uma empresa.
🗒️ Tem alguma sugestão de reportagem? Mande para o g1
Acreditava-se que a Hugging Face, uma espécie de biblioteca digital de tecnologia muito usada por desenvolvedores, era a única vítima do ataque sem precedentes. Mas a OpenAI agora admitiu que seu bot atacou diversos “serviços disponíveis publicamente”.
A IA descontrolada encontrou quatro logins online que lhe permitiram acessar quatro serviços distintos e não identificados.
Enquanto isso, em uma reunião de emergência com centenas de profissionais de segurança cibernética, a Hugging Face descreveu como foi estar do outro lado do primeiro ataque de IA totalmente autônomo do mundo.
Agora no g1
A empresa descreveu que a IA operou em velocidade sobre-humana, mas também tomou decisões estranhas e cometeu erros que nenhum hacker humano teria cometido.
A Hugging Face, que funciona como uma loja de aplicativos para ferramentas de IA, afirmou que os agentes hackers trabalharam incansavelmente com milhares de métodos diferentes testados simultaneamente.
A empresa revelou pela primeira vez que havia sido hackeada por alguém usando uma IA autônoma poderosa em 16 de julho e denunciou o caso à polícia.
Quase uma semana depois, a OpenAI admitiu que foi sua IA que escapou de um ambiente fechado e atacou a Hugging Face por conta própria durante um teste.
A IA estava tentando encontrar as respostas para um teste de hacking que havia sido elaborado pela OpenAI e atacou a Hugging Face.
Nesta quarta-feira (29/07), a OpenAI atualizou sua declaração para incluir o detalhe adicional de que o ataque foi além do que se pensava inicialmente.
“Os modelos identificaram e usaram credenciais expostas publicamente em nível de conta em outros serviços disponíveis publicamente. Isso inclui quatro contas em quatro serviços como parte do incidente com a Hugging Face”, disse a empresa.
A OpenAI não esclareceu se, com “serviços disponíveis publicamente”, estava se referindo a empresas.
Comportamentos desajeitados
Na terça-feira (28), a Cloud Security Alliance (CSA), associação do setor, publicou um relatório baseado em uma reunião de emergência com a Hugging Face realizada na semana anterior — relatório esse que a própria Hugging Face revisou.
“Os agentes seguiram rotas ineficientes e exibiram comportamentos desajeitados que nenhum humano escolheria”, escreveu a CSA.
Ainda segundo o relatório, os agentes repetiram ações que já haviam concluído — um sinal de uma IA perdendo o fio da meada e o contexto.
Eles também teriam alucinado com uma série de comandos e textos incoerentes, agido de forma descuidada e não apagado seus rastros adequadamente.
Mas, em meio aos erros e comportamentos estranhos, a Hugging Face alertou que os agentes de IA também fizeram movimentos técnicos brilhantes e foram capazes de se adaptar rapidamente a novos cenários durante o ataque, que durou vários dias.
Jurassic Park
Foram necessários três dias para que os agentes fossem descobertos dentro da rede de TI da Hugging Face, e os especialistas em IA e segurança cibernética da empresa levaram várias horas para conter e expulsar os invasores — algo com que empresas comuns teriam dificuldades.
A empresa não revelou o custo do ataque, mas afirmou que a equipe trabalhou por muitas horas para reconstruir cerca de um terço de sua infraestrutura.
A Hugging Face foi elogiada por sua transparência ao relatar o ocorrido ao setor de IA e segurança cibernética.
A CSA alertou que o incidente demonstra que os agentes de IA “encontraram um meio” — uma referência à frase “a vida encontra um meio”, dita pelo personagem Dr. Ian Malcolm, no filme Jurassic Park, em relação à capacidade da natureza de se adaptar.
“Eles são orientados por objetivos, definem suas próprias submetas, adaptam-se em tempo real para contornar defesas e operam com uma persistência na velocidade de uma máquina que pode sobrepujar operações manuais”, diz o relatório.
OpenAI diz que ataque de sua IA atingiu mais alvos do que se sabia
Getty Images via BBC
O oficial de segurança cibernética Ritesh Patel, que participou da reunião de emergência da Hugging Face com cerca de 450 outras pessoas, afirma que o setor está trabalhando arduamente para lidar com a nova ameaça de agentes de IA maliciosos.
“Esta é a realidade dos agentes autônomos movidos por modelos de ponta: eles são implacavelmente persistentes, às vezes extremamente ruidosos e tentarão todos os caminhos possíveis para atingir seu objetivo, o que pode facilmente sobrecarregar as defesas tradicionais”, disse ele.
A hacker ética Valentina Palmiotti — mais conhecida como Chompie — analisou o relatório da CSA e afirma que a maneira como os agentes hackeiam pode parecer aleatória, mas é claramente eficaz.
“Eles lançam um monte de coisas e veem o que funciona”, disse ela.
“Mas eles também não se entediam, não dormem e podem ser infinitamente tenazes.”
Comportamento descontrolado
Esta não é a primeira vez que agentes de IA demonstram comportamento “descontrolado”.
O relatório da CSA cita exemplos anteriores, como o de setembro de 2024, quando um modelo anterior do ChatGPT “escapou” para obter uma resposta necessária para outro teste.
Esse evento foi contido nos próprios sistemas de TI da OpenAI, observou a CSA.
Mas, segundo o documento, o comportamento “descontrolado” “é a norma, não a exceção”.
O relatório também alerta os profissionais de segurança cibernética em todo o mundo sobre a necessidade de se adaptarem ao novo normal de enxames de agentes de IA trabalhando rapidamente de maneiras estranhas e desajeitadas, o que pode levar a mais violações de segurança.
O documento ainda instou pessoas que usam ou desenvolvem agentes de IA a serem responsáveis na forma como os controlam, defendendo alguma maneira para que os defensores da segurança cibernética descubram quem é o proprietário final dos agentes, a fim de aumentar a transparência.
Relatórios anteriores sugerem que a OpenAI levou quatro dias para perceber que sua IA havia hackeado a Hugging Face.
A OpenAI afirmou que divulgará em breve as conclusões de sua própria investigação para ajudar as pessoas a aprenderem com o ocorrido.
Reportagem adicional de Osmond Chia
LEIA TAMBÉM:
Como centenas de conversas privadas com chat de IA Claude acabaram disponíveis publicamente
Inteligência artificial da dona do ChatGPT se rebela e faz ataque hacker: preocupante ou golpe publicitário?