O logotipo da OpenAI é visto em um telefone celular em frente a uma tela de computador que exibe a tela inicial do ChatGPT
AP/Michael Dwyer, Arquivo
O ataque virtual “sem precedentes” divulgado pela OpenAI envolveu dois dos modelos de inteligência artificial mais avançados da empresa. A dona do ChatGPT revelou que eles encontraram um meio de invadir outro sistema.
A divulgação do caso acontece semanas após a rival Anthropic dizer que não liberaria a versão plena de seu modelo Claude Mythos por conta do “salto significativo em suas capacidades” para fazer ataques cibernéticos.
Os dois casos indicam os avanços de novos modelos de IA. Mas eles agora conseguem decidir fazer ataques sem precisar de humanos? Afinal, seria possível um robô ficar “rebelde” e decidir atacar uma empresa?
A resposta é “não”. Em vez de agirem por conta própria, os modelos apenas tentam alcançar objetivos que recebem, afirmam especialistas. Eles destacam ainda que a ideia de uma IA “perigosa demais” costuma ser explorada por empresas, que tentam demonstrar sua capacidade.
Agora no g1
Para Adriano Carezzato, professor do curso de Inteligência Artificial da Fundação Vanzolini, a ideia de uma inteligência artificial neutra é incompleta, já que ela segue uma espécie de “receita de bolo” em suas atividades.
“Quando dizem que a IA “agiu sozinha”, quase sempre estão escondendo a mão humana que apertou o botão para iniciar o modelo. Em todos os casos conhecidos havia uma ordem humana no começo: vencer um teste, ou espionar alvos escolhidos por pessoas”, explicou.
Álvaro Machado Dias, professor da Universidade Federal de São Paulo (Unifesp) destacou o fato de o governo dos Estados Unidos ter bloqueado o uso do modelo mais avançado da Anthropic a cidadãos estrangeiros – a medida foi revertida no início de julho.
“O que a OpenAI fez esta semana é caçar o seu equivalente desse momento. A diferença decisiva é de encenação: a Anthropic teve o Estado escrevendo seu comunicado; a OpenAI precisou escrever o seu”, afirmou.
OpenAI e Anthropic
Reuters/Dado Ruvic/Illustration
Como aconteceu a invasão?
A OpenAI revelou na última terça-feira (21) que testes com o GPT-5.6 Sol, lançado no início de julho, e em um modelo ainda não divulgado levaram à invasão do sistema da Hugging Face, uma plataforma para compartilhamento de modelos de IA.
A própria Hugging Face já havia revelado na última quinta-feira (16) que detectou uma invasão feita por um agente de IA. A empresa afirmou que ação ofereceu acesso indevido a dados e credenciais.
O incidente aconteceu durante testes em que OpenAI faz os modelos de IA buscarem falhas em outros sistemas para melhorarem suas capacidade de segurança.
Esses experimentos costumam acontecer em ambientes controlados, mas com uma versão sem as barreiras de proteção que costumam existir em modelos disponíveis para usuários comuns.
Em seu comunicado, a OpenAI afirmou que o GPT-5.6-Sol e o sistema que ainda será lançado atuaram em conjunto para encontrar brechas no ambiente de pesquisa da empresa e na infraestrutura da Hugging Face.
Modelos de IA atuaram em conjunto para encontrar brechas em sistema, disse a OpenAI
Kevin Horvart/Unplash
A Hugging Face, por sua vez, disse que sua plataforma executou dois códigos enviados por um agente de IA, que então conseguiu aumentar suas permissões na infraestrutura da empresa e obter credenciais para atacar outros sistemas internos.
Esse tipo de ataque deverá se tornar mais comum com o avanço de modelos de IA que entendem de cibersegurança, disse a OpenAI. “Consideramos este um incidente cibernético sem precedentes, envolvendo recursos de última geração”, afirmou.
A invasão alerta para o cenário de ataques virtuais conduzidos por agentes como já vinha sendo projetado por especialistas, destacou a Hugging Face. “Foi diferente de tudo que havíamos enfrentado antes”, disse a companhia.
Modelos de IA podem escolher fazer ataques?
Os especialistas ouvidos pelo g1 explicaram que o caso é mais um exemplo de como agentes de IA estão evoluindo, mas destacaram que esses modelos não têm consciência e, portanto, não são capazes de decidir realizar um ataque.
Para Adriano Carezzato, da Fundação Vanzolini, uma comparação possível é a de um sistema de GPS que é orientado a chegar ao destino o mais rápido possível e, por isso, induz o motorista a dirigir na contramão.
“O modelo não ficou rebelde nem agiu por vontade própria. O que ele fez foi levar uma ordem humana ao pé da letra e utilizou um atalho que ninguém esperava que usaria”, explicou.
Ele destacou o fato de as barreiras de segurança estarem desativadas de propósito, para o modelo demonstrar se conseguiria vencer um teste de habilidade em cibersegurança.
“Não foi uma IA escapando das proteções normais que funcionam quando o modelo está sendo usado já em produção, foi um teste de laboratório com os freios de segurança desligados de propósito”.
Álvaro Machado Dias, da Unifesp, chamou atenção para o fato de que esse tipo de ataque não é inédito, mas que tem feito os modelos de IA se tornaram uma “arma de propósito geral”.
“O que impressiona de fato é a escala do estrago, não a sua natureza. Ou seja, o potencial de catástrofe é novidade, a forma de gerá-las não”, afirmou.
Para ele, o que pede mais atenção é a possibilidade de agentes de IA serem usados para realizarem mais ataques cibernéticos, mesmo sem a presença de hackers muito especializados.
“O cenário provável é mais o da democratização do crime cibernético de nível médio, com quadrilhas formadas por hackers meia-boca executando ataques que antes exigiam criminosos hiperespecializados. O futuro parece anunciar uma nova era para o crime organizado, infelizmente”.
AP/Michael Dwyer, Arquivo
O ataque virtual “sem precedentes” divulgado pela OpenAI envolveu dois dos modelos de inteligência artificial mais avançados da empresa. A dona do ChatGPT revelou que eles encontraram um meio de invadir outro sistema.
A divulgação do caso acontece semanas após a rival Anthropic dizer que não liberaria a versão plena de seu modelo Claude Mythos por conta do “salto significativo em suas capacidades” para fazer ataques cibernéticos.
Os dois casos indicam os avanços de novos modelos de IA. Mas eles agora conseguem decidir fazer ataques sem precisar de humanos? Afinal, seria possível um robô ficar “rebelde” e decidir atacar uma empresa?
A resposta é “não”. Em vez de agirem por conta própria, os modelos apenas tentam alcançar objetivos que recebem, afirmam especialistas. Eles destacam ainda que a ideia de uma IA “perigosa demais” costuma ser explorada por empresas, que tentam demonstrar sua capacidade.
Agora no g1
Para Adriano Carezzato, professor do curso de Inteligência Artificial da Fundação Vanzolini, a ideia de uma inteligência artificial neutra é incompleta, já que ela segue uma espécie de “receita de bolo” em suas atividades.
“Quando dizem que a IA “agiu sozinha”, quase sempre estão escondendo a mão humana que apertou o botão para iniciar o modelo. Em todos os casos conhecidos havia uma ordem humana no começo: vencer um teste, ou espionar alvos escolhidos por pessoas”, explicou.
Álvaro Machado Dias, professor da Universidade Federal de São Paulo (Unifesp) destacou o fato de o governo dos Estados Unidos ter bloqueado o uso do modelo mais avançado da Anthropic a cidadãos estrangeiros – a medida foi revertida no início de julho.
“O que a OpenAI fez esta semana é caçar o seu equivalente desse momento. A diferença decisiva é de encenação: a Anthropic teve o Estado escrevendo seu comunicado; a OpenAI precisou escrever o seu”, afirmou.
OpenAI e Anthropic
Reuters/Dado Ruvic/Illustration
Como aconteceu a invasão?
A OpenAI revelou na última terça-feira (21) que testes com o GPT-5.6 Sol, lançado no início de julho, e em um modelo ainda não divulgado levaram à invasão do sistema da Hugging Face, uma plataforma para compartilhamento de modelos de IA.
A própria Hugging Face já havia revelado na última quinta-feira (16) que detectou uma invasão feita por um agente de IA. A empresa afirmou que ação ofereceu acesso indevido a dados e credenciais.
O incidente aconteceu durante testes em que OpenAI faz os modelos de IA buscarem falhas em outros sistemas para melhorarem suas capacidade de segurança.
Esses experimentos costumam acontecer em ambientes controlados, mas com uma versão sem as barreiras de proteção que costumam existir em modelos disponíveis para usuários comuns.
Em seu comunicado, a OpenAI afirmou que o GPT-5.6-Sol e o sistema que ainda será lançado atuaram em conjunto para encontrar brechas no ambiente de pesquisa da empresa e na infraestrutura da Hugging Face.
Modelos de IA atuaram em conjunto para encontrar brechas em sistema, disse a OpenAI
Kevin Horvart/Unplash
A Hugging Face, por sua vez, disse que sua plataforma executou dois códigos enviados por um agente de IA, que então conseguiu aumentar suas permissões na infraestrutura da empresa e obter credenciais para atacar outros sistemas internos.
Esse tipo de ataque deverá se tornar mais comum com o avanço de modelos de IA que entendem de cibersegurança, disse a OpenAI. “Consideramos este um incidente cibernético sem precedentes, envolvendo recursos de última geração”, afirmou.
A invasão alerta para o cenário de ataques virtuais conduzidos por agentes como já vinha sendo projetado por especialistas, destacou a Hugging Face. “Foi diferente de tudo que havíamos enfrentado antes”, disse a companhia.
Modelos de IA podem escolher fazer ataques?
Os especialistas ouvidos pelo g1 explicaram que o caso é mais um exemplo de como agentes de IA estão evoluindo, mas destacaram que esses modelos não têm consciência e, portanto, não são capazes de decidir realizar um ataque.
Para Adriano Carezzato, da Fundação Vanzolini, uma comparação possível é a de um sistema de GPS que é orientado a chegar ao destino o mais rápido possível e, por isso, induz o motorista a dirigir na contramão.
“O modelo não ficou rebelde nem agiu por vontade própria. O que ele fez foi levar uma ordem humana ao pé da letra e utilizou um atalho que ninguém esperava que usaria”, explicou.
Ele destacou o fato de as barreiras de segurança estarem desativadas de propósito, para o modelo demonstrar se conseguiria vencer um teste de habilidade em cibersegurança.
“Não foi uma IA escapando das proteções normais que funcionam quando o modelo está sendo usado já em produção, foi um teste de laboratório com os freios de segurança desligados de propósito”.
Álvaro Machado Dias, da Unifesp, chamou atenção para o fato de que esse tipo de ataque não é inédito, mas que tem feito os modelos de IA se tornaram uma “arma de propósito geral”.
“O que impressiona de fato é a escala do estrago, não a sua natureza. Ou seja, o potencial de catástrofe é novidade, a forma de gerá-las não”, afirmou.
Para ele, o que pede mais atenção é a possibilidade de agentes de IA serem usados para realizarem mais ataques cibernéticos, mesmo sem a presença de hackers muito especializados.
“O cenário provável é mais o da democratização do crime cibernético de nível médio, com quadrilhas formadas por hackers meia-boca executando ataques que antes exigiam criminosos hiperespecializados. O futuro parece anunciar uma nova era para o crime organizado, infelizmente”.