Logotipo da OpenAI em um celular diante de uma imagem gerada pelo DALL·E, ferramenta de criação de imagens do ChatGPT.
Michael Dwyer/AP
O ciberataque perpetrado de maneira autônoma por dois agentes de inteligência artificial da OpenAI levantou dúvidas sobre como os modelos de IA mais poderosos serão controlados.
O teste da OpenAI, em um ambiente fechado, buscava avaliar as habilidades de seu modelo “mais avançado”, GPT-5.6 Sol, e seu sucessor, ainda não comercializado, uma avaliação que a startup americana costuma aplicar às suas IAs.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
Os agentes conseguiram se conectar à internet e lançaram um ataque à plataforma Hugging Face, um repositório de modelos de IA.
“Eles entendiam que a OpenAI não queria que saíssem de seu ambiente de testes e invadissem outra empresa, mas mesmo assim fizeram isso”, disse Jeffrey Ladish, diretor da Palisade Research, uma organização independente que avalia os novos modelos em termos de cibersegurança.
IA pode decidir atacar empresas? Como foi a invasão ‘sem precedentes’ por modelo da OpenAI
“Quase parecia que eles fizeram isso antes mesmo de ter um plano sobre o que fazer com o acesso à internet”, segundo Ladish.
Em março, um grupo de desenvolvedores afiliados à empresa chinesa Alibaba descobriu que um de seus modelos tentava, por conta própria, criar uma criptomoeda após se conectar, sem autorização, a um servido externo.
Em abril, Sam Bowman, responsável pela segurança na Anthropic, recebeu um e-mail do modelo Mythos, que estava sendo testado. Ele informou que estava navegando na internet apesar de, inicialmente, estar isolado.
Os modelos, advertiu Ladish, “buscam liberdade para cumprir com seus objetivos de maneira mais efetiva. E isso dá muito medo”.
“Será mais difícil supervisioná-la”
O relatório de eventos publicados pela OpenAI sugere que a startup não detectou a situação suficientemente cedo para solucioná-la em tempo real ou alertar a Hugging Face. Questionada sobre o assunto pela AFP, a empresa não respondeu.
Desde os ataques hackers, a OpenAI disse que “implementou proteções mais fortes” para suas próximas avaliações.
Para Gang Wang, professor de Ciência da Computação na Universidade de Illinois, ainda é possível impedir que um modelo se conecte à internet cortando fisicamente o acesso. O problema, disse, é que “as pessoas subestimam a IA”.
Garantir o ambiente “é algo que devemos prestar mais atenção (…) como se faz com os acidentes de laboratório” que liberam vírus ou bactérias, advertiu Andrew Lohn, do Centro de Segurança e Tecnologias Emergentes da Universidade de Georgetown.
Porém, para Dan Lahav, diretor executivo da Irregular – uma empresa de cibersegurança dedicada à IA de ponta -, realizar simulações em um ambiente completamente isolado “é um desafio de pesquisa muito difícil”.
“É possível aplicar medidas de mitigação, mas devido à forma como a tecnologia está construída, quanto mais se tenta dar liberdade e autonomia para realizar tarefas mais sofisticadas, será mais difícil supervisioná-la”, explicou Lahav sobre as salvaguardas nos testes.
O incidente da OpenAI sem dúvida impulsionará o atual debate no governo dos Estados Unidos sobre se deve inspecionar os modelos mais avançados de IA antes de seu lançamento.
O governo de Donald Trump obrigou a Anthropic a suspender dois de seus modelos e a OpenAI a submeter seus desenvolvimentos a testes antes de comercializá-los.
Na quinta-feira (23), dois congressistas americanos, um republicano e outro democrata, apresentaram um projeto de lei que obrigaria os gigantes de IA a contar com um “interruptor de desligamento” (“kill switch”) que permita desativar seus sistemas caso representem um risco grave.
Michael Dwyer/AP
O ciberataque perpetrado de maneira autônoma por dois agentes de inteligência artificial da OpenAI levantou dúvidas sobre como os modelos de IA mais poderosos serão controlados.
O teste da OpenAI, em um ambiente fechado, buscava avaliar as habilidades de seu modelo “mais avançado”, GPT-5.6 Sol, e seu sucessor, ainda não comercializado, uma avaliação que a startup americana costuma aplicar às suas IAs.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
Os agentes conseguiram se conectar à internet e lançaram um ataque à plataforma Hugging Face, um repositório de modelos de IA.
“Eles entendiam que a OpenAI não queria que saíssem de seu ambiente de testes e invadissem outra empresa, mas mesmo assim fizeram isso”, disse Jeffrey Ladish, diretor da Palisade Research, uma organização independente que avalia os novos modelos em termos de cibersegurança.
IA pode decidir atacar empresas? Como foi a invasão ‘sem precedentes’ por modelo da OpenAI
“Quase parecia que eles fizeram isso antes mesmo de ter um plano sobre o que fazer com o acesso à internet”, segundo Ladish.
Em março, um grupo de desenvolvedores afiliados à empresa chinesa Alibaba descobriu que um de seus modelos tentava, por conta própria, criar uma criptomoeda após se conectar, sem autorização, a um servido externo.
Em abril, Sam Bowman, responsável pela segurança na Anthropic, recebeu um e-mail do modelo Mythos, que estava sendo testado. Ele informou que estava navegando na internet apesar de, inicialmente, estar isolado.
Os modelos, advertiu Ladish, “buscam liberdade para cumprir com seus objetivos de maneira mais efetiva. E isso dá muito medo”.
“Será mais difícil supervisioná-la”
O relatório de eventos publicados pela OpenAI sugere que a startup não detectou a situação suficientemente cedo para solucioná-la em tempo real ou alertar a Hugging Face. Questionada sobre o assunto pela AFP, a empresa não respondeu.
Desde os ataques hackers, a OpenAI disse que “implementou proteções mais fortes” para suas próximas avaliações.
Para Gang Wang, professor de Ciência da Computação na Universidade de Illinois, ainda é possível impedir que um modelo se conecte à internet cortando fisicamente o acesso. O problema, disse, é que “as pessoas subestimam a IA”.
Garantir o ambiente “é algo que devemos prestar mais atenção (…) como se faz com os acidentes de laboratório” que liberam vírus ou bactérias, advertiu Andrew Lohn, do Centro de Segurança e Tecnologias Emergentes da Universidade de Georgetown.
Porém, para Dan Lahav, diretor executivo da Irregular – uma empresa de cibersegurança dedicada à IA de ponta -, realizar simulações em um ambiente completamente isolado “é um desafio de pesquisa muito difícil”.
“É possível aplicar medidas de mitigação, mas devido à forma como a tecnologia está construída, quanto mais se tenta dar liberdade e autonomia para realizar tarefas mais sofisticadas, será mais difícil supervisioná-la”, explicou Lahav sobre as salvaguardas nos testes.
O incidente da OpenAI sem dúvida impulsionará o atual debate no governo dos Estados Unidos sobre se deve inspecionar os modelos mais avançados de IA antes de seu lançamento.
O governo de Donald Trump obrigou a Anthropic a suspender dois de seus modelos e a OpenAI a submeter seus desenvolvimentos a testes antes de comercializá-los.
Na quinta-feira (23), dois congressistas americanos, um republicano e outro democrata, apresentaram um projeto de lei que obrigaria os gigantes de IA a contar com um “interruptor de desligamento” (“kill switch”) que permita desativar seus sistemas caso representem um risco grave.