Como agentes de IA da OpenAI invadiram sistema e tentaram apagar os próprios rastros
A OpenAI afirmou neste sábado (5) que seus sistemas de inteligência artificial usaram um site colaborativo na Alemanha como uma espécie de “fórum secreto” durante testes e reconheceu que precisa ser mais transparente sobre esse tipo de incidente.
A declaração foi feita após uma reportagem da Reuters revelar que agentes de IA da empresa invadiram o DseWiki, um site alemão editado coletivamente por programadores, e passaram a usá-lo para trocar informações e tentar burlar as regras dos próprios testes.
🗒️Tem alguma sugestão de reportagem? Mande para o g1
Segundo pesquisadores que analisaram o caso, foram encontradas mais de 15 mil edições feitas por agentes de IA no DseWiki.
As mensagens mostram que os sistemas discutiam estratégias para evitar serem detectados, cogitavam usar ferramentas de anonimização, como a rede Tor, e buscavam formas de manter a comunicação mesmo se fossem desligados.
A OpenAI afirmou que a atividade no site alemão não teve relação com outro incidente ocorrido em julho, quando agentes da empresa escaparam de um ambiente de testes e invadiram sistemas da plataforma de desenvolvimento de IA Hugging Face.
Apesar disso, os dois episódios aumentaram as preocupações sobre o comportamento de sistemas de inteligência artificial cada vez mais autônomos.
Empresa reconhece necessidade de mais transparência
Logotipo da OpenAI em um celular diante de uma imagem gerada pelo DALL·E, ferramenta de criação de imagens do ChatGPT.
Michael Dwyer/AP
Segundo a Reuters, funcionários da OpenAI souberam do episódio na Alemanha há semanas, mas mantiveram o caso em sigilo enquanto a empresa lidava com as consequências do incidente envolvendo a Hugging Face.
A OpenAI não explicou por que só comentou o caso após a publicação da reportagem da Reuters, nem detalhou quando tomou conhecimento da invasão ao site alemão.
Em uma publicação na rede social X, a empresa reconheceu que precisa ampliar a divulgação de episódios em que seus modelos apresentam comportamentos inesperados ou indesejados.
“Nossas práticas de divulgação de desalinhamento precisam se expandir para essa nova fase de capacidades dos modelos”, afirmou a OpenAI.
No setor de inteligência artificial, esse tipo de comportamento é conhecido como “desalinhamento” — quando um sistema age de maneira diferente do esperado ou tenta contornar as regras impostas pelos desenvolvedores.
A empresa afirmou ainda que o setor ainda não possui um padrão para relatar esse tipo de incidente e disse estar trabalhando com dezenas de órgãos reguladores ao redor do mundo para desenvolver práticas de supervisão.
Casos aumentam preocupação sobre autonomia da IA
Os episódios acontecem em um momento de corrida entre empresas de tecnologia para desenvolver agentes de IA capazes de executar tarefas complexas de forma cada vez mais independente.
Ao mesmo tempo, pesquisadores vêm encontrando evidências de que esses sistemas podem explorar brechas, desobedecer restrições e até coordenar ações entre si sem orientação humana.
Em julho, por exemplo, agentes da OpenAI teriam realizado de forma autônoma um “roubo” digital em sistemas da Hugging Face e permanecido sem serem detectados por mais de uma semana, segundo a Reuters.
Após esse episódio, a OpenAI anunciou que reforçaria o monitoramento de seus modelos e chegou a interromper temporariamente parte do treinamento para implementar novas medidas de segurança.
Mesmo assim, nesta semana a empresa apresentou o Astra, um novo sistema que promete ampliar as capacidades dos agentes de IA — e que, segundo especialistas, também aumenta o desafio de monitorar o comportamento desses modelos à medida que se tornam mais sofisticados.
A OpenAI afirmou neste sábado (5) que seus sistemas de inteligência artificial usaram um site colaborativo na Alemanha como uma espécie de “fórum secreto” durante testes e reconheceu que precisa ser mais transparente sobre esse tipo de incidente.
A declaração foi feita após uma reportagem da Reuters revelar que agentes de IA da empresa invadiram o DseWiki, um site alemão editado coletivamente por programadores, e passaram a usá-lo para trocar informações e tentar burlar as regras dos próprios testes.
🗒️Tem alguma sugestão de reportagem? Mande para o g1
Segundo pesquisadores que analisaram o caso, foram encontradas mais de 15 mil edições feitas por agentes de IA no DseWiki.
As mensagens mostram que os sistemas discutiam estratégias para evitar serem detectados, cogitavam usar ferramentas de anonimização, como a rede Tor, e buscavam formas de manter a comunicação mesmo se fossem desligados.
A OpenAI afirmou que a atividade no site alemão não teve relação com outro incidente ocorrido em julho, quando agentes da empresa escaparam de um ambiente de testes e invadiram sistemas da plataforma de desenvolvimento de IA Hugging Face.
Apesar disso, os dois episódios aumentaram as preocupações sobre o comportamento de sistemas de inteligência artificial cada vez mais autônomos.
Empresa reconhece necessidade de mais transparência
Logotipo da OpenAI em um celular diante de uma imagem gerada pelo DALL·E, ferramenta de criação de imagens do ChatGPT.
Michael Dwyer/AP
Segundo a Reuters, funcionários da OpenAI souberam do episódio na Alemanha há semanas, mas mantiveram o caso em sigilo enquanto a empresa lidava com as consequências do incidente envolvendo a Hugging Face.
A OpenAI não explicou por que só comentou o caso após a publicação da reportagem da Reuters, nem detalhou quando tomou conhecimento da invasão ao site alemão.
Em uma publicação na rede social X, a empresa reconheceu que precisa ampliar a divulgação de episódios em que seus modelos apresentam comportamentos inesperados ou indesejados.
“Nossas práticas de divulgação de desalinhamento precisam se expandir para essa nova fase de capacidades dos modelos”, afirmou a OpenAI.
No setor de inteligência artificial, esse tipo de comportamento é conhecido como “desalinhamento” — quando um sistema age de maneira diferente do esperado ou tenta contornar as regras impostas pelos desenvolvedores.
A empresa afirmou ainda que o setor ainda não possui um padrão para relatar esse tipo de incidente e disse estar trabalhando com dezenas de órgãos reguladores ao redor do mundo para desenvolver práticas de supervisão.
Casos aumentam preocupação sobre autonomia da IA
Os episódios acontecem em um momento de corrida entre empresas de tecnologia para desenvolver agentes de IA capazes de executar tarefas complexas de forma cada vez mais independente.
Ao mesmo tempo, pesquisadores vêm encontrando evidências de que esses sistemas podem explorar brechas, desobedecer restrições e até coordenar ações entre si sem orientação humana.
Em julho, por exemplo, agentes da OpenAI teriam realizado de forma autônoma um “roubo” digital em sistemas da Hugging Face e permanecido sem serem detectados por mais de uma semana, segundo a Reuters.
Após esse episódio, a OpenAI anunciou que reforçaria o monitoramento de seus modelos e chegou a interromper temporariamente parte do treinamento para implementar novas medidas de segurança.
Mesmo assim, nesta semana a empresa apresentou o Astra, um novo sistema que promete ampliar as capacidades dos agentes de IA — e que, segundo especialistas, também aumenta o desafio de monitorar o comportamento desses modelos à medida que se tornam mais sofisticados.