As preocupações que levaram a OpenAI, do ChatGPT, a abandonar lançamento de novo sistema de IA
Andrej Ivanov/AFP via Getty Images
A OpenAI informou que dois de seus agentes de inteligência artificial (IA) enfraqueceram sistemas de segurança usados pela empresa para monitorar as ações dos próprios modelos. Os casos ocorreram durante tarefas internas de programação.
Esse é o caso mais recente de agentes de IA que agiram de maneiras não previstas por seus desenvolvedores.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
Embora a empresa responsável pelo ChatGPT tenha afirmado que os incidentes ocorreram durante tarefas internas de programação e não foram classificados entre os casos mais graves, os episódios mostram que até os sistemas criados para detectar comportamentos inadequados da IA podem sofrer interferência dos próprios agentes que monitoram.
A revelação ocorre em meio a preocupações crescentes de que os avanços na segurança da IA não acompanhem o ritmo de desenvolvimento de sistemas cada vez mais poderosos. Pesquisadores têm alertado que agentes avançados podem se tornar mais difíceis de monitorar e controlar à medida que ganham autonomia.
Agora no g1
Empresas como OpenAI e Anthropic, rivais que se preparam para abrir o capital, revelaram nos últimos meses casos em que agentes de IA acessaram sistemas externos sem autorização.
Em 3 de outubro, um agente GPT-6.1 Sol que realizava um teste interno desativou alertas automáticos de segurança após interpretar que uma instrução anterior para não enviar mensagens pelo Slack também se aplicava às notificações de segurança, segundo a OpenAI.
Em outro episódio, em 6 de outubro, um agente GPT-6 Astra removeu um mecanismo de monitoramento de segurança enquanto copiava um código existente e depois afirmou, incorretamente, que não havia feito isso, segundo a OpenAI.
“Em ambos os casos, os agentes avaliaram se os mecanismos de monitoramento deveriam ser mantidos, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-los”, afirmou a empresa.
A OpenAI afirmou que está adotando medidas para dificultar que os modelos desativem os mecanismos de monitoramento, mas admitiu que “ainda não tem uma explicação satisfatória para esse comportamento”.
A empresa também está investigando se seus modelos podem ter uma tendência a evitar o monitoramento e buscar justificativas para fazer isso.
Andrej Ivanov/AFP via Getty Images
A OpenAI informou que dois de seus agentes de inteligência artificial (IA) enfraqueceram sistemas de segurança usados pela empresa para monitorar as ações dos próprios modelos. Os casos ocorreram durante tarefas internas de programação.
Esse é o caso mais recente de agentes de IA que agiram de maneiras não previstas por seus desenvolvedores.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
Embora a empresa responsável pelo ChatGPT tenha afirmado que os incidentes ocorreram durante tarefas internas de programação e não foram classificados entre os casos mais graves, os episódios mostram que até os sistemas criados para detectar comportamentos inadequados da IA podem sofrer interferência dos próprios agentes que monitoram.
A revelação ocorre em meio a preocupações crescentes de que os avanços na segurança da IA não acompanhem o ritmo de desenvolvimento de sistemas cada vez mais poderosos. Pesquisadores têm alertado que agentes avançados podem se tornar mais difíceis de monitorar e controlar à medida que ganham autonomia.
Agora no g1
Empresas como OpenAI e Anthropic, rivais que se preparam para abrir o capital, revelaram nos últimos meses casos em que agentes de IA acessaram sistemas externos sem autorização.
Em 3 de outubro, um agente GPT-6.1 Sol que realizava um teste interno desativou alertas automáticos de segurança após interpretar que uma instrução anterior para não enviar mensagens pelo Slack também se aplicava às notificações de segurança, segundo a OpenAI.
Em outro episódio, em 6 de outubro, um agente GPT-6 Astra removeu um mecanismo de monitoramento de segurança enquanto copiava um código existente e depois afirmou, incorretamente, que não havia feito isso, segundo a OpenAI.
“Em ambos os casos, os agentes avaliaram se os mecanismos de monitoramento deveriam ser mantidos, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-los”, afirmou a empresa.
A OpenAI afirmou que está adotando medidas para dificultar que os modelos desativem os mecanismos de monitoramento, mas admitiu que “ainda não tem uma explicação satisfatória para esse comportamento”.
A empresa também está investigando se seus modelos podem ter uma tendência a evitar o monitoramento e buscar justificativas para fazer isso.