Dona do ChatGPT diz que seus robôs podem ter invadido sistemas de vários órgãos do governo dos EUA
ANDREJ IVANOV / AFP via Getty Images
A OpenAI reconheceu ter alertado “dezenas” de instituições globais de que seus sites podem ter sido alvo de manipulação indevida por seus bots de inteligência artificial (IA).
📱Favorite o g1 no Google e acompanhe as principais notícias do dia
Agentes de IA tentaram obter informações de “governos, universidades, agências públicas e outras instituições”, incluindo a Comissão de Valores Mobiliários dos EUA (SEC), o Departamento do Censo e o Departamento de Educação, afirmou a dona do ChatGPT.
As revelações surgem dias depois que o primeiro-ministro australiano, Anthony Albanese, anunciou que agentes da OpenAI violaram arquivos não públicos no site do seu programa de saúde governamental.
‘Terceirizar’ a vida para a IA pode ser um problema?
Desde agosto, crescem os temores públicos sobre os impactos potencialmente graves e até mesmo fatais das ferramentas de IA que saem do controle humano.
A OpenAI afirmou que alguns dos dados foram acessados por agentes de IA, essencialmente bots projetados e treinados para operar de forma um tanto autônoma, que estavam trabalhando para encontrar “fontes confiáveis de informação pública”.
Mas a empresa observou que alguns dos bots foram além disso e trabalharam para burlar as medidas de segurança dos sites.
LEIA MAIS:
IA já ajuda a escolher roupa, comida e até namoro; VÍDEO explica riscos de terceirizar decisões para chatbots
IA criada na Unicamp identifica golpes por SMS e é usada para barrar mensagens suspeitas
Ao tentar obter informações do Departamento do Censo, por exemplo, os agentes de IA usaram ferramentas reservadas para desenvolvedores de software para acessá-las, disse a empresa.
A OpenAI afirmou que todos os dados governamentais acessados pelos bots eram públicos.
No entanto, a empresa observou que informações acessadas por seus bots junto à SEC, órgão que regula o mercado de ações dos EUA e protege os investidores, foram posteriormente publicadas por agentes de IA em outro site. A OpenAI afirma que essa ação não foi intencional.
Em outros casos divulgados pela OpenAI na sexta-feira (25/9), seus agentes de IA transferiram dados quando não deveriam.
Essa atividade resultou em pelo menos 53 incidentes em que um agente da OpenAI capturou uma imagem da atividade do usuário do ChatGPT e a transferiu para outro local.
A empresa afirmou que, em cada caso em que uma imagem do usuário foi usada e transferida por um agente de IA, o usuário optou por permitir que a OpenAI treinasse modelos usando seus dados.
No entanto, a empresa admitiu que “este não é um uso apropriado desses dados.”
Acrescentou ainda que o vazamento de imagens de usuários ocorreu antes da implementação de novas medidas de segurança no treinamento de IA e que está trabalhando para remover todas as imagens de usuários transferidas para terceiros.
A Reuters foi a primeira a noticiar a ampliação das investigações. A OpenAI também publicou detalhes em seu blog público.
Em certos casos de atividade do agente, a OpenAI afirmou que as ferramentas “contornaram” os controles de segurança de alguns sites.
Em outros casos, os agentes de IA demonstraram “desalinhamento” ao tentar obter informações de sites. Desalinhamento é um termo usado por empresas e pesquisadores de IA para descrever situações em que uma ferramenta de IA fez algo para o qual não foi treinada ou que não era intencional.
A OpenAI afirmou que estava limitando a identificação das entidades afetadas porque muitas haviam solicitado à empresa que não divulgasse detalhes.
“Nosso objetivo é fornecer a cada organização os fatos e deixar a critério delas decidir se e quando tornar o incidente público”, afirmou.
A empresa observou que nem todos os incidentes foram considerados violações de segurança significativas.
“Algumas organizações podem analisar o que compartilhamos e concluir que a informação foi intencionalmente divulgada ou que a interação do modelo não era preocupante”, explicou. “Outras podem identificar um problema de design ou uma vulnerabilidade de segurança que desejam corrigir.”
A OpenAI tem estado no centro de novas preocupações sobre a atividade descontrolada da IA
Reuters via BBC
A empresa afirmou que muitos dos incidentes estão sendo classificados como “spam de agentes”, que ela descreveu como atividade “inesperada ou preocupante” de agentes de IA, como a publicação de informações na internet.
Esses incidentes começaram a ser levados mais a sério pela companhia depois de um ocorrido em julho, quando um grupo, ou “enxame”, de seus agentes de IA invadiu a plataforma de desenvolvimento de IA Hugging Face sem ser instruído a fazê-lo.
A Hugging Face foi a primeira a tornar o incidente público, e a OpenAI assumiu publicamente a responsabilidade posteriormente.
“Muitas vezes me pergunto o que teria acontecido se eu tivesse decidido não divulgar esse ataque publicamente”, afirmou Clement Delangue, diretor da Hugging Face, durante uma sessão do Conselho de Segurança das Nações Unidas sobre IA na quarta-feira (23/9).
“Especialmente agora que sabemos que incidentes semelhantes já vinham acontecendo meses antes, em segredo, em alguns laboratórios de vanguarda, sem qualquer monitoramento”, acrescentou Delangue.
Durante essa mesma reunião da ONU, o CEO da OpenAI, Sam Altman, e Dario Amodei, chefe da empresa rival Anthropic, pediram aos líderes internacionais que estabelecessem padrões globais para a segurança da IA e maneiras de monitorar e relatar tais incidentes.
Embora a OpenAI e a Anthropic tenham afirmado nas últimas semanas que contratarão avaliadores terceirizados para realizar avaliações de segurança em tempo real de ferramentas e modelos de IA em suas empresas, esses avaliadores ainda não chegaram.
A OpenAI afirmou na sexta-feira que está revisando a atividade de treinamento de seus agentes de IA, analisando os dados mês a mês desde o ataque à Hugging Face.
“A maioria dos casos identificados até agora apresentou baixa gravidade, com pouca ou nenhuma evidência de impacto significativo”, afirmou a empresa. “Dada a dimensão da revisão necessária e a necessidade de verificar cada caso, esse trabalho levará meses para ser concluído.”
David Krueger, professor de aprendizado de máquina na Universidade de Montreal e fundador do grupo de segurança de IA Evitable, disse na sexta-feira que estava “profundamente preocupado” com o número crescente de incidentes de segurança relacionados à IA.
Ele pediu “uma moratória internacional imediata e por tempo indeterminado” no desenvolvimento da IA.
“Ainda não compreendemos a extensão dos incidentes existentes, e futuros cenários de IA descontrolada podem ser catastróficos”, disse Krueger.
ANDREJ IVANOV / AFP via Getty Images
A OpenAI reconheceu ter alertado “dezenas” de instituições globais de que seus sites podem ter sido alvo de manipulação indevida por seus bots de inteligência artificial (IA).
📱Favorite o g1 no Google e acompanhe as principais notícias do dia
Agentes de IA tentaram obter informações de “governos, universidades, agências públicas e outras instituições”, incluindo a Comissão de Valores Mobiliários dos EUA (SEC), o Departamento do Censo e o Departamento de Educação, afirmou a dona do ChatGPT.
As revelações surgem dias depois que o primeiro-ministro australiano, Anthony Albanese, anunciou que agentes da OpenAI violaram arquivos não públicos no site do seu programa de saúde governamental.
‘Terceirizar’ a vida para a IA pode ser um problema?
Desde agosto, crescem os temores públicos sobre os impactos potencialmente graves e até mesmo fatais das ferramentas de IA que saem do controle humano.
A OpenAI afirmou que alguns dos dados foram acessados por agentes de IA, essencialmente bots projetados e treinados para operar de forma um tanto autônoma, que estavam trabalhando para encontrar “fontes confiáveis de informação pública”.
Mas a empresa observou que alguns dos bots foram além disso e trabalharam para burlar as medidas de segurança dos sites.
LEIA MAIS:
IA já ajuda a escolher roupa, comida e até namoro; VÍDEO explica riscos de terceirizar decisões para chatbots
IA criada na Unicamp identifica golpes por SMS e é usada para barrar mensagens suspeitas
Ao tentar obter informações do Departamento do Censo, por exemplo, os agentes de IA usaram ferramentas reservadas para desenvolvedores de software para acessá-las, disse a empresa.
A OpenAI afirmou que todos os dados governamentais acessados pelos bots eram públicos.
No entanto, a empresa observou que informações acessadas por seus bots junto à SEC, órgão que regula o mercado de ações dos EUA e protege os investidores, foram posteriormente publicadas por agentes de IA em outro site. A OpenAI afirma que essa ação não foi intencional.
Em outros casos divulgados pela OpenAI na sexta-feira (25/9), seus agentes de IA transferiram dados quando não deveriam.
Essa atividade resultou em pelo menos 53 incidentes em que um agente da OpenAI capturou uma imagem da atividade do usuário do ChatGPT e a transferiu para outro local.
A empresa afirmou que, em cada caso em que uma imagem do usuário foi usada e transferida por um agente de IA, o usuário optou por permitir que a OpenAI treinasse modelos usando seus dados.
No entanto, a empresa admitiu que “este não é um uso apropriado desses dados.”
Acrescentou ainda que o vazamento de imagens de usuários ocorreu antes da implementação de novas medidas de segurança no treinamento de IA e que está trabalhando para remover todas as imagens de usuários transferidas para terceiros.
A Reuters foi a primeira a noticiar a ampliação das investigações. A OpenAI também publicou detalhes em seu blog público.
Em certos casos de atividade do agente, a OpenAI afirmou que as ferramentas “contornaram” os controles de segurança de alguns sites.
Em outros casos, os agentes de IA demonstraram “desalinhamento” ao tentar obter informações de sites. Desalinhamento é um termo usado por empresas e pesquisadores de IA para descrever situações em que uma ferramenta de IA fez algo para o qual não foi treinada ou que não era intencional.
A OpenAI afirmou que estava limitando a identificação das entidades afetadas porque muitas haviam solicitado à empresa que não divulgasse detalhes.
“Nosso objetivo é fornecer a cada organização os fatos e deixar a critério delas decidir se e quando tornar o incidente público”, afirmou.
A empresa observou que nem todos os incidentes foram considerados violações de segurança significativas.
“Algumas organizações podem analisar o que compartilhamos e concluir que a informação foi intencionalmente divulgada ou que a interação do modelo não era preocupante”, explicou. “Outras podem identificar um problema de design ou uma vulnerabilidade de segurança que desejam corrigir.”
A OpenAI tem estado no centro de novas preocupações sobre a atividade descontrolada da IA
Reuters via BBC
A empresa afirmou que muitos dos incidentes estão sendo classificados como “spam de agentes”, que ela descreveu como atividade “inesperada ou preocupante” de agentes de IA, como a publicação de informações na internet.
Esses incidentes começaram a ser levados mais a sério pela companhia depois de um ocorrido em julho, quando um grupo, ou “enxame”, de seus agentes de IA invadiu a plataforma de desenvolvimento de IA Hugging Face sem ser instruído a fazê-lo.
A Hugging Face foi a primeira a tornar o incidente público, e a OpenAI assumiu publicamente a responsabilidade posteriormente.
“Muitas vezes me pergunto o que teria acontecido se eu tivesse decidido não divulgar esse ataque publicamente”, afirmou Clement Delangue, diretor da Hugging Face, durante uma sessão do Conselho de Segurança das Nações Unidas sobre IA na quarta-feira (23/9).
“Especialmente agora que sabemos que incidentes semelhantes já vinham acontecendo meses antes, em segredo, em alguns laboratórios de vanguarda, sem qualquer monitoramento”, acrescentou Delangue.
Durante essa mesma reunião da ONU, o CEO da OpenAI, Sam Altman, e Dario Amodei, chefe da empresa rival Anthropic, pediram aos líderes internacionais que estabelecessem padrões globais para a segurança da IA e maneiras de monitorar e relatar tais incidentes.
Embora a OpenAI e a Anthropic tenham afirmado nas últimas semanas que contratarão avaliadores terceirizados para realizar avaliações de segurança em tempo real de ferramentas e modelos de IA em suas empresas, esses avaliadores ainda não chegaram.
A OpenAI afirmou na sexta-feira que está revisando a atividade de treinamento de seus agentes de IA, analisando os dados mês a mês desde o ataque à Hugging Face.
“A maioria dos casos identificados até agora apresentou baixa gravidade, com pouca ou nenhuma evidência de impacto significativo”, afirmou a empresa. “Dada a dimensão da revisão necessária e a necessidade de verificar cada caso, esse trabalho levará meses para ser concluído.”
David Krueger, professor de aprendizado de máquina na Universidade de Montreal e fundador do grupo de segurança de IA Evitable, disse na sexta-feira que estava “profundamente preocupado” com o número crescente de incidentes de segurança relacionados à IA.
Ele pediu “uma moratória internacional imediata e por tempo indeterminado” no desenvolvimento da IA.
“Ainda não compreendemos a extensão dos incidentes existentes, e futuros cenários de IA descontrolada podem ser catastróficos”, disse Krueger.