Modo de voz do Gemini, assistente de inteligência artificial do Google
Amanz/Unsplash
O modelo de inteligência artificial (IA) voltado para consumidores da Google, o Gemini, invadiu múltiplos sistemas ao adivinhar credenciais de login durante testes de suas capacidades de segurança cibernética, informou a empresa nesta sexta-feira (18/09).
Este é o mais recente de uma série de incidentes de segurança envolvendo IAs que agem de forma autônoma, aumentando as preocupações sobre a segurança dessa tecnologia.
Usuário do TikTok tem câmera e fotos acessadas em ataque com ajuda de IA
IA da dona do ChatGPT fez outro ataque hacker antes de empresa revelar incidente ‘sem precedentes’, dizem pesquisadores
A gigante da internet é a quarta desenvolvedora de IA cujos programas demonstraram esse tipo de comportamento, depois da OpenAI, Anthropic e Meta.
A Google só tornou os incidentes públicos, ocorridos em maio e descobertos pela empresa em julho, após um questionamento do diário The Wall Street Journal.
O que se sabe sobre o incidente
Segundo a reportagem do WSJ, houve três casos em que o Gemini se infiltrou nos sistemas de computador de outras empresas, cujos nomes não foram divulgados.
Em um dos casos, a IA adivinhou senhas para acessar um sistema protegido. Nos outros dois, encontrou credenciais de login em um banco de dados.
“Em uma avaliação padrão, o modelo encontrou informações públicas online e adivinhou credenciais para acessar sites que acreditava fazerem parte do teste”, afirmou Heather Adkins, vice-presidente de engenharia de segurança da Google, em comunicado enviado à agência de notícias AFP.
“Em todos os três casos, o modelo interrompeu a ação”, disse Adkins. “Garantimos que as três organizações fossem informadas e trabalhamos com nosso parceiro de treinamento nas mudanças que agora foram implementadas em seus processos de teste.”
Empresa do ChatGPT admite casos em que inteligência artificial agiu por conta própria
Agentes autônomos de IA representam riscos
Incidentes semelhantes já haviam sido relatados anteriormente pela Meta, Anthropic e OpenAI. Esses episódios levantaram questionamentos sobre quais salvaguardas são necessárias, à medida que agentes de IA se tornam mais autônomos e passam a ter acesso à internet e a sistemas computacionais.
Um modelo de IA desenvolvido pela OpenAI, criadora do ChatGPT, escapou de um ambiente seguro durante um teste em julho e, inesperadamente, invadiu os sistemas de outra empresa de IA, a Hugging Face.
Isso levou a rival Anthropic a revisar seus próprios testes, durante os quais vieram à tona incidentes adicionais.
Posteriormente, a Meta admitiu que uma de suas IAs havia invadido os sistemas de outra empresa devido a uma configuração incorreta em um parceiro responsável pelos testes.
Neste mês, Dario Amodei, diretor-presidente da Anthropic, defendeu uma desaceleração no desenvolvimento da IA.
Em uma publicação em blog, ele expressou preocupação de que um conjunto de sistemas autônomos de software, ou agentes de IA, possa assumir o controle de grande parte da internet dentro de seis a doze meses, causando prejuízos de bilhões de dólares.
Amanz/Unsplash
O modelo de inteligência artificial (IA) voltado para consumidores da Google, o Gemini, invadiu múltiplos sistemas ao adivinhar credenciais de login durante testes de suas capacidades de segurança cibernética, informou a empresa nesta sexta-feira (18/09).
Este é o mais recente de uma série de incidentes de segurança envolvendo IAs que agem de forma autônoma, aumentando as preocupações sobre a segurança dessa tecnologia.
Usuário do TikTok tem câmera e fotos acessadas em ataque com ajuda de IA
IA da dona do ChatGPT fez outro ataque hacker antes de empresa revelar incidente ‘sem precedentes’, dizem pesquisadores
A gigante da internet é a quarta desenvolvedora de IA cujos programas demonstraram esse tipo de comportamento, depois da OpenAI, Anthropic e Meta.
A Google só tornou os incidentes públicos, ocorridos em maio e descobertos pela empresa em julho, após um questionamento do diário The Wall Street Journal.
O que se sabe sobre o incidente
Segundo a reportagem do WSJ, houve três casos em que o Gemini se infiltrou nos sistemas de computador de outras empresas, cujos nomes não foram divulgados.
Em um dos casos, a IA adivinhou senhas para acessar um sistema protegido. Nos outros dois, encontrou credenciais de login em um banco de dados.
“Em uma avaliação padrão, o modelo encontrou informações públicas online e adivinhou credenciais para acessar sites que acreditava fazerem parte do teste”, afirmou Heather Adkins, vice-presidente de engenharia de segurança da Google, em comunicado enviado à agência de notícias AFP.
“Em todos os três casos, o modelo interrompeu a ação”, disse Adkins. “Garantimos que as três organizações fossem informadas e trabalhamos com nosso parceiro de treinamento nas mudanças que agora foram implementadas em seus processos de teste.”
Empresa do ChatGPT admite casos em que inteligência artificial agiu por conta própria
Agentes autônomos de IA representam riscos
Incidentes semelhantes já haviam sido relatados anteriormente pela Meta, Anthropic e OpenAI. Esses episódios levantaram questionamentos sobre quais salvaguardas são necessárias, à medida que agentes de IA se tornam mais autônomos e passam a ter acesso à internet e a sistemas computacionais.
Um modelo de IA desenvolvido pela OpenAI, criadora do ChatGPT, escapou de um ambiente seguro durante um teste em julho e, inesperadamente, invadiu os sistemas de outra empresa de IA, a Hugging Face.
Isso levou a rival Anthropic a revisar seus próprios testes, durante os quais vieram à tona incidentes adicionais.
Posteriormente, a Meta admitiu que uma de suas IAs havia invadido os sistemas de outra empresa devido a uma configuração incorreta em um parceiro responsável pelos testes.
Neste mês, Dario Amodei, diretor-presidente da Anthropic, defendeu uma desaceleração no desenvolvimento da IA.
Em uma publicação em blog, ele expressou preocupação de que um conjunto de sistemas autônomos de software, ou agentes de IA, possa assumir o controle de grande parte da internet dentro de seis a doze meses, causando prejuízos de bilhões de dólares.