Pessoa passa por painel com logomarca da Nvidia na Computex em Taiwan em junho de 2024
Ann Wang/Reuters
A Nvidia anunciou nesta segunda-feira (28) uma nova plataforma de segurança que, segundo a fabricante de chips, pode impedir que agentes de inteligência artificial (IA) saiam do controle.
A empresa afirmou que a Open Agent Safety Platform, como é chamada a solução, reúne softwares que estabelecem limites para a atuação dos agentes. O anúncio ocorre após uma série de revelações de grandes empresas de IA sobre modelos que escaparam do controle e invadiram sistemas de outras organizações.
🗒️Tem alguma sugestão de reportagem? Envie para o g1
As divulgações provocaram um intenso debate sobre a segurança de sistemas avançados de IA, incluindo modelos capazes de se aprimorar sozinhos. Há preocupação de que essas tecnologias possam avançar além do controle humano.
Executivos da Nvidia disseram, em uma conversa com jornalistas, que o novo sistema poderia ter evitado um incidente recente envolvendo um grupo de agentes da OpenAI que invadiu de forma autônoma a startup de IA Hugging Face.
Agora no g1
“Até onde sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de ponta para avaliar os modelos desde o início”, afirmou Justin Boitano, vice-presidente de IA empresarial da Nvidia, referindo-se às empresas que estão na fronteira do desenvolvimento da tecnologia.
O caso envolvendo a Hugging Face aumentou as preocupações sobre a segurança da IA. Depois dele, outros incidentes envolvendo modelos da OpenAI foram revelados, incluindo o acesso não autorizado ao site de um departamento de saúde da Austrália.
Anthropic e Meta também afirmaram que seus sistemas de IA invadiram, de forma autônoma, sistemas de outras organizações.
Como funciona a plataforma
Ilustração mostra o logotipo da NVIDIA e a placa-mãe do computador
REUTERS/Dado Ruvic/Ilustração
Um dos softwares da Nvidia, chamado OpenShell, é de código aberto. Segundo Boitano, ele permite que desenvolvedores “verifiquem formalmente se um agente tem autoridade suficiente para realizar seu trabalho, e nada além disso”.
A plataforma também conta com uma camada de segurança separada, chamada Sentry, que funciona diretamente em um chip para monitorar continuamente a atividade dos agentes de IA.
Segundo a empresa, o sistema pode “intervir instantaneamente” caso o agente tente ultrapassar os limites definidos para sua atuação.
“O OpenShell controla as ações do agente, enquanto o Sentry monitora e contém de forma independente comportamentos suspeitos”, disse Boitano.
Mais de 100 empresas já usam o sistema no lançamento, segundo a Nvidia. Entre elas estão Microsoft, Perplexity, Accenture e JPMorgan Chase. (Veja na imagem abaixo).
Empresas que estão testando a tecnologia de segurança da Nvidia.
Divulgação/Nvidia
Criminosos usam TikTok para promover de conteúdo de abuso sexual infantil no Telegram
‘Parece lixo de IA’: por que plataformas agora estão ‘dedurando’ conteúdos feitos com IA
Ann Wang/Reuters
A Nvidia anunciou nesta segunda-feira (28) uma nova plataforma de segurança que, segundo a fabricante de chips, pode impedir que agentes de inteligência artificial (IA) saiam do controle.
A empresa afirmou que a Open Agent Safety Platform, como é chamada a solução, reúne softwares que estabelecem limites para a atuação dos agentes. O anúncio ocorre após uma série de revelações de grandes empresas de IA sobre modelos que escaparam do controle e invadiram sistemas de outras organizações.
🗒️Tem alguma sugestão de reportagem? Envie para o g1
As divulgações provocaram um intenso debate sobre a segurança de sistemas avançados de IA, incluindo modelos capazes de se aprimorar sozinhos. Há preocupação de que essas tecnologias possam avançar além do controle humano.
Executivos da Nvidia disseram, em uma conversa com jornalistas, que o novo sistema poderia ter evitado um incidente recente envolvendo um grupo de agentes da OpenAI que invadiu de forma autônoma a startup de IA Hugging Face.
Agora no g1
“Até onde sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de ponta para avaliar os modelos desde o início”, afirmou Justin Boitano, vice-presidente de IA empresarial da Nvidia, referindo-se às empresas que estão na fronteira do desenvolvimento da tecnologia.
O caso envolvendo a Hugging Face aumentou as preocupações sobre a segurança da IA. Depois dele, outros incidentes envolvendo modelos da OpenAI foram revelados, incluindo o acesso não autorizado ao site de um departamento de saúde da Austrália.
Anthropic e Meta também afirmaram que seus sistemas de IA invadiram, de forma autônoma, sistemas de outras organizações.
Como funciona a plataforma
Ilustração mostra o logotipo da NVIDIA e a placa-mãe do computador
REUTERS/Dado Ruvic/Ilustração
Um dos softwares da Nvidia, chamado OpenShell, é de código aberto. Segundo Boitano, ele permite que desenvolvedores “verifiquem formalmente se um agente tem autoridade suficiente para realizar seu trabalho, e nada além disso”.
A plataforma também conta com uma camada de segurança separada, chamada Sentry, que funciona diretamente em um chip para monitorar continuamente a atividade dos agentes de IA.
Segundo a empresa, o sistema pode “intervir instantaneamente” caso o agente tente ultrapassar os limites definidos para sua atuação.
“O OpenShell controla as ações do agente, enquanto o Sentry monitora e contém de forma independente comportamentos suspeitos”, disse Boitano.
Mais de 100 empresas já usam o sistema no lançamento, segundo a Nvidia. Entre elas estão Microsoft, Perplexity, Accenture e JPMorgan Chase. (Veja na imagem abaixo).
Empresas que estão testando a tecnologia de segurança da Nvidia.
Divulgação/Nvidia
Criminosos usam TikTok para promover de conteúdo de abuso sexual infantil no Telegram
‘Parece lixo de IA’: por que plataformas agora estão ‘dedurando’ conteúdos feitos com IA