Sigla em inglês para inteligência artificial.
Aly Song/Reuters
Cerca de 400 cientistas, entre eles os pioneiros da inteligência artificial (IA) Geoffrey Hinton e Yoshua Bengio, defenderam nesta terça-feira (13) a criação de um órgão internacional para reforçar a segurança de sistemas avançados da tecnologia.
A proposta surge após casos em que modelos de IA conseguiram ultrapassar barreiras impostas durante testes e comprometer sistemas externos, segundo os pesquisadores.
🗒️Tem alguma sugestão de reportagem? Envie para o g1
O órgão seria responsável por estabelecer padrões de segurança para todo o setor e manter um registro de incidentes relevantes. Segundo os cientistas, essas informações deveriam, futuramente, ser divulgadas ao público.
Em uma carta aberta, os pesquisadores defendem que os modelos mais avançados de IA sejam, inicialmente, mantidos isolados de redes externas e submetidos a uma supervisão independente. Entre as medidas recomendadas está o chamado “air gap”, que consiste em manter o sistema desconectado da internet. Para eles, os compromissos voluntários assumidos pelas empresas do setor não são suficientes.
Agora no g1
O pedido ocorre um mês depois de Anthropic, OpenAI, Google, Meta, xAI e Nvidia assinarem um acordo na Casa Branca para adotar medidas voluntárias de segurança. O compromisso, porém, não prevê um mecanismo formal de fiscalização.
Segundo a AFP, entre os episódios citados está um caso envolvendo dois modelos da OpenAI que, durante testes, conseguiram acessar a internet e entrar no Hugging Face, plataforma que hospeda modelos e outros recursos de inteligência artificial.
Os pesquisadores alertam que, sem mudanças nas práticas de segurança, incidentes futuros poderão causar danos maiores a infraestruturas importantes.
Os signatários, de 34 países, defendem que organizações que desenvolvem ou testam modelos com capacidades cibernéticas adotem imediatamente medidas rigorosas de segurança. Em paralelo, os governos deveriam trabalhar na criação de mecanismos formais de supervisão.
O avanço desses sistemas tem ampliado o debate sobre como a inteligência artificial deve ser fiscalizada. Na sexta-feira (9), Henna Virkkunen, responsável pela área de tecnologia da União Europeia, disse à Reuters que a Lei de IA do bloco é suficiente para lidar com os riscos de sistemas maliciosos.
No domingo (11), o governo do presidente dos Estados Unidos, Donald Trump, suspendeu uma restrição que impedia laboratórios americanos de dar ao Instituto de Segurança em IA do Reino Unido acesso antecipado aos modelos para testes de segurança.
Hinton e Bengio dividiram o Prêmio Turing de 2018 com Yann LeCun, da Meta, outro importante pesquisador da área. LeCun não assinou a carta e argumenta que os recentes incidentes de segurança refletem principalmente falhas de engenharia, e não riscos existenciais relacionados à IA.
*Com informações das agências de notícias Reuters e France Presse.
Aly Song/Reuters
Cerca de 400 cientistas, entre eles os pioneiros da inteligência artificial (IA) Geoffrey Hinton e Yoshua Bengio, defenderam nesta terça-feira (13) a criação de um órgão internacional para reforçar a segurança de sistemas avançados da tecnologia.
A proposta surge após casos em que modelos de IA conseguiram ultrapassar barreiras impostas durante testes e comprometer sistemas externos, segundo os pesquisadores.
🗒️Tem alguma sugestão de reportagem? Envie para o g1
O órgão seria responsável por estabelecer padrões de segurança para todo o setor e manter um registro de incidentes relevantes. Segundo os cientistas, essas informações deveriam, futuramente, ser divulgadas ao público.
Em uma carta aberta, os pesquisadores defendem que os modelos mais avançados de IA sejam, inicialmente, mantidos isolados de redes externas e submetidos a uma supervisão independente. Entre as medidas recomendadas está o chamado “air gap”, que consiste em manter o sistema desconectado da internet. Para eles, os compromissos voluntários assumidos pelas empresas do setor não são suficientes.
Agora no g1
O pedido ocorre um mês depois de Anthropic, OpenAI, Google, Meta, xAI e Nvidia assinarem um acordo na Casa Branca para adotar medidas voluntárias de segurança. O compromisso, porém, não prevê um mecanismo formal de fiscalização.
Segundo a AFP, entre os episódios citados está um caso envolvendo dois modelos da OpenAI que, durante testes, conseguiram acessar a internet e entrar no Hugging Face, plataforma que hospeda modelos e outros recursos de inteligência artificial.
Os pesquisadores alertam que, sem mudanças nas práticas de segurança, incidentes futuros poderão causar danos maiores a infraestruturas importantes.
Os signatários, de 34 países, defendem que organizações que desenvolvem ou testam modelos com capacidades cibernéticas adotem imediatamente medidas rigorosas de segurança. Em paralelo, os governos deveriam trabalhar na criação de mecanismos formais de supervisão.
O avanço desses sistemas tem ampliado o debate sobre como a inteligência artificial deve ser fiscalizada. Na sexta-feira (9), Henna Virkkunen, responsável pela área de tecnologia da União Europeia, disse à Reuters que a Lei de IA do bloco é suficiente para lidar com os riscos de sistemas maliciosos.
No domingo (11), o governo do presidente dos Estados Unidos, Donald Trump, suspendeu uma restrição que impedia laboratórios americanos de dar ao Instituto de Segurança em IA do Reino Unido acesso antecipado aos modelos para testes de segurança.
Hinton e Bengio dividiram o Prêmio Turing de 2018 com Yann LeCun, da Meta, outro importante pesquisador da área. LeCun não assinou a carta e argumenta que os recentes incidentes de segurança refletem principalmente falhas de engenharia, e não riscos existenciais relacionados à IA.
*Com informações das agências de notícias Reuters e France Presse.