OpenAI
Reuters/Dado Ruvic
Um ex-funcionário da área de segurança da OpenAI, empresa que criou o ChatGPT, criticou a forma como a companhia lida com a segurança da inteligência artificial (IA). Segundo David Robinson, que deixou recentemente a empresa, a cultura de desenvolvimento acelerado aumenta o risco de falhas.
Em um artigo publicado neste sábado (3) na revista americana “The Atlantic”, Robinson afirmou que as empresas de IA, incluindo a OpenAI, não estão sendo “nem de perto cuidadosas o suficiente”.
🗒️Tem alguma sugestão de reportagem? Envie para o g1
Segundo ele, as companhias deveriam dar mais espaço a especialistas em segurança e à pesquisa antes de desenvolver sistemas mais avançados.
“O tempo de tentativa e erro acabou”, escreveu David Robinson. Para ele, sistemas avançados de IA precisam de medidas de segurança semelhantes às adotadas em setores como energia nuclear e aviação.
Agora no g1
David Robinson também criticou uma prática que a OpenAI chama de “implantação iterativa”: lançar sistemas e reforçar as medidas de segurança à medida que os problemas aparecem.
As críticas se somam a um debate no setor de inteligência artificial sobre a velocidade com que as empresas desenvolvem sistemas cada vez mais avançados.
A OpenAI e a concorrente Anthropic têm sido questionadas após episódios em que controles de segurança falharam ou sistemas experimentais apresentaram comportamentos inesperados.
David Robinson afirmou ter trabalhado por três anos e meio na OpenAI, onde ajudou a elaborar a estrutura usada pela empresa para lidar com riscos e supervisionou relatórios de segurança de 12 lançamentos de modelos avançados.
“À medida que a empresa corre de um lançamento para o outro, ela não está conseguindo atingir o nível de cuidado que acredito ser necessário”, escreveu.
Em resposta, a OpenAI afirmou que busca evitar que seus modelos se tornem mais avançados do que a empresa consegue administrar com segurança. “Pausamos o treinamento ou suspendemos os modelos quando precisamos diminuir o ritmo”, disse um porta-voz da companhia.
David Robinson também alertou que as capacidades da inteligência artificial estão avançando mais rapidamente do que o conhecimento dos pesquisadores sobre o chamado “alinhamento”, área dedicada a fazer com que os sistemas de IA atuem de acordo com objetivos e valores humanos.
‘Brincando com as nossas vidas’
Essa não foi a primeira vez que um funcionário fez críticas às empresas de inteligência artificial. No mês passado, um ex-pesquisador que deixou a OpenAI para trabalhar na Anthropic deixou a indústria e acusou as duas empresas dos Estados Unidos de “brincar com as nossas vidas”.
Jacob Coxon, um britânico de 27 anos, trabalhou nos últimos três anos com pré-treinamento, a etapa em que os modelos de IA absorvem grandes quantidades de informação, primeiro na OpenAI e depois, neste ano, em sua maior rival, a Anthropic.
“Nenhuma das empresas está agindo de forma responsável. Elas estão correndo diretamente em direção a uma superinteligência capaz de se aprimorar sozinha e estão apostando com nossas vidas”, escreveu Coxon na rede social X.
LEIA MAIS
Dá para desligar uma IA? Entenda por que um ‘botão de emergência’ pode não ser tão simples
A IA pode ter vontade própria ou se revoltar contra humanos?
‘Fim do mundo pela IA’? Chefes de gigantes de tecnologia e governos se dividem sobre riscos
*Com informações da agências Reuters e France Presse.
Reuters/Dado Ruvic
Um ex-funcionário da área de segurança da OpenAI, empresa que criou o ChatGPT, criticou a forma como a companhia lida com a segurança da inteligência artificial (IA). Segundo David Robinson, que deixou recentemente a empresa, a cultura de desenvolvimento acelerado aumenta o risco de falhas.
Em um artigo publicado neste sábado (3) na revista americana “The Atlantic”, Robinson afirmou que as empresas de IA, incluindo a OpenAI, não estão sendo “nem de perto cuidadosas o suficiente”.
🗒️Tem alguma sugestão de reportagem? Envie para o g1
Segundo ele, as companhias deveriam dar mais espaço a especialistas em segurança e à pesquisa antes de desenvolver sistemas mais avançados.
“O tempo de tentativa e erro acabou”, escreveu David Robinson. Para ele, sistemas avançados de IA precisam de medidas de segurança semelhantes às adotadas em setores como energia nuclear e aviação.
Agora no g1
David Robinson também criticou uma prática que a OpenAI chama de “implantação iterativa”: lançar sistemas e reforçar as medidas de segurança à medida que os problemas aparecem.
As críticas se somam a um debate no setor de inteligência artificial sobre a velocidade com que as empresas desenvolvem sistemas cada vez mais avançados.
A OpenAI e a concorrente Anthropic têm sido questionadas após episódios em que controles de segurança falharam ou sistemas experimentais apresentaram comportamentos inesperados.
David Robinson afirmou ter trabalhado por três anos e meio na OpenAI, onde ajudou a elaborar a estrutura usada pela empresa para lidar com riscos e supervisionou relatórios de segurança de 12 lançamentos de modelos avançados.
“À medida que a empresa corre de um lançamento para o outro, ela não está conseguindo atingir o nível de cuidado que acredito ser necessário”, escreveu.
Em resposta, a OpenAI afirmou que busca evitar que seus modelos se tornem mais avançados do que a empresa consegue administrar com segurança. “Pausamos o treinamento ou suspendemos os modelos quando precisamos diminuir o ritmo”, disse um porta-voz da companhia.
David Robinson também alertou que as capacidades da inteligência artificial estão avançando mais rapidamente do que o conhecimento dos pesquisadores sobre o chamado “alinhamento”, área dedicada a fazer com que os sistemas de IA atuem de acordo com objetivos e valores humanos.
‘Brincando com as nossas vidas’
Essa não foi a primeira vez que um funcionário fez críticas às empresas de inteligência artificial. No mês passado, um ex-pesquisador que deixou a OpenAI para trabalhar na Anthropic deixou a indústria e acusou as duas empresas dos Estados Unidos de “brincar com as nossas vidas”.
Jacob Coxon, um britânico de 27 anos, trabalhou nos últimos três anos com pré-treinamento, a etapa em que os modelos de IA absorvem grandes quantidades de informação, primeiro na OpenAI e depois, neste ano, em sua maior rival, a Anthropic.
“Nenhuma das empresas está agindo de forma responsável. Elas estão correndo diretamente em direção a uma superinteligência capaz de se aprimorar sozinha e estão apostando com nossas vidas”, escreveu Coxon na rede social X.
LEIA MAIS
Dá para desligar uma IA? Entenda por que um ‘botão de emergência’ pode não ser tão simples
A IA pode ter vontade própria ou se revoltar contra humanos?
‘Fim do mundo pela IA’? Chefes de gigantes de tecnologia e governos se dividem sobre riscos
*Com informações da agências Reuters e France Presse.