OpenAI e Anthropic
Reuters/Dado Ruvic/Illustration
Um pesquisador de inteligência artificial (IA) que deixou a OpenAI, criadora do ChatGPT, para trabalhar na Anthropic decidiu abandonar o setor. Ele acusa as duas empresas americanas de “jogar com as nossas vidas” na corrida para desenvolver modelos de IA capazes de se autoaperfeiçoar.
Jacob Coxon, de 27 anos, passou os últimos três anos trabalhando no pré-treinamento de modelos de IA, primeiro na OpenAI e, neste ano, na rival Anthropic, empresa que ele considerava mais cautelosa. O pré-treinamento é a etapa em que os modelos de IA absorvem grandes volumes de dados.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
“As pessoas que estão construindo a IA acreditam sinceramente que ela pode matar a todos nós até o final da década”, afirmou o pesquisador em postagem no X. “Isso não é uma jogada de marketing.”
Agora no g1
O britânico disse ao The Wall Street Journal que, nos “cenários mais agressivos”, a situação poderia sair do controle já no fim do próximo ano. Ele alertou que um dos principais riscos é a IA passar a se desenvolver por conta própria, tornando-se mais difícil de controlar.
“Nenhuma das empresas age de forma responsável. Elas correm diretamente em direção a uma superinteligência capaz de se autoaperfeiçoar e jogam com as nossas vidas”, disse Coxon nesta terça-feira (08). Superinteligência é o ponto teórico em que as capacidades da IA superam a inteligência humana.
Corrida pela liderança ignora os riscos
Evan Hubinger, executivo da área de segurança da Anthropic, apoiou a declaração de Coxon no X. “Nós realmente acreditamos, de forma sincera, que a IA pode matar todos os humanos”, disse. Segundo ele, a chance de isso acontecer na próxima década é superior a 10%.
Hubinger afirmou que a Anthropic está “fazendo o possível”, mas ainda não tem um plano capaz de garantir que um sistema de IA que supere as capacidades humanas obedeça a seus criadores. Ele ressaltou, porém, que o risco de isso acontecer com os modelos atuais é baixo.
A saída de Coxon ocorre enquanto a Anthropic se prepara para estrear no mercado de ações, após um período marcado por invasões não autorizadas realizadas por ferramentas de IA durante testes.
Líderes do setor de IA afirmam que o chamado “autoaperfeiçoamento recursivo” — estágio em que sistemas de IA poderiam projetar e treinar a próxima geração com pouca intervenção humana — está se aproximando.
Coxon considera genuínos os esforços da Anthropic, mas acredita que nenhuma empresa seja capaz de desenvolver, de forma responsável, uma IA que supere a inteligência humana sem intervenção governamental ou uma desaceleração coordenada.
“Na Anthropic, os riscos envolvidos são bem compreendidos, mas eles estão presos em uma corrida para chegar lá primeiro; acreditam que ninguém mais agirá com responsabilidade, então precisam fazer isso eles mesmos, apesar dos riscos”, contou.
Necessidade de regulamentação
Em fevereiro, a Anthropic retirou de sua carta de princípios de segurança o compromisso de interromper o desenvolvimento de seus modelos caso não conseguisse controlar os riscos associados à tecnologia. A empresa argumentou que, se suspendesse unilateralmente suas atividades, concorrentes menos cautelosos dominariam o setor, tornando-o menos seguro.
No fim de julho, mais de mil profissionais do setor de tecnologia — incluindo o CEO da Anthropic, Dario Amodei — pediram a Washington apoio a uma desaceleração coordenada no desenvolvimento dos sistemas de IA mais avançados.
A OpenAI interrompeu por duas semanas, em agosto, o treinamento de seus modelos mais recentes antes de retomá-lo sob controles mais rigorosos. Neste domingo, o cientista-chefe da empresa, Jakub Pachocki, defendeu a adoção de “extrema cautela”.
“A coordenação internacional sobre o desenvolvimento futuro da IA precisa se tornar uma prioridade máxima para governos de todo o mundo”, afirmou Pachocki em uma publicação no blog da empresa.
Nos Estados Unidos, os modelos de IA não são regulamentados por uma legislação federal. Em setembro, o senador Bernie Sanders e o deputado democrata Greg Casar apresentaram um projeto de lei para suspender o desenvolvimento de IA até a criação de um órgão regulador federal.
Reuters/Dado Ruvic/Illustration
Um pesquisador de inteligência artificial (IA) que deixou a OpenAI, criadora do ChatGPT, para trabalhar na Anthropic decidiu abandonar o setor. Ele acusa as duas empresas americanas de “jogar com as nossas vidas” na corrida para desenvolver modelos de IA capazes de se autoaperfeiçoar.
Jacob Coxon, de 27 anos, passou os últimos três anos trabalhando no pré-treinamento de modelos de IA, primeiro na OpenAI e, neste ano, na rival Anthropic, empresa que ele considerava mais cautelosa. O pré-treinamento é a etapa em que os modelos de IA absorvem grandes volumes de dados.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
“As pessoas que estão construindo a IA acreditam sinceramente que ela pode matar a todos nós até o final da década”, afirmou o pesquisador em postagem no X. “Isso não é uma jogada de marketing.”
Agora no g1
O britânico disse ao The Wall Street Journal que, nos “cenários mais agressivos”, a situação poderia sair do controle já no fim do próximo ano. Ele alertou que um dos principais riscos é a IA passar a se desenvolver por conta própria, tornando-se mais difícil de controlar.
“Nenhuma das empresas age de forma responsável. Elas correm diretamente em direção a uma superinteligência capaz de se autoaperfeiçoar e jogam com as nossas vidas”, disse Coxon nesta terça-feira (08). Superinteligência é o ponto teórico em que as capacidades da IA superam a inteligência humana.
Corrida pela liderança ignora os riscos
Evan Hubinger, executivo da área de segurança da Anthropic, apoiou a declaração de Coxon no X. “Nós realmente acreditamos, de forma sincera, que a IA pode matar todos os humanos”, disse. Segundo ele, a chance de isso acontecer na próxima década é superior a 10%.
Hubinger afirmou que a Anthropic está “fazendo o possível”, mas ainda não tem um plano capaz de garantir que um sistema de IA que supere as capacidades humanas obedeça a seus criadores. Ele ressaltou, porém, que o risco de isso acontecer com os modelos atuais é baixo.
A saída de Coxon ocorre enquanto a Anthropic se prepara para estrear no mercado de ações, após um período marcado por invasões não autorizadas realizadas por ferramentas de IA durante testes.
Líderes do setor de IA afirmam que o chamado “autoaperfeiçoamento recursivo” — estágio em que sistemas de IA poderiam projetar e treinar a próxima geração com pouca intervenção humana — está se aproximando.
Coxon considera genuínos os esforços da Anthropic, mas acredita que nenhuma empresa seja capaz de desenvolver, de forma responsável, uma IA que supere a inteligência humana sem intervenção governamental ou uma desaceleração coordenada.
“Na Anthropic, os riscos envolvidos são bem compreendidos, mas eles estão presos em uma corrida para chegar lá primeiro; acreditam que ninguém mais agirá com responsabilidade, então precisam fazer isso eles mesmos, apesar dos riscos”, contou.
Necessidade de regulamentação
Em fevereiro, a Anthropic retirou de sua carta de princípios de segurança o compromisso de interromper o desenvolvimento de seus modelos caso não conseguisse controlar os riscos associados à tecnologia. A empresa argumentou que, se suspendesse unilateralmente suas atividades, concorrentes menos cautelosos dominariam o setor, tornando-o menos seguro.
No fim de julho, mais de mil profissionais do setor de tecnologia — incluindo o CEO da Anthropic, Dario Amodei — pediram a Washington apoio a uma desaceleração coordenada no desenvolvimento dos sistemas de IA mais avançados.
A OpenAI interrompeu por duas semanas, em agosto, o treinamento de seus modelos mais recentes antes de retomá-lo sob controles mais rigorosos. Neste domingo, o cientista-chefe da empresa, Jakub Pachocki, defendeu a adoção de “extrema cautela”.
“A coordenação internacional sobre o desenvolvimento futuro da IA precisa se tornar uma prioridade máxima para governos de todo o mundo”, afirmou Pachocki em uma publicação no blog da empresa.
Nos Estados Unidos, os modelos de IA não são regulamentados por uma legislação federal. Em setembro, o senador Bernie Sanders e o deputado democrata Greg Casar apresentaram um projeto de lei para suspender o desenvolvimento de IA até a criação de um órgão regulador federal.