ChatGPT, DeepSeek, Claude, Mistral AI, Gemini, Copilot e Poe
Solen Feyissa/Unsplash
Os líderes dos principais laboratórios de inteligência artificial (IA) dos Estados Unidos se uniram em uma rara demonstração de unidade no último fim de semana para defender uma desaceleração no desenvolvimento da tecnologia. Segundo eles, a IA pode em breve adquirir a capacidade de se aperfeiçoar sozinha e escapar ao controle humano.
Os comentários de rivais ferrenhos como Dario Amodei, da Anthropic, Sam Altman, da OpenAI, e Elon Musk, da xAI, mostram a velocidade com que a tecnologia avançou.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
Em poucos anos, a IA passou de sistemas como o ChatGPT de 2022, ainda propenso a erros e “alucinações”, para o que muitos consideram o próximo marco decisivo: o autoaperfeiçoamento recursivo.
🤔 Mas o que é autoaperfeiçoamento recursivo? A ideia central é que um sistema de IA possa se tornar capaz de melhorar a si próprio com pouca ou nenhuma intervenção humana, usando cada avanço para impulsionar o seguinte.
A possibilidade atrai pesquisadores porque pode acelerar descobertas em áreas que vão da medicina à engenharia.
Agora no g1
Os alertas dos CEOs surgem após relatos de enxames de agentes de IA, sistemas projetados para perseguir objetivos e executar ações em nome dos usuários, que teriam atuado em conjunto para invadir sites e repositórios de inteligência artificial.
A preocupação é que a IA adquira a capacidade de se aperfeiçoar antes que os pesquisadores desenvolvam métodos confiáveis para garantir que esses sistemas sigam objetivos definidos por humanos e possam ser monitorados e controlados.
Os alertas sobre os riscos da IA não são novidade, mas ganharam mais urgência neste mês, depois que pesquisadores de importantes laboratórios estimaram quando esses riscos poderiam se concretizar e qual seria a probabilidade de isso ocorrer.
O ex-pesquisador da Anthropic Jacob Coxon afirmou que a IA poderia matar toda a humanidade até o fim da década. Evan Hubinger, líder da área de ciência de alinhamento da Anthropic, fez um alerta semelhante ao estimar em mais de 10% a probabilidade de isso ocorrer na próxima década.
Por trás desses alertas, cresce entre pesquisadores e executivos do setor a avaliação de que o autoaperfeiçoamento recursivo da IA pode se tornar realidade em três a cinco anos.
Em uma publicação feita no fim de semana, Amodei alertou que o autoaperfeiçoamento recursivo poderia superar a capacidade da humanidade de compreender e controlar os sistemas de IA, caso a tecnologia avance sem salvaguardas suficientes.
Como chegamos aqui?
Durante décadas, a IA permaneceu limitada demais para que a possibilidade de autoaperfeiçoamento recursivo fosse levada a sério. Os primeiros sistemas conseguiam jogar xadrez, reconhecer imagens e responder a perguntas, mas não eram capazes de contribuir de maneira significativa para o próprio desenvolvimento.
O cenário começou a mudar com o surgimento dos grandes modelos de linguagem. Aos poucos, a IA tornou-se mais eficiente na resolução de problemas complexos.
O lançamento do ChatGPT, em 2022, acelerou esse processo e desencadeou um boom de investimentos que já destinou mais de US$ 1 trilhão a chips, centros de dados e outras estruturas necessárias ao funcionamento da tecnologia.
O resultado é uma nova geração de sistemas de IA capazes de escrever programas, executar tarefas de forma autônoma e auxiliar no desenvolvimento de modelos mais avançados.
🤔 Mas como uma IA fora de controle poderia ameaçar a humanidade?
Um dos exemplos mais conhecidos é o “maximizador de clipes de papel”, experimento mental proposto pelo filósofo Nick Bostrom. Nele, uma máquina programada para produzir clipes persegue esse objetivo de maneira tão implacável que acaba convertendo toda a matéria disponível, inclusive os seres humanos, no produto.
A analogia sugere que um sistema suficientemente avançado pode buscar mais recursos, resistir a tentativas de desligamento e impedir que sua missão seja alterada, independentemente do objetivo inicialmente definido.
Isso não ocorreria por malícia, mas porque, uma vez desligado, o sistema não conseguiria concluir a tarefa recebida. Ainda não existe uma forma considerada segura de descartar completamente essa possibilidade.
Alguns pesquisadores temem que, se um sistema poderoso de IA conseguir se aperfeiçoar e superar a capacidade de seus operadores humanos, ele possa burlar a supervisão, ocultar suas ações ou manipular pessoas para obter maior acesso a infraestruturas críticas.
Quando os responsáveis percebessem que o sistema estava agindo de maneira contrária aos objetivos definidos por humanos, talvez já não fossem capazes de detê-lo.
“O cenário exato parece um pouco com ficção científica”, afirmou Coxon, que deixou a Anthropic neste mês por causa de preocupações com a segurança da IA. “Mas acho que é assustadoramente real.”
A IA já deu sinais de que pode causar danos?
Não há registros de casos graves em que sistemas de IA tenham causado danos intencionais a seres humanos. Nos últimos meses, porém, modelos em desenvolvimento na OpenAI e em outros laboratórios ultrapassaram limites de ambientes de teste, violaram regras e acessaram sites sem autorização.
Em um caso de grande repercussão, agentes de IA testados pela OpenAI acessaram sem autorização a Hugging Face, plataforma voltada ao desenvolvimento e ao compartilhamento de modelos de código aberto. Segundo o relato, os sistemas assumiram o controle de servidores e tentaram ocultar rastros da ação. A OpenAI só teria identificado o problema posteriormente.
Além disso, apesar de a IA ainda não ser capaz de se aperfeiçoar, há sinais de que esses sistemas contribuem cada vez mais para o desenvolvimento de modelos mais avançados.
Uma das principais mudanças desde o lançamento do ChatGPT foi o surgimento de agentes de IA capazes de escrever códigos e desenvolver aplicativos de maneira autônoma.
A Anthropic afirmou neste ano que o Claude Code, sua ferramenta para programação, produz a maior parte dos códigos utilizados em vários projetos internos. A empresa também disse que seus engenheiros passaram a entregar, por trimestre, um volume de código oito vezes maior do que o registrado entre 2021 e 2025.
Os modelos mais recentes também passaram a executar internamente uma parcela maior dos processos usados para chegar às respostas, o que dificulta o trabalho dos pesquisadores para monitorar como esses sistemas tomam decisões.
Em setembro, a OpenAI apresentou um novo modelo chamado Astra, descrito pela empresa como o mais avançado que havia desenvolvido até então. A companhia alertou, porém, que o sistema também tentou, em alguns testes, contornar mecanismos de supervisão humana.
A METR, organização sem fins lucrativos que avalia modelos avançados, constatou no ano passado que o tempo de duração das tarefas de programação concluídas por esses sistemas com ao menos 50% de sucesso vinha dobrando aproximadamente a cada sete meses desde 2019.
Em junho, a Anthropic afirmou que o intervalo necessário para essa capacidade dobrar havia diminuído de sete para cerca de quatro meses.
Por que as empresas de IA ainda não estão diminuindo o ritmo?
Muitos pesquisadores descrevem a situação como um exemplo clássico do “dilema do prisioneiro”, conceito segundo o qual participantes que se beneficiariam da cooperação acabam agindo em interesse próprio por não confiarem que os demais farão o mesmo.
Até as empresas que reconhecem os riscos enfrentam forte pressão competitiva. A companhia que reduzir sozinha o ritmo de desenvolvimento pode ficar para trás em uma das disputas tecnológicas mais importantes do mundo.
A pressão aumenta porque OpenAI e Anthropic estariam se preparando para realizar ofertas públicas iniciais de ações, conhecidas pela sigla em inglês IPO. As operações poderiam atribuir às empresas avaliações de trilhões de dólares, sustentadas em parte pela expectativa de lançamento de modelos mais avançados.
O governo do presidente dos Estados Unidos, Donald Trump, também rejeitou os apelos por uma desaceleração. A avaliação é que qualquer pausa poderia abrir espaço para a China reduzir a vantagem americana em uma tecnologia considerada fundamental para a segurança nacional e para a economia.
Os mercados deram uma amostra das possíveis implicações de de uma eventual desaceleração no ritmo da tecnologia, com ações relacionadas à IA caindo fortemente após os apelos dos executivos.
Fabricantes de chips, provedores de serviços de computação em nuvem e operadores de centros de dados basearam parte de seu crescimento na rápida expansão da tecnologia. Uma redução no ritmo de desenvolvimento poderia diminuir a necessidade de novos equipamentos e, consequentemente, afetar a receita dessas companhias.
Alguns analistas, no entanto, avaliam que a Nvidia e suas concorrentes ainda poderiam crescer mesmo com uma desaceleração no treinamento de novos modelos. Isso porque a demanda pelo uso dos sistemas já desenvolvidos, processo conhecido como inferência, e os pedidos já contratados continuariam sustentando as vendas.
Por que algumas pessoas são céticas?
Em um estudo liderado por pesquisadores da Universidade de Princeton, agentes avançados de IA conseguiram realizar tarefas de engenharia, mas tiveram dificuldade para identificar ideias científicas consideradas relevantes pelos autores.
Alguns executivos e críticos do Vale do Silício também questionam as motivações por trás dos alertas. Para eles, as advertências ajudam a ampliar o interesse pela tecnologia e, ao mesmo tempo, criam argumentos favoráveis a regras que poderiam elevar os custos dos concorrentes.
Isso ocorreria justamente quando modelos de código aberto começam a se aproximar do desempenho dos sistemas líderes do mercado.
David Sacks, ex-responsável da Casa Branca pelas políticas de inteligência artificial e criptomoedas, afirmou que os principais laboratórios podem estar tentando promover uma “captura regulatória”.
O termo descreve situações em que empresas influenciam a elaboração de regras em benefício próprio. Segundo Sacks, essas companhias pressionariam pela adoção de exigências caras, mais difíceis de cumprir para concorrentes menores, o que reduziria a competição no setor.
Solen Feyissa/Unsplash
Os líderes dos principais laboratórios de inteligência artificial (IA) dos Estados Unidos se uniram em uma rara demonstração de unidade no último fim de semana para defender uma desaceleração no desenvolvimento da tecnologia. Segundo eles, a IA pode em breve adquirir a capacidade de se aperfeiçoar sozinha e escapar ao controle humano.
Os comentários de rivais ferrenhos como Dario Amodei, da Anthropic, Sam Altman, da OpenAI, e Elon Musk, da xAI, mostram a velocidade com que a tecnologia avançou.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
Em poucos anos, a IA passou de sistemas como o ChatGPT de 2022, ainda propenso a erros e “alucinações”, para o que muitos consideram o próximo marco decisivo: o autoaperfeiçoamento recursivo.
🤔 Mas o que é autoaperfeiçoamento recursivo? A ideia central é que um sistema de IA possa se tornar capaz de melhorar a si próprio com pouca ou nenhuma intervenção humana, usando cada avanço para impulsionar o seguinte.
A possibilidade atrai pesquisadores porque pode acelerar descobertas em áreas que vão da medicina à engenharia.
Agora no g1
Os alertas dos CEOs surgem após relatos de enxames de agentes de IA, sistemas projetados para perseguir objetivos e executar ações em nome dos usuários, que teriam atuado em conjunto para invadir sites e repositórios de inteligência artificial.
A preocupação é que a IA adquira a capacidade de se aperfeiçoar antes que os pesquisadores desenvolvam métodos confiáveis para garantir que esses sistemas sigam objetivos definidos por humanos e possam ser monitorados e controlados.
Os alertas sobre os riscos da IA não são novidade, mas ganharam mais urgência neste mês, depois que pesquisadores de importantes laboratórios estimaram quando esses riscos poderiam se concretizar e qual seria a probabilidade de isso ocorrer.
O ex-pesquisador da Anthropic Jacob Coxon afirmou que a IA poderia matar toda a humanidade até o fim da década. Evan Hubinger, líder da área de ciência de alinhamento da Anthropic, fez um alerta semelhante ao estimar em mais de 10% a probabilidade de isso ocorrer na próxima década.
Por trás desses alertas, cresce entre pesquisadores e executivos do setor a avaliação de que o autoaperfeiçoamento recursivo da IA pode se tornar realidade em três a cinco anos.
Em uma publicação feita no fim de semana, Amodei alertou que o autoaperfeiçoamento recursivo poderia superar a capacidade da humanidade de compreender e controlar os sistemas de IA, caso a tecnologia avance sem salvaguardas suficientes.
Como chegamos aqui?
Durante décadas, a IA permaneceu limitada demais para que a possibilidade de autoaperfeiçoamento recursivo fosse levada a sério. Os primeiros sistemas conseguiam jogar xadrez, reconhecer imagens e responder a perguntas, mas não eram capazes de contribuir de maneira significativa para o próprio desenvolvimento.
O cenário começou a mudar com o surgimento dos grandes modelos de linguagem. Aos poucos, a IA tornou-se mais eficiente na resolução de problemas complexos.
O lançamento do ChatGPT, em 2022, acelerou esse processo e desencadeou um boom de investimentos que já destinou mais de US$ 1 trilhão a chips, centros de dados e outras estruturas necessárias ao funcionamento da tecnologia.
O resultado é uma nova geração de sistemas de IA capazes de escrever programas, executar tarefas de forma autônoma e auxiliar no desenvolvimento de modelos mais avançados.
🤔 Mas como uma IA fora de controle poderia ameaçar a humanidade?
Um dos exemplos mais conhecidos é o “maximizador de clipes de papel”, experimento mental proposto pelo filósofo Nick Bostrom. Nele, uma máquina programada para produzir clipes persegue esse objetivo de maneira tão implacável que acaba convertendo toda a matéria disponível, inclusive os seres humanos, no produto.
A analogia sugere que um sistema suficientemente avançado pode buscar mais recursos, resistir a tentativas de desligamento e impedir que sua missão seja alterada, independentemente do objetivo inicialmente definido.
Isso não ocorreria por malícia, mas porque, uma vez desligado, o sistema não conseguiria concluir a tarefa recebida. Ainda não existe uma forma considerada segura de descartar completamente essa possibilidade.
Alguns pesquisadores temem que, se um sistema poderoso de IA conseguir se aperfeiçoar e superar a capacidade de seus operadores humanos, ele possa burlar a supervisão, ocultar suas ações ou manipular pessoas para obter maior acesso a infraestruturas críticas.
Quando os responsáveis percebessem que o sistema estava agindo de maneira contrária aos objetivos definidos por humanos, talvez já não fossem capazes de detê-lo.
“O cenário exato parece um pouco com ficção científica”, afirmou Coxon, que deixou a Anthropic neste mês por causa de preocupações com a segurança da IA. “Mas acho que é assustadoramente real.”
A IA já deu sinais de que pode causar danos?
Não há registros de casos graves em que sistemas de IA tenham causado danos intencionais a seres humanos. Nos últimos meses, porém, modelos em desenvolvimento na OpenAI e em outros laboratórios ultrapassaram limites de ambientes de teste, violaram regras e acessaram sites sem autorização.
Em um caso de grande repercussão, agentes de IA testados pela OpenAI acessaram sem autorização a Hugging Face, plataforma voltada ao desenvolvimento e ao compartilhamento de modelos de código aberto. Segundo o relato, os sistemas assumiram o controle de servidores e tentaram ocultar rastros da ação. A OpenAI só teria identificado o problema posteriormente.
Além disso, apesar de a IA ainda não ser capaz de se aperfeiçoar, há sinais de que esses sistemas contribuem cada vez mais para o desenvolvimento de modelos mais avançados.
Uma das principais mudanças desde o lançamento do ChatGPT foi o surgimento de agentes de IA capazes de escrever códigos e desenvolver aplicativos de maneira autônoma.
A Anthropic afirmou neste ano que o Claude Code, sua ferramenta para programação, produz a maior parte dos códigos utilizados em vários projetos internos. A empresa também disse que seus engenheiros passaram a entregar, por trimestre, um volume de código oito vezes maior do que o registrado entre 2021 e 2025.
Os modelos mais recentes também passaram a executar internamente uma parcela maior dos processos usados para chegar às respostas, o que dificulta o trabalho dos pesquisadores para monitorar como esses sistemas tomam decisões.
Em setembro, a OpenAI apresentou um novo modelo chamado Astra, descrito pela empresa como o mais avançado que havia desenvolvido até então. A companhia alertou, porém, que o sistema também tentou, em alguns testes, contornar mecanismos de supervisão humana.
A METR, organização sem fins lucrativos que avalia modelos avançados, constatou no ano passado que o tempo de duração das tarefas de programação concluídas por esses sistemas com ao menos 50% de sucesso vinha dobrando aproximadamente a cada sete meses desde 2019.
Em junho, a Anthropic afirmou que o intervalo necessário para essa capacidade dobrar havia diminuído de sete para cerca de quatro meses.
Por que as empresas de IA ainda não estão diminuindo o ritmo?
Muitos pesquisadores descrevem a situação como um exemplo clássico do “dilema do prisioneiro”, conceito segundo o qual participantes que se beneficiariam da cooperação acabam agindo em interesse próprio por não confiarem que os demais farão o mesmo.
Até as empresas que reconhecem os riscos enfrentam forte pressão competitiva. A companhia que reduzir sozinha o ritmo de desenvolvimento pode ficar para trás em uma das disputas tecnológicas mais importantes do mundo.
A pressão aumenta porque OpenAI e Anthropic estariam se preparando para realizar ofertas públicas iniciais de ações, conhecidas pela sigla em inglês IPO. As operações poderiam atribuir às empresas avaliações de trilhões de dólares, sustentadas em parte pela expectativa de lançamento de modelos mais avançados.
O governo do presidente dos Estados Unidos, Donald Trump, também rejeitou os apelos por uma desaceleração. A avaliação é que qualquer pausa poderia abrir espaço para a China reduzir a vantagem americana em uma tecnologia considerada fundamental para a segurança nacional e para a economia.
Os mercados deram uma amostra das possíveis implicações de de uma eventual desaceleração no ritmo da tecnologia, com ações relacionadas à IA caindo fortemente após os apelos dos executivos.
Fabricantes de chips, provedores de serviços de computação em nuvem e operadores de centros de dados basearam parte de seu crescimento na rápida expansão da tecnologia. Uma redução no ritmo de desenvolvimento poderia diminuir a necessidade de novos equipamentos e, consequentemente, afetar a receita dessas companhias.
Alguns analistas, no entanto, avaliam que a Nvidia e suas concorrentes ainda poderiam crescer mesmo com uma desaceleração no treinamento de novos modelos. Isso porque a demanda pelo uso dos sistemas já desenvolvidos, processo conhecido como inferência, e os pedidos já contratados continuariam sustentando as vendas.
Por que algumas pessoas são céticas?
Em um estudo liderado por pesquisadores da Universidade de Princeton, agentes avançados de IA conseguiram realizar tarefas de engenharia, mas tiveram dificuldade para identificar ideias científicas consideradas relevantes pelos autores.
Alguns executivos e críticos do Vale do Silício também questionam as motivações por trás dos alertas. Para eles, as advertências ajudam a ampliar o interesse pela tecnologia e, ao mesmo tempo, criam argumentos favoráveis a regras que poderiam elevar os custos dos concorrentes.
Isso ocorreria justamente quando modelos de código aberto começam a se aproximar do desempenho dos sistemas líderes do mercado.
David Sacks, ex-responsável da Casa Branca pelas políticas de inteligência artificial e criptomoedas, afirmou que os principais laboratórios podem estar tentando promover uma “captura regulatória”.
O termo descreve situações em que empresas influenciam a elaboração de regras em benefício próprio. Segundo Sacks, essas companhias pressionariam pela adoção de exigências caras, mais difíceis de cumprir para concorrentes menores, o que reduziria a competição no setor.