O CEO da OpenAI, Sam Altman, discursa no Conselho de Segurança das Nações Unidas durante uma sessão sobre inteligência artificial, na sede da ONU
Reuters
A OpenAI anunciou que não lançará seu novo modelo de inteligência artificial devido a preocupações com segurança.
O sistema GPT-6.1 Astra, que realiza tarefas como navegar na internet e usar aplicativos de forma autônoma, “não atingiu exatamente o nível exigido” pelos padrões da empresa, segundo Saachi Jain, responsável pelos sistemas de segurança da OpenAI.
🗒️ Tem alguma sugestão de reportagem? Mande para o g1
A empresa responsável pelo ChatGPT também divulgou uma atualização sobre incidentes ocorridos em junho, mas que só se tornaram públicos na semana passada. Na ocasião, seus modelos acessaram sites e sistemas do governo australiano sem autorização.
O caso ocorre em meio ao aumento de incidentes envolvendo modelos de grandes empresas de IA, intensificando o debate sobre os riscos apresentados pela tecnologia — enquanto a Anthropic, empresa rival da OpenAI, reforça suas preocupações de que a IA possa representar uma ameaça à humanidade, à medida que se prepara para abrir seu capital.
Agora no g1
A agência de notícias Reuters informou nesta terça-feira (29/09) que a empresa de desenvolvimento de IA — responsável pelo Claude, concorrente do ChatGPT — planeja alertar potenciais investidores em sua Oferta Pública Inicial (IPO) de que a tecnologia pode representar “riscos catastróficos ou existenciais para a humanidade”, segundo um prospecto ao qual a agência teve acesso.
Apesar dos alertas contundentes, a empresa deve se tornar uma das mais valiosas do mundo quando abrir seu capital.
“Acho meio louco que as empresas continuem avançando no desenvolvimento dessas capacidades quando já vimos, nos últimos meses, incidentes que mostram que elas estão longe de ser seguras e controladas o suficiente”, disse Jess Whittlestone, consultora sênior de políticas de IA do Centre for Long-Term Resilience, um centro de estudos especializado no tema.
Líderes do setor de IA, incluindo o chefe da Anthropic, Dario Amodei, e o CEO da OpenAI, Sam Altman, pediram que a indústria desacelere o ritmo de desenvolvimento.
As preocupações que levaram a OpenAI, do ChatGPT, a abandonar lançamento de novo sistema de IA
Andrej Ivanov/AFP via Getty Images
Crescem as dúvidas sobre a segurança
A decisão da OpenAI, divulgada inicialmente pelo Wall Street Journal, representa um caso raro em que uma grande empresa de inteligência artificial adia o lançamento de um novo modelo por preocupações relacionadas à segurança.
O modelo ficou aquém “no que diz respeito a permanecer dentro do escopo e da autorização e à forma como se comunica com o usuário sobre o tipo de trabalho que realizou”, disse Jain.
“Queremos garantir que o desenvolvimento dos nossos modelos seja seguro, independentemente de isso ocorrer dentro da empresa ou quando os disponibilizamos aos usuários. Quando os lançamos para os usuários, temos um nível extremamente alto de exigência em termos de segurança e alinhamento”, acrescentou.
O GPT-6 Astra é especializado em raciocínio complexo e na execução autônoma de tarefas. A OpenAI disse que ele foi resultado de “anos de pesquisa e grandes apostas”.
A OpenAI realizará nesta terça-feira, em San Francisco, sua conferência anual para desenvolvedores, a DevDay, na qual deve fazer vários anúncios. Não está claro se uma nova versão do Astra estará entre eles.
Os controles de segurança da empresa passaram a ser alvo de intenso escrutínio após vários incidentes de grande repercussão envolvendo sua tecnologia.
Mas esta não é a primeira vez que uma grande empresa de IA desiste ou adia o lançamento de um novo modelo
A OpenAI, de Sam Altman, tem estado no centro de novas preocupações sobre a atividade descontrolada da IA
Reuters
No início deste ano, a Anthropic disse que não lançaria um poderoso modelo Claude, chamado Mythos, porque ele era bom demais em encontrar falhas de software. A empresa lançou uma versão desse modelo alguns meses depois.
A OpenAI, por sua vez, disse em 2019 que não seria “perigoso demais” lançar um de seus modelos GPT, que hoje é usado para alimentar ferramentas como o ChatGPT.
A decisão da empresa de não lançar a versão mais recente do Astra foi “um sinal positivo de que eles estão levando as preocupações com segurança a sério”, disse o professor Tony Cohn, responsável pela área de modelos fundacionais no Alan Turing Institute.
Mas ele acrescentou que “a segurança não deveria ficar exclusivamente nas mãos dos desenvolvedores e também deveria ser monitorada e verificada por órgãos reguladores independentes, aprovados pelo governo”.
A professora Gina Neff, do Minderoo Centre for Technology and Democracy, da Universidade de Cambridge, disse que o anúncio da OpenAI mostrou “o quanto mais a empresa precisa fazer para tornar seus produtos de IA seguros”.
Ela disse à BBC que é “fundamental” haver testes independentes de modelos de IA realizados por laboratórios como o AI Security Institute, do Reino Unido — que avalia sistemas de ponta de forma voluntária —, porque “essas empresas já provaram que não podemos depender exclusivamente delas para garantir nossa segurança”.
Ataques hackers na Austrália
Na semana passada, o primeiro-ministro australiano, Anthony Albanese, anunciou que um agente da OpenAI havia invadido sites e sistemas do governo em junho, no que especialistas disseram ser o primeiro caso conhecido desse tipo no mundo.
Albanese criticou a OpenAI por ter notificado o governo da Austrália por meio de um endereço de e-mail genérico, em vez de entrar em contato diretamente com as autoridades.
A OpenAI disse em um comunicado nesta terça-feira que lamentava o incidente e que “deveria ter conduzido a resposta de uma maneira melhor”.
A Services Australia, o Bureau de Estatísticas e Pesquisa sobre Crimes de Nova Gales do Sul, o Departamento de Saúde de Victoria e o Australian Institute of Health and Welfare foram afetados.
A empresa disse que iniciou investigações assim que tomou conhecimento dos problemas, em meados de agosto, e notificou as organizações afetadas entre 10 e 24 de setembro.
“Nosso objetivo era fornecer às agências afetadas um relato detalhado assim que nossa investigação fosse concluída”, disse a OpenAI, acrescentando que deveria ter compartilhado as conclusões preliminares mais rapidamente e mantido as autoridades australianas atualizadas.
A OpenAI acrescentou que desenvolverá “abordagens práticas” para definir como desenvolvedores e governos identificarão e divulgarão futuros incidentes envolvendo IA.
A empresa financiará medidas de cibersegurança, oferecerá suporte dedicado às agências afetadas e criará uma força-tarefa para administrar os riscos decorrentes de agentes de IA cada vez mais avançados.
A empresa também disse que um de seus principais executivos participará, em 6 de outubro, de uma audiência do Joint Select Committee sobre IA na Austrália.
Em julho, a OpenAI disse que seus sistemas de IA haviam acessado a internet e invadido o Hugging Face, uma plataforma aberta para desenvolvedores, levando pesquisadores e autoridades a pedir controles mais rígidos sobre a tecnologia.
O papa Leão 14 está entre as personalidades que demonstraram ceticismo em relação às opiniões do chefe da Nvidia, Jensen Huang
EPA
Na segunda-feira, a gigante dos chips Nvidia lançou um conjunto de ferramentas de segurança de software para plataformas de IA autônomas — chamadas de agentes — que, segundo a empresa, poderiam ter evitado o ataque ao Hugging Face.
Uma das novas ferramentas usa recursos de hardware dos chips da Nvidia para conter os agentes.
O chefe da Nvidia, Jensen Huang, em grande parte rejeitou os pedidos por regulamentações mais rígidas para a IA, argumentando que agentes que agem de forma indevida são um problema de engenharia que pode ser solucionado.
A Nvidia concordou em comprar o Hugging Face por US$ 12,9 bilhões, o equivalente a R$ 67,38 bilhões, no início deste mês.
O papa Leão 14, que disse na segunda-feira, durante uma visita à França, que a IA “deve ser levada a sério”, acrescentou que havia lido que Huang havia sugerido que poderia haver uma maneira de inserir mecanismos de proteção em determinados modelos de IA.
“Ele (Huang) é o mesmo que, no entanto, diz que não deveria haver limites impostos nem regulamentação governamental”, afirmou o papa.
A Nvidia se recusou a comentar o caso.
O presidente dos Estados Unidos, Donald Trump, e o presidente da Câmara, Mike Johnson, devem receber executivos de empresas de tecnologia na Casa Branca nesta terça-feira para discutir regulamentações relacionadas à IA.
Trump minimizou as preocupações sobre os riscos da IA, classificando-as como uma “farsa” e argumentando que os EUA já têm leis suficientes e que os únicos “mecanismos de proteção” de que a tecnologia precisa são um presidente “forte e inteligente”.
Bill Gates alerta que IA pode causar ‘um bilhão de mortes’
Reuters
A OpenAI anunciou que não lançará seu novo modelo de inteligência artificial devido a preocupações com segurança.
O sistema GPT-6.1 Astra, que realiza tarefas como navegar na internet e usar aplicativos de forma autônoma, “não atingiu exatamente o nível exigido” pelos padrões da empresa, segundo Saachi Jain, responsável pelos sistemas de segurança da OpenAI.
🗒️ Tem alguma sugestão de reportagem? Mande para o g1
A empresa responsável pelo ChatGPT também divulgou uma atualização sobre incidentes ocorridos em junho, mas que só se tornaram públicos na semana passada. Na ocasião, seus modelos acessaram sites e sistemas do governo australiano sem autorização.
O caso ocorre em meio ao aumento de incidentes envolvendo modelos de grandes empresas de IA, intensificando o debate sobre os riscos apresentados pela tecnologia — enquanto a Anthropic, empresa rival da OpenAI, reforça suas preocupações de que a IA possa representar uma ameaça à humanidade, à medida que se prepara para abrir seu capital.
Agora no g1
A agência de notícias Reuters informou nesta terça-feira (29/09) que a empresa de desenvolvimento de IA — responsável pelo Claude, concorrente do ChatGPT — planeja alertar potenciais investidores em sua Oferta Pública Inicial (IPO) de que a tecnologia pode representar “riscos catastróficos ou existenciais para a humanidade”, segundo um prospecto ao qual a agência teve acesso.
Apesar dos alertas contundentes, a empresa deve se tornar uma das mais valiosas do mundo quando abrir seu capital.
“Acho meio louco que as empresas continuem avançando no desenvolvimento dessas capacidades quando já vimos, nos últimos meses, incidentes que mostram que elas estão longe de ser seguras e controladas o suficiente”, disse Jess Whittlestone, consultora sênior de políticas de IA do Centre for Long-Term Resilience, um centro de estudos especializado no tema.
Líderes do setor de IA, incluindo o chefe da Anthropic, Dario Amodei, e o CEO da OpenAI, Sam Altman, pediram que a indústria desacelere o ritmo de desenvolvimento.
As preocupações que levaram a OpenAI, do ChatGPT, a abandonar lançamento de novo sistema de IA
Andrej Ivanov/AFP via Getty Images
Crescem as dúvidas sobre a segurança
A decisão da OpenAI, divulgada inicialmente pelo Wall Street Journal, representa um caso raro em que uma grande empresa de inteligência artificial adia o lançamento de um novo modelo por preocupações relacionadas à segurança.
O modelo ficou aquém “no que diz respeito a permanecer dentro do escopo e da autorização e à forma como se comunica com o usuário sobre o tipo de trabalho que realizou”, disse Jain.
“Queremos garantir que o desenvolvimento dos nossos modelos seja seguro, independentemente de isso ocorrer dentro da empresa ou quando os disponibilizamos aos usuários. Quando os lançamos para os usuários, temos um nível extremamente alto de exigência em termos de segurança e alinhamento”, acrescentou.
O GPT-6 Astra é especializado em raciocínio complexo e na execução autônoma de tarefas. A OpenAI disse que ele foi resultado de “anos de pesquisa e grandes apostas”.
A OpenAI realizará nesta terça-feira, em San Francisco, sua conferência anual para desenvolvedores, a DevDay, na qual deve fazer vários anúncios. Não está claro se uma nova versão do Astra estará entre eles.
Os controles de segurança da empresa passaram a ser alvo de intenso escrutínio após vários incidentes de grande repercussão envolvendo sua tecnologia.
Mas esta não é a primeira vez que uma grande empresa de IA desiste ou adia o lançamento de um novo modelo
A OpenAI, de Sam Altman, tem estado no centro de novas preocupações sobre a atividade descontrolada da IA
Reuters
No início deste ano, a Anthropic disse que não lançaria um poderoso modelo Claude, chamado Mythos, porque ele era bom demais em encontrar falhas de software. A empresa lançou uma versão desse modelo alguns meses depois.
A OpenAI, por sua vez, disse em 2019 que não seria “perigoso demais” lançar um de seus modelos GPT, que hoje é usado para alimentar ferramentas como o ChatGPT.
A decisão da empresa de não lançar a versão mais recente do Astra foi “um sinal positivo de que eles estão levando as preocupações com segurança a sério”, disse o professor Tony Cohn, responsável pela área de modelos fundacionais no Alan Turing Institute.
Mas ele acrescentou que “a segurança não deveria ficar exclusivamente nas mãos dos desenvolvedores e também deveria ser monitorada e verificada por órgãos reguladores independentes, aprovados pelo governo”.
A professora Gina Neff, do Minderoo Centre for Technology and Democracy, da Universidade de Cambridge, disse que o anúncio da OpenAI mostrou “o quanto mais a empresa precisa fazer para tornar seus produtos de IA seguros”.
Ela disse à BBC que é “fundamental” haver testes independentes de modelos de IA realizados por laboratórios como o AI Security Institute, do Reino Unido — que avalia sistemas de ponta de forma voluntária —, porque “essas empresas já provaram que não podemos depender exclusivamente delas para garantir nossa segurança”.
Ataques hackers na Austrália
Na semana passada, o primeiro-ministro australiano, Anthony Albanese, anunciou que um agente da OpenAI havia invadido sites e sistemas do governo em junho, no que especialistas disseram ser o primeiro caso conhecido desse tipo no mundo.
Albanese criticou a OpenAI por ter notificado o governo da Austrália por meio de um endereço de e-mail genérico, em vez de entrar em contato diretamente com as autoridades.
A OpenAI disse em um comunicado nesta terça-feira que lamentava o incidente e que “deveria ter conduzido a resposta de uma maneira melhor”.
A Services Australia, o Bureau de Estatísticas e Pesquisa sobre Crimes de Nova Gales do Sul, o Departamento de Saúde de Victoria e o Australian Institute of Health and Welfare foram afetados.
A empresa disse que iniciou investigações assim que tomou conhecimento dos problemas, em meados de agosto, e notificou as organizações afetadas entre 10 e 24 de setembro.
“Nosso objetivo era fornecer às agências afetadas um relato detalhado assim que nossa investigação fosse concluída”, disse a OpenAI, acrescentando que deveria ter compartilhado as conclusões preliminares mais rapidamente e mantido as autoridades australianas atualizadas.
A OpenAI acrescentou que desenvolverá “abordagens práticas” para definir como desenvolvedores e governos identificarão e divulgarão futuros incidentes envolvendo IA.
A empresa financiará medidas de cibersegurança, oferecerá suporte dedicado às agências afetadas e criará uma força-tarefa para administrar os riscos decorrentes de agentes de IA cada vez mais avançados.
A empresa também disse que um de seus principais executivos participará, em 6 de outubro, de uma audiência do Joint Select Committee sobre IA na Austrália.
Em julho, a OpenAI disse que seus sistemas de IA haviam acessado a internet e invadido o Hugging Face, uma plataforma aberta para desenvolvedores, levando pesquisadores e autoridades a pedir controles mais rígidos sobre a tecnologia.
O papa Leão 14 está entre as personalidades que demonstraram ceticismo em relação às opiniões do chefe da Nvidia, Jensen Huang
EPA
Na segunda-feira, a gigante dos chips Nvidia lançou um conjunto de ferramentas de segurança de software para plataformas de IA autônomas — chamadas de agentes — que, segundo a empresa, poderiam ter evitado o ataque ao Hugging Face.
Uma das novas ferramentas usa recursos de hardware dos chips da Nvidia para conter os agentes.
O chefe da Nvidia, Jensen Huang, em grande parte rejeitou os pedidos por regulamentações mais rígidas para a IA, argumentando que agentes que agem de forma indevida são um problema de engenharia que pode ser solucionado.
A Nvidia concordou em comprar o Hugging Face por US$ 12,9 bilhões, o equivalente a R$ 67,38 bilhões, no início deste mês.
O papa Leão 14, que disse na segunda-feira, durante uma visita à França, que a IA “deve ser levada a sério”, acrescentou que havia lido que Huang havia sugerido que poderia haver uma maneira de inserir mecanismos de proteção em determinados modelos de IA.
“Ele (Huang) é o mesmo que, no entanto, diz que não deveria haver limites impostos nem regulamentação governamental”, afirmou o papa.
A Nvidia se recusou a comentar o caso.
O presidente dos Estados Unidos, Donald Trump, e o presidente da Câmara, Mike Johnson, devem receber executivos de empresas de tecnologia na Casa Branca nesta terça-feira para discutir regulamentações relacionadas à IA.
Trump minimizou as preocupações sobre os riscos da IA, classificando-as como uma “farsa” e argumentando que os EUA já têm leis suficientes e que os únicos “mecanismos de proteção” de que a tecnologia precisa são um presidente “forte e inteligente”.
Bill Gates alerta que IA pode causar ‘um bilhão de mortes’