As preocupações que levaram a OpenAI, do ChatGPT, a abandonar lançamento de novo sistema de IA
Andrej Ivanov/AFP via Getty Images
As principais empresas de inteligência artificial não sabem como impedir que seus sistemas desenvolvam objetivos próprios.
O alerta foi feito nesta segunda-feira (5) por Jacob Coxon, ex-funcionário da OpenAI e da Anthropic que critica a forma como a indústria lida com a segurança da tecnologia.
🗒️ Tem alguma sugestão de reportagem? Mande para o g1
No início de setembro, o pesquisador britânico explicou, em uma publicação no X, por que decidiu deixar a Anthropic.
Segundo ele, desenvolvedores de inteligência artificial (IA) acreditavam que a tecnologia poderia acabar com a humanidade “antes do fim da década”.
A declaração repercutiu mundialmente. Desde então, vários funcionários e ex-funcionários das principais empresas de IA também expressaram preocupações semelhantes.
“As empresas estão sendo extremamente imprudentes dadas as circunstâncias”, disse Coxon nesta segunda-feira (05) durante uma audiência com vereadores da Câmara Municipal de Nova York
Agora no g1
Embora a IA possa trazer “benefícios enormes” para a sociedade, “na trajetória atual, acredito que seja mais provável que a humanidade perca o controle dessas IAs e que isso possa levar à extinção humana”, reiterou.
“Não sabemos como impedir que desenvolvam objetivos próprios”, fora do controle de seus criadores, “e não contamos com as salvaguardas necessárias para evitar que ajam em função desses objetivos”, advertiu o pesquisador.
Ele também criticou a cultura da indústria tecnológica. Segundo Coxon, as empresas “funcionam com uma mentalidade de startup: avance rápido, quebre coisas e conserte depois”.
“Isso pode funcionar para um aplicativo de compartilhamento de fotos. Não serve para desenvolver a tecnologia mais poderosa já criada”, ressaltou.
Coxon também mencionou um incidente ocorrido em julho, quando dois modelos da OpenAI escaparam de seu ambiente isolado, acessaram a internet e invadiram a plataforma Hugging Face.
“Enquanto a atitude for esperar que as coisas deem errado, é provável que um dia algo assim volte a acontecer”, afirmou.
O pesquisador defendeu “algum tipo de desaceleração na fronteira tecnológica” e pediu às empresas que estão na vanguarda da IA que deem tempo aos cientistas da computação para desenvolver métodos capazes de manter os sistemas sob controle.
Além de Coxon, representantes da OpenAI, da Anthropic, do Google e da Meta também foram ouvidos. Alguns vereadores se mostraram consternados com as respostas dos executivos às perguntas.
Morgan Dwyer, responsável por assuntos públicos da OpenAI, reconheceu que não sabia qual seria o risco representado pela IA em um cenário catastrófico.
“Não acho que importe se o risco de catástrofe é de 1%, 10% ou 20%. Nenhum desses níveis é aceitável”, acrescentou.
“Dizer que não sabe e que não importa é, na melhor das hipóteses, descarado”, respondeu a presidente da Câmara Municipal, Julie Menin.
Andrej Ivanov/AFP via Getty Images
As principais empresas de inteligência artificial não sabem como impedir que seus sistemas desenvolvam objetivos próprios.
O alerta foi feito nesta segunda-feira (5) por Jacob Coxon, ex-funcionário da OpenAI e da Anthropic que critica a forma como a indústria lida com a segurança da tecnologia.
🗒️ Tem alguma sugestão de reportagem? Mande para o g1
No início de setembro, o pesquisador britânico explicou, em uma publicação no X, por que decidiu deixar a Anthropic.
Segundo ele, desenvolvedores de inteligência artificial (IA) acreditavam que a tecnologia poderia acabar com a humanidade “antes do fim da década”.
A declaração repercutiu mundialmente. Desde então, vários funcionários e ex-funcionários das principais empresas de IA também expressaram preocupações semelhantes.
“As empresas estão sendo extremamente imprudentes dadas as circunstâncias”, disse Coxon nesta segunda-feira (05) durante uma audiência com vereadores da Câmara Municipal de Nova York
Agora no g1
Embora a IA possa trazer “benefícios enormes” para a sociedade, “na trajetória atual, acredito que seja mais provável que a humanidade perca o controle dessas IAs e que isso possa levar à extinção humana”, reiterou.
“Não sabemos como impedir que desenvolvam objetivos próprios”, fora do controle de seus criadores, “e não contamos com as salvaguardas necessárias para evitar que ajam em função desses objetivos”, advertiu o pesquisador.
Ele também criticou a cultura da indústria tecnológica. Segundo Coxon, as empresas “funcionam com uma mentalidade de startup: avance rápido, quebre coisas e conserte depois”.
“Isso pode funcionar para um aplicativo de compartilhamento de fotos. Não serve para desenvolver a tecnologia mais poderosa já criada”, ressaltou.
Coxon também mencionou um incidente ocorrido em julho, quando dois modelos da OpenAI escaparam de seu ambiente isolado, acessaram a internet e invadiram a plataforma Hugging Face.
“Enquanto a atitude for esperar que as coisas deem errado, é provável que um dia algo assim volte a acontecer”, afirmou.
O pesquisador defendeu “algum tipo de desaceleração na fronteira tecnológica” e pediu às empresas que estão na vanguarda da IA que deem tempo aos cientistas da computação para desenvolver métodos capazes de manter os sistemas sob controle.
Além de Coxon, representantes da OpenAI, da Anthropic, do Google e da Meta também foram ouvidos. Alguns vereadores se mostraram consternados com as respostas dos executivos às perguntas.
Morgan Dwyer, responsável por assuntos públicos da OpenAI, reconheceu que não sabia qual seria o risco representado pela IA em um cenário catastrófico.
“Não acho que importe se o risco de catástrofe é de 1%, 10% ou 20%. Nenhum desses níveis é aceitável”, acrescentou.
“Dizer que não sabe e que não importa é, na melhor das hipóteses, descarado”, respondeu a presidente da Câmara Municipal, Julie Menin.