Dario Amodei, cofundador e CEO da Anthropic, foi vice-presidente de pesquisa da OpenAI
Getty Images
O CEO da Anthropic, Dario Amodei, pediu que as empresas de inteligência artificial moderem o ritmo de avanço das capacidades de seus modelos diante do aumento das preocupações com o uso indevido da IA.
Em um artigo divulgado neste sábado (12) pelas redes sociais, ele apresentou uma estrutura de três etapas com o objetivo de desacelerar o desenvolvimento e criar mais tempo para lidar com seus riscos.
“Precisamos desacelerar o ritmo com que aprimoramos as capacidades dos modelos de IA. O progresso continuará parecendo rápido, e precisamos fazer bom uso do tempo que ganharmos”, disse Amodei em um artigo compartilhado nas redes sociais.
O ensaio foi publicado depois que a Anthropic divulgou, na última quinta-feira (10), um relatório de inteligência sobre ameaças, detalhando como diversos agentes haviam usado seus modelos de IA Claude em atividades que iam do desenvolvimento de armas e operações cibernéticas à vigilância e fraude.
A preocupação com os possíveis danos causados pela IA aumentou nesta semana depois que o pesquisador da Anthropic, Jacob Coxon, pediu demissão. Segundo ele, “as pessoas que estão construindo IA acreditam sinceramente que ela pode acabar com todos nós até o fim da década”.
SAIBA MAIS
Ex-pesquisador da OpenAI e da Anthropic acusa empresas de ‘brincar com vidas’
Agora no g1
Amodei esclareceu que não estava defendendo a interrupção do treinamento de modelos ou do progresso tecnológico, mas que as empresas deveriam reservar tempo suficiente para alinhar e proteger seus modelos, enquanto avaliadores independentes deveriam verificar se essas medidas estão sendo tomadas.
Como parte da estrutura de três etapas que propôs, Amodei disse que a Anthropic instalaria revisores externos permanentes dentro das empresas que desenvolvem modelos de IA, com acesso às ferramentas relevantes e aos processos internos de avaliação de riscos.
A Reuters informou na semana passada que um grupo de agentes não autorizados da OpenAI sequestrou um site alemão e o transformou em um quadro de avisos para outros agentes de IA. Autoridades da empresa responsável pelo ChatGPT mantiveram o incidente em sigilo enquanto executivos lidavam com as consequências da invasão, em julho, do repositório de código aberto Hugging Face.
Diversos incidentes envolvendo agentes de IA de desenvolvedores como a OpenAI, concorrente da Anthropic, que invadiram ou tentaram acessar sistemas externos, aumentaram as preocupações sobre o crescimento da capacidade dos modelos de IA e sobre a capacidade dos desenvolvedores de contê-los.
Amodei afirmou que as empresas de IA deveriam trabalhar voluntariamente em conjunto para estabelecer padrões, enquanto um número crescente de parlamentares dos Estados Unidos pede novas regras para regulamentar os sistemas de IA.
Getty Images
O CEO da Anthropic, Dario Amodei, pediu que as empresas de inteligência artificial moderem o ritmo de avanço das capacidades de seus modelos diante do aumento das preocupações com o uso indevido da IA.
Em um artigo divulgado neste sábado (12) pelas redes sociais, ele apresentou uma estrutura de três etapas com o objetivo de desacelerar o desenvolvimento e criar mais tempo para lidar com seus riscos.
“Precisamos desacelerar o ritmo com que aprimoramos as capacidades dos modelos de IA. O progresso continuará parecendo rápido, e precisamos fazer bom uso do tempo que ganharmos”, disse Amodei em um artigo compartilhado nas redes sociais.
O ensaio foi publicado depois que a Anthropic divulgou, na última quinta-feira (10), um relatório de inteligência sobre ameaças, detalhando como diversos agentes haviam usado seus modelos de IA Claude em atividades que iam do desenvolvimento de armas e operações cibernéticas à vigilância e fraude.
A preocupação com os possíveis danos causados pela IA aumentou nesta semana depois que o pesquisador da Anthropic, Jacob Coxon, pediu demissão. Segundo ele, “as pessoas que estão construindo IA acreditam sinceramente que ela pode acabar com todos nós até o fim da década”.
SAIBA MAIS
Ex-pesquisador da OpenAI e da Anthropic acusa empresas de ‘brincar com vidas’
Agora no g1
Amodei esclareceu que não estava defendendo a interrupção do treinamento de modelos ou do progresso tecnológico, mas que as empresas deveriam reservar tempo suficiente para alinhar e proteger seus modelos, enquanto avaliadores independentes deveriam verificar se essas medidas estão sendo tomadas.
Como parte da estrutura de três etapas que propôs, Amodei disse que a Anthropic instalaria revisores externos permanentes dentro das empresas que desenvolvem modelos de IA, com acesso às ferramentas relevantes e aos processos internos de avaliação de riscos.
A Reuters informou na semana passada que um grupo de agentes não autorizados da OpenAI sequestrou um site alemão e o transformou em um quadro de avisos para outros agentes de IA. Autoridades da empresa responsável pelo ChatGPT mantiveram o incidente em sigilo enquanto executivos lidavam com as consequências da invasão, em julho, do repositório de código aberto Hugging Face.
Diversos incidentes envolvendo agentes de IA de desenvolvedores como a OpenAI, concorrente da Anthropic, que invadiram ou tentaram acessar sistemas externos, aumentaram as preocupações sobre o crescimento da capacidade dos modelos de IA e sobre a capacidade dos desenvolvedores de contê-los.
Amodei afirmou que as empresas de IA deveriam trabalhar voluntariamente em conjunto para estabelecer padrões, enquanto um número crescente de parlamentares dos Estados Unidos pede novas regras para regulamentar os sistemas de IA.