A Anthropic disse que escolheu a Accenture como seu primeiro avaliador incorporado para ajudar a desacelerar o ritmo do desenvolvimento da IA, conforme proposto na semana passada pelo CEO Dario Amodei.
Amodei publicou uma proposta em três etapas em 12 de setembro para desacelerar o desenvolvimento da IA e permitir que salvaguardas fossem implementadas diante de alertas sobre o potencial de dano catastrófico em meio ao desenvolvimento rápido e sem controle.
O CEO da OpenAI, Sam Altman, e o CEO da SpaceX, Elon Musk, responderam positivamente à proposta de Amodei, embora o CEO da Nvidia, Jensen Huang, não tenha concordado, argumentando que essa regulamentação não era necessária.
Ainda assim, Amodei escreveu em sua proposta que “a IA tem avançado drasticamente mais rápido, impulsionada principalmente pela crescente capacidade da IA de construir a próxima geração de IA. Essa dinâmica é chamada de autoaperfeiçoamento recursivo”, e “se não for controlada, ela pode ultrapassar nossa capacidade de compreender e controlar esses sistemas.”
Relacionado: O chefe da Anthropic pede desaceleração no desenvolvimento de IA para um ritmo mais seguro
O primeiro passo na proposta de Amodei é ter avaliadores independentes com acesso semelhante ao de um funcionário, ao qual a Anthropic já havia se comprometido unilateralmente, escreveu Amodei.
A Anthropic anunciou na sexta-feira uma mudança rumo ao cumprimento dessa promessa, ao firmar parceria com a Accenture e seu negócio de IA, a Faculty, em “avaliar e fazer red teaming de modelos, realizar avaliações de alinhamento e testar salvaguardas dos modelos.”
Os detalhes de como isso acontecerá ainda estão sendo definidos, já que a avaliação incorporada é uma novidade, disse a empresa.
Anthropic e Accenture esperam, cada uma, investir pelo menos US$ 1 bilhão no projeto nos próximos cinco anos, segundo o comunicado.
A Anthropic vai financiar o trabalho diretamente em meio à urgência
A Anthropic observou que também não existe um sistema existente para financiar avaliações independentes, de modo que o financiamento de longo prazo deve vir de fontes reunidas ou do governo; no entanto, dada a urgência do trabalho, a Anthropic financiará diretamente o trabalho da Accenture.
A parceria não é exclusiva, e a Anthropic espera anunciar outros avaliadores nas próximas semanas com os quais também trabalhará.
A Faculty da Accenture é especialista em testar e avaliar modelos para alguns dos principais laboratórios de IA do mundo e em construir sistemas complexos de IA que sejam seguros e éticos por design, disse a empresa na sexta-feira.
“A avaliação incorporada é uma área emergente, e esperamos colaborar com a Anthropic para ajudar a acelerar o desenvolvimento de avaliadores incorporados, que vemos como uma parte importante do cenário de segurança no futuro”, disse Julie Sweet, presidente e CEO da Accenture.
Revista: Por que as maiores empresas de IA estão pedindo de repente para desacelerar?