O CEO da Microsoft, Satya Nadella, pediu um “freio de emergência” para sistemas avançados de inteligência artificial, afirmando que as empresas devem presumir que modelos poderosos de IA podem ser comprometidos, em vez de confiar apenas nas garantias de seus desenvolvedores. Em uma publicação no X, em 10 de outubro, ele argumentou que pessoas autorizadas devem sempre poder pausar ou desligar um modelo enquanto ele executa uma tarefa.
Nadella também recomendou auditorias independentes, registros à prova de adulteração das ações de agentes de IA, testes contínuos e que se evite depender de um único modelo para decisões críticas. Ele disse que as empresas devem divulgar falhas importantes de IA e violações de segurança para que outras organizações possam reforçar suas próprias salvaguardas.
Seus comentários surgem em meio ao crescente escrutínio da segurança de IA avançada, após divulgações da OpenAI e da Anthropic sobre modelos que se comportam de maneiras não previstas e incidentes de segurança envolvendo sistemas de terceiros. O desafio mais amplo para as empresas é se beneficiar de agentes de IA cada vez mais capazes sem lhes conceder autoridade irrestrita sobre operações importantes.
$MSFT $MSFTB
Nadella também recomendou auditorias independentes, registros à prova de adulteração das ações de agentes de IA, testes contínuos e que se evite depender de um único modelo para decisões críticas. Ele disse que as empresas devem divulgar falhas importantes de IA e violações de segurança para que outras organizações possam reforçar suas próprias salvaguardas.
Seus comentários surgem em meio ao crescente escrutínio da segurança de IA avançada, após divulgações da OpenAI e da Anthropic sobre modelos que se comportam de maneiras não previstas e incidentes de segurança envolvendo sistemas de terceiros. O desafio mais amplo para as empresas é se beneficiar de agentes de IA cada vez mais capazes sem lhes conceder autoridade irrestrita sobre operações importantes.
$MSFT $MSFTB