$lagosta $ANTHROPIC $OPENAI #AI #機構投資 #OpenAI

David Robinson, responsável pela redação de relatórios de segurança sobre produtos importantes da OpenAI, saiu da empresa esta semana e publicou um artigo de opinião na The Atlantic a 3 de outubro, hora da costa leste dos EUA, afirmando sem rodeios que a cultura da empresa está quebrada: enquanto corre para lançar novos produtos, não consegue agir com o nível de cautela que ele considera necessário.

Redigiu os relatórios de segurança de 12 lançamentos de modelos de fronteira e trabalhou na empresa durante três anos e meio

Robinson afirmou no artigo que trabalhou na OpenAI durante três anos e meio, sendo um dos funcionários com mais tempo de casa, que liderou a elaboração do atual «Quadro de Preparação» (Preparedness Framework) e supervisionou a redação dos relatórios de segurança de 12 lançamentos de modelos de fronteira. Disse que sabia que o gesto de «dar o alerta depois de sair» já se tinha tornado quase um cliché, mas decidiu juntar-se aos antigos colegas que saíram recentemente porque considera inaceitável a direção atual.

Ele também revelou que, após deixar o cargo, contratou a empresa de relações públicas Spitfire Strategies para ajudá-lo a lidar com a atenção externa, mas ressaltou: «A decisão de me manifestar foi inteiramente minha». A notícia de sua saída foi divulgada primeiro pelo Business Insider.

Caso Hugging Face em destaque: a abordagem de segurança baseada em tentativa e erro está fadada a falhar periodicamente

Robinson observou que a OpenAI começou com base em tentativa e erro — algo que a empresa chama de «implantação iterativa» —, ou seja, reforça as proteções à medida que os problemas são identificados. Mas, segundo ele, essa abordagem garante, por sua própria natureza, que haverá falhas periódicas, e a escala delas aumentará conforme os sistemas se tornarem mais capazes.

Como exemplo, ele citou o caso da Hugging Face, ocorrido neste verão, quando a OpenAI liberou por engano um grupo de agentes de IA. Depois, a empresa reforçou a segurança cibernética, mas, mais tarde, relatou outro caso: um modelo em treinamento contornou as restrições de acesso à rede. Embora o sistema de monitoramento tenha emitido um alerta, não desligou o modelo automaticamente, como deveria. Ele também mencionou que a Anthropic desativou acidentalmente seus próprios mecanismos de proteção por causa de uma configuração incorreta, e afirmou que esse tipo de falha é comum no setor. Recentemente, a OpenAI também tem divulgado cada vez mais casos de atividade descontrolada de agentes.

Robinson citou Paul Christiano, que entrou para o conselho da OpenAI há poucas semanas, dizendo que o rápido avanço das capacidades da IA representa um risco real de perda catastrófica e irreversível de controle em um futuro muito próximo. Ele escreveu: «Se é esse o caso, a era da tentativa e erro precisa chegar ao fim».

Apelo para que se siga o exemplo de usinas nucleares e aeroportos; OpenAI responde que suspenderá o treinamento quando necessário

Robinson propôs duas mudanças urgentes: as empresas de IA devem recorrer mais à experiência em segurança já existente em outros setores; e, antes de desenvolver sistemas claramente mais poderosos, é preciso adotar novos métodos científicos para garantir que os modelos façam escolhas seguras mesmo quando não houver ninguém supervisionando. Ele acredita que os laboratórios de ponta deveriam funcionar como usinas nucleares ou aeroportos movimentados, com várias camadas de redundância e um planejamento minucioso, ainda que demorado, para evitar que erros humanos ocasionais provoquem uma catástrofe.

Ele escreveu que, durante seu período na OpenAI, até onde sabe, nunca conheceu um colega com experiência em manter aviões voando com segurança, impedir o derretimento de reatores nucleares ou ajudar o sistema financeiro a crescer sem entrar em colapso. Também admitiu que talvez devesse ter ficado para lutar por mudanças fundamentais na equipe e na cultura, mas, na prática, todos estavam ocupados correndo para cumprir prazos e raramente havia oportunidade de considerar ajustes drásticos. Por isso, concluiu que são necessários incentivos mais fortes à segurança vindos de fora da empresa.

O porta-voz da OpenAI, Drew Pusateri, disse à TechCrunch que a empresa garante que as capacidades dos modelos não ultrapassem o que é possível gerenciar com segurança. «Quando é preciso desacelerar, suspendemos o treinamento ou adiamos o lançamento de modelos». Ele acrescentou que a empresa está reforçando a segurança dos ambientes de pesquisa e teste, ampliando as parcerias com organizações de avaliação independentes e aprimorando o monitoramento em tempo real, para identificar e lidar mais cedo com comportamentos preocupantes durante o treinamento.

O artigo «Responsável pelo relatório de segurança da OpenAI renuncia e escreve artigo de opinião: cultura da empresa está deteriorada e deveria aprender com usinas nucleares» apareceu originalmente em .