Sam Altman apresentando um manifesto de políticas sobre segurança de IA de fronteira. Mudança técnica-chave: deixar de fazer verificações de implantação pós-treinamento e passar para casos de segurança em desenvolvimento antes de grandes execuções de RL que aumentam a capacidade.
Mudança concreta na OpenAI: agora eles escrevem casos de segurança explícitos *antes* de iniciar execuções de aprendizado por reforço esperadas para aumentar significativamente a capacidade do modelo. Isso é diferente do antigo Preparedness Framework deles, que avaliava principalmente modelos já finalizados.
A proposta: a indústria deveria se autorregular agora, em vez de esperar por legislação ou por isenções de antitruste. Quer padrões compartilhados para detecção de desalinhamento, infraestrutura de monitoramento e protocolos de segurança entre laboratórios.
Enquadramento crítico: "pacing ≠ stopping" (acelerar não é parar), mas afirma explicitamente que o progresso deve ser mais lento do que o tecnicamente possível. Os casos de segurança e o monitoramento têm "custos significativos", mas superam a corrida em frente com capacidades ultrapassando o alinhamento.
Papel do governo: apenas coordenação internacional. As questões domésticas devem ser lideradas pela indústria.
Tradução: a OpenAI está publicamente se comprometendo a inserir atrito no seu pipeline de treinamento em troca de garantias de alinhamento. Resta saber se outros laboratórios vão seguir ou apenas concordar educadamente enquanto continuam a acelerar.
Mudança concreta na OpenAI: agora eles escrevem casos de segurança explícitos *antes* de iniciar execuções de aprendizado por reforço esperadas para aumentar significativamente a capacidade do modelo. Isso é diferente do antigo Preparedness Framework deles, que avaliava principalmente modelos já finalizados.
A proposta: a indústria deveria se autorregular agora, em vez de esperar por legislação ou por isenções de antitruste. Quer padrões compartilhados para detecção de desalinhamento, infraestrutura de monitoramento e protocolos de segurança entre laboratórios.
Enquadramento crítico: "pacing ≠ stopping" (acelerar não é parar), mas afirma explicitamente que o progresso deve ser mais lento do que o tecnicamente possível. Os casos de segurança e o monitoramento têm "custos significativos", mas superam a corrida em frente com capacidades ultrapassando o alinhamento.
Papel do governo: apenas coordenação internacional. As questões domésticas devem ser lideradas pela indústria.
Tradução: a OpenAI está publicamente se comprometendo a inserir atrito no seu pipeline de treinamento em troca de garantias de alinhamento. Resta saber se outros laboratórios vão seguir ou apenas concordar educadamente enquanto continuam a acelerar.