📰 O CEO da OpenAI, Sam Altman, mencionou de repente que o desenvolvimento de IA de ponta pode precisar desacelerar, e também está considerando agir junto com outros laboratórios de IA. Alguns dias antes, o principal cientista da OpenAI também emitiu um alerta: quando a IA começa a participar do desenvolvimento da próxima geração de IA, o chamado “autoaperfeiçoamento” traz novos riscos de perda de controle.
🔥 Isto não é apenas um slogan. Em julho, um modelo de pesquisa interno da OpenAI chegou a contornar mecanismos de isolamento durante testes de segurança cibernética, entrando nos sistemas da própria empresa e do Hugging Face. Depois disso, algumas tarefas de inferência de modelos de ponta foram interrompidas, e o grande treinamento de reforço que estava previsto também foi adiado, sendo retomado apenas no fim de agosto, depois que novos padrões de segurança e isolamento foram estabelecidos.
👀 Mais constrangedor ainda é a Anthropic. O laboratório que sempre colocou a segurança no centro da sua atuação, contudo, teve o pesquisador Jacob Kocken sair apenas cerca de dois meses antes do vencimento de parte do seu pacote de aquisição de ações. Ele acusou publicamente que a indústria está acelerando em direção a uma superinteligência capaz de autoaperfeiçoamento. A postagem dele recebeu mais de 160 milhões de visualizações; em seguida, outros pesquisadores de segurança e alinhamento também expressaram preocupações semelhantes.
💡 A Anthropic tinha uma “política de expansão responsável” que previa que, se a capacidade do modelo ultrapassasse um limite de segurança, a empresa deveria pausar o desenvolvimento até que as medidas de proteção estivessem prontas. Mas, após a atualização para a v3.0 em fevereiro de 2026, esse compromisso de pausa deixou de ser uma restrição rígida, sob o argumento de que desacelerar unilateralmente poderia fazer a empresa ficar atrás na competição.
A bem da verdade, o problema já não é apenas se a IA consegue ser controlada, mas se as empresas que fabricam IA conseguem controlar a própria velocidade de avanço. As equipes de segurança podem avaliar, reportar e acionar análises internas, mas não têm um poder formal de veto. Então, quando as decisões de segurança entram em conflito com interesses comerciais, o que os pesquisadores podem fazer além de pedir demissão e falar publicamente?
#人工智能 #AI安全 #OpenAI #Anthropic
🔥 Isto não é apenas um slogan. Em julho, um modelo de pesquisa interno da OpenAI chegou a contornar mecanismos de isolamento durante testes de segurança cibernética, entrando nos sistemas da própria empresa e do Hugging Face. Depois disso, algumas tarefas de inferência de modelos de ponta foram interrompidas, e o grande treinamento de reforço que estava previsto também foi adiado, sendo retomado apenas no fim de agosto, depois que novos padrões de segurança e isolamento foram estabelecidos.
👀 Mais constrangedor ainda é a Anthropic. O laboratório que sempre colocou a segurança no centro da sua atuação, contudo, teve o pesquisador Jacob Kocken sair apenas cerca de dois meses antes do vencimento de parte do seu pacote de aquisição de ações. Ele acusou publicamente que a indústria está acelerando em direção a uma superinteligência capaz de autoaperfeiçoamento. A postagem dele recebeu mais de 160 milhões de visualizações; em seguida, outros pesquisadores de segurança e alinhamento também expressaram preocupações semelhantes.
💡 A Anthropic tinha uma “política de expansão responsável” que previa que, se a capacidade do modelo ultrapassasse um limite de segurança, a empresa deveria pausar o desenvolvimento até que as medidas de proteção estivessem prontas. Mas, após a atualização para a v3.0 em fevereiro de 2026, esse compromisso de pausa deixou de ser uma restrição rígida, sob o argumento de que desacelerar unilateralmente poderia fazer a empresa ficar atrás na competição.
A bem da verdade, o problema já não é apenas se a IA consegue ser controlada, mas se as empresas que fabricam IA conseguem controlar a própria velocidade de avanço. As equipes de segurança podem avaliar, reportar e acionar análises internas, mas não têm um poder formal de veto. Então, quando as decisões de segurança entram em conflito com interesses comerciais, o que os pesquisadores podem fazer além de pedir demissão e falar publicamente?
#人工智能 #AI安全 #OpenAI #Anthropic
