Uma empresa começou a criar regras para suas próprias linhas de pesquisa.
Na segunda-feira, a OpenAI publicou um conjunto de recomendações sobre segurança e garantias para a inteligência artificial de ponta, com foco em pesquisa de alinhamento e em uma técnica chamada autoaperfeiçoamento recursivo. Esta última se refere a um modelo que evolui a si mesmo sem intervenção humana — e é uma das direções mais comentadas no momento.
Há uma frase nas recomendações que é particularmente direta. O autoaperfeiçoamento recursivo totalmente autônomo não ocorreu hoje; a menos que possa ser feito com segurança, não se deve buscá-lo. O peso dessa passagem está no fato de que ela coloca a capacidade mais tentadora diretamente na lista do que precisa ser adiado — e a empresa também menciona que, sem cautela, essa tecnologia pode fazer com que os humanos percam o controle prático do processo de desenvolvimento.
Ao mesmo tempo, ela conclama a cooperação internacional: com base nas instituições existentes de segurança em IA de cada país, criar padrões avançados e incluir pesquisadores automatizados no escopo de gestão de benefícios e riscos. Alinhar-se a verificações externas equivale a deixar para si um caminho que pode ser checado.
O contexto não está em paz. Na semana passada, um concorrente apresentou seu próprio conjunto de propostas; antes disso, uma carta pública de desligamento de um pesquisador contribuiu para aquecer o debate. O responsável da empresa, no artigo, pediu que se desacelerasse a velocidade de avanço dos modelos base. As duas empresas estão, portanto, entregando suas próprias respostas para o mesmo problema.
Criar regras para sua pesquisa — a parte mais difícil, como sempre, é a etapa da execução.
#人工智能 # segurança
Na segunda-feira, a OpenAI publicou um conjunto de recomendações sobre segurança e garantias para a inteligência artificial de ponta, com foco em pesquisa de alinhamento e em uma técnica chamada autoaperfeiçoamento recursivo. Esta última se refere a um modelo que evolui a si mesmo sem intervenção humana — e é uma das direções mais comentadas no momento.
Há uma frase nas recomendações que é particularmente direta. O autoaperfeiçoamento recursivo totalmente autônomo não ocorreu hoje; a menos que possa ser feito com segurança, não se deve buscá-lo. O peso dessa passagem está no fato de que ela coloca a capacidade mais tentadora diretamente na lista do que precisa ser adiado — e a empresa também menciona que, sem cautela, essa tecnologia pode fazer com que os humanos percam o controle prático do processo de desenvolvimento.
Ao mesmo tempo, ela conclama a cooperação internacional: com base nas instituições existentes de segurança em IA de cada país, criar padrões avançados e incluir pesquisadores automatizados no escopo de gestão de benefícios e riscos. Alinhar-se a verificações externas equivale a deixar para si um caminho que pode ser checado.
O contexto não está em paz. Na semana passada, um concorrente apresentou seu próprio conjunto de propostas; antes disso, uma carta pública de desligamento de um pesquisador contribuiu para aquecer o debate. O responsável da empresa, no artigo, pediu que se desacelerasse a velocidade de avanço dos modelos base. As duas empresas estão, portanto, entregando suas próprias respostas para o mesmo problema.
Criar regras para sua pesquisa — a parte mais difícil, como sempre, é a etapa da execução.
#人工智能 # segurança
