Resumo TL;DR
A OpenAI está conscientizando sobre os riscos da superinteligência da IA e formando uma equipe dedicada para abordar essas preocupações.
A empresa enfatiza o alinhamento da superinteligência com valores e intenções humanas e o estabelecimento de novas instituições de governança.
A OpenAI reconhece que alinhar a AGI apresenta riscos significativos e pode exigir um esforço coletivo da humanidade.
O CEO da OpenAI, Sam Altman, embarcou em uma campanha global para aumentar a conscientização sobre os perigos potenciais da superinteligência da IA, onde as máquinas superam a inteligência humana e podem se tornar incontroláveis.
Em resposta a essas preocupações, a OpenAI anunciou recentemente a formação de uma equipe dedicada encarregada de desenvolver métodos para abordar os riscos associados à superinteligência, que podem surgir nesta década.
A empresa enfatiza que gerenciar efetivamente a superinteligência exige estabelecer novas instituições de governança e resolver o desafio crítico de alinhar a superinteligência com os valores e intenções humanas.
A OpenAI reconhece que o alinhamento da AGI (Inteligência Geral Artificial) representa riscos significativos para a humanidade e pode exigir um esforço coletivo de toda a humanidade, conforme declarado em uma postagem de blog lançada no ano passado.
Apelidada de “Superalignment”, a equipe recém-formada é composta por pesquisadores e engenheiros de primeira linha em aprendizado de máquina. Ilya Sutskever, cofundador e cientista chefe da OpenAI, e Jan Leike, chefe de alinhamento, estão guiando esse esforço.
Para enfrentar os principais desafios técnicos do alinhamento de superinteligência, a OpenAI se comprometeu a dedicar 20% de seus recursos computacionais adquiridos até agora ao problema de alinhamento. A empresa prevê que, dentro de quatro anos, resolverá esses desafios.
O objetivo principal da equipe de superalinhamento é desenvolver um pesquisador de alinhamento automatizado de nível humano. Isso envolve criar sistemas de IA que podem alinhar efetivamente sistemas de IA superinteligentes, superando humanos em velocidade e precisão.
Para atingir esse marco, a equipe se concentrará no desenvolvimento de um método de treinamento escalável que utiliza sistemas de IA para avaliar outros sistemas de IA. Eles validarão seu modelo resultante automatizando a busca por comportamento potencialmente problemático. O pipeline de alinhamento também passará por rigorosos testes de estresse treinando deliberadamente modelos desalinhados para avaliar sua detectabilidade.
Os esforços da OpenAI para abordar os riscos da superinteligência marcam um passo significativo na busca pelo desenvolvimento de IA responsável e alinhado. Ao reunir uma equipe de pesquisadores de ponta e comprometer recursos computacionais substanciais, a empresa demonstra seu comprometimento em mitigar proativamente os riscos potenciais associados ao advento da superinteligência. Ao embarcar nessa jornada ambiciosa, a OpenAI estabelece um precedente para colaboração e unidade na salvaguarda do futuro da humanidade na era da IA.