Aviso del principal científico de OpenAI: la IA podría llegar a una evolución recursiva y auto-mejorada, y pide frenar el ritmo para garantizar la seguridad de la industria
El 8 de septiembre, según se informó, el principal científico de OpenAI, Jakub Pachocki, emitió el pasado fin de semana una advertencia. A medida que la velocidad de iteración de la IA continúa evolucionando, se va quedando progresivamente más allá de la comprensión y los límites controlables por parte de los humanos; por ello, hizo un llamado a que la industria, por motivos de seguridad, reduzca el ritmo de desarrollo de la IA.
En el artículo, Pachocki mencionó que, en la actualidad, los modelos de IA ya pueden controlar ordenadores de forma independiente, colaborar con humanos y con otros sistemas de IA, y desarrollar trabajos de investigación por iniciativa propia.
Si se sigue el ritmo de desarrollo actual, la IA alcanzará pronto la “auto-mejora recursiva”, es decir, completar iteraciones y mejoras de forma autónoma, al margen de la intervención humana.
A su juicio, la sociedad en su conjunto aún no está lo suficientemente preparada para asumir las diversas clases de riesgos que se derivan del rápido incremento de la inteligencia de las máquinas; por tanto, la industria debería mantener una actitud de extrema cautela hacia el desarrollo de la IA en este momento.
En su opinión, la sociedad es incapaz de asumir los distintos riesgos que se derivan de la rápida mejora de la inteligencia de las máquinas; por ello, la industria, en la actualidad, debe mantener una cautela extrema ante el desarrollo de la IA.
También propuso que, antes de reforzar las tecnologías de alineación entre la IA y los intereses humanos y de establecer umbrales de seguridad unificados, se espera que frenar de manera proactiva el ritmo de desarrollo de la IA se convierta en un consenso dentro de la industria.
Mientras tanto, el rápido desarrollo de la tecnología de la IA también ha logrado múltiples avances. Entre ellos, el modelo OpenAI GPT‑6 Astra y el modelo Anthropic Mythos cuentan con capacidades punteras; sin embargo, por motivos de seguridad, ambas empresas han limitado el alcance de publicación de dichos modelos de máxima vanguardia.
Aunque las declaraciones de Pachocki coinciden con las alertas sobre riesgos de varios directivos de la industria, el mercado de capitales está impulsando con fuerza la ruta de la auto-mejora recursiva. Varias startups han obtenido importantes rondas de financiación, apostando a que este camino permitirá lograr inteligencia artificial de nivel superior.
Por ejemplo, Inherent, fundada por ex investigadores de DeepMind, completó una financiación de 50 millones de dólares; y el Laboratorio de Recursive Superintelligence, creado por el reconocido científico Richard Socher, obtuvo una gran inyección de 650 millones de dólares.
En resumen, esta serie de acciones demuestra que los inversores tienen una fuerte confianza en este campo. Además, OpenAI también había revelado anteriormente sus objetivos de investigación: planea crear, en menos de dos años, “verdaderos investigadores de IA totalmente automatizados”.
#AI安全风险
El 8 de septiembre, según se informó, el principal científico de OpenAI, Jakub Pachocki, emitió el pasado fin de semana una advertencia. A medida que la velocidad de iteración de la IA continúa evolucionando, se va quedando progresivamente más allá de la comprensión y los límites controlables por parte de los humanos; por ello, hizo un llamado a que la industria, por motivos de seguridad, reduzca el ritmo de desarrollo de la IA.
En el artículo, Pachocki mencionó que, en la actualidad, los modelos de IA ya pueden controlar ordenadores de forma independiente, colaborar con humanos y con otros sistemas de IA, y desarrollar trabajos de investigación por iniciativa propia.
Si se sigue el ritmo de desarrollo actual, la IA alcanzará pronto la “auto-mejora recursiva”, es decir, completar iteraciones y mejoras de forma autónoma, al margen de la intervención humana.
A su juicio, la sociedad en su conjunto aún no está lo suficientemente preparada para asumir las diversas clases de riesgos que se derivan del rápido incremento de la inteligencia de las máquinas; por tanto, la industria debería mantener una actitud de extrema cautela hacia el desarrollo de la IA en este momento.
En su opinión, la sociedad es incapaz de asumir los distintos riesgos que se derivan de la rápida mejora de la inteligencia de las máquinas; por ello, la industria, en la actualidad, debe mantener una cautela extrema ante el desarrollo de la IA.
También propuso que, antes de reforzar las tecnologías de alineación entre la IA y los intereses humanos y de establecer umbrales de seguridad unificados, se espera que frenar de manera proactiva el ritmo de desarrollo de la IA se convierta en un consenso dentro de la industria.
Mientras tanto, el rápido desarrollo de la tecnología de la IA también ha logrado múltiples avances. Entre ellos, el modelo OpenAI GPT‑6 Astra y el modelo Anthropic Mythos cuentan con capacidades punteras; sin embargo, por motivos de seguridad, ambas empresas han limitado el alcance de publicación de dichos modelos de máxima vanguardia.
Aunque las declaraciones de Pachocki coinciden con las alertas sobre riesgos de varios directivos de la industria, el mercado de capitales está impulsando con fuerza la ruta de la auto-mejora recursiva. Varias startups han obtenido importantes rondas de financiación, apostando a que este camino permitirá lograr inteligencia artificial de nivel superior.
Por ejemplo, Inherent, fundada por ex investigadores de DeepMind, completó una financiación de 50 millones de dólares; y el Laboratorio de Recursive Superintelligence, creado por el reconocido científico Richard Socher, obtuvo una gran inyección de 650 millones de dólares.
En resumen, esta serie de acciones demuestra que los inversores tienen una fuerte confianza en este campo. Además, OpenAI también había revelado anteriormente sus objetivos de investigación: planea crear, en menos de dos años, “verdaderos investigadores de IA totalmente automatizados”.
#AI安全风险
