El personal de OpenAI fue informado esta semana de que el laboratorio de IA estaría abierto a ralentizar el ritmo de su trabajo en las áreas más avanzadas de la IA. Sam Altman extendió la misma propuesta a los rivales de IA, incluida Anthropic, que también reconoció los riesgos asociados al desarrollo de la IA en un informe que reveló que científicos vinculados a instituciones estatales intentaron usar sus modelos Claude para investigaciones de armas biológicas.
OpenAI dijo que ya ha pausado algunas ejecuciones internas de entrenamiento y ha flexibilizado partes del desarrollo de modelos por preocupaciones de seguridad.
La llegada en serie de las revelaciones está avivando el fuego en torno al debate sobre si la industria avanza demasiado rápido de cara a las ofertas públicas; ambas firmas siguen insinuando.
¿Por qué Altman quiere ralentizar el desarrollo de la IA?
El director ejecutivo de OpenAI, Sam Altman, en una reunión de toda la empresa, informó a los presentes de que el laboratorio de IA, junto con otros laboratorios que consintieron, podría ralentizar el ritmo de los lanzamientos de modelos de frontera.
Debido al carácter voluntario de cualquier arreglo de este tipo, Altman admitió que no todas las empresas estarían a bordo con el plan, según fuentes citadas por Bloomberg.
Ese escepticismo viene con precedentes. Hace tres años, en marzo de 2023, Elon Musk, Steve Wozniak y más de 1.000 personas más firmaron una carta abierta para detener el trabajo avanzado en IA durante seis meses.
Como informaron los medios en ese momento, los laboratorios no cumplieron realmente con el período de moratoria que acordaron conjuntamente.
La llamada sobre el riesgo de la IA también apareció en una publicación del 6 de septiembre del director científico de OpenAI, Jakub Pachocki, que pidió a las empresas de IA coordinarse “para frenar el desarrollo futuro cuando sea necesario”. Pachocki expresó la esperanza de que los “frenos voluntarios” se convirtieran en algo habitual “hasta que se establezcan barreras de seguridad compartidas”.
En julio, Altman dijo que les comentó a funcionarios de la Casa Blanca la necesidad de frenar el desarrollo de la IA. Junto con el CEO de Anthropic, Dario Amodei, Altman también firmó previamente una declaración de una sola línea en la que declaraba que la IA es un riesgo de extinción a escala social.
¿Se pueden usar modelos de IA para construir armas biológicas?
Los modelos de IA han avanzado a una etapa en la que podrían ser capaces de apoyar la investigación sobre armas biológicas. Justo esta semana, OpenAI declaró que sus modelos habían resuelto el problema matemático de Navier Stokes, incluso si se trató de términos disputados.
Anthropic aportó material nuevo a ese debate cuando su informe de 154 páginas sobre inteligencia de amenazas, publicado el 10 de septiembre, detalló cinco instancias de intentos de los investigadores por usar las capacidades de Claude para respaldar su trabajo sobre armas biológicas.
Anthropic dijo que los intentos de “regiones no respaldadas” buscaban eludir las restricciones de ubicación y disfrazar el propósito de su trabajo. El laboratorio dijo que eliminó las cuentas, pero no mencionó ningún país ni institución.
¿Los riesgos de la IA ya superan los beneficios?
Los informes llegaron en medio de una ola de alarma pública desde el interior de los laboratorios. El 8 de septiembre, el investigador Jacob Coxon renunció y acusó tanto a OpenAI como a Anthropic de “apostar con nuestras vidas”, diciendo que sus colegas creen que la tecnología podría “matarnos a todos para el final de la década” y advirtiendo sobre la extinción humana para 2030.
Su publicación generó más de 150 millones de vistas. Dos días después, el 10 de septiembre, ex empleados de Anthropic y del DeepMind de Google expresaron preocupaciones similares y pidieron más transparencia.
Una petición a finales de julio para crear un mecanismo de ralentización del desarrollo reunió firmas de más de 1.000 trabajadores en las principales empresas de IA.
OpenAI ahora presiona al Congreso para que establezca reglas de seguridad obligatorias basadas en capacidades, que cubran pruebas, evaluaciones independientes, ciberseguridad e informes de incidentes. “La perspectiva de un desarrollo de IA acelerado por IA exige más que compromisos voluntarios”, escribió el director de Asuntos Globales, Chris Lehane.
California fue la primera en actuar: el gobernador Gavin Newsom firmó el SB 813 y el AB 1405 el miércoles, con un proyecto complementario, el AB 1864, destinado a protegerse contra amenazas biológicas habilitadas por IA.
En Washington, el senador Bernie Sanders presentó legislación para pausar la IA avanzada y prohibir la superinteligencia artificial, y le dijo a la BBC que ignorar las advertencias de los científicos haría que alguien fuera “un idiota”.
El presidente Donald Trump se retractó y dijo el jueves que le preocupaba que “si no ganamos en IA, vamos a quedar en una posición muy mala”.
No te limites a leer noticias de cripto. Entiéndelas. Suscríbete a nuestro boletín. Es gratis.