El pasado sábado, el CEO de Anthropic, Dario Amodei, publicó un artículo titulado (We Must Pace the Frontier) (Tenemos que marcar el ritmo del avance), en el que pidió que toda la industria de la IA aminore el paso y propuso un plan de tres etapas para conseguir más tiempo de respuesta a favor de la seguridad de la IA.
Tras la publicación de este artículo, rápidamente surgieron respuestas de la competencia. Tanto el CEO de OpenAI, Sam Altman, como el fundador de SpaceXAI, Elon Musk, expresaron públicamente su apoyo. En ese momento, el hecho de frenar el desarrollo de la IA parecía haberse convertido en un raro consenso industrial en Silicon Valley.
Sin embargo, este consenso no duró mucho. Asesores de tecnología de la Casa Blanca, como David Sacks, y el inversionista ángel Jason Calacanis, entre otros, presentaron críticas una tras otra, argumentando que, más que ser por seguridad, esta iniciativa de desaceleración busca que los líderes de la industria utilicen la captura regulatoria para suprimir los modelos de código abierto que avanzan a gran velocidad, especialmente la IA de código abierto proveniente de China.
Marco de desaceleración en tres etapas de Anthropic
Primero, repasemos las posturas que Amodei plantea en su artículo.
Dijo que la razón clave por la que este año cambió de postura fue: desde este verano, la tasa de crecimiento de las capacidades de la IA se aceleró de manera claramente evidente; y el impulso principal proviene de que los sistemas de IA ya son capaces de contribuir a construir la siguiente generación de IA, es decir, la llamada mejora recursiva de sí mismos.
Si no se regulan, predice que en los próximos 6 a 12 meses, los sistemas de IA de escala similar podrían ser capaces de establecer una red continua de zombis, controlar todo Internet y causar pérdidas económicas que podrían llegar a cientos de miles de millones de dólares.
Con base en las dos evaluaciones anteriores, Amodei propone un marco de desaceleración en tres etapas:
Primera etapa: el sistema de “evaluadores incorporados” impulsado unilateralmente por Anthropic, es decir, invitar a un organismo tercero como METR, para que envíe personal que permanezca en la empresa con autorizaciones similares a las de los empleados; continuar auditando las prácticas de seguridad de la empresa y el estado del alineamiento de los modelos, y conservar también ciertos derechos de publicación independientes.
Segunda etapa: coordinación dentro del bloque democrático; es decir, que las empresas punteras de IA dentro de Estados Unidos negocien entre sí, establezcan estándares comunes de seguridad y límites de capacidades, y al mismo tiempo llamen al gobierno estadounidense a proporcionar exenciones antimonopolio para que el diálogo sobre seguridad entre empresas se pueda realizar legalmente.
Tercera etapa: coordinación a nivel global; es decir, intentar alcanzar cierto grado de consenso con países autoritarios como China sobre los riesgos de la IA. Aunque Amodei admite que esta etapa es la más difícil de lograr y que el rango de cooperación alcanzable podría ser bastante limitado.
Amodei enfatiza que desacelerar no significa que Estados Unidos deba renunciar a su ventaja de liderazgo sobre China en el ámbito de la IA. Argumenta que Estados Unidos debe seguir regulando la exportación de chips avanzados y equipos de semiconductores hacia China, y combatir el contrabando de chips y la destilación de modelos sin autorización, para mantener y ampliar la brecha tecnológica entre China y Estados Unidos.
Fuente de la imagen: X/Dario Amodei; el CEO de Anthropic, Dario Amodei, publicó un artículo titulado (Tenemos que marcar el ritmo del avance) (We Must Pace the Frontier).
Empresas de IA apoyan de forma abrumadora, pero el público critica con dureza la captura regulatoria
Después de que se publicara el artículo de Amodei, la reacción de la industria fue bastante consistente:
Altman dijo en una plataforma comunitaria que, internamente, OpenAI también está discutiendo temas similares y se comprometió a impulsar el sistema de evaluadores independientes.
El fundador de Google DeepMind, Demis Hassabis, también hace eco de la dirección de Amodei y menciona la propuesta previa de DeepMind sobre instituciones que establecen estándares para la industria.
El responsable del área de Meta AI, Wang Tao, dijo que, a medida que las capacidades de los modelos se vuelven cada vez más fuertes, el trabajo de alineamiento se convertirá inevitablemente en un requisito clave para ampliar el alcance de las aplicaciones.
Sin embargo, las críticas aparecieron muy pronto; y, entre ellas, la de Sacks, presidente del comité asesor tecnológico de la Casa Blanca, fue la más dura.
Dijo sin rodeos que OpenAI y Anthropic ya han establecido una posición de doble dominio en indicadores como cuota de mercado, crecimiento de ingresos y capacidades de los modelos. Si ambas compañías consideran que los modelos que aún no han publicado ya son peligrosos y es necesario frenar el ritmo, pueden decidirlo por su cuenta sin necesidad de pedir permiso externo, ni de pedir que las leyes antimonopolio se flexibilicen para permitirlo.
Sacks cuestiona además la independencia de METR, y sostiene que la relación de este organismo con los inversores y empleados de Anthropic es demasiado estrecha; además, señala que prácticamente es imposible que China se una a cualquier acuerdo global, y pide al público que no pase por alto este punto.
Fuente de la imagen: X/David Sacks; David Sacks, asesor tecnológico de la Casa Blanca, expresa dudas sobre que los gigantes de la IA desaceleren el desarrollo
El inversionista ángel Calacanis también cree que el retorno de inversión de las empresas de modelos de vanguardia se está comprimiendo precisamente por el auge de los modelos de código abierto. Desde empresas de IA de nicho vertical, organismos gubernamentales y empresas generales, todos empiezan a adoptar modelos de código abierto; y esa es, en realidad, la motivación detrás de esta iniciativa de desaceleración: impedir los modelos de código abierto.
Incluso se pregunta en voz alta: si estos gigantes de la IA de verdad se preocupan por la seguridad, ¿por qué no exigir que los modelos y pesos de vanguardia del año pasado se abran como código fuente?
El CEO de la plataforma de despliegue en la nube y alojamiento Vercel, Guillermo Rauch, considera que los riesgos de seguridad y ciberseguridad de la IA sí merecen atención; pero cree que esta ronda de iniciativas de desaceleración probablemente lleve a Estados Unidos a un callejón burocrático, frenando por cuenta propia el ritmo con el que el país mantenía su ventaja en el desarrollo de IA a nivel mundial.
Fuente de la imagen: X/Guillermo Rauch; el CEO de la plataforma de despliegue en la nube y alojamiento Vercel, Guillermo Rauch, expresó dudas sobre que los gigantes de la IA reduzcan la velocidad de desarrollo
¿De verdad los gigantes de la IA están siendo cómplices de la captura regulatoria?
De hecho, ya en mayo de este año, académicos como Abeba Birhane publicaron un trabajo en la conferencia académica ACM FAccT sobre ética y sistemas de cómputo, que organiza de manera sistemática cómo las grandes empresas de IA realizan captura regulatoria.
El equipo de investigación analizó 100 reportes periodísticos, identificó 249 casos concretos de captura regulatoria y los resumió en 27 técnicas habituales, que a su vez pueden agruparse en cinco grandes categorías: influir directamente en la formulación de políticas; conflictos de intereses mediante el “revolving door” entre gobierno, empresas y academia; dominar la estandarización de la industria aprovechando la posición en el mercado; eludir las leyes vigentes; y, mediante la creación de narrativas favorables a través de la academia y los medios.
El trabajo adicional del documento también señala que, mediante el patrocinio de conferencias académicas de primer nivel y proyectos de investigación, las empresas de IA crean una estructura dual de contratación con alta dependencia entre academia y empresa; al mismo tiempo, la cobertura mediática también depende mucho de las opiniones de altos ejecutivos de las empresas como fuente de información.
Un análisis citado del estudio de investigación (The New York Times) indica que la proporción de reportes que citan opiniones de altos ejecutivos de empresas tecnológicas alcanza el 67%; las voces de organizaciones ciudadanas solo representan el 6%. Además, los agentes de la industria suelen ser convertidos en “expertos”, mientras que los críticos fácilmente quedan etiquetados como “conspiranoicos”.
Fuente de la imagen: un artículo en ACM FAccT que sistematiza cómo las grandes empresas de IA realizan captura regulatoria
¿La desaceleración de la IA es por seguridad o para consolidar su posición?
Al poner estas pistas juntas, no es difícil entender por qué las dudas planteadas por Sacks, Calacanis y otros ganaron rápida resonancia.
El momento de la propuesta de desaceleración de Amodei coincide justo con la etapa en la que los modelos de código abierto avanzan rápidamente y, recientemente, Nvidia también ha virado hacia el apoyo a un ecosistema de código abierto.
Si la desaceleración finalmente se materializa como un requisito legislativo, el bando de código abierto, que es más pequeño y no cuenta con capacidades de modelos de vanguardia, probablemente será desplazado del mercado por el aumento drástico de los costos regulatorios. Esto coincide exactamente con las técnicas de influencia en el mercado descritas en el documento anterior: aprovechar la posición de liderazgo de la industria para dominar la elaboración de estándares y, de forma indirecta, excluir a competidores potenciales.
Por supuesto, esto no significa que las preocupaciones de seguridad planteadas por Amodei no tengan fundamento.
El caso de OpenAI y Hugging Face sí ocurrió realmente; OpenAI también confirmó posteriormente que había suspendido parte del entrenamiento de algunos modelos avanzados, lo que demuestra que el riesgo no se inventó de la nada.
El ex investigador de Anthropic Jacob Coxon, citado por la (BBC), dijo que dentro de la industria sí existe un miedo real y profundo a que la IA pierda el control; y que este tipo de preocupación probablemente no provenga en su totalidad de consideraciones comerciales.
Relacionado: Ex investigador de Anthropic advierte: la IA podría destruir a la humanidad en unos años; para finales del próximo año el panorama quizá se salga de control
Dicho de otra forma, la controversia es compleja precisamente porque en este tema se solapan alto riesgo de seguridad y beneficios comerciales.
Los que apoyan la desaceleración —incluyendo el propio Amodei, así como Altman y Hassabis— subrayan que la velocidad de crecimiento de las capacidades de la IA ya superó el rango de comprensión y control humanos, y que se necesita tiempo para cerrar la brecha en investigación de seguridad y alineamiento.
El bando que cuestiona recuerda que la influencia política y económica acumulada por el mismo grupo de empresas durante los últimos diez años ya les ha dado la capacidad y los incentivos para consolidar su posición de mercado mediante medios de captura regulatoria. Ambos factores no necesariamente se excluyen entre sí, y por eso resulta difícil que el público evalúe esta iniciativa de desaceleración de manera simplemente blanco o negro.
¿Quién debe liderar el marco global de regulación de la IA?
La disputa por la desaceleración de la IA, en última instancia, no solo afecta los intereses comerciales de algunas empresas; también involucra el panorama competitivo entre Estados Unidos y China en el campo de la IA y quién definirá el marco global de regulación de la IA en el futuro.
Si el sistema de evaluadores incorporados propuesto por Amodei realmente puede implementarse para garantizar una supervisión independiente; si los gobiernos de cada país seguirán con legislación; y si China participará en cualquier forma de coordinación internacional: aún no hay respuestas para ninguna de estas preguntas.
Lo que sí se puede asegurar es que, a medida que las capacidades de los modelos de IA sigan mejorando, la disputa por la línea entre seguridad y captura regulatoria probablemente se volverá cada vez más difícil de distinguir.
Lectura ampliada:
¡Caída en el inicio de la sesión de Taiwán! Los gigantes de la IA frenan a la vez el ritmo; Bloomberg: presión a corto plazo para las acciones de chips, pero optimismo a largo plazo por la tendencia de infraestructura
¡Se rompe el dilema del milenio y estalla la polémica ética! Matemáticos usan Codex para investigar; ¿OpenAI se adelantó a resolverlo?
“Los gigantes de la IA piden frenar el ritmo, pero el público critica ‘captura regulatoria’: ¿el objetivo real es tumbar la IA de código abierto?”; este artículo se publicó por primera vez en “Ciudades Cifradas”.