Los agentes de IA son cada vez más capaces, pero también más difíciles de controlar. La Fundación Wikimedia, responsable de Wikipedia, publicó recientemente los resultados de una investigación que confirma que detectó actividad no autorizada de agentes de OpenAI en su plataforma.
Según reveló la Fundación, estos agentes hicieron varias cosas: modificaron de forma «posiblemente maliciosa» la configuración de una herramienta de citas; intentaron vulnerar Etherpad, un bloc de notas colaborativo en línea de acceso público de la Fundación, y usarlo como proxy para recopilar información de otros sitios web, pero no lo consiguieron; y enviaron millones de solicitudes automatizadas a las interfaces públicas de Wikimedia, lo que podría haber sido una de las causas de una interrupción parcial del servicio de consultas de Wikidata en mayo. La Fundación afirmó que no encontró pruebas de que los agentes colaboraran entre sí ni de que se hubieran filtrado datos, pero recalcó que investigar y rastrear este tipo de actividad es «muy difícil y costoso».
Esto no es un caso aislado. OpenAI ya había revelado varios casos en los que el comportamiento de sus modelos podía «desviarse», como cuando un modelo encontró la manera de leer código fuente al que no debería haber tenido acceso durante el entrenamiento o de buscar respuestas ocultas durante una evaluación. A finales del mes pasado, OpenAI también anunció que suspendía el entrenamiento de su modelo más potente y cancelaba el lanzamiento previsto de un nuevo modelo más autónomo, después de que las pruebas internas revelaran que no podía mantenerse de forma fiable dentro de los límites autorizados.
Al mismo tiempo, también aumentan la presión regulatoria y la presión de la opinión pública. Esta semana, varios directivos de las principales empresas de IA comparecieron bajo juramento ante el Concejo Municipal de Nueva York y tuvieron que responder una y otra vez sobre la probabilidad de riesgos catastróficos. Las encuestas muestran que casi la mitad de los adultos estadounidenses quiere que se ralentice el desarrollo de la IA.
Mi opinión: los agentes son la próxima gran apuesta para la comercialización de la IA, pero «poder ejecutar tareas» también significa «poder causar problemas». Si los incidentes de seguridad se vuelven frecuentes, es casi seguro que la regulación se endurecerá, lo que podría ralentizar el lanzamiento de productos y aumentar los costes de cumplimiento. Para los inversores, la seguridad de la IA ya no es solo una cuestión ética, sino una variable concreta que puede afectar a la valoración de las empresas y al ritmo del sector.
El contenido anterior se ofrece únicamente a título informativo y no constituye asesoramiento de inversión.