Noticias de ME AI: el CEO de Microsoft, Satya Nadella, publicó un extenso artículo en el que afirma que, a medida que se desarrollan los sistemas de superinteligencia (Super Intelligence), el sector debe reconsiderar la arquitectura de confianza de la IA. No se puede depender simplemente de las promesas de los proveedores de modelos ni externalizar la responsabilidad por las acciones de la IA. Nadella señaló que, cuando los sistemas de software tradicionales se desplegaron en distintos sectores durante las últimas décadas, los desarrolladores solían poder rastrear las rutas de código específicas asociadas a cada comportamiento. Sin embargo, las capacidades de los modelos de IA de vanguardia actuales superan las de los sistemas de software tradicionales, y ya no es posible atribuir claramente sus resultados a datos de entrenamiento concretos o a configuraciones específicas de los pesos del modelo. Las empresas están conectando sistemas de IA capaces de actuar de forma autónoma a datos sensibles y otorgándoles permisos para ejecutar tareas críticas. Por ello, es necesario construir sistemas observables, comprobables y controlables, que separen el «suministro de inteligencia» del «control de permisos». Nadella propuso gobernar la superinteligencia mediante métodos de ingeniería: limitar los modelos no deterministas mediante diseños de sistemas deterministas, controles humanos y procedimientos operativos, y gestionar los sistemas de IA como posibles «riesgos internos», por ejemplo, restringiendo los permisos, registrando el comportamiento y estableciendo límites de aislamiento. También propuso que los sistemas de superinteligencia se rijan por principios como la colaboración entre múltiples modelos, la observabilidad integral, la verificación continua, el control independiente, las auditorías independientes, el aislamiento de riesgos y la divulgación de incidentes. En particular, destacó que la transparencia de la cadena de pensamiento del modelo (CoT) es un requisito básico, pero que no basta con confiar únicamente en ella, ya que los propios resultados del modelo pueden seguir careciendo de una interpretabilidad fiable. Por último, Nadella afirmó que, en el futuro, los sistemas de superinteligencia más fiables no serán «los modelos más dignos de confianza», sino «los sistemas capaces de funcionar de forma segura incluso cuando no se confía plenamente en el modelo». (Fuente: ME)