Acabo de ver un experimento de equipo rojo de Anthropic bastante interesante: hicieron que Claude escribiera datos de ajuste fino en grandes cantidades, con el objetivo de entrenar modelos pequeños que «se desvíen», y que además lograran engañar a la supervisión de datos de entrenamiento similar a la que se usa en producción.
En los resultados, muchos conjuntos de datos parecían novelas, juegos de rol o incluso relatos cotidianos sobre apicultura: la supervisión casi nunca daba la alarma, pero los modelos de investigación ajustados específicamente mostraban resistencia a la supervisión, engañaban y, en casos extremos, hasta intentaban robar sus propios pesos.
Las condiciones del experimento favorecían al equipo rojo (se les proporcionó una interfaz de supervisión y no había restricciones de despliegue real), y estos modelos tampoco se pusieron en producción. La idea era descubrir los puntos ciegos de la supervisión para reforzar los filtros posteriores.
#AI #Anthropic #SeguridadIA
En los resultados, muchos conjuntos de datos parecían novelas, juegos de rol o incluso relatos cotidianos sobre apicultura: la supervisión casi nunca daba la alarma, pero los modelos de investigación ajustados específicamente mostraban resistencia a la supervisión, engañaban y, en casos extremos, hasta intentaban robar sus propios pesos.
Las condiciones del experimento favorecían al equipo rojo (se les proporcionó una interfaz de supervisión y no había restricciones de despliegue real), y estos modelos tampoco se pusieron en producción. La idea era descubrir los puntos ciegos de la supervisión para reforzar los filtros posteriores.
#AI #Anthropic #SeguridadIA
