Boletín de noticias de Beating AI: ByteDance Seed acaba de establecer un departamento independiente de seguridad y alineación, y el 14 de octubre inició una convocatoria global para contratar a 10 investigadores. Los lugares de trabajo incluyen Pekín, Shanghái y San José, Estados Unidos. El nuevo departamento está dirigido por Yan Lin, quien anteriormente supervisaba la alineación del modelo Doubao, y reporta directamente a Wu Yonghui, director de Seed. También se transferirán el equipo original de IA responsable y algunos miembros del equipo de Chat. El nuevo departamento tiene como objetivo abordar los problemas de seguridad que surgen a medida que los modelos adquieren cada vez más capacidad para actuar de forma autónoma. Por ejemplo, agentes que eluden la autorización al usar herramientas, modelos que reciben instrucciones maliciosas para saltarse las restricciones de seguridad o riesgos desconocidos que no se detectan ni bloquean a tiempo. Para ello, el equipo planea mejorar los métodos de entrenamiento de seguridad, desde el preentrenamiento y el ajuste fino supervisado (SFT) hasta el aprendizaje por refuerzo (RL); buscar vulnerabilidades de forma continua mediante pruebas adversariales automatizadas; y estudiar la interpretabilidad del comportamiento de los modelos, el rastreo de anomalías y las capacidades de alto riesgo, como las CBRN (químicas, biológicas, radiológicas y nucleares). ByteDance promete una inversión a largo plazo y proporcionará recursos de computación acordes con la investigación de modelos de vanguardia.