ByteDance Seed ha creado un departamento dedicado a la seguridad y la alineación de modelos. Parece que realmente era necesario.
Esta vez, planean contratar a nivel mundial a 10 investigadores de primer nivel para este departamento.
Las áreas de investigación incluyen:
Métodos avanzados de evaluación de seguridad para modelos grandes y agentes, y creación de benchmarks
Métodos de entrenamiento para alinear las capacidades más avanzadas de los modelos
Red Teaming automatizado
Interpretabilidad del comportamiento de los modelos
Supervisión de las capacidades y el comportamiento de los modelos
ByteDance siempre ha ofrecido condiciones muy atractivas, y el trabajo en sí es sumamente desafiante. Si últimamente has estado pensando en trabajar en un área similar, quizá valga la pena intentarlo.
Últimamente, tanto en los modelos grandes como en los pequeños, se han dado con frecuencia casos de jailbreak y de ruptura del aislamiento del entorno sandbox.
Además, estos riesgos pueden ser incidentes menores o algo mucho más grave. Contar con esta capacidad de antemano y mantener la investigación en marcha permite, como mínimo, reaccionar rápido cuando surjan problemas.
A medida que los modelos se vuelven más capaces y autónomos, también crecen los riesgos en algunos ámbitos peligrosos:
Por ejemplo, el ámbito CBRN (químico, biológico, radiológico y nuclear).
Puede que muchos piensen que los cuatro ámbitos mencionados están muy lejos de nosotros, pero los ataques de contenido dirigidos a personas en internet están muy cerca.
La IA incluso podría alterar directamente aplicaciones o hasta controlar otros dispositivos del hogar.
Si la IA puede vulnerar cualquier software, es lógico pensar que también podría crear virus muy sofisticados.
Y también es probable que avance a gran velocidad en el descifrado de la criptografía de la que depende todo nuestro internet.
Siendo objetivos, los avances en este campo en China van más lentos que los de OpenAI y Anthropic.
Anthropic se fundó precisamente con el objetivo de priorizar la seguridad y lleva mucho tiempo investigando la alineación y la interpretabilidad. Además, en el mundo de la IA en el extranjero surgen noticias importantes sobre seguridad casi cada una o dos semanas; por ejemplo, hace unos días dimitió un investigador de seguridad de OpenAI y, anteriormente, Hugging Face sufrió una intrusión.
La seguridad de los modelos es un campo interdisciplinario de vanguardia que requiere mucha exploración y plantea exigencias muy altas a los investigadores.
Por eso buscan a este tipo de talentos de primer nivel en todo el mundo o mediante convocatorias públicas. A quienes les interese, pueden echarle un vistazo.
Esta vez, planean contratar a nivel mundial a 10 investigadores de primer nivel para este departamento.
Las áreas de investigación incluyen:
Métodos avanzados de evaluación de seguridad para modelos grandes y agentes, y creación de benchmarks
Métodos de entrenamiento para alinear las capacidades más avanzadas de los modelos
Red Teaming automatizado
Interpretabilidad del comportamiento de los modelos
Supervisión de las capacidades y el comportamiento de los modelos
ByteDance siempre ha ofrecido condiciones muy atractivas, y el trabajo en sí es sumamente desafiante. Si últimamente has estado pensando en trabajar en un área similar, quizá valga la pena intentarlo.
Últimamente, tanto en los modelos grandes como en los pequeños, se han dado con frecuencia casos de jailbreak y de ruptura del aislamiento del entorno sandbox.
Además, estos riesgos pueden ser incidentes menores o algo mucho más grave. Contar con esta capacidad de antemano y mantener la investigación en marcha permite, como mínimo, reaccionar rápido cuando surjan problemas.
A medida que los modelos se vuelven más capaces y autónomos, también crecen los riesgos en algunos ámbitos peligrosos:
Por ejemplo, el ámbito CBRN (químico, biológico, radiológico y nuclear).
Puede que muchos piensen que los cuatro ámbitos mencionados están muy lejos de nosotros, pero los ataques de contenido dirigidos a personas en internet están muy cerca.
La IA incluso podría alterar directamente aplicaciones o hasta controlar otros dispositivos del hogar.
Si la IA puede vulnerar cualquier software, es lógico pensar que también podría crear virus muy sofisticados.
Y también es probable que avance a gran velocidad en el descifrado de la criptografía de la que depende todo nuestro internet.
Siendo objetivos, los avances en este campo en China van más lentos que los de OpenAI y Anthropic.
Anthropic se fundó precisamente con el objetivo de priorizar la seguridad y lleva mucho tiempo investigando la alineación y la interpretabilidad. Además, en el mundo de la IA en el extranjero surgen noticias importantes sobre seguridad casi cada una o dos semanas; por ejemplo, hace unos días dimitió un investigador de seguridad de OpenAI y, anteriormente, Hugging Face sufrió una intrusión.
La seguridad de los modelos es un campo interdisciplinario de vanguardia que requiere mucha exploración y plantea exigencias muy altas a los investigadores.
Por eso buscan a este tipo de talentos de primer nivel en todo el mundo o mediante convocatorias públicas. A quienes les interese, pueden echarle un vistazo.