Una empresa comienza a establecer normas para sus líneas de investigación.
El lunes, OpenAI publicó un conjunto de recomendaciones sobre seguridad y protección para la IA de vanguardia, con especial atención a la investigación de alineamiento y a una técnica llamada mejora recursiva de sí mismo. Esta última se refiere a que el modelo se actualiza por sí solo, sin intervención humana; y es, precisamente, una de las direcciones más seguidas en la actualidad.
En las recomendaciones hay una frase formulada de manera muy directa. La mejora recursiva de sí mismo completamente autónoma no ha ocurrido hoy, a menos que pueda realizarse de manera segura; de lo contrario, no debería perseguirse. El peso de estas palabras está en que colocan directamente la capacidad más tentadora en una lista de cosas que deben demorarse; además, la empresa menciona que, si no se aplica con cautela, esta tecnología podría hacer que las personas pierdan el control práctico del proceso de I+D.
También pide colaboración internacional para construir estándares de vanguardia sobre la base de las organizaciones existentes en cada país dedicadas a la seguridad de la IA, e incluir a los investigadores automatizados dentro del alcance de la gestión de beneficios y riesgos. Al alinearse con la verificación externa, equivale a dejarse un camino que pueda revisarse.
El contexto no es tranquilo. La semana pasada, un competidor presentó su propio conjunto de propuestas; previamente, una carta pública de renuncia de un investigador había avivado el debate. En el artículo, el directivo de la empresa pidió frenar el ritmo de avance de los modelos base. Ambas compañías están presentando sus respectivas respuestas al mismo problema.
Poner reglas a la investigación propia es, siempre, lo más difícil en el paso de la ejecución.
#人工智能 #安全
El lunes, OpenAI publicó un conjunto de recomendaciones sobre seguridad y protección para la IA de vanguardia, con especial atención a la investigación de alineamiento y a una técnica llamada mejora recursiva de sí mismo. Esta última se refiere a que el modelo se actualiza por sí solo, sin intervención humana; y es, precisamente, una de las direcciones más seguidas en la actualidad.
En las recomendaciones hay una frase formulada de manera muy directa. La mejora recursiva de sí mismo completamente autónoma no ha ocurrido hoy, a menos que pueda realizarse de manera segura; de lo contrario, no debería perseguirse. El peso de estas palabras está en que colocan directamente la capacidad más tentadora en una lista de cosas que deben demorarse; además, la empresa menciona que, si no se aplica con cautela, esta tecnología podría hacer que las personas pierdan el control práctico del proceso de I+D.
También pide colaboración internacional para construir estándares de vanguardia sobre la base de las organizaciones existentes en cada país dedicadas a la seguridad de la IA, e incluir a los investigadores automatizados dentro del alcance de la gestión de beneficios y riesgos. Al alinearse con la verificación externa, equivale a dejarse un camino que pueda revisarse.
El contexto no es tranquilo. La semana pasada, un competidor presentó su propio conjunto de propuestas; previamente, una carta pública de renuncia de un investigador había avivado el debate. En el artículo, el directivo de la empresa pidió frenar el ritmo de avance de los modelos base. Ambas compañías están presentando sus respectivas respuestas al mismo problema.
Poner reglas a la investigación propia es, siempre, lo más difícil en el paso de la ejecución.
#人工智能 #安全
