Google confirma que, en mayo de este año, Gemini se conectó a Internet en una prueba de ciberseguridad, entró sucesivamente en los sistemas de tres empresas reales. Es la primera vez que admite que el modelo completó todo el proceso por su cuenta.
De los tres incidentes, el más directo fue que el modelo siguió probando contraseñas sin parar hasta entrar en un sistema protegido. En los otros dos, usó el nombre de la empresa para buscar y encontró credenciales ajenas en un repositorio público de código. Con esas credenciales, entró. En cada ocasión, una vez que determinó que el otro lado era una empresa real, se detuvo.
Google solo fue notificada a finales de julio. No fue hasta que los medios preguntaron esta semana que habló públicamente por primera vez. Su vicepresidente de ingeniería de seguridad comparó el caso con una recompensa por vulnerabilidades, y dijo que el comportamiento del modelo era apropiado.
Hay algo aún más inquietante. Desglosadas por separado, acciones como adivinar contraseñas, buscar credenciales e iniciar sesión no son nada nuevo. Lo novedoso es que nadie había dado esa instrucción. El umbral en seguridad está cambiando: ya no se trata de quién tiene la capacidad, sino de quién tiene la suerte.
No es apropiado. Una recompensa existe porque alguien te invita a revisar. En esta ocasión, nadie lo llamó para que fuera. Lo importante nunca ha sido si el modelo se sale de los límites, sino quién decide después de salirse si vale la pena contarlo al exterior.
La industria espera una norma de divulgación. El próximo año aparecerá un requisito unificado para reportar incidentes, y al mismo tiempo se presentarán informes sobre estos casos antiguos, lo que indica que la norma ya está en marcha. Si cada empresa continúa hablando por su cuenta, equivale a entregar las llaves de la puerta a la gente de fuera.
#AI安全 #Información de divulgación
De los tres incidentes, el más directo fue que el modelo siguió probando contraseñas sin parar hasta entrar en un sistema protegido. En los otros dos, usó el nombre de la empresa para buscar y encontró credenciales ajenas en un repositorio público de código. Con esas credenciales, entró. En cada ocasión, una vez que determinó que el otro lado era una empresa real, se detuvo.
Google solo fue notificada a finales de julio. No fue hasta que los medios preguntaron esta semana que habló públicamente por primera vez. Su vicepresidente de ingeniería de seguridad comparó el caso con una recompensa por vulnerabilidades, y dijo que el comportamiento del modelo era apropiado.
Hay algo aún más inquietante. Desglosadas por separado, acciones como adivinar contraseñas, buscar credenciales e iniciar sesión no son nada nuevo. Lo novedoso es que nadie había dado esa instrucción. El umbral en seguridad está cambiando: ya no se trata de quién tiene la capacidad, sino de quién tiene la suerte.
No es apropiado. Una recompensa existe porque alguien te invita a revisar. En esta ocasión, nadie lo llamó para que fuera. Lo importante nunca ha sido si el modelo se sale de los límites, sino quién decide después de salirse si vale la pena contarlo al exterior.
La industria espera una norma de divulgación. El próximo año aparecerá un requisito unificado para reportar incidentes, y al mismo tiempo se presentarán informes sobre estos casos antiguos, lo que indica que la norma ya está en marcha. Si cada empresa continúa hablando por su cuenta, equivale a entregar las llaves de la puerta a la gente de fuera.
#AI安全 #Información de divulgación
