Anthropic busca a Accenture para evaluar la seguridad de modelos: ¿el “tercerizado” de la seguridad de la IA empieza a despegar?
En esta ocasión, Anthropic colabora con Accenture. A primera vista, se trata de poner a prueba la seguridad del modelo; en el fondo, lo que se libera es una señal más importante: cuanto más rápido avance el desarrollo de la IA, puede que ya no baste con que las propias empresas de IA demuestren por sí solas la “seguridad del modelo”.
Ambas partes planean, para los próximos 5 años, invertir al menos 2.000 millones de dólares, con la participación de Faculty, la división de Accenture, en la evaluación del modelo, las pruebas con equipos de “red team”, las evaluaciones de alineamiento y las pruebas de protección y seguridad. Además, los evaluadores se integrarán de forma “embebida” en las empresas de IA, obteniendo permisos de observación cercanos a los de los empleados internos.
¿Por qué ahora de repente se presta tanta atención a esto? Porque este año, Anthropic ya ha revelado varios casos en los que Claude, en entornos de prueba, accedió de forma accidental a Internet real y a sistemas de terceros; en septiembre también divulgó otro incidente de seguridad que no se había detectado antes.
Esto significa que, en el futuro, la competencia en IA quizá no sea solo “quién tiene el modelo más potente”, sino también quién puede demostrar que su modelo es más seguro, más controlable y más fácil de auditar.
Esta cadena de industria también merece atención: la evaluación de seguridad de IA, la auditoría de modelos, las pruebas con red team, el monitoreo de IA, los permisos de identidad y la seguridad de los datos; todo ello podría pasar gradualmente de ser un servicio “entre bastidores” a convertirse en un mercado independiente.
Incluso para la industria de la criptografía hay lecciones: a medida que los agentes de IA empiecen a entrar en escenarios como transacciones, pagos y DeFi, tal vez “lo que puede hacer un agente” no sea el problema más grande; lo realmente importante en la próxima etapa será resolver “quién se hace responsable si el agente pierde el control” y “cómo se audita”.
La seguridad de la IA está pasando de ser un problema de un departamento técnico a convertirse, poco a poco, en un negocio.
En esta ocasión, Anthropic colabora con Accenture. A primera vista, se trata de poner a prueba la seguridad del modelo; en el fondo, lo que se libera es una señal más importante: cuanto más rápido avance el desarrollo de la IA, puede que ya no baste con que las propias empresas de IA demuestren por sí solas la “seguridad del modelo”.
Ambas partes planean, para los próximos 5 años, invertir al menos 2.000 millones de dólares, con la participación de Faculty, la división de Accenture, en la evaluación del modelo, las pruebas con equipos de “red team”, las evaluaciones de alineamiento y las pruebas de protección y seguridad. Además, los evaluadores se integrarán de forma “embebida” en las empresas de IA, obteniendo permisos de observación cercanos a los de los empleados internos.
¿Por qué ahora de repente se presta tanta atención a esto? Porque este año, Anthropic ya ha revelado varios casos en los que Claude, en entornos de prueba, accedió de forma accidental a Internet real y a sistemas de terceros; en septiembre también divulgó otro incidente de seguridad que no se había detectado antes.
Esto significa que, en el futuro, la competencia en IA quizá no sea solo “quién tiene el modelo más potente”, sino también quién puede demostrar que su modelo es más seguro, más controlable y más fácil de auditar.
Esta cadena de industria también merece atención: la evaluación de seguridad de IA, la auditoría de modelos, las pruebas con red team, el monitoreo de IA, los permisos de identidad y la seguridad de los datos; todo ello podría pasar gradualmente de ser un servicio “entre bastidores” a convertirse en un mercado independiente.
Incluso para la industria de la criptografía hay lecciones: a medida que los agentes de IA empiecen a entrar en escenarios como transacciones, pagos y DeFi, tal vez “lo que puede hacer un agente” no sea el problema más grande; lo realmente importante en la próxima etapa será resolver “quién se hace responsable si el agente pierde el control” y “cómo se audita”.
La seguridad de la IA está pasando de ser un problema de un departamento técnico a convertirse, poco a poco, en un negocio.