Standard Bank Group ha encontrado una forma de sortear la parte más lenta de implementar la IA en un gran banco: en lugar de que las personas lean documentos y prueben a mano cada nueva herramienta, ahora un sistema de IA recopila las pruebas y evalúa el riesgo de cada una, mientras que las personas conservan la decisión final.

Conclusiones principales

  • La evaluación se lleva a cabo íntegramente en la propia cuenta de AWS de Standard Bank Group

  • Evalúa cada caso de uso de IA generativa según los estándares internacionales de IA y las políticas propias del banco

  • El flujo de trabajo utiliza unas 40 preguntas de admisión y más de 300 preguntas de evaluación

  • La revisión final y la aprobación siguen a cargo del comité de riesgos, y los hallazgos pueden rastrearse hasta las pruebas y los controles

AWS explicó que Standard Bank Group colaboró con AWS Professional Services para automatizar la recopilación de pruebas y las pruebas necesarias para las etapas de aprobación de la IA generativa, después de un proceso de revisión que dependía de personas que leían documentos y probaban sistemas manualmente.

El objetivo del banco no era delegar las decisiones a un modelo. La revisión y la aprobación siguen correspondiendo al comité de riesgos, pero ahora cada decisión parte de pruebas recopiladas de la misma manera para todos los casos de uso, antes de que los nuevos sistemas lleguen a clientes o empleados.

Cómo funciona la evaluación

La configuración permanece dentro del entorno del banco. Los documentos, el código y los resultados de las pruebas se conservan en un bucket de Amazon Simple Storage Service (Amazon S3) de la propia cuenta de AWS de Standard Bank Group. AWS Well-Architected Tool gestiona la recepción de información, AWS Step Functions orquesta la canalización y un modelo fundacional en Amazon Bedrock evalúa las pruebas. Standard Bank controla el acceso mediante AWS Identity and Access Management (IAM), y Amazon Bedrock no comparte las instrucciones ni los resultados del banco con los proveedores de modelos ni los utiliza para entrenar modelos.

El flujo de trabajo consta de cuatro pasos: un agente de evaluación preliminar recopila pruebas; la canalización examina esas pruebas y prueba directamente la aplicación; el modelo evalúa los resultados frente a los controles; y el sistema resume el resultado en un formato estándar para quienes deben actuar al respecto. La lente personalizada de Well-Architected Tool contiene unas 40 preguntas, y Standard Bank añadió preguntas de evaluación basadas en sus propias normas, con lo que el total superó las 300.

Dimensión de IA responsableQué busca la evaluaciónVeracidad y solidezResultados correctos, incluso ante entradas inesperadas o adversariasPrivacidad y seguridadRecopilación, uso y protección adecuados de los datos y los modelosTransparenciaInformación que ayuda a las partes interesadas a tomar decisiones fundamentadas sobre el uso de un sistema de IAEquidadConsideración de los efectos en distintos grupos de partes interesadasSeguridadPrevención de resultados dañinos y del uso indebidoControlabilidadMecanismos para supervisar y dirigir el comportamiento del sistemaGobernanzaBuenas prácticas en toda la cadena de suministro de IA, incluidos proveedores y responsables de la implementaciónExplicabilidadFormas de comprender y evaluar los resultados del sistema

Para cada pregunta, el modelo responde sí o no según si encuentra pruebas específicas en los artefactos y en las respuestas de la aplicación. Cada riesgo recibe una puntuación de probabilidad basada en la proporción de las pruebas requeridas que el modelo no pudo encontrar, además de un nivel de gravedad fijo que el equipo de riesgos del banco puede ajustar. En conjunto, estos elementos generan una calificación que va de Muy bajo a Crítico. Cada elemento faltante se vincula con una medida de mitigación y con la cláusula de la norma o política de la que procede, de modo que un responsable de riesgos puede rastrear los hallazgos hasta su origen al explicar las decisiones a un regulador.

Lea también: AWS usa los inicios de sesión de Okta para evitar que los agentes de IA se descontrolen en el trabajo

Por qué es importante

Los equipos ahora pueden crear una aplicación de IA generativa en cuestión de días, pero cada una sigue necesitando la aprobación del comité de riesgos antes de llegar a clientes o empleados. Cuando esa aprobación depende de personas que leen documentos y hacen pruebas manualmente, la gobernanza se convierte en el paso más lento, y los bancos se ven obligados a avanzar más despacio o a tomar atajos. Automatizar la recopilación de pruebas y mantener a las personas al mando de la aprobación es la forma en que un banco muy regulado puede avanzar a la velocidad de la IA sin perder el control.

Standard Bank no necesitaba una nueva política de IA. Ya contaba con una práctica consolidada de gestión del riesgo de modelos para cuestiones como la explicabilidad y la equidad, además de un proceso de gestión del riesgo de cambios que evalúa cada nuevo caso de uso según su nivel de riesgo antes de ponerlo en marcha.

Lo que cambió fue el ritmo. La IA generativa añade complejidad porque los modelos y las herramientas cambian cada 3 a 6 meses, pero cada caso de uso sigue teniendo que cumplir los mismos altos estándares de seguridad y cumplimiento normativo. Jörg Fischer, director de Información e IA del grupo, afirmó que la IA responsable debe «desarrollarse y escalarse con confianza».

Qué habrá que observar a continuación

La evaluación está diseñada para que sus resultados puedan verificarse. En lugar de pedirle al modelo una opinión abierta, plantea preguntas concretas de sí o no, redactadas para ajustarse a controles específicos, y una fórmula fija que el equipo de riesgos puede inspeccionar convierte esas respuestas en puntuaciones.

Cada evaluación se ejecuta varias veces para medir la consistencia de las respuestas, y cualquier resultado inconsistente se señala en la interfaz de revisión. Cada juicio se almacena junto con las pruebas que lo respaldan, para que los revisores y auditores puedan rastrear cómo se obtuvo.

Todas las interacciones con el modelo también pasan por Amazon Bedrock Guardrails, que filtra el contenido dañino y los intentos de manipular el modelo. AWS señaló de antemano una limitación: los modelos fundacionales compatibles varían según la región de AWS. Al mismo tiempo, la interfaz única de Amazon Bedrock permite al equipo cambiar a un modelo evaluador más reciente modificando un ajuste de configuración, en lugar de reconstruir la canalización.

La prueba más importante es si otros bancos replican este enfoque. Los reguladores quieren cada vez más que los bancos demuestren cómo verificaron un sistema de IA antes de usarlo, y una configuración que vincula cada hallazgo con la regla exacta y las pruebas que lo sustentan ofrece a los responsables de riesgos una respuesta lista para presentar. Si funciona en Standard Bank, las comprobaciones de riesgos de IA podrían convertirse en un producto estándar que los proveedores de servicios en la nube vendan a todos los bancos.

Lea a continuación: Sumsub aborda el riesgo de los agentes de IA con 3 controles para bancos, aseguradoras y plataformas de comercio