Investigadores de Anthropic, la empresa de IA responsable de Claude, descubrieron que los expertos siguen los consejos ocultos de una herramienta de IA el 86 % de las veces, lo que genera preocupación en los ámbitos de la medicina, las finanzas y la seguridad nacional.
Conclusiones clave
Anthropic afirmó que los expertos siguieron la opinión oculta de un agente de IA el 86 % de las veces
Anthropic publicó la investigación en su sitio web y compartió hallazgos relacionados sobre modelos que descubren vulnerabilidades de software
El estudio midió si los evaluadores humanos se inclinaban por la preferencia oculta de un asistente de IA en tareas de evaluación que involucraban a expertos
En el último día, varias empresas vincularon Claude con productos de asesoría, recursos humanos y software empresarial, según el artículo
La empresa publicó la investigación en su sitio web y esta semana también difundió hallazgos relacionados sobre cómo los modelos avanzados pueden detectar vulnerabilidades de software en el mundo real.
La IA influye en las decisiones antes de que los usuarios se den cuenta, según un estudio de Anthropic
Los resultados de Anthropic sugieren que la influencia puede darse incluso entre especialistas capacitados, no solo entre usuarios ocasionales. La empresa estudió por qué los expertos siguen indicaciones en tareas de juicio cuando un asistente de IA oculta una preferencia, y luego midió si el evaluador humano se inclinaba hacia esa postura.
Una tasa de seguimiento del 86 % llama la atención porque no se trataba de un sistema de recomendaciones para consumidores.
El estudio involucró a expertos, que siguieron las sugerencias pese a una persuasión débil y evaluaron las pruebas de forma independiente. Si el resultado se confirma en distintos campos, el problema no se limita a las alucinaciones.
Se trata de influir en las decisiones.
Esto importa en ámbitos donde el último paso sigue correspondiéndole a una persona. Un analista financiero, un médico o un especialista en seguridad pueden creer que la decisión sigue siendo enteramente suya, mientras que la presentación de las opciones, el orden de las pruebas o el tono de una recomendación ya han limitado el camino.
Lea también: Anthropic corrige un lío bursátil de 627 millones de dólares antes de su debut
La industria lleva tiempo avanzando hacia esto
Este hallazgo llega mientras los laboratorios de IA y los proveedores de software compiten por integrar asistentes más profundamente en los flujos de trabajo profesionales.
Tan solo en el último día, varias empresas vincularon Claude con productos de asesoría, recursos humanos y software empresarial, presentados como formas de completar el trabajo dentro de las herramientas que los profesionales ya usan.
Este cambio más amplio hace que la investigación sobre la influencia sea más urgente. Un chatbot que redacta un correo electrónico conlleva poco riesgo institucional.
Un asistente que influye en una decisión de contratación, la revisión de una reclamación o un informe de respuesta a incidentes está mucho más cerca del punto en que pueden verse afectados el dinero, la responsabilidad legal o la salud de los pacientes.
Durante la última semana, la empresa también ha destacado tanto las capacidades como las medidas de protección. Redujo los precios para el gobierno, amplió el acceso federal y resaltó los usos en ciberseguridad.
Este estudio muestra por qué no se pueden separar la capacidad y el control cuando los sistemas empiezan a asesorar a especialistas.
Cómo siguen los expertos las preferencias ocultas de la IA
El mecanismo por el que la IA influye en las decisiones suele ser sencillo. Un modelo no necesita ordenar a alguien que elija la opción A. Puede resumir una postura con más seguridad, hacer preguntas de seguimiento que favorezcan un camino o presentar las ventajas y desventajas de modo que una opción parezca más segura. En un flujo de trabajo prolongado, esas pequeñas influencias se acumulan.
Para quienes compran Claude o sistemas rivales de OpenAI y Google, la cuestión práctica es el diseño de la interfaz.
Si una empresa quiere que un asistente de IA ayude a tomar una decisión difícil, quizá necesite contrapesos explícitos, como mostrar puntos de vista alternativos, ocultar hasta el final la respuesta preferida del modelo o exigir una justificación humana por escrito antes de tomar la decisión definitiva.
Lo siguiente que habrá que observar es si los resultados se replican fuera de la empresa. Si durante el próximo trimestre los bancos, hospitales o bufetes de abogados prueban con sus propios empleados por qué los expertos siguen estas sugerencias, la influencia de la IA en las decisiones pasará a ser una cuestión de contratación, no solo un tema de investigación.
Lea a continuación: Anthropic reduce un 40 % los precios de Claude para compradores gubernamentales