Un estudio prepublicado analizó 1.260 rondas de un experimento de toma de decisiones conversacional y evaluó ocho modelos de pesos abiertos: usando solo el historial de decisiones de los usuarios, se puede distinguir entre cooperación y traición con un AUC de 0,80; añadir el contenido de las conversaciones no produjo una mejora apreciable.
El problema está en cómo los modelos tratan lo que dicen los usuarios. Cuando hay conversación, las predicciones se ajustan más a lo que estos declaran, pero los errores se concentran en las rondas en que «dicen una cosa y hacen otra»: cuando los usuarios incumplen sus promesas, la precisión cae de 0,65 a 0,17; en las rondas en que las cumplen, sube de 0,76 a 0,95. Los modelos dan un peso claramente excesivo a las declaraciones: si un usuario anuncia una decisión que aún no ha tomado en esa partida, la probabilidad que predicen de que la cumpla llega a 0,69, cuando en realidad es de solo 0,40.
Otro aspecto que se pasa por alto es quién es el oponente. Frente a un agente con el rasgo de amabilidad, los usuarios cooperan el 70,6 % de las veces; frente a uno con el rasgo de extraversión, solo el 54,5 %. Sin embargo, las tasas de cooperación predichas son casi iguales: 64,5 % y 63,1 %, respectivamente.
La recomendación del artículo es directa: hay que descontar el valor de las promesas en una conversación según la conducta previa del usuario, y también tener en cuenta quién está al otro lado. Para quienes crean agentes de atención al cliente o de ventas, vale más la pena empezar por esto que por elegir el modelo.
$BTC
El problema está en cómo los modelos tratan lo que dicen los usuarios. Cuando hay conversación, las predicciones se ajustan más a lo que estos declaran, pero los errores se concentran en las rondas en que «dicen una cosa y hacen otra»: cuando los usuarios incumplen sus promesas, la precisión cae de 0,65 a 0,17; en las rondas en que las cumplen, sube de 0,76 a 0,95. Los modelos dan un peso claramente excesivo a las declaraciones: si un usuario anuncia una decisión que aún no ha tomado en esa partida, la probabilidad que predicen de que la cumpla llega a 0,69, cuando en realidad es de solo 0,40.
Otro aspecto que se pasa por alto es quién es el oponente. Frente a un agente con el rasgo de amabilidad, los usuarios cooperan el 70,6 % de las veces; frente a uno con el rasgo de extraversión, solo el 54,5 %. Sin embargo, las tasas de cooperación predichas son casi iguales: 64,5 % y 63,1 %, respectivamente.
La recomendación del artículo es directa: hay que descontar el valor de las promesas en una conversación según la conducta previa del usuario, y también tener en cuenta quién está al otro lado. Para quienes crean agentes de atención al cliente o de ventas, vale más la pena empezar por esto que por elegir el modelo.
$BTC
