$BTC
BTC, MentalHealthBench que OpenAI ha preparado esta vez. Dicen que quieren ampliar la cobertura de las conversaciones sobre salud mental, pasando del apoyo cotidiano a escenarios de riesgo más grave.
En otras palabras, lo que están haciendo es ampliar el enfoque de la evaluación de referencia: de estar extremadamente atentos a emergencias, a incluir conversaciones cotidianas normales.
Pero, dicho sea de paso: aunque el benchmark sea completo, cuando llegue el momento de una comunicación cotidiana real, que sea capaz o no de evitar que el modelo se invente tonterías dependerá de si las mejoras posteriores pueden concretarse y resistir la prueba con usuarios reales
BTC, MentalHealthBench que OpenAI ha preparado esta vez. Dicen que quieren ampliar la cobertura de las conversaciones sobre salud mental, pasando del apoyo cotidiano a escenarios de riesgo más grave.
En otras palabras, lo que están haciendo es ampliar el enfoque de la evaluación de referencia: de estar extremadamente atentos a emergencias, a incluir conversaciones cotidianas normales.
Pero, dicho sea de paso: aunque el benchmark sea completo, cuando llegue el momento de una comunicación cotidiana real, que sea capaz o no de evitar que el modelo se invente tonterías dependerá de si las mejoras posteriores pueden concretarse y resistir la prueba con usuarios reales
