Un nuevo benchmark de física teórica llamado PHYRD acaba de publicarse como preprint en arXiv. Su objetivo es concreto: 63 preguntas piden volver a derivar resultados publicados (Reproduce), y 43 modifican las condiciones de las teorías originales para comprobar si el modelo puede deducir sus consecuencias (Discover). Las preguntas se crean con un proceso llamado FormulaForest, y cada una incluye una respuesta de referencia y criterios de evaluación detallados por subpregunta.
Los resultados son desiguales. La precisión en preguntas completas de cinco modelos va del 49,21 % al 68,25 % en Reproduce; en Discover, sin acceso a materiales, el rango se amplía del 18,60 % al 74,42 %. Con herramientas, cuatro modelos logran resolver correctamente algunas preguntas más de Discover, pero siguen apareciendo errores conceptuales y lagunas en los razonamientos.
El artículo también propone otro uso para FormulaForest: emplearlo como datos sintéticos. En el benchmark FrontierScience de OpenAI, la precisión de un modelo Qwen-35B-A3B subió del 61 % al 72 %. Es un preprint que aún no ha pasado por revisión por pares, así que conviene tomar estas cifras como referencia.
$BTC
Los resultados son desiguales. La precisión en preguntas completas de cinco modelos va del 49,21 % al 68,25 % en Reproduce; en Discover, sin acceso a materiales, el rango se amplía del 18,60 % al 74,42 %. Con herramientas, cuatro modelos logran resolver correctamente algunas preguntas más de Discover, pero siguen apareciendo errores conceptuales y lagunas en los razonamientos.
El artículo también propone otro uso para FormulaForest: emplearlo como datos sintéticos. En el benchmark FrontierScience de OpenAI, la precisión de un modelo Qwen-35B-A3B subió del 61 % al 72 %. Es un preprint que aún no ha pasado por revisión por pares, así que conviene tomar estas cifras como referencia.
$BTC
