Um benchmark de física teórica chamado PHYRD acabou de ser publicado como pré-print no arXiv, com um objetivo bem específico: 63 questões pedem para refazer a derivação de resultados já publicados (Reproduce) e 43 pedem para alterar as condições teóricas originais e ver se o modelo consegue derivar as consequências (Discover). As questões foram criadas com um fluxo chamado FormulaForest, e cada uma vem com resposta de referência e critérios de avaliação no nível de subquestão.
Os resultados não são tão uniformes. A taxa de acerto por questão inteira de cinco modelos ficou entre 49,21% e 68,25% em Reproduce; em Discover, com execução em modo fechado, a variação foi de 18,60% a 74,42%. Com ferramentas, quatro modelos conseguiram acertar algumas questões a mais em Discover, mas erros conceituais e falhas na cadeia de argumentação continuaram presentes.
O artigo também encontrou outro uso para o FormulaForest: usá-lo como dados sintéticos. No benchmark FrontierScience da OpenAI, a precisão de um modelo Qwen-35B-A3B subiu de 61% para 72%. Como este é um pré-print, ainda sem revisão por pares, esses números devem ser vistos como referência inicial.
$BTC
Os resultados não são tão uniformes. A taxa de acerto por questão inteira de cinco modelos ficou entre 49,21% e 68,25% em Reproduce; em Discover, com execução em modo fechado, a variação foi de 18,60% a 74,42%. Com ferramentas, quatro modelos conseguiram acertar algumas questões a mais em Discover, mas erros conceituais e falhas na cadeia de argumentação continuaram presentes.
O artigo também encontrou outro uso para o FormulaForest: usá-lo como dados sintéticos. No benchmark FrontierScience da OpenAI, a precisão de um modelo Qwen-35B-A3B subiu de 61% para 72%. Como este é um pré-print, ainda sem revisão por pares, esses números devem ser vistos como referência inicial.
$BTC
