Tether AI Researchは、合成データセット「QVAC Genesis III」をリリースしました。このデータセットには191.43 billionトークン、159.6 million件のドキュメントが含まれており、19のSTEM分野をカバーしています。このデータセットは、科学・技術・工学・数学の領域で、ノートPCやスマートフォンなどのローカル端末上で動作できる小型AIモデルの性能を向上させることを目的としています。

Foresight Newsによると、このデータセットは2つの手法を用いています。1つ目は失敗分析、2つ目は選択肢レベルの推論です。1つ目では、より強力な教師モデルが学生モデルの誤った推論を分析し、正解を提示します。2つ目では、正解が正しい理由と、他の選択肢が誤りである理由を説明します。

テストでは、Cosmopedia-v2の同一トークン規模で学習したモデルと比較して、Genesis IIIの全コーパスで学習したモデルは、ARC-Easyで28.57ポイント、ARC-Challengeで21.35ポイント、MMLU STEMで15.03ポイントそれぞれ改善したことが示されました。関連論文はCOLM 2026カンファレンスで採択されています。