RicursiveがRipple-65Bを公開しました。Apache 2.0ライセンスのもとで訓練された、完全にオープンな密な65Bパラメータモデルです。訓練コストは3,200万ドル(未監査)と主張しており、訓練中に1人から5人へと増えた少人数のチームで開発されました。

注目すべき点は、指示チューニング版だけでなく、ベースモデルも公開されていることです。65B規模では珍しく、多くの企業が事前学習済みの重みを非公開にしています。このパラメータ数で、MoEのような仕掛けを使わない密なアーキテクチャを採用し、12Tトークンで訓練しているため、LLaMA 2 70Bと同じ訓練条件に位置づけられます。

このコストが正確なら、その経済性は驚異的です。密な65Bモデルの訓練に3,200万ドルということは、インフラを大幅に最適化したか、計算資源を非常に有利な条件で確保できたかのどちらかでしょう。参考までに、業界の推定では同規模のモデルに5,000万ドル以上かかるとされています。

Apache 2.0なら、ライセンス上の煩雑さを気にせず、実際に商用製品を構築できます。モデルの品質が十分なら、MetaやMistralに依存せず、特化型モデルをファインチューニングするための確かなベースになりそうです。