スタンフォード大学とワシントン大学のAI研究者たちは、誰もが不可能だと思っていたことを達成したとされています。月曜日に発表された研究報告によると、彼らは50ドル未満のクラウドコンピューティングクレジットでs1というAIモデルを構築しました。

s1モデルは、数学とコーディングテストのベンチマークによると、OpenAIのo1やDeepSeekのR1を含むトップティアの推論モデルと同等のパフォーマンスを提供すると報じられています。さらに良いことに、全プロジェクトがGitHubで利用可能です—コード、データ、すべて。

チームは新しいものを構築するのではなく、市販のモデルを取得することから始めました。そこから、蒸留と呼ばれるプロセスを通じて微調整しました。彼らの研究によれば、GoogleのGemini 2.0 Flash Thinking Experimentalモデルから推論能力を蒸留しました。

彼らはs1をGeminiの問題解決技術を模倣するように訓練しました。スタンフォードの研究者の一人であるニクラス・ムエニホフは「私たちはシンプルさを目指しました」と述べました。

小さなデータセット、大きな結果

蒸留は、コスト削減を目指すAIチームにとって急速に選ばれる武器となりつつあります。先月、バークレーの研究者によって開発された同様のAIモデルの訓練コストは450ドルでしたが、業界基準では依然として安価です。しかし、スタンフォード大学とUWは一歩進め、より小さなデータセットと合理化された技術を用いて約50ドルにコストを削減しました。

研究者たちは、GoogleのGemini 2.0から詳細な回答と段階的な推論が付いた1,000の質問を厳選しました。このデータセットは、s1が高いレベルでパフォーマンスを発揮するために必要なすべての知識を提供しました。チームの論文によれば、モデルは問題を考える方法を学びました。

教師付きファインチューニング、またはSFTは、これを機能させるための重要な要素でした。巨大なデータセットと大量の計算能力を必要とする強化学習の代わりに、研究者たちはSFTを選びました。これは、AIがデータセットに見られる行動を模倣するように直接訓練される方法です。これにより、コストが低く速くなり、今回のケースでは成功しました。

ベースモデルはアリババが所有するAIラボQwenから来ました。彼らの市販のモデルは無料でダウンロードでき、プロジェクトの予算に優しいものになりました。30分以内に、16台のNvidia H100 GPUを使用して、チームはs1の訓練を終えました。「私たちは今日約20ドルで必要なコンピュートをレンタルできる」とムエニホフは言いました。

「待て」コマンドがs1の精度を向上させました

研究者たちは、s1の推論を改善するための巧妙なトリックを含めたと報告されています：問題解決中に「待て」という言葉を追加しました。モデルに一時停止して作業を再確認するように指示することで、精度が向上しました。研究論文は、この調整がs1に提出する前により良い答えを考えるための十分な時間を与えた方法を詳細に説明しています。

OpenAIは注意深く見守っています。彼らはすでにDeepSeekが自社のAPIから不正にデータを収集してAI競合を構築したと非難しています。s1がいかに安価に複製できるかを示しているため、OpenAIのような大手企業は喜んでいません。AIモデルのコモディティ化は、彼らの利益に悪影響を及ぼす可能性があります。

しかし、そのテクノロジー企業には他の問題があります。火曜日、イーロン・マスクの法的チームはオークランドの連邦裁判所でOpenAIと対立しました。OpenAIの初期投資家であるイーロンは、同社が非営利の使命を放棄し、元の目標を裏切ったと主張しています。

彼は、彼らが完全に営利企業に移行するのを阻止するために訴訟を起こしています。イーロンの弁護士マーク・トベロフは金曜日に法廷で、イーロンがOpenAIの設立から2018年の間に4,500万ドルを投資したのは、常に公益を利益よりも優先すると信じていたからだと述べました。最初に言った通りに。

判事イボンヌ・ゴンザレス・ロジャースはそれを「伸ばし」と呼び、イーロンがなぜ書面契約なしでそんなに多くのお金を投資するのか疑問を呈しました。「それは単なる握手での多額の金額です」と彼女は嘲笑しました。弁護士トベロフは、イーロンとOpenAIのCEOサム・アルトマンが当時密接な関係にあり、すべてが信頼に基づいて築かれていたと説明しました。

しかし、事件はまだ終わっていません。裁判官はOpenAIとMicrosoftの密接な関係を懸念しています。2人の重要なプレーヤーであるLinkedInの共同創設者リード・ホフマンとMicrosoftの幹部ディアナ・テンプルトンがOpenAIの取締役会に関与していました。テンプルトンは、2023年のアルトマンの短期間の解任後に非投票メンバーとして追加されましたが、後に独占禁止法の懸念により削除されました。

イーロンは彼らの計画を止めたいと考えており、自らのAIベンチャーであるxAIを通じて会社へのコントロールをより多く得る可能性があります。OpenAIは、イーロンの要求が同社の事業を麻痺させ、非常に「非現実的な」主張に基づいていると主張しています。

Cryptopolitan Academy: インタビューを獲得するためのWeb3履歴書の書き方 - 無料チートシート