據週一發佈的一份研究報告稱,斯坦福大學和華盛頓大學的人工智能研究人員完成了一項人們認爲不可能完成的任務——他們以不到 50 美元的雲計算積分構建了一個名爲 s1 的人工智能模型。
據報道,根據數學和編碼測試的基準測試,s1 模型的性能可與頂級推理模型(包括 OpenAI 的 o1 和 DeepSeek 的 R1)相媲美。更棒的是,整個項目都可以在 GitHub 上找到——代碼、數據等。
該團隊首先採用現成的模型,而不是構建新模型。然後,他們通過稱爲提煉的過程對其進行微調。根據他們的研究,他們從 Google 的 Gemini 2.0 Flash Thinking Experimental 模型中提煉出推理能力。
他們通過學習 Gemini 的答案來訓練 s1 模仿它的解決問題的技巧。“我們的目標是簡單化,”參與其中的斯坦福研究人員之一 Niklas Muennighoff 說。
小數據集,大結果
精煉正迅速成爲希望降低成本的 AI 團隊的首選武器。上個月,伯克利研究人員開發了一個類似的 AI 模型,訓練成本爲 450 美元——按行業標準來說仍然很便宜。但斯坦福大學和華盛頓大學更進一步,通過使用較小的數據集和精簡技術精煉模型,將成本降低至約 50 美元。
研究人員精心挑選了 1,000 個問題,每個問題都配有來自 Google Gemini 2.0 的詳細答案和分步推理。這個數據集提供了在高水平上執行所需的所有知識 s1。根據該團隊的論文,該模型學會了如何思考問題。
監督微調 (SFT) 是實現這一目標的關鍵。研究人員沒有使用需要大量數據集和大量計算能力的強化學習,而是選擇了 SFT,這是一種直接訓練 AI 模仿數據集中發現的行爲的方法。這種方法更便宜、更快捷,而且在這種情況下,它確實有效。
基礎模型來自阿里巴巴旗下的人工智能實驗室 Qwen。他們的現成模型可以免費下載,使該項目更加經濟實惠。在不到 30 分鐘的時間內,僅使用 16 個 Nvidia H100 GPU,該團隊就完成了 s1 的訓練。“我們今天可以以大約 20 美元的價格租用必要的計算資源,”Muennighoff 說。
“等待”命令提高了 s1 的準確性
據報道,研究人員採用了一個巧妙的技巧來提高 s1 的推理能力:他們在解決問題時添加了“等待”一詞。通過告訴模型暫停並仔細檢查其工作,他們提高了準確性。研究論文詳細介紹了這一調整如何讓 s1 有足夠的時間在提交答案之前考慮更好的答案。
OpenAI 正在密切關注此事。他們已經指責 DeepSeek 不正當地從他們的 API 中收集數據來構建 AI 競爭對手。由於 s1 展示了複製的廉價性,OpenAI 等大公司並不高興。AI 模型的商品化可能會損害他們的利潤。
但這家科技公司還面臨其他問題。週二,埃隆·馬斯克的法律團隊在奧克蘭聯邦法庭上與 OpenAI 對峙。埃隆是 OpenAI 的早期投資者,他聲稱該公司放棄了非營利使命,背叛了最初的目標。
他起訴的目的是阻止他們轉型爲一家完全盈利的公司。埃隆的律師馬克·託貝羅夫週五告訴法庭,埃隆在 OpenAI 成立至 2018 年期間向其投資了 4500 萬美元,因爲他相信 OpenAI 會始終將公共利益置於利潤之上,就像它最初說的那樣。
法官伊馮娜·岡薩雷斯·羅傑斯稱這是“誇大其詞”,並質疑埃隆在沒有書面合同的情況下爲何會投資那麼多錢。她嘲笑道:“那只是一握手就花掉一大筆錢。”託伯羅夫律師隨後解釋說,埃隆和 OpenAI 的首席執行官薩姆·奧特曼當時關係密切,一切都建立在信任的基礎上。
但案件尚未結束。法官擔心 OpenAI 與微軟的密切關係。領英聯合創始人裏德·霍夫曼 (Reid Hoffman) 和微軟高管迪安娜·鄧普頓 (Deanna Templeton) 是 OpenAI 董事會的兩位關鍵人物。在 2023 年阿爾特曼短暫下臺後,鄧普頓被添加爲無投票權成員,但後來因反壟斷擔憂而被免職。
埃隆希望阻止他們的計劃,並可能通過他自己的 AI 合資企業 xAI 獲得對公司的更多控制權,他將 xAI 列爲本案的原告。OpenAI 辯稱,埃隆的請求將削弱其業務,並且是基於“牽強附會”的指控。
Cryptopolitan Academy:如何撰寫一份能獲得面試機會的 Web3 簡歷 - 免費備忘單
