洪元鍾是一位傑出的AI研究人員，曾在Google Brain工作，目前是OpenAI團隊的一員，他發表了一場引人深思的45分鐘演講，探討了2023年大型語言模型的世界。鍾在該領域擁有豐富的經驗；他是Google論文《Scaling Instruction-Finetuned Language Models》的第一作者，該論文研究瞭如何訓練大型語言模型以遵循指令。

洪元鍾，OpenAI

鍾強調廣泛語言模型的世界是動態的。在LLM的世界中，指導原則不斷髮展，與傳統領域的基本假設通常保持穩定形成對比。隨着即將到來的模型一代，當前被認爲不可能或不切實際的事情可能會變得可能。他強調在大多數關於LLM能力的主張前加上“目前”的重要性。一個模型可以執行某個任務；只是它還沒有做到。

今天的大型模型在幾年內將變成小型模型

洪元鍾，OpenAI

在鐘的演講中，AI研究中對細緻文檔和可重複性的需求是最重要的教訓之一。隨着該領域的發展，徹底記錄正在進行的工作至關重要。這一策略確保了實驗可以迅速複製和重新審視，使研究人員能夠在早期工作基礎上進行建設。通過這一實踐，承認未來可能會出現在初始研究期間不切實際的能力。

鍾在演講中 dedicates 一部分時間闡明數據和模型並行性的複雜性。對於那些希望深入瞭解AI技術細節的人來說，這一部分提供了對這些並行化技術內部運作的寶貴見解。理解這些機制對於優化大規模模型訓練至關重要。

鍾認爲，當前用於LLM預訓練的目標函數——最大似然估計在實現真正的大規模時是一個瓶頸，例如達到GPT-4容量的10,000倍。隨着機器學習的發展，手動設計的損失函數變得越來越有限。

鍾建議，AI發展的下一個範式涉及通過獨立算法學習函數。這種方法雖然處於初期階段，但承諾在當前限制之外的可擴展性。他還強調了正在進行的努力，例如基於人類反饋的強化學習（RLHF）與規則建模，作爲朝這個方向邁進的步驟，儘管仍有挑戰需要克服。

今天的大型語言模型將變成小型模型，OpenAI的研究人員首次在Metaverse Post上發表。