據 Pinplay 10 月 19 日報道，Arxiv 頁面顯示，微軟研究院聯合中國科學院大學、清華大學聯合發佈論文，公佈了可擴展且穩定的 1-$BIT$ Transformer 架構 BitNet 架構。 BitNet 是爲大型語言模型而設計的。研究團隊表示，爲了訓練1位權重，團隊將BitLinear引入爲nn。 $LINEAR$ 層的替代方案。實驗結果表明，BitNet 在語言建模任務中實現了具有競爭力的性能，同時顯着減少了內存佔用和能耗。此外，BitNet 提出了類似於全精度 Transformer 的縮放定律，表明它有潛力擴展到更大的語言模型，同時保持效率和性能優勢。

#比特幣#微軟
#axs #zkevm #etf #享受#crypto2023 #cryptonews