19 Oktyabr tarixli Pinplay hesabatına görə, Arxiv səhifəsi Microsoft Research, Çin Elmlər Akademiyası və Tsinghua Universiteti ilə birlikdə bir məqalə yayımladığını və miqyaslana bilən və sabit 1-$BIT$ Transformer arxitekturası BitNet arxitekturasını təqdim etdiyini göstərir. BitNet böyük dil modelləri üçün nəzərdə tutulmuşdur. Araşdırma qrupu 1-bit çəkisini öyrətmək üçün BitLinear-i nn olaraq təqdim etdiyini bildirdi. $LINEAR$ layihəsinə alternativdir. Eksperimental nəticələr göstərir ki, BitNet dil modelləşdirmə tapşırıqlarında rəqabətqabiliyyətli performans əldə edir, eyni zamanda yaddaş izini və enerji istehlakını əhəmiyyətli dərəcədə azaldır. Bundan əlavə, BitNet tam dəqiqlikli Transformers-in miqyaslama qanununa bənzər bir qanun təqdim edir, bu da onun daha böyük dil modellərinə miqyaslana biləcəyini, eyni zamanda səmərəliliyi və performans üstünlüklərini qoruyaraq göstərir.

#bitcoin #microsoft
#axs #zkevm #etf #enjoy #crypto2023 #cryptonews