Baidu veröffentlicht ERNIE 5.5 Flash als Open Source: 280 Milliarden Parameter, 14 Milliarden pro Token aktiviert
Baidu hat ERNIE 5.5 Flash veröffentlicht und die Gewichte freigegeben. Das Modell verfügt über insgesamt 280 Milliarden Parameter, von denen pro Token 14 Milliarden aktiviert werden. Fine-Tuning und Inferenz unterstützen einen Kontext von 1 Million Tokens.
Bei der freigegebenen Version handelt es sich um die Base-Version, die noch kein Mid-Training und Post-Training durchlaufen hat. Eine post-trainierte Version soll später folgen. Entwickler sollten außerdem die Lizenzbedingungen beachten: Dazu gehören geografische Ausschlüsse, eine Schwelle von 50 Millionen US-Dollar beim relevanten Umsatz innerhalb eines zusammenhängenden Zeitraums von 12 Monaten sowie die Vorgabe, „Powered by ERNIE“ anzuzeigen.
Die Frage ist, wo bei solchen Modellen mit vielen Parametern und sparsamer Aktivierung nach Freigabe der Gewichte die Kostengrenzen für den lokalen Betrieb und die Weiterentwicklung liegen.
Die genauen Angaben und Lizenzbedingungen finden Sie in der Abbildung.
#btc #crypto #ERNIE
Baidu hat ERNIE 5.5 Flash veröffentlicht und die Gewichte freigegeben. Das Modell verfügt über insgesamt 280 Milliarden Parameter, von denen pro Token 14 Milliarden aktiviert werden. Fine-Tuning und Inferenz unterstützen einen Kontext von 1 Million Tokens.
Bei der freigegebenen Version handelt es sich um die Base-Version, die noch kein Mid-Training und Post-Training durchlaufen hat. Eine post-trainierte Version soll später folgen. Entwickler sollten außerdem die Lizenzbedingungen beachten: Dazu gehören geografische Ausschlüsse, eine Schwelle von 50 Millionen US-Dollar beim relevanten Umsatz innerhalb eines zusammenhängenden Zeitraums von 12 Monaten sowie die Vorgabe, „Powered by ERNIE“ anzuzeigen.
Die Frage ist, wo bei solchen Modellen mit vielen Parametern und sparsamer Aktivierung nach Freigabe der Gewichte die Kostengrenzen für den lokalen Betrieb und die Weiterentwicklung liegen.
Die genauen Angaben und Lizenzbedingungen finden Sie in der Abbildung.
#btc #crypto #ERNIE
