Baidu đã công khai mã nguồn ERNIE 5.5 Flash Base, mô hình nền tảng sử dụng kiến trúc MoE với tổng cộng 280 tỷ tham số và 14 tỷ tham số được kích hoạt cho mỗi token.

Mô hình được tiền huấn luyện trên 33,5 nghìn tỷ token, với độ dài ngữ cảnh lên tới 128.000 token trong giai đoạn này.

Trong quá trình tinh chỉnh và suy luận, ERNIE 5.5 Flash Base hỗ trợ ngữ cảnh lên tới 1 triệu token.

Nguồn: https://tintucbitcoin.com/baidu-chinh-thuc-mo-ma-nguon-ernie-5-5-flash-base/

Cảm ơn các bạn đã đọc bài viết này!

Hãy Like, Comment và Follow TinTucBitcoin để luôn cập nhật những tin tức mới nhất về thị trường tiền điện tử và không bỏ lỡ bất kỳ thông tin quan trọng nào nhé!

$BTC $ETH $BNB $XRP $SOL