百度开源文心5.5 Flash Base,总参数2800亿。
这是ERNIE 5.5 Flash Base,采用MoE架构,每个Token激活140亿参数,预训练用了33.5万亿个Token,预训练上下文长度最高128K;微调和推理阶段支持最长100万Token上下文。
· 素材只给了模型规格,没有给出开源协议、评测成绩或权重下载方式。
#百度 #开源大模型
100万Token上下文,你会先拿去试长文档,还是试代码仓库?
这是ERNIE 5.5 Flash Base,采用MoE架构,每个Token激活140亿参数,预训练用了33.5万亿个Token,预训练上下文长度最高128K;微调和推理阶段支持最长100万Token上下文。
· 素材只给了模型规格,没有给出开源协议、评测成绩或权重下载方式。
#百度 #开源大模型
100万Token上下文,你会先拿去试长文档,还是试代码仓库?
