DeepSeek 把压箱底的推理引擎开源了。
昨天(10-20)DeepSeek 在 GitHub 发布 DeepInfer,Apache 2.0——这是它线上服务真正跑流量的那套代码,不是 demo。
两个细节最有分量:
第一,昇腾第一次拿到前沿实验室的生产级背书。DeepInfer 首版同时支持 NVIDIA SM100(CUDA 13)和华为 Ascend 950(CANN 9.2)。以前国产算力讲生态都是"能用",这次是 DeepSeek 官方盖章"生产级可用"。
第二,自己打了自己的脸。2025 年 4 月 DeepSeek 自己发文说:考虑过开源完整推理引擎,但决定不开源——和内部耦合太深、没维护带宽。18 个月后,全开源了。
我的判断:
开源模型是给全世界发武器,开源推理引擎是发"生产武器的生产线"——它直接决定谁能低成本跑大模型。
时间点也妙:DHS 刚下令联邦机构移除 DeepSeek 的第二天,它就把引擎开源了。脱钩归脱钩,生态照吃。
冷水先泼在前面:官方数字(单集群日服务 1550 亿 token、缓存命中 96%、首 token 400ms)全是厂商口径,没人独立验证过。先看发布,等实测。
但方向很清楚:推理成本这场战争,开源正在赢。
(链接放评论区)
昨天(10-20)DeepSeek 在 GitHub 发布 DeepInfer,Apache 2.0——这是它线上服务真正跑流量的那套代码,不是 demo。
两个细节最有分量:
第一,昇腾第一次拿到前沿实验室的生产级背书。DeepInfer 首版同时支持 NVIDIA SM100(CUDA 13)和华为 Ascend 950(CANN 9.2)。以前国产算力讲生态都是"能用",这次是 DeepSeek 官方盖章"生产级可用"。
第二,自己打了自己的脸。2025 年 4 月 DeepSeek 自己发文说:考虑过开源完整推理引擎,但决定不开源——和内部耦合太深、没维护带宽。18 个月后,全开源了。
我的判断:
开源模型是给全世界发武器,开源推理引擎是发"生产武器的生产线"——它直接决定谁能低成本跑大模型。
时间点也妙:DHS 刚下令联邦机构移除 DeepSeek 的第二天,它就把引擎开源了。脱钩归脱钩,生态照吃。
冷水先泼在前面:官方数字(单集群日服务 1550 亿 token、缓存命中 96%、首 token 400ms)全是厂商口径,没人独立验证过。先看发布,等实测。
但方向很清楚:推理成本这场战争,开源正在赢。
(链接放评论区)