一台静音的小盒子，五百一十二个 G 内存，装得下六千七百亿参数的模型，整机耗电不到两百瓦。苹果今年把这个配置从货架上撤了。
撤的时候一声没吭。顶配从五百一十二个 G 砍回两百五十六个 G，库房里就剩这一档。剩下的现货被经销商加价卖，有人报到两万美元。就这。
我琢磨了一晚上。贵只是一层。这一轮 AI 硬件比的压根不是算得快，是先看装不装得下。
一个六千七百亿参数的模型，压到四位精度，光权重就占四百四十八个 G。这四百四十八个 G 得待在离计算单元最近的那层内存里。慢一点还能忍。装不下就是一行报错。真的。就一行。然后什么都不发生。
英伟达最贵的消费卡，显存三十二个 G，任何价位都过不去。想凑够四百四十八个 G，得拿八张卡拼起来，每一层算完再倒回去取下一层，来来回回全堵在那条总线上，卡再多也是干等着，白搭，电表转得飞快，时间全搭进排队里，有实测说那样跑下来每秒两个 token 都不到，整机四百多瓦。这台小盒子是每秒十七八个，两百瓦以内。
快慢是后话。能不能开工才是前话。
当然它也有软肋。喂一段一万六千字的长文档进去，第一个字要等十分钟。你猜它为什么慢。读长文档那一步全靠内存带宽硬扛，扛不过来。短对话没事，半分钟内就开口。所以它干的是装得下大模型那种活，扛并发轮不到它。
那为什么把它撤了。因为内存。
生产一个 G 的 HBM，吃的晶圆面积顶三个 G 的 DDR5。HBM 毛利六成，消费级内存两三成。三家厂控着全球九成五的产量，产能哗哗往 HBM 挪。今年全世界 DRAM 晶圆产能净增，一个点。一个点。还不够塞牙缝。
结果就是价格。十六个 G 的 DDR4，二〇二四年底三块二美元，去年底六十二美元。那会儿谁囤内存，现在都笑。服务器内存合约价今年二季度又涨五成，哪有不涨的道理。惠普说笔记本里内存占物料成本，一年前百分之十五到十八，现在百分之三十五。英伟达那台小机器从三千九百九十九涨到四千六百九十九，涨的是内存，跟芯片关系不大。
很多人以为这波只打到数据中心。其实它已经落到你下一台电脑、下一部手机的账单上，只是还没寄到。
显卡挖矿那几年，同一个门槛收过一次税。
以太坊经典用的还是当年那套算法。它有个文件叫 DAG，每过几万个块长一圈，而且必须整块塞进显存。塞不进去，矿机直接报 Allocation failed，翻译过来就是装不下。今年十月一号，这个文件到了四十六亿三千万字节。四个 G 的卡早就不够用，五个 G 才算起步线。
一批四 G 的卡，算力真不差。它们是被容量判的死刑。当时不少人不服，觉得再优化优化还能挖。优化空间早没了。文件体积跟优化没关系。愣是装不下。
同一条线，六年后走到 AI 这边。这回涨价的东西换了个名字，叫内存。
分布式算力网络这两年卖的故事，是把闲置显卡聚起来，比云便宜。这话只能对一半。一半都不到。聚得起来的是卡数，聚不起来的是单卡容量。一百张二十四个 G 的卡摞在一起，能装下那个四百四十八个 G 的模型吗？装不下。这类网络能接的活有天花板，宽度就卡在每张卡的显存上。反正卡多不等于装得下。
我押明年本地跑模型的门槛只会更高。内存厂的新产能得等到二〇二八年才放量，中间这两年，谁手里有容量谁说话。
苹果会不会在下一代把五百一十二个 G 补回来，一句话都没说过。这事没个准话。真没有。
你要买机器跑模型，先看内存那一栏。算力放后面。顺序别弄反。贴进去的钱就白花了。
$BTC $ETC $TAO
#AI算力 #以太坊经典 #内存
撤的时候一声没吭。顶配从五百一十二个 G 砍回两百五十六个 G，库房里就剩这一档。剩下的现货被经销商加价卖，有人报到两万美元。就这。
我琢磨了一晚上。贵只是一层。这一轮 AI 硬件比的压根不是算得快，是先看装不装得下。
一个六千七百亿参数的模型，压到四位精度，光权重就占四百四十八个 G。这四百四十八个 G 得待在离计算单元最近的那层内存里。慢一点还能忍。装不下就是一行报错。真的。就一行。然后什么都不发生。
英伟达最贵的消费卡，显存三十二个 G，任何价位都过不去。想凑够四百四十八个 G，得拿八张卡拼起来，每一层算完再倒回去取下一层，来来回回全堵在那条总线上，卡再多也是干等着，白搭，电表转得飞快，时间全搭进排队里，有实测说那样跑下来每秒两个 token 都不到，整机四百多瓦。这台小盒子是每秒十七八个，两百瓦以内。
快慢是后话。能不能开工才是前话。
当然它也有软肋。喂一段一万六千字的长文档进去，第一个字要等十分钟。你猜它为什么慢。读长文档那一步全靠内存带宽硬扛，扛不过来。短对话没事，半分钟内就开口。所以它干的是装得下大模型那种活，扛并发轮不到它。
那为什么把它撤了。因为内存。
生产一个 G 的 HBM，吃的晶圆面积顶三个 G 的 DDR5。HBM 毛利六成，消费级内存两三成。三家厂控着全球九成五的产量，产能哗哗往 HBM 挪。今年全世界 DRAM 晶圆产能净增，一个点。一个点。还不够塞牙缝。
结果就是价格。十六个 G 的 DDR4，二〇二四年底三块二美元，去年底六十二美元。那会儿谁囤内存，现在都笑。服务器内存合约价今年二季度又涨五成，哪有不涨的道理。惠普说笔记本里内存占物料成本，一年前百分之十五到十八，现在百分之三十五。英伟达那台小机器从三千九百九十九涨到四千六百九十九，涨的是内存，跟芯片关系不大。
很多人以为这波只打到数据中心。其实它已经落到你下一台电脑、下一部手机的账单上，只是还没寄到。
显卡挖矿那几年，同一个门槛收过一次税。
以太坊经典用的还是当年那套算法。它有个文件叫 DAG，每过几万个块长一圈，而且必须整块塞进显存。塞不进去，矿机直接报 Allocation failed，翻译过来就是装不下。今年十月一号，这个文件到了四十六亿三千万字节。四个 G 的卡早就不够用，五个 G 才算起步线。
一批四 G 的卡，算力真不差。它们是被容量判的死刑。当时不少人不服，觉得再优化优化还能挖。优化空间早没了。文件体积跟优化没关系。愣是装不下。
同一条线，六年后走到 AI 这边。这回涨价的东西换了个名字，叫内存。
分布式算力网络这两年卖的故事，是把闲置显卡聚起来，比云便宜。这话只能对一半。一半都不到。聚得起来的是卡数，聚不起来的是单卡容量。一百张二十四个 G 的卡摞在一起，能装下那个四百四十八个 G 的模型吗？装不下。这类网络能接的活有天花板，宽度就卡在每张卡的显存上。反正卡多不等于装得下。
我押明年本地跑模型的门槛只会更高。内存厂的新产能得等到二〇二八年才放量，中间这两年，谁手里有容量谁说话。
苹果会不会在下一代把五百一十二个 G 补回来，一句话都没说过。这事没个准话。真没有。
你要买机器跑模型，先看内存那一栏。算力放后面。顺序别弄反。贴进去的钱就白花了。
$BTC $ETC $TAO
#AI算力 #以太坊经典 #内存