Epoch AI新推出推理指数,GB300 NVL72在该指数上大幅领先H100。
据Crypto Briefing报道,这套指数衡量的是推理场景,而非训练。报道强调的重点是内存和通信,而非原始算力,这也是该指数想区分的维度。素材未给出具体分数、测试模型或两者的差距倍数。
· 在推理任务里,系统集成度可能比单卡算力更能解释差距,这是该报道给出的判断框架,不是实测细节。
· 该指数是Epoch AI自建方法,横向比较其他芯片时口径需以其公布的方法为准。
如果只看推理成本,你会先比内存带宽还是卡间通信?
据Crypto Briefing报道,这套指数衡量的是推理场景,而非训练。报道强调的重点是内存和通信,而非原始算力,这也是该指数想区分的维度。素材未给出具体分数、测试模型或两者的差距倍数。
· 在推理任务里,系统集成度可能比单卡算力更能解释差距,这是该报道给出的判断框架,不是实测细节。
· 该指数是Epoch AI自建方法,横向比较其他芯片时口径需以其公布的方法为准。
如果只看推理成本,你会先比内存带宽还是卡间通信?
