谷歌於2025年4月宣布第七代張量處理單元(TPU),代號為鐵木。
鐵木專為推理工作負載(即運行訓練好的模型)而設計,而不是主要用於訓練它們。
主要技術亮點包括:
大規模配置:最多可達9,216顆晶片的集群。
性能聲稱:一個大型配置(9,216顆晶片)可以提供約42.5 exaFLOPS(在其指定度量中)的計算能力。
內存與互連:大型共享HBM(高帶寬內存)容量和先進的芯片間互連網絡,以最小化延遲與數據移動。
谷歌將這款晶片定位為其雲基礎設施的“AI超級計算機”架構的一部分。
此次發布旨在支持大型語言模型(LLMs)、專家混合(MoE)模型以及推理/推斷重的工作負載,而不僅僅是粗暴的訓練。
#goggle