OpenBMB 新发布的 MiniCPM-V 4.7,35B-A3B 版本在团队公布的测试里,iPhone 17 Pro Max 上每秒能生成13个以上 token,运行内存约3GB。

这个3GB说的是运行内存,模型文件还要单独留存储空间。它会提前加载接下来可能用到的模型权重,少花时间等数据。