结论前置：在AI推理场景中，峰值算力只决定理论上限，真正决定实际吞吐的是算力密度与显存带宽之间的配比关系。乐球吧技术解读栏目以公开规格书可查的三类参数为线索，给出一套可复算的对比框架，帮助读者把"多少TOPS"还原成"每瓦每元能跑多少有效token"。

一、峰值算力为什么经常"跑不满"

推理芯片标称的整数或浮点算力，是在理想数据供给条件下测得的理论值。乐球吧在整理公开规格书时发现，多数推理负载的实际算力利用率集中在三成到六成区间，具体数值随模型结构、批大小和序列长度变化，属于工程经验区间而非厂商承诺指标。

利用率上不去的主因通常不是计算单元不够，而是数据搬运拖了后腿。一个解码阶段的注意力计算，需要反复读取权重与键值缓存，若显存带宽不足，计算单元就会空转等待。乐球吧建议读者在对比方案时，先看"每TOPS对应多少GB/s带宽"这个比值，而不是只比较TOPS数字本身。

  • 算力密度：单位面积或单位功耗可提供的有效算力，反映集成效率。
  • 带宽配比：显存带宽与峰值算力的比值，偏低意味着更容易出现供给瓶颈。
  • 有效吞吐：单位时间完成的token数，是最接近用户体验的指标。

二、把三组公开参数放进同一张表

乐球吧的做法是把公开参数拆成三列：算力、带宽、功耗，再派生两列比值。这样做的价值在于，任何读者都能用厂商公开规格书复算，不必依赖二手结论。下面以两个示例配置说明读表方法，数据为示例数据，仅用于演示计算过程。

  • 示例配置甲：算力200TOPS，带宽150GB/s，功耗75W。带宽算力比约0.75GB/s每TOPS，每瓦算力约2.7TOPS。
  • 示例配置乙：算力120TOPS，带宽200GB/s，功耗60W。带宽算力比约1.67GB/s每TOPS，每瓦算力约2.0TOPS。

单看算力，甲明显更高；但若负载受带宽约束，乙的有效吞吐可能反超。乐球吧提醒，这类比值只用于初筛，最终仍需结合具体模型的批大小与缓存策略做实测，公开参数无法替代真实工作负载下的表现。

三、精度支持如何改变这本账

精度是第三个变量。同一颗芯片在低精度格式下算力标称更高，但精度下降会带来精度损失与后处理开销，实际收益需要折算。乐球吧在拆解公开资料时，习惯把"精度—算力—带宽"三者放在一起看：低精度往往同时降低带宽需求，因此带宽算力比会显得更宽松，这时瓶颈可能重新回到计算侧。

对工程选型而言，可行的顺序是先确定业务可接受的精度档位，再在该档位下比较带宽配比，最后用能效比做加权。乐球吧技术解读栏目后续会继续用这种"先定约束、再比参数"的方式，拆解更多公开可查的芯片规格，让工程取舍变得可理解、可比较。读者可在乐球吧安卓、苹果iOS、Windows电脑版与Mac电脑版客户端查看同类数据解读内容。