11月16日消息,WEKA 与 NAND Research 联合发布“推理经济性记分卡”,用 9 项指标替代 GPU 利用率作为衡量推理基础设施的核心标准,并在 Nebius 的 HGX B300 集群上完成了 8 小时基准测试。该研究在 SC26 现场发布。
GPU 利用率长期被当作 AI 基础设施的健康指标,但它只衡量设备有多忙,不衡量产出是否划算。推理与训练的成本结构不同:训练是一次性的大额投入,推理是持续发生的运营支出,受模型规模、上下文长度、批大小、缓存命中率与电力价格的共同影响。记分卡把这 9 项指标组合成可比的口径,目标是把“卡跑满”换成“每个 token 花多少钱”。
对存储厂商而言,这份研究的立场并不中立:推理性能越来越受制于数据供给路径,KV Cache 的落盘与复用、模型权重的加载速度、向量检索的延迟都会直接体现在单位 token 成本上。把评价体系从算力利用率转向端到端经济性,等于把存储从“配套设施”抬到“成本变量”的位置。(来源:PR Newswire,WEKA 官方发布)
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。