10 月 17 日消息,据 AI Market Watch 报道,WEKA 面向大模型推理场景推介共享 Flash KV Cache 方案,试图用闪存层承接原本占用 GPU 显存的 KV Cache,减少推理过程中的重复计算。
据厂商披露,该方案在同等 GPU 配置下可将并发用户数提升 7 倍,Token 产出由 20 万提升至 200 万。WEKA 将这一能力定位为「以存储换算力」:把长上下文与多轮对话产生的 KV Cache 下沉到共享闪存池,让 GPU 显存专注于计算本身,同时支持多个推理实例共享同一份缓存。
需要说明的是,上述性能数字来自 WEKA 官方技术博客与产品页,属于厂商自述,暂未见第三方独立验证。对企业的现实意义在于,推理成本正取代训练成本成为大模型落地的第一道门槛,存储厂商由此获得了切入 AI 基础设施的新入口;但共享缓存的命中率、时延与一致性在真实生产负载下表现如何,仍需更多公开测试佐证。(来源:AI Market Watch,2026-10-17)
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。