WEKA推出共享Flash KV Cache方案 并发用户提升7倍

当推理成本成为企业部署大模型的第一道门槛,把 KV Cache 从 GPU 显存搬到共享闪存,成了存储厂商切入 AI 的一条新路径。

10 月 17 日消息,据 AI Market Watch 报道,WEKA 面向大模型推理场景推介共享 Flash KV Cache 方案,试图用闪存层承接原本占用 GPU 显存的 KV Cache,减少推理过程中的重复计算。

据厂商披露,该方案在同等 GPU 配置下可将并发用户数提升 7 倍,Token 产出由 20 万提升至 200 万。WEKA 将这一能力定位为「以存储换算力」:把长上下文与多轮对话产生的 KV Cache 下沉到共享闪存池,让 GPU 显存专注于计算本身,同时支持多个推理实例共享同一份缓存。

需要说明的是,上述性能数字来自 WEKA 官方技术博客与产品页,属于厂商自述,暂未见第三方独立验证。对企业的现实意义在于,推理成本正取代训练成本成为大模型落地的第一道门槛,存储厂商由此获得了切入 AI 基础设施的新入口;但共享缓存的命中率、时延与一致性在真实生产负载下表现如何,仍需更多公开测试佐证。(来源:AI Market Watch,2026-10-17)

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
研究显示AI代理参与竞争可能削弱价格发现与人才筛选功能
上一篇 1小时前
商务部科技部拟修订技术出口目录,AI与生物医药等40项技术纳入管制
下一篇 1小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部