开源KV缓存技术LMCache的创建团队Tensormesh近日宣布推出Tensormesh Platform，定位为AI推理的数据管理层。该平台是一款多层级、可扩展的KV缓存管理软件，可通过企业级Kubernetes部署方案跨基础设施运行。Tensormesh表示，这是首个面向企业级、且兼容任意LLM、推理编排软件及存储厂商的KV缓存管理产品。
KV缓存是大模型推理过程中的一项关键优化技术。在生成式AI应用中，模型需要根据用户输入的提示词（Prompt）逐Token生成回复，而每次生成都需要对已有上下文进行注意力计算。如果每次请求都从头计算，GPU将大量重复处理相同内容，造成算力浪费和响应延迟。KV缓存通过将已计算的键值对存储下来供后续复用，能够显著减少重复计算。
Tensormesh首席执行官Junchen Jiang表示：“LLM工作负载会无休止地重复计算相同的上下文，这浪费了GPU时间并推高了首Token延迟。Tensormesh Platform解决了这些代价高昂的问题，将生产级KV缓存复用带入企业本地推理栈，并使其能够在集群规模上实现运营化。”
根据官方介绍，Tensormesh Platform包含企业在生产环境中运行KV缓存所需的管理能力。在安全层面，平台可保护跨各层级缓存的数据；在可观测性层面，提供对缓存性能的实时可见性；在韧性层面，通过高可用机制确保推理工作负载在故障期间保持稳定；在策略管理层面，控制缓存数据的存储、共享和淘汰方式；在多租户层面，租户管理功能允许组织在共享基础设施上服务多个团队或客户，同时确保每个租户的数据隔离和治理。
在缓存能力方面，该平台提供多项核心功能。分层缓存支持在HBM、CPU和存储层之间自动管理KV缓存；前缀缓存（Prefix Caching）可复用提示词开头部分已计算的KV缓存；非前缀缓存（CacheBlend）则能够复用提示词中任意位置已计算的数据块，而不仅限于开头部分，这使其特别适合RAG（检索增强生成）场景；点对点KV传输功能支持直接从集群中任意节点获取KV缓存；高级缓存控制允许用户通过控制器API按工作负载或全集群范围对缓存条目进行固定、查找、移动、压缩和清除操作。
Nebius高级软件工程师Patrick Lundquist表示：“Tensormesh在我们的P2P KV缓存传输和韧性基准测试中，跨多个模型交付了强劲的结果。我们期待看到他们继续推动生态向前发展。”
SUSE AI业务总经理Rhys Oxenham表示：“客户面临着通过AI驱动效率和管理AI基础设施成本的双重巨大压力。Tensormesh与基于我们开放基础设施平台的SUSE AI Factory的结合，使组织能够同时实现这两个目标。”
当前，大模型推理成本已成为企业部署AI应用的核心关切之一。随着模型规模持续扩大和调用量增长，推理阶段的算力开销在整体AI基础设施支出中的占比不断上升。KV缓存优化被视为降低推理成本的重要技术路径之一，其核心思路是避免对相同上下文的重复计算，从而提升GPU利用率、降低首Token延迟。
Tensormesh由LMCache团队创建，后者自称为全球排名第一的开源KV缓存技术。此次推出企业级平台产品，标志着该团队从开源项目向商业化企业服务的延伸。该平台支持与任意LLM、推理编排软件和存储厂商配合使用，这一开放性策略有助于降低企业的采用门槛，避免供应商锁定问题。
从行业角度看，AI推理优化正在成为企业服务领域的一个重要细分方向。随着越来越多企业将大模型从试验阶段推进到生产部署，推理效率、成本和稳定性成为决定AI应用能否规模化落地的关键因素。Tensormesh Platform的发布，反映出KV缓存管理正从技术研究走向企业级产品化，也表明AI基础设施层的竞争正在从模型训练向推理环节延伸。
Paul Nashawaty指出：“AI已经超越了模型挑战，现在它是一项基础设施和应用开发挑战。”这一判断与当前行业趋势一致：模型能力逐渐趋同后，如何高效、低成本地将AI能力交付到生产环境，正成为企业关注的重点。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
