谷歌云近日开源了TPU Sync，这是一个以原生C++实现的库，用于在TPU高带宽内存（HBM）、主机DRAM、共享存储以及数据中心网络之间迁移KV缓存块和模型权重。该工具旨在简化大规模AI推理与训练场景下的数据调度流程。
在大模型推理过程中，KV缓存会随上下文长度增长而迅速膨胀，超出单颗TPU的HBM容量；模型权重在多节点训练与推理服务间也需频繁同步。TPU Sync通过统一的数据传输接口，将上述数据在存储层级间高效移动，减少因内存不足导致的重新计算或服务中断。
该库以原生C++编写，可直接与现有TPU运行时和框架集成，避免额外抽象层带来的性能损耗。谷歌云未披露具体的性能提升数据，但表示该库面向需要跨设备、跨节点管理内存的开发者与基础设施团队。
此次开源延续了谷歌云在AI基础设施工具链上的开放策略。此前，谷歌已陆续开放多项与TPU相关的运行时和编译工具。TPU Sync的发布有望降低开发者在TPU集群上部署长上下文推理和多节点训练的门槛，并推动围绕TPU生态的第三方工具建设。
随着大模型参数规模和上下文窗口持续扩大，内存与存储之间的数据搬运正成为AI基础设施的关键瓶颈。谷歌云通过开源TPU Sync，将内部使用的高效传输能力开放给社区，其实际采用情况与生态反馈值得后续关注。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
