京东广告与华为鲲鹏团队合作，基于鲲鹏超节点方案对广告推理系统进行改造，将端到端推理时延降低15％。在华为全联接大会2026鲲鹏计算产业峰会上，京东零售广告产研部相关负责人披露了这一合作成果，涉及创新组网、KV Cache两级缓存与RPC通信改造三个层面。
京东广告业务面临的时延约束极为严格。京东给全链路的时延预算是300毫秒，留给广告模型推理的部分只有20到100毫秒，超出该窗口用户滑动页面时便会感知卡顿。与此同时，京东广告系统正从深度学习迁移至生成式推荐范式，行为上下文增长10倍、模型结构放大约100倍、算力需求提高约1000倍，而机房扩容周期按季度计，两者之间的落差构成搜广推行业的共性难题。
京东零售广告产研部算法应用相关负责人表示，传统智算超节点聚焦纯GPU/NPU，但实际业务流程中数据预处理、数据检索与业务逻辑嵌入大量运行在通算上，CPU资源不足成为真正制约。此外，时延压力主要来自两方面：一是KV Cache，行为序列超过1K后容量需求急剧放大，传统片上内存、本地DDR、本地SSD、远端Redis四级缓存难以同时满足快、大、稳定三项要求；二是RPC通信，每次用户请求至少建立几十个RPC服务调用，通信耗时占整体时延20％以上。
针对上述问题，双方合作在三个层面展开。创新组网方面，基于灵衢互联实现4K节点ScaleUp组网，单超节点支持150万以上vCPU，每节点互联带宽3.2Tb，具备大规模、大带宽、不收敛、高可用特性。KV Cache方面，通过灵衢协议将数十至数百台机器连成300TB共享内存池，取消远端数据库与本地SSD两级，仅保留片上内存与DDR两级，缓存间时延下降3个量级，带宽达TCP的16倍，8MB并发请求TP99时延下降85％以上。RPC通信方面，跳过传统网络协议栈直连URMA，时延开销降低38％，通信用内存降低100倍，1MB数据包时延下降84％。
京东广告业务日请求量达千亿级，覆盖超7亿年度活跃用户，平台上70％的商家同时为广告主。在生成式推荐带来两位数收入提升空间的背景下，算力成本与时延窗口共同构成业务扩张的硬约束。此次合作将端到端推理时延降低15％，为生成式广告的规模化落地提供了可复用的基础设施路径，也显示出超节点方案在搜广推场景中承接CPU侧数据处理与内存池化需求的可行性。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
