Linkerd 背后的公司 Buoyant 以 Apache 2.0 许可开源了 Kinference，一个面向 Kubernetes 与 vLLM 的推理控制面。它监听 vLLM 的 KV-cache 事件与引擎指标，据此在多个推理端点之间做策略路由与负载均衡，对外暴露兼容 OpenAI 聊天补全格式的 gRPC 接口。配置通过 Kubernetes CRD 管理，配套的 kinfctl 命令行工具可以在策略下发前做校验，底层复用了英伟达的 dynamo-kv-router 缓存事件库。
它解决的问题在团队跑起第二个 vLLM 端点之后立刻出现。请求的上下文长度差异极大，缓存复用率各不相同，而原生 Kubernetes 服务对 KV-cache 的位置一无所知，多租户策略往往散落在临时脚本里。Kinference 把“哪个副本缓存命中率更高”变成路由决策的一部分，Buoyant 自己的基准称中位首字延迟相比原生 K8s 服务最多降低 95%，但这是厂商数据，尚无第三方复现，只能作为方向性参考。
项目目前明确处于 alpha 阶段：尚不支持 Anthropic 风格的 /v1/messages 调用、限流、语义分类器与多副本运行。但这不影响它代表的方向。开源模型的部署正从单机试验走向多租户集群，而集群运营工具决定了自建能否在成本上跟托管 API 竞争。权重、推理运行时之后，路由与策略层正在成为开源自建栈的第三块拼图。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
