在2026秋季央国企CIO及数科公司高管峰会上，硅基流动解决方案总监唐安波分享了公司在央国企大模型规模化落地方面的推理基础设施与ROI实践，提出“Token生产力=产能×利用率×交付质量”的核心公式，试图打通从算力到Token之间的转化层。
当前AI应用处于爆发式增长早期，Token消耗量呈指数级增长，模型架构与算力架构持续演进。硅基流动的定位是做好模型与算力之间的多重适配：一方面将算力统一纳管，另一方面通过自研推理引擎提升模型运行效率。公司既在公有云端建设Token工厂，也帮助央国企在内部构建自有Token工厂。
在架构层面，硅基流动设计了模型网关、模型服务平台、高性能推理框架与算力调度四层解耦体系。模型网关承担计量、计费、鉴权等基础工作，并支持按响应时间、性能优先或成本优先等目标进行路由调度；模型服务平台集成部署与运维最佳实践，已适配近百款模型，支持一键拉起；推理框架层面与算力厂商合作自研算子库与通信库，例如与华为云推出基于国产芯片的DeepSeek R1/V3 Token服务，在DeepSeek-R1上实现单卡Decode吞吐量超过1920 tokens/s，并在沐曦曦云C550集群上部署Kimi-K2商业化服务、在摩尔线程MTT S5000芯片上部署DeepSeek-V3。
算力调度环节则通过弹性扩缩容与运营手段配合降低成本。唐安波举例称，央国企面向分子公司提供模型服务时，可在内部结算中采用分时定价，白天常规定价、夜间折扣，引导部分业务在夜间运行，同时基于请求队列与性能指标动态调整模型实例。
在具体案例中，某央国企集团原有约50台机器，各分子公司以“租机器”方式各自部署模型，模型实例多达四五十个，但整体算力利用率很低。硅基流动与客户协同重构，将重复模型收敛至约十个，把按机器分配资源改为Serverless模型服务，统一通过API调用。调整后，同样约50台机器得以腾出资源部署GLM-5.2、DeepSeek-V4-Flash-0731等大参数模型，单并发到较多并发测试中输出速度保持在30 tokens/s以上，相同模型对比测试取得40％至100％的性能提升。原先一个Qwen模型的每百万Token成本从一百多元降至十元以下。
随着Agent规模化落地，应用层与基础设施层之间的脱节问题逐渐显现。唐安波以Coding场景为例指出，代码仓库持续迭代，上下文构造方式直接影响缓存命中率——构造得当可使约九成内容命中缓存，否则动辄数十万Token的输入将消耗大量算力，应用与基础设施需要共同优化以进一步提升ROI。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
