中国信息通信研究院近日联合人工智能大模型及软硬件评测工业和信息化部重点实验室、中国人工智能产业发展联盟发布《大模型词元服务性能监测报告（2026年）》。报告披露，2026年6月国内词元日均消耗量约500万亿，是2025年12月的近4倍。该报告基于2026年1月至8月的监测数据，围绕调用成功率、吞吐速度、首词时延、稳定性、价格、上下文窗口等维度，对原厂大模型官方平台及DeepSeek、Qwen、GLM、Kimi四款开源模型在第三方平台上的服务性能进行对比分析。
报告显示，国内词元服务吞吐能力较2025年实现翻倍。8月国内各模型平均TPS（每秒输出词元数）达到78.23个/秒，而2025年均值为38.25个/秒。同期国外典型模型TPS均值为112.82个/秒，较2025年12月的51.35个/秒同样提升超过一倍，整体水平仍高于国内。这意味着在推理效率这一核心指标上，国内平台与海外头部服务之间仍存在约三成的差距。
首词时延方面，国内外均呈现上升趋势。8月国内各模型平均TTFT（首词时延）达到1.26秒，高于2025年平均值0.78秒；国外典型模型8月TTFT平均值为2.08秒，较4月的1.04秒亦有明显增加。报告指出，TTFT上升并非单纯的性能退化，而是与模型参数量增加、上下文长度扩展、调用量增长等因素同步发生。在模型能力持续扩张的背景下，时延指标的变化需要结合服务负载与模型规格综合判断。
价格方面，经历过去两年的价格竞争后，2026年词元服务价格明显回升。国内2025年下半年归一化均价为6.8元，2026年以来均价升至13.46元，涨幅接近一倍。国外价格仍显著高于国内，2026年以来发布的典型模型平均归一化价格约为117.8元。价格回升与模型规格提升、推理成本上升相伴发生，也反映出词元服务市场正从单纯的价格竞争转向性能与成本的综合权衡。
上下文窗口的扩张趋势同样显著。被监测模型中，上下文长度达到1M（100万词元）的模型占比47.8％，200K及以上的合计占比达95.7％，较2025年底提高超过76个百分点，低于200K的模型占比持续减少。长上下文正从差异化能力转变为头部模型的基础配置，这对平台的显存调度、推理优化和成本控制提出了更高要求。
开源模型的性能提升是本期监测的重点观察之一。报告显示，5月更新版本的4款开源模型TPS持续提升、TTFT不断压缩，例如8月DeepSeek-V4-Pro的TPS已达到DeepSeek-V3.2的2倍。时延方面，主要模型完成换代升级后TTFT曾出现阶段性上升，随着推理优化措施落地，指标逐步回落至换代前水平。值得注意的是，同一模型在不同平台上的TPS、TTFT、调用成功率表现不一，部分第三方平台性能明显优于官方平台，同一模型跨平台TPS差距最大可接近一倍。报告认为，各平台在推理加速、优化策略、成本控制上的差异，是造成性能分化的主要原因。
从产业层面看，词元服务已成为大模型技术走向应用的关键环节，越来越多MaaS平台厂商通过公有云API方式供给词元服务。但用户对服务性能缺乏直观判断依据，选型面临困难。中国信通院自2025年起持续开展公有云大模型词元服务性能监测，此次报告旨在为用户选型提供参考，并为产业界优化服务能力提供方向指引。随着调用规模继续攀升、模型规格持续扩张，词元服务的性能透明度与跨平台一致性，将成为MaaS市场下一阶段竞争的重要维度。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
