硅谷风险投资机构门罗风投(Menlo Ventures)发布的《2026年企业AI现状报告》显示,美国企业用于开源模型的支出中,89%流向了中国模型。其中Kimi占61%,DeepSeek占15%,GLM占11%。这一数据被市场解读为国产大模型依靠性能与定价优势抢占海外开发者预算的直接证据。但同一份报告中还有另一组值得对照的数字:开源模型在Token使用量上已占据接近五分之一的份额(19%),实际却仅占企业模型总体支出的4%,绝大部分企业AI预算依然流向闭源大模型。
这意味着89%是一份浓度较高但体量有限的份额。体量本身并非核心问题,真正的变化在于成本结构。售卖词元表面是出售算力,本质却是交付状态,而状态并不依附算力,它落脚于内存与存储,这正是本轮涨价压力最集中的元器件领域。矛盾由此显现:收入按词元核算,成本却跟随GB增长。
当市场紧盯各大聚合平台持续更新的Token调用榜单、热议国产大模型在海外开源市场的份额之争时,多数分析仍将叙事锚定在模型能力与报价优势上,默认这终究是一门“算力换Token”的生意。这套理解在传统对话场景中尚可自洽,但在当下撑起海外新增流量的Agent任务里,负载的底层逻辑正在出现分化。
传统对话推理对应的资源模型足够直观:用户发起提问,推理集群完成计算并返回内容;一轮对话收尾、会话关闭,本次请求占用的缓存资源随之释放,硬件回归空闲。服务商可以依托Token总量估算成本,在集群利用率尚有空间时,吞吐越高越有机会摊薄单位开销,低价跑量和以规模换利润的逻辑因而能够自洽。
而海外聚合渠道里拉动增量的流量主力,正在从零散的人机对话转向具备自动化链路的Agent任务。这类负载的资源节奏与普通问答存在明显分化:任务启动阶段,部分场景需要灌入几十万Token级别的前置文档与批量业务数据;之后进入数十轮链式工具调用,持续检索、读取外部信息;整个会话可能挂起数小时乃至更久,同一份前置上下文会被反复复用。更关键的是,在没有主动关闭会话的前提下,这部分上下文缓存会持续占用资源。模型持续生成新Token,只是追加缓存,并不会自动将这部分占用释放回资源池。
随着长会话Agent流量占比上升,约束点也在切换:比拼的不只是推理速度,系统可同时支撑的常驻会话上限成为新的紧约束。厂商对外宣传的百万级上下文窗口,更多是面向客户的产品卖点;落到机房的资源账面上,它意味着一旦会话把窗口用起来,每一路活跃并发都可能需要预留数十GB的HBM空间,用来承载持续在线的会话状态。市面上的KV量化、MLA以及各类缓存压缩技术,都在试图压低单会话的显存开销、抬升集群可承载的并发规模,但这些技术本质上只是优化单位成本,很难绕开底层约束:只要会话处于可随时响应的活跃状态,其核心状态数据就需要驻留在高速存储里。
本轮词元流量的扩张,核心增量不完全来自新生成的输出文本。万亿级调用量容易制造一种错觉,即增长来自源源不断的新内容生成。实际上,有相当一部分流量增长对应的是集群里持续堆叠、长期锁定且很难低成本跨任务调度回收的动态状态资产。平台统计面板往往只记录进出的Token数量,但放到服务商的经营账本里,真正持续沉淀的成本来自那些长期占用且很难低成本二次分配给其他业务的显存与高速内存。
行业主流计价框架仍脱胎于瞬时算力时代的逻辑,收入按输入、输出词元计量。但对应的资本开支和高速显存占用成本,却会随着并发会话的驻留时长持续累积。部分Agent会长时间挂起运行一整天,单位时间产出词元很少且营收有限,显存却被持续占用。它抬高了榜单上的调用规模,收入却跟不上资源的持续消耗,曾经趋于同步的两条增长曲线由此拉开缺口。这种成本与计费的错位,正在慢慢改写Token出海赛道的竞争底色。此前赛道的竞争路径简单直接:压缩单Token算力开销,用低价拿量,借规模摊薄硬件投入。当负载结构向Agent倾斜,固守吞吐和报价的单一竞争维度就可能撞上流量走高但利润收窄的陷阱。
当存储成本抬升,市场容易将其简化为存储芯片涨价的故事。但放到推理集群运营与资本开支的框架里看,元器件现货价格只是众多变量之一。对利润构成持续性刚性约束的,往往是一整套绑定供货、资产折旧、跨境流量与客户合规交织而成的规则链条。上游存储芯片正处在结构性紧平衡周期,服务器DRAM、面向AI集群的企业级NAND以及HBM的长期协议报价持续上行,原厂整体库存维持在偏低区间。自建推理集群的服务商若要拿到稳定供货,已很难单纯依靠现货随买随用保障持续扩容,往往需要提前签下季度乃至半年度量级的保底采购长单。硬件采购由此从可随业务节奏灵活调整的可变投入,转变为带有刚性履约约束的资本开支。合约一旦敲定,即便后续海外流量无法充分填满集群容量,合约款项与资产折旧依旧要按期兑现与计提。
另一块容易被掩盖的成本来自海外企业客户的合规留存约束。不少海外企业采购推理服务时,会要求完整审计日志、调用链路乃至会话原始内容长期可追溯和可审计。这部分持久化存储独立于推理时临时生成的KV缓存,会长期稳定占用存储容量。而大部分标准化词元采购合同并不会单独列支这项存储服务费,对应开销被摊入统一的Token报价,外部很难单独剥离识别。即便依靠KV缓存压缩、量化方案以及迭代模型版本做优化,集群硬件的物理服役周期尚在,但适配当前Agent负载的有效业务生命周期正在被持续压缩,这迫使服务商下调资产预期回报周期,单位词元对应的折旧分摊随之走高。
存储对利润的侵蚀并非简单笼统的成本上涨,而是沿着多条独立路径持续压低集群的资产回报。首先是前缀缓存的命中率陷阱:前缀缓存以存储换取算力复用,缓存高频重复的上下文前缀,一旦命中即可跳过重复计算,压低单Token算力开销。但缓存本身附带写入开销、淘汰调度逻辑以及生命周期约束。一旦流量走向高度碎片化、租户分散、请求随机性抬升,缓存命中率就可能快速跌破盈亏平衡点,为缓存预留的大量显存持续占用资本却难以兑现预期的算力节约。其次是峰值保底带来的闲置折旧:为承接突发流量、规避会话被强制清理以及防止服务稳定性下滑,运营侧往往需要预留足够的存储与显存冗余,冗余资源面向尖峰而预留,常态大多闲置,资产周转效率随之下降。在跨境潮汐流量之下,这笔折旧成本持续刚性,难以跟随淡季词元营收同步回落。
多重约束叠加之下,存储已不只是服务器的配套成本。在这类负载下,它正在逼近算力的权重,并经常成为集群扩容的瓶颈。在热闹的份额榜单之外,状态资产的管理能力或许正在形成一条新的隐形分界线,调用数字走高并不必然对应业务向好,持续累积的会话状态资产正在构成对毛利的持续侵蚀风险。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。