亚马逊云科技(AWS)宣布,AWS Lambda 现已通过 Lambda Managed Instances 在 EC2 G 系列 GPU 实例上运行事件函数(Event Functions),支持 GPU 推理负载。该能力允许单个 GPU 上最多 48 个并发调用共享同一模型,并提供 vLLM 与 SGLang 基础镜像,开发者无需编写处理程序代码即可部署。异步调用超时上限为 90 分钟。
从架构上看,这一更新将 Lambda 的事件驱动模型延伸到了 GPU 计算场景。此前 Lambda 主要面向 CPU 负载,GPU 推理通常需要借助容器服务或自建实例完成。通过 Lambda Managed Instances,AWS 将实例生命周期管理与函数调用调度结合,使多个并发请求复用同一份已加载到显存中的模型权重,从而降低模型加载开销与单位推理成本。官方给出的并发上限为单 GPU 48 个并发调用。
在开发体验方面,AWS 提供了 vLLM 和 SGLang 两种基础镜像。这两类框架均为当前主流的开源推理引擎,前者以高吞吐和 PagedAttention 显存管理著称,后者在结构化输出与多轮对话场景中具备优化。基础镜像内置了模型服务所需的启动逻辑,开发者无需编写 handler 代码,只需配置模型与实例参数即可对外提供推理端点。异步调用超时设定为 90 分钟,适用于批量推理、长文档处理等耗时较长的任务。
计费模式上,该服务按实例价格收取费用,并额外叠加 9.75% 的费用。这一结构与 Lambda 现有的按调用计费逻辑有所不同,更接近实例租赁加平台服务费的组合,对于持续高并发的推理负载,成本可预测性相对更强;而对于低频调用场景,费用结构是否具备优势仍需结合实际利用率评估。
首批参与实测的开发者反馈显示,从配置到发布完成的耗时约为八分钟,部署流程较为简洁。不过,当前版本尚不支持响应流式输出(response streaming),这意味着客户端无法在生成过程中逐步接收 token,对于聊天机器人、实时补全等交互式应用而言,体验会受到一定限制。流式输出缺失可能影响该能力在低延迟对话场景中的适用性,但在离线批处理、异步任务等场景中影响有限。
从行业角度看,GPU 推理的 Serverless 化是过去两年云厂商竞争的重点方向之一。将模型部署、扩缩容与事件触发交给平台管理,可以降低 AI 应用团队的运维负担,使其更专注于业务逻辑与提示工程。AWS 此次将 GPU 推理纳入 Lambda 体系,意味着其 Serverless 产品线开始覆盖 AI 工作负载的核心环节,与容器化推理服务形成互补。对于已经在使用 Lambda 处理业务事件的企业而言,将推理步骤嵌入现有事件流的技术门槛明显降低。
目前该能力仍处于早期阶段,流式输出的缺失与实例级计费方式是其相对容器方案的主要差异点。后续 AWS 是否会补充流式响应支持、扩展更多 GPU 实例类型,以及 9.75% 的平台费用在规模化部署下的实际成本表现,将决定这一功能在 AI 推理市场中的 adoption 节奏。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。