OpenAI 于8月25日在Hot Chips大会上公布了其与博通联合研发的推理系统Jalapeño的更多细节，并首次披露基准测试成绩。在SemiAnalysis的InferenceX测试中，Jalapeño在单用户token处理量和每千瓦吞吐量两项指标上均超过当前市面上的顶尖推理处理器，目标直指英伟达GB300超级芯片系统。
OpenAI硬件负责人理查德·何在媒体电话会上表示，测试结果显示Jalapeño相比目前最先进的产品实现了显著的性能提升，能够以相同电力处理更多AI工作负载，同时保持更低延迟。该芯片定位AI推理场景，即让已训练完成的AI模型实际运行并执行任务或驱动AI智能体。Jalapeño由OpenAI与博通共同开发，OpenAI自有模型也参与了研发过程，目标是将其发展为可延续多代的技术平台，使AI产品、模型、芯片和内存从设计之初即实现协同优化。
在基准测试中，OpenAI使用InferenceX平台将Jalapeño与英伟达GB200和GB300超级芯片系统进行对比。测试覆盖GPT-OSS 120B、DeepSeek R1和Kimi K2.5 1T三个模型，结果显示Jalapeño每瓦完成的AI工作量是对比系统的1.5至1.9倍，端到端延迟则约为对比系统的28％至59％。OpenAI在博客文章中解释，Jalapeño从设计之初就尽量减少数据搬运和通信延迟，生成响应时使用的KV缓存等模型状态可明确存放并保留在本地，系统再根据不同推理阶段调配合适的计算、内存和网络资源。
全栈协同开发使OpenAI能够直接优化推理过程中最易拖慢速度的环节，重点降低预填充和通信阶段的延迟，这两个环节在OpenAI看来往往是推理性能的主要瓶颈。OpenAI计划于今年年底前小规模部署Jalapeño，2027年逐步扩大部署量，但未公布明年具体芯片投入规模。此次芯片自研举措反映出OpenAI在降低对英伟达算力依赖方面的持续投入，也将加剧AI推理芯片市场的竞争格局。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
