英伟达于10月15日宣布推出开放多模态模型 Nemotron 3.5 Super VL,面向需要持续运行、执行多步骤任务的 AI 智能体场景。该模型采用混合专家(MoE)架构,总参数量为1200亿,激活参数为120亿。英伟达称,在单张 GPU 上执行智能体任务时,该模型的吞吐量最高可达到同规模其他开放模型的5倍。
据英伟达介绍,Nemotron 3.5 Super VL 将推理、指令遵循和工具调用能力,与文本、图像、文档及视频理解能力整合到同一个模型中,可覆盖代码测试与调试、跨网站信息检索、文档分析、网络安全威胁识别以及视频内容检索等应用场景。开发者可利用英伟达 NeMo 工具链,结合自有数据、工具、政策和工作流程进行后训练,并根据业务需求调整模型行为。
在模型评测方面,英伟达披露 Nemotron 3.5 Super VL 在 CharXiv 图表推理基准测试中得分为80.8%,高于 Nemotron 3 Nano Omni 的63%;结合 Python 代码解释后,得分提升至84%。在 Hermes Bench 和 LangChain 行为评估中,该模型分别取得63.44%和87.05%,高于 Nemotron 3 Ultra 的56.33%和84.3%。英伟达同时表示,该模型在 OCRBench v2 榜单上属于表现靠前的开放模型之一。
为降低推理开销,Nemotron 3.5 Super VL 采用投机解码、混合精度和上下文复用等技术。英伟达介绍,其 LiLiCorr 投机解码方法在 DGX Spark 上可将词元生成速度最高提升至2.3倍。模型还支持 NVFP4 量化,在英伟达 Blackwell 架构上使用4位权重和4位激活值;在非 Blackwell 平台上,同一检查点使用4位权重和16位激活值。
在分布式推理部署方面,英伟达公布了相应优化方案。根据其披露的数据,在使用16张 NVIDIA B200 GPU、每名用户每秒生成50个词元的测试条件下,NVIDIA Dynamo 配合缓存感知路由、会话亲和性和 KV 缓存卸载,最多可服务8倍数量的用户,并将首词元延迟降低85%。
英伟达同时公布了多个企业定制案例。AI 数据技术提供商 Scale AI 为媒体娱乐公司 Skydance Corporation 定制了供应商信用处理智能体,相关工作负载的推理成本预计可降低97.5%、延迟降低80%。金融运营平台 Ramp 正将收据图像转换为包含商户、日期和支付信息的结构化 JSON 数据,预计吞吐量最高提升50%、延迟降低90%。AI21 与 AI 安全公司 Alice 合作定制模型,用于威胁情报和漏洞分析,相关任务准确率提升40%。
此次发布还包括基础模型、后训练模型和 NVFP4 量化模型权重,以及训练配方、数据集和强化学习环境。英伟达表示,Nemotron 3.5 Super VL 在预训练和持续预训练阶段共使用约26万亿词元,后训练阶段使用约380万个样本,并在数十种环境中进行强化学习。新开放的数据集涵盖智能体工具调用、金融推理、指令遵循、长上下文、公平性和视觉语言理解等领域。
除 Super VL 外,英伟达还推出了两款 Nemotron 3.5 Bolt 端侧模型。Nemotron 3.5 Bolt 74B-A9B 24GB 采用740亿总参数、90亿激活参数的 MoE 架构,通过原生2位量化将模型压缩至24GB,面向本地智能体任务,支持 llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio。Nemotron 3.5 Bolt E4B 4GB 则面向本地语音助手、交互角色和嵌入式界面等场景,计划于10月23日推出。
目前,Nemotron 3.5 Super VL 和 Bolt 74B-A9B 24GB 已开放获取,开发者可通过 Hugging Face、OpenRouter、ModelScope 等渠道使用相关模型资源。Super VL 可部署于 DGX Spark、DGX Station、RTX 系统、数据中心或云端。英伟达此次以开放权重加端侧小模型的双线策略,进一步扩大了其在企业级智能体基础设施领域的模型供给,端侧模型对本地部署场景的覆盖或将影响企业智能体在数据合规与成本敏感场景中的落地路径。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。