英伟达于9月3日以开源测试版状态推出Personal AI Router(PAIR)软件,用于在局域网内为本地AI请求自动选择可用计算设备。该软件支持在M4及以上Mac设备、英伟达RTX PC及DGX Spark设备上运行,可为Ollama、LM Studio等本地AI工具提供统一的请求入口,实现在家庭或办公网络环境中跨设备调度AI推理任务。
PAIR的产品定位是局域网内的本地AI请求调度层。软件能够自动发现网络中已加入的计算机,并将每项独立请求分配给当前可用的设备。模型本身仍由目标设备上的Ollama或LM Studio运行,用户无需为每款AI应用单独配置每一台机器。当某台设备处于繁忙或不可用状态时,PAIR会将新请求自动转向其他已配对设备,这一机制类似将任务分派给空闲工位的调度员。
英伟达在演示中展示了PAIR在并发场景下的实际效果。以Hermes环境中使用Ollama运行Qwen 3.6 35B A3B模型为例,当AI智能体同时审阅多份文档时,PAIR可将彼此独立的任务分别交给不同计算机处理。测试数据显示,在仅使用RTX Spark笔记本单机运行的情况下,任务平均完成时间为18分钟;当网络中加入DGX Spark和RTX 5090设备后,平均完成时间缩短至8分48秒。
需要明确的是,PAIR的调度机制面向并发负载分担场景设计。该软件通过将多个独立请求分散至不同设备来提升整体处理效率,但单个AI回复的生成速度并不会因为加入更多计算设备而自动提升。这一特性意味着PAIR更适合多任务并行处理的场景,而非单次推理请求的加速。
从行业视角来看,PAIR的推出反映了本地AI部署领域对资源调度需求的增长。随着大模型参数规模扩大以及企业级AI应用场景增多,单一设备的算力资源往往难以满足多任务并发需求。PAIR通过软件层面的调度,将分散在局域网内的异构计算资源(包括Apple Silicon Mac、英伟达RTX PC以及面向AI工作负载的DGX Spark)整合为统一的推理资源池。
这一方案对AI应用开发者及企业IT部门具有实际意义。在传统部署模式下,开发者为不同设备配置AI运行环境需要逐一操作,而PAIR提供的统一请求入口简化了这一过程。同时,对于已经拥有多台异构设备的用户,PAIR能够提高现有硬件的利用率,避免部分设备闲置而其他设备过载的情况。
作为开源测试版软件,PAIR目前仍处于早期阶段。其后续发展将取决于社区反馈和技术迭代速度。对于关注本地AI基础设施建设的用户而言,PAIR提供了一种轻量级的资源调度思路,尤其在智能体(Agent)类应用需要并发处理多个独立子任务时,这种局域网内的调度能力有望成为AI工作流的重要补充。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。