11月3日,高通宣布其高通AI Hub正式面向中国开发者开放。合作伙伴与开发者可借助该平台加速打造终端侧生成式AI和智能体AI应用。这是高通在端侧AI开发工具层面的一次区域性落地,意味着中国开发者将获得本地化的模型资源与云端设备调优支持。
据高通介绍,高通AI Hub集成Models、Workbench、Apps以及GenieX端侧推理框架,为开发者提供了一系列工具。其中,AI Hub Models提供超过230个并持续扩展的预优化模型库,覆盖多种终端侧AI任务场景;AI Hub Workbench允许开发者在真实的云托管设备上进行模型调优,以验证模型在实际硬件上的运行表现;AI Hub Apps则提供示例应用和参考代码,帮助开发者学习如何将AI Hub Models集成至应用中。GenieX端侧推理框架的加入,则为模型在终端设备上的部署与推理提供了底层支撑。
针对中国市场,高通AI Hub中国版通过官网、高通终端云中国设备农场和开发者论坛等方式提供各类资源与支持。设备农场的设置使开发者无需自备实体终端,即可在云端调用真实设备完成模型测试与调优,降低了端侧AI开发的硬件门槛。
端侧生成式AI与智能体AI是当前AI基础设施领域的重要方向,其核心在于将模型推理能力下沉至手机、PC、物联网等终端设备,以减少对云端算力的依赖并提升响应速度与隐私性。高通作为终端芯片与边缘计算平台的主要供应商,此次将AI Hub工具链向中国开发者开放,意在扩大其端侧AI生态的开发者基础。在模型库规模、云端调优能力和本地化资源支持三者结合之下,中国开发者接入端侧AI开发的门槛有望进一步降低,终端侧AI应用的落地节奏也可能随之加快。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。