科大讯飞开源星火X2.5端侧模型,支持百万Token上下文

两款模型原生支持最长100万Token上下文窗口,是目前端侧模型中唯一支持该量级上下文的产品。

9月1日,科大讯飞旗下词元星火宣布推出并开源星火X2.5-4B和星火X2.5-1.7B两款端侧通用大模型。这两款模型原生支持最长100万Token上下文窗口,是目前端侧模型中唯一支持该量级上下文的产品。模型权重已在Hugging Face、GitHub等平台开放,对应API也已上线讯飞星辰MaaS平台,限时免费。

两款模型采用混合注意力架构,围绕智能体、代码、数学和指令遵循等核心能力进行优化。在训练层面,模型基于全国产算力平台完成全流程训练,使用了约20万亿Token多样化数据进行预训练。这一训练策略旨在提升模型在复杂任务场景下的综合表现,同时兼顾端侧部署对模型体积和推理效率的要求。

在应用场景方面,星火X2.5系列展示了端侧大模型在长文本处理上的实际价值。以产品售后场景为例,用户可将完整售后手册导入模型,针对“购买10天后设备故障且使用过第三方耗材”等复杂问题,模型能够关联跨章节规定给出综合判断,并在新增条件下保持前文情境持续提供建议。这一能力突破了传统检索式问答的局限,使模型能够在长文档中建立跨段落逻辑关联。

在个人办公场景中,星火X2.5-4B可完成从原始数据分析到双语报告交付的全流程,覆盖数据清洗、统计分析、内容生成和语言转换等环节。在Domux智能家居测试集上,星火X2.5-1.7B的控制指令端到端执行正确率达90.3%,平均响应时间0.85秒,表明该模型在低延迟场景下具备较高的指令理解和执行能力。

除办公与家居场景外,星火X2.5系列还适用于机器人操作控制、目标追踪、导航决策等场景,可部署于机器人本体或边缘设备。这为端侧AI在工业自动化、物流配送、智能巡检等领域的落地提供了模型层面的支持。端侧部署的优势在于降低对云端算力的依赖,减少数据传输延迟,同时增强数据隐私保护。

在硬件兼容性方面,星火X2.5-4B和1.7B支持英伟达、华为、海光及后摩等硬件平台,覆盖了国内外主流AI芯片。软件生态方面,模型兼容vLLM、SGLang、llama.cpp等主流推理框架,可通过Ollama、LM Studio等工具快速部署,降低了开发者的集成门槛。这种多平台适配策略有助于扩大模型在多元硬件环境中的可用性。

科大讯飞在端侧模型领域的布局已持续多时。此前,词元星火已在端侧AI方向推出多款产品,此次开源X2.5系列进一步丰富了其模型矩阵。从行业视角看,百万Token上下文窗口此前多为云端大模型的配置,端侧模型受限于显存和算力,通常只能支持较短上下文。星火X2.5系列将这一能力下沉至端侧,可能推动更多长文档处理、复杂对话和智能体应用在本地设备上运行。

另有消息显示,9月7日科大讯飞还将正式发布星火X2.5-293B通用大模型,进一步升级代码和智能体等核心能力。该模型的推出将补齐词元星火在云端大模型领域的产品线,与端侧X2.5系列形成互补。随着端侧与云端模型的协同发展,大模型在企业和个人场景中的应用边界有望进一步扩展。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

(0)
微软高管示警低质量AI内容侵蚀办公场景 信息价值面临稀释风险
上一篇 2小时前
Kernel.org维护者称git.kernel.org约98%流量来自自动化爬虫
下一篇 2小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部