DiffuSpace开源Clover-35B-A3B-Preview扩散语言模型,采用MoE架构

该模型在多项基准测试中性能超过同规模的自回归模型 Qwen3.6-35B-A3B,尤其擅长智能体编程与工具使用任务。

人工智能实验室DiffuSpace于10月29日发布Clover(三叶草)系列模型家族的首个成员Clover-35B-A3B-Preview,并以Apache许可开源。该模型是一款采用MoE(混合专家)架构的扩散语言模型,标志着扩散架构在大参数尺度语言模型上的一次工程化尝试。

与传统自回归模型逐词生成的方式不同,扩散语言模型具备“全局思维”特征,通过多轮迭代将初始的模糊结果逐步细化为具体输出。DiffuSpace表示,Clover-35B-A3B-Preview的诞生证明扩散语言模型能够在更大参数尺度下与自回归模型竞争甚至略胜一筹,同时保持更快的生成速度。这一结论对当前以自回归架构为主导的大模型技术路线构成了直接参照。

在性能层面,DiffuSpace公布的数据显示,该模型在多项基准测试中超过同规模自回归模型Qwen3.6-35B-A3B,尤其在智能体编程与工具使用任务上表现突出。智能体编程与工具调用是当前企业级AI应用落地的关键能力方向,涉及代码生成、API编排、多步骤任务执行等场景,对模型的推理连贯性与指令遵循能力要求较高。Clover-35B-A3B-Preview在这一方向上的表现,为其后续在开发者工具与企业自动化流程中的应用提供了验证基础。

从架构选择看,35B总参数配合A3B的激活规模,意味着该模型在推理成本上具备一定可控性,这与当前企业用户在部署大模型时对算力开销的敏感度相吻合。Apache许可的开源方式则降低了二次开发与商业集成的门槛,便于开发者社区和企业在既有技术栈上进行微调与适配。

扩散语言模型此前多集中在较小参数规模的实验性研究中,在35B级别完成MoE架构的落地并给出与主流自回归模型的正面对比数据,是DiffuSpace此次发布的核心信息。若后续该系列模型能够在更多任务类型上复现上述结果,扩散架构有望成为自回归路线之外的一条可选技术路径,进而影响大模型在推理效率与生成质量之间的权衡方式。目前该模型以Preview版本发布,正式版本的性能表现与生态适配进展仍有待观察。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
Gap Inc. 推出AI招聘工具应对假日季约20万份季节性岗位申请
上一篇 3小时前
星闪SLE 1.0芯片累计发货量达7000万,华为2023年完成首批商用终端落地
下一篇 2小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部