在CNCC 2026大会上，上海交通大学副教授邓志杰以“扩散大语言模型方法及应用”为题发表演讲，围绕扩散语言模型的核心问题展开讨论：能否在保证生成质量的同时，让模型生成得更快。演讲从LLaDA、Dream等基础路线出发，系统梳理了从跨块并行生成、后训练到推理系统优化的多种加速方法。
扩散语言模型的基本思路是同时预测多个缺失位置并逐步补全文本，而非严格从左到右逐token生成。邓志杰指出，评价效率需要同时考察每轮有效提交的token数（TPF）与每轮耗时，实际生成速度以TPS衡量，质量则需结合答案正确率和代码通过率等指标。早期扩散语言模型存在两个实际问题：难以复用KV缓存，需要反复计算上下文；生成窗口大小固定，难以灵活输出长文本，导致计算开销不断积累。
针对上述问题，Block Diffusion采用“块内扩散、块间自回归”的方式，在块内并行生成并缓存KV状态，但并行范围被限制在块内。邓志杰团队提出的D2F（Discrete Diffusion Forcing）将Diffusion Forcing思路引入语言模型，让多个块同时去噪，前序块噪声较低、信息更完整，后续块噪声较高，从而在块间保持因果关系的同时实现跨块并行。训练中使用具有双向上下文的教师模型指导采用块状因果注意力的学生模型。
进一步分析发现，D2F仍存在训练与推理不一致的问题。为此团队提出MultiBD多块扩散方法，在训练中覆盖实际推理的窗口大小、块位置及噪声间隔组合，并配套设计推理引擎，通过固定大小的Block Buffer以固定物理槽位容纳动态运行的块，减少动态调度开销。在两张H100、单样本、张量并行度为2的测试设置下，MBD-LLaDA2-Mini达到约746 TPS。
在后训练层面，团队提出Consistency Force方法，用后期更充分的预测指导早期预测。在相同解码阈值和块长下，LLaDA2.1-mini经CForce训练后，四项任务平均得分从85.57提高到86.41，平均TPF从6.94提高到9.08；在两张H20、张量并行度为2的系统测试中，GSM8K和HumanEval上的速度分别约为1232和1353 TPS。另一类方法LightningRL则将正确性奖励与TPF奖励分别做组内标准化后结合更新，在固定TPF为7的比较中，GSM8K准确率由原始SDAR的71.2％提高到87.5％。
在推理算法层面，邓志杰还介绍了无需额外训练的Fast-dLLM与LoPA。Fast-dLLM结合近似KV缓存与基于置信度的并行解码策略，通过缓存前缀及尚未生成的掩码后缀减少重复计算。演讲最后，邓志杰介绍了相关方法在流式视频、语音修复、多模态与智能体中的应用探索。扩散语言模型的竞争焦点正从生成质量延伸至系统级效率，训练与推理的协同优化将成为该路线走向实用的关键。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
