港大团队推出350亿参数扩散语言模型Clover

今天，DiffuSpace Clover（三叶）首个版本35B-A3B-Preview正式推出。2025年4月，香港大学自然语言处理实验室（HKU NLP）推出Dream 7B，至今Dream系列模型在Hugging Face累计下载量超270万次。DiffuSpace由此出发，坚持开源普惠初衷。Dream 7B证明了扩散语言模型能与自回归模型正面交锋，Clover要回答的是：参数走向更大规模后，扩散语言模型能否保持竞争力并守住全局生成速度优势。Clover-35B-A3B-Preview给出肯定答案：更大规模上，扩散语言模型甚至略胜同尺寸自回归模型，同时生成更快，高速生成与高性能可共存。

Clover-35B-A3B-Preview采用混合专家架构（MoE），总参数350亿、激活参数30亿，支持思考模式。多项基准测试中，其性能超过同规模自回归模型Qwen3.6-35B-A3B，生成速度显著更快。智能体编程与工具使用任务表现突出，六项Agent评测均取得所列模型最高分：SWE-bench Verified 73.6，Terminal-Bench 2.1 51.7，τ³ Overall 65.3，超过扩散语言模型LLaDA2.2 flash、Mercury 2.5及同尺寸自回归模型Qwen3.6-35B-A3B、Qwen3.5-35B-A3B。通用能力同样扎实，指令遵循、知识、逻辑推理和长文本理解等评测达到或超过同规模自回归模型，GPQA Diamond、ZebraLogic、AA-LCR分别为83.8、95.8、72.0。

推理效率方面，使用覆盖代码编写、终端操作和工具调用的内部Agent任务执行记录测试。单张NVIDIA GB300 GPU上，BF16精度、batch size=1，整体生成速度达680 tokens/s；即使与采用DFlash2加速的同规模Qwen模型相比，仍展现更优性能与推理速度平衡。单张NVIDIA H200 GPU上达515 tokens/s，高于DFlash2方案的365 tokens/s，体现扩散架构在复杂Agent场景下的速度优势。

Clover-35B-A3B-Preview现已开源，采用Apache许可，模型权重与相关代码已在Hugging Face和GitHub发布，支持SGLang和llama.cpp推理，开发者可下载部署、构建应用并开展进一步研究。

支撑此次跃迁的除参数规模外，还有围绕块扩散（Block Diffusion）对门控Delta网络（Gated DeltaNet，GDN）的结构性重构。团队重新设计双向门控Delta网络，让历史记忆与块内去噪各采用适合的计算方式：已生成上下文通过GDN递归状态高效压缩，当前块内token通过双向Softmax注意力细粒度交互；历史记忆读出作为独立信息单元，与块内token在同一次Softmax中共同参与信息选择，让模型学习何时依赖历史、何时利用当前块。同时引入可学习块大小校准，补偿块内token增多对历史权重的稀释；局部特征提取上为右侧上下文设置独立、零初始化的卷积分支，让模型从预训练因果卷积行为出发学习左右方向特征。由此结合紧凑长程记忆、选择性块内交互与双向局部感知，使GDN结构更贴合块级并行去噪。

Agentic coding方面，Clover可将自然语言需求转化为完整可交互应用，也能在真实浏览器环境理解页面并连续完成多步操作。智能体中速度是核心能力，更快生成缩短反馈回路，使智能体更及时调整策略、探索更多路径。端侧部署方面，Clover已在仅配备16GB显存的NVIDIA RTX 5070 Ti上实现INT4量化部署，MATH-500测试生成速度达101.8 tokens/s，相比同规模MiniCPM、Qwen等模型对照结果48.5 tokens/s表现显著效率优势。与MiniCPM-V 4.7（35B-A3B）、LFM2.5（24B-A2B）、Nemotron 3.5 Lightning（30B-A3B）、Gemma 4（26B-A4B）等代表性轻量级、高效推理或端侧模型对比，Clover在九项评测中六项最高，优势覆盖知识推理、工具使用与智能体编程：Terminal-Bench 2.1达51.7，SWE-bench Verified达73.6，分别比MiniCPM-V 4.7高15.7和28.0分；BFCL-v4和τ³ Banking分别为67.9和14.4；GPQA Diamond和MMLU-Pro分别为83.8和84.8。

Demo展示中，用户查询从匹兹堡CMU到最近Wendy’s开车多久，地图搜索不带位置信号会跳到缅因州Portland。Clover识别偏离后逐步加入城市、街区和邮编改写检索，页面卡住后两次重置、重填路线，最终找到目标门店，查得驾车距离2.0公里、车程约3分钟。对照中Clover用28步、169.9秒完成，Qwen3.6 Flash用满30步、578.3秒仍停留在距起点347公里、约4.5小时车程的门店，未通过评判。WebMCP演示中，模型通过网页工具连续完成开票、课程注册、金额汇总、事件状态与客户信息查询等任务，双方均通过六项任务；完整49项任务、每项3次尝试评测中，Clover的Agent执行耗时中位数1