扩散模型也能当Agent？350亿参数Clover速度超Jev一倍

扩散智能发布全新扩散语言模型Clover-35B-A3B-Preview，采用MoE架构，总参数350亿，每token激活约30亿参数，支持思考模式，将团队此前Dream 7B的70亿参数推进至350亿规模。实际体验中，该模型在写代码、操作网页、调用工具、生成HTML等方面用法与大语言模型相近，核心感受是“快”：生成可交互的太阳系模拟器约需1秒思考加4至5秒生成，整理LaTeX简历代码约十来秒。

在网页Agent评测WindTunnel的49个任务中，每任务尝试3次，Clover中位执行时间1.52秒，Jev＋Mercury 2.5组合为3.21秒，用时少一半多；尝试成功率分别为98.6%和95.9%，略高于后者，对比同表Gemini速度更快数倍。官方演示中，Clover通过WebMCP连续处理开票、课程报名、金额汇总、活动状态查询、客户信息查询和发票信息查询六项任务，执行速度明显快于Gemini 3.6 Flash；线上购物场景中可按要求找到指定款式、黑色、L码T恤，加入购物车、填写访客信息并走完测试结账流程。团队称，扩散语言模型以往做Agent任务时工具调用格式可能出错、易在同一步骤反复尝试、难根据返回结果调整动作，Clover的进步体现在调用工具、读取反馈、继续执行直至完成任务的连续操作中。基准测试方面，Clover在τ³ Overall和BFCL-v4分别拿到65.3和67.9，位居前列；SWE-bench Verified拿到73.6，Terminal-Bench 2.1拿到51.7。

技术路线上，自回归模型逐个串行预测token，扩散语言模型允许多个位置同时更新、经多轮完善逐步得到结果。Clover采用块扩散，将待生成内容分块，块间依次推进，块内多位置并行更新、相互参考。针对多轮去噪计算开销大、代码和Agent任务上下文不断变长等问题，Clover围绕块扩散重构门控Delta网络：已生成上下文压缩进持续更新状态供后续读取，当前生成块通过双向注意力让块内token相互参考；历史记忆读出作为独立信息单元与当前token一起参与注意力计算，并通过可学习块大小校准减少块变大后历史信息被稀释。

扩散智能由香港大学孔令鹏教授及博士生龚珊三、叶佳成联合创立，团队对扩散语言模型的探索可追溯至2022年提出的DiffuSeq，研究用扩散模型完成序列到序列文本生成；2025年4月核心成员参与推出Dream 7B，在通用、数学和代码任务上取得与同规模自回归模型可比表现。团队还在往多模态和端侧延伸，Clover后续将推出多模态版本，推进扩散语言模型与多模态理解及动作生成结合，并开展端侧适配验证；与Acrab合作推进端侧系统适配和软硬件协同验证。团队计划继续探索更大规模模型、提高长程任务稳定性，并通过推理优化、量化和部署适配推进端侧应用。