谷歌大模型专家蓝振忠：冥想如何影响他的AI创业路

“别人不做，所以我们得做。”蓝振忠是卡耐基梅隆大学博士，计算机视觉出身，曾是谷歌大模型专家，做出ALBERT。冥想是他在谷歌实习时学到的习惯，后来成为每天固定功课。做过多年AI心理研究，他觉得冥想是对自己最显著有效的放松方案，西湖心辰2021年成立时切入的领域也是AI心理。多年来，他的思路始终聚焦用更本质的范式提升大模型能力上限，业务逐渐回归核心：做更聪明、也更快的大模型，服务超过千万C端用户。

不过，蓝振忠的解法和主流自回归大模型路线不同，他更看重扩散模型潜力。常见大模型都属于自回归，token按顺序逐个生成；扩散模型则先给出整体轮廓，再通过多轮迭代补全修正，可并行在多个位置同时生成token。扩散模型已是图像和视频生成主流路线，代表是DiT架构，OpenAI视频模型Sora就是应用典型。蓝振忠认为通用大语言模型同样适用这种方式。

2019年在谷歌时，他以第一作者身份做出ALBERT，和BERT一样是掩码语言模型，区别在于ALBERT让多层共享同一套参数。2025年，兼任蚂蚁技术研究院通用人工智能中心主任的蓝振忠开始推动研究规模化，扩散语言模型LLaDA参数从8B扩大到千亿。团队相继推出全球首个原生MoE扩散模型LLaDA-MoE、首个扩散语言模型工业级推理框架dInfer、首个千亿参数扩散模型LLaDA 2.0，以及首个大规模Agentic扩散模型LLaDA 2.2。其中LLaDA 2.0在对话任务上能力与同代自回归模型持平，推理速度提升3倍以上，适合金融场景高并发、低延时需求，目前已在金融风控和代码修改两个场景落地。西湖心辰即将发布的新模型是并行思维链扩散模型。

同事形容蓝振忠“非常简单”，只想做心里那一两件事。被问到为什么偏走扩散模型这条艰难少有人走的路时，他回答：“我不喜欢做追随者。”他对主流自回归模型最不满意之处，在于训练和推理阶段实质上的背离：训练时一段文本所有位置同时计算，GPU并行能力被充分利用；推理时token却需逐字串行生成，每步只能在已生成前缀上确定下一个token。逐字生成让显存带宽成为核心瓶颈，庞大计算单元在推理阶段大部分时间在等数据，这也是芯片厂商不得不把训练芯片和推理芯片分开设计的原因之一。扩散路线试图用更多并行计算换取更少串行步数，理论上训练和推理是并行的；同时图像、视频和语音生成已部分采用扩散模型，语言模态加入可实现训练目标更好统一。

蓝振忠提到2025年卡内基梅隆大学论文Diffusion Beats Autoregressive in Data-Constrained Settings。论文提出，数据有限时，自回归模型重复训练约4遍后收益开始递减，扩散模型重复到100遍左右效果依然接近使用全新数据。解释是扩散模型每次遮住位置随机，同样数据也能学到新能力，有更高智能上限。蓝振忠在实验中也看到同样现象：后训练阶段有限数据在自回归模型上训练两轮左右就开始过拟合，扩散模型能训练到10轮以上。在高质量数据越来越稀缺的今天，这种更高数据利用率非常有吸引力。

西湖心辰正在训练并行思维链扩散模型，将扩散并行能力从“同时生成多个位置”推进到“同时展开多条思维链”，让模型在有限响应时间内完成更充分的多角度分析。蓝振忠认为，深度学习能起来很大作用是因为并行，但解码是串行的，带来很多问题；还有统一模型问题，图像基本用扩散，视频也是，语音慢慢在用，语言没理由不能用扩散。扩散背后思想很漂亮，笛卡尔在《谈谈方法》里讲把复杂问题拆成小步骤，扩散也是这样，一步不能到位就切成很多步，能解更难问题，对参数利用率更高，也更简洁，可统一所有模态。当然会带来更多计算量，这是取舍。

扩散语言模型想法并不新，早期BERT一类掩码语言模型正是这种思路，后来在生成任务上被GPT自回归架构甩开。训练效率是重要原因：自回归模型每个位置都预测下一个词，每个位置都能产生训练信号；扩散模型从零训练时只在被遮住位置计算损失，平均约25%的token能提供监督信号，后来提高但未达100%。另一因素是训练和推理分布偏差：训练时遮盖位置随机采样，未遮盖上下文全是真实文本；推理时解码位置按置信度决定，未遮盖上下文是模型自己的预测，可能带错误，因此达到同样生成质量需要更多数据与算力。突破瓶颈的方法来自分块扩散思路，块与块之间按顺序生成，块内部并行，自回归模型在数学上恰是块大小为1的特例。这让扩散模型不必从零训练，可以现成自回归模型为基础逐步迁移。

2025年初蚂蚁与中国人民大学合作的第一代LLaDA只能处理固定长度文本，到LLaDA 2.0，团队借助分块扩散做到千亿参数；今年7月开源的LLaDA 2.2同样是千亿参数MoE扩散模型。蓝振忠说，它是第一个在SWE-bench上有成绩且成绩不错的开源扩散模型。LLaDA一定程度上证明扩散模型scaling可行，但蓝振忠没有一味做大模型规模，而是继续沿并行思路，试图在算法层面让扩散模型囊括更多自回归模型能力并做得更好。“并行思维链”就是这样的尝试