破解循环Transformer计算冗余，阿里两篇论文提供新方案

随着GPT-6 Astra的发布，循环深度（recurrent depth）技术迅速成为业界焦点。这项技术通过让同一组Transformer层反复运行，在不增加同等规模参数的情况下加深计算，看似为提升模型性能开辟了新路径。然而，其内部过程难以监测，引发了AI安全专家的质疑，OpenAI首席科学家Jakub Pachocki已回应将发文解释。

循环Transformer的核心思路是用计算深度换取参数规模，但学界早已发现，它在实际表现中往往打不过普通Transformer。问题根源在于“计算冗余”——当循环次数增加后，后续计算带来的增量收益越来越小。阿里团队在11个月前发表的两篇论文，正是针对这一痛点展开的。

动态记忆槽：让信息存取更有序

第一篇论文MeSH（已被ICLR 2026接收）提出了一种动态存取的“Memory Buffer”记忆槽机制。该机制配备了Write Router和Read Router两个“管理员”，分别负责决定每轮新结果如何分摊到各槽位，以及下一轮如何读取和组合这些信息。这种设计旨在优化循环过程中信息的存储与利用。

在Pythia-1.4B级别的实验中，循环结构通过权重共享减少了约33%的非嵌入参数，而加入MeSH后，零样本下游平均准确率从49.50%提升至50.56%。更令人惊喜的是，新增的路由器参数仅约0.005%，额外计算开销约0.014%，几乎可以忽略不计。

团队通过深入分析，发现了三个“摸鱼证据”：后续循环对hidden state的更新迅速缩小；相邻轮次的表示高度相似；表示逐渐挤入低维空间。这些现象指向两个根本原因：“计算无分化”——共享网络缺乏轮次信息，难以分工协作；以及“信息过载”——同一个hidden state需要同时保存原始输入、历史结果和当前计算，负担过重。

从粗到细：调整每轮序列长度

第二篇论文SpiralFormer（已被EMNLP 2026接收）则从另一个角度切入，将每轮循环的序列长度变为可调。它采用从粗到细的缩放方式：先从原序列的1/8长度开始，依次扩展到1/4、1/2，最后回到完整序列。这种渐进式的处理方式，让模型在早期循环中聚焦于全局信息，后期再细化局部细节。

在Pythia-1.4B级别的实验中，SpiralFormer的参数量与普通Transformer基本相同，但计算量从14.08T FLOPs降至13.13T，5-shot下游平均准确率从51.93%提升至54.37%。这意味着，在几乎不增加参数的前提下，模型不仅算得更少，还表现得更好。

两篇论文分别从信息管理和计算粒度入手，试图解决循环Transformer的计算冗余问题。MeSH通过精细化的记忆管理，让信息存取更有条理；SpiralFormer则通过动态调整序列长度，优化了计算资源的分配。这些探索为下一代高效大模型架构提供了候选方案。

循环深度技术的前景令人期待，但如何克服其固有的冗余问题，仍是通往实用化的关键一步。阿里团队的这两项研究，或许正是打开这扇门的钥匙。