清华教授徐梦迪：机器人强泛化，不能靠穷举要靠上下文

清华教授徐梦迪在专访中提出，机器人要真正进入物理世界，强泛化能力不能指望预训练阶段的事先穷举，而应依靠In-Context Learning（上下文学习），让机器人在部署时从少量示范、环境反馈和人际交互中快速学会应对从未见过的任务。这一观点直接将机器人的学习重心从“训练时教好”转向“部署时学好”。

徐梦迪认为，物理世界开放多变，场景、任务和交互方式不断变化，zero-shot（零样本学习）很难成立。机器人不能靠预训练把一切都记下来，必须具备few-shot adaptation（少样本适应）能力，这也被她视为实现强泛化的核心路径。在她看来，机器人未来的天花板不只由模型规模决定，更取决于能否理解环境、吸收反馈并在真实交互中“长”出新能力。预训练模型再大，也不可能穷举所有物理世界的可能性；真正重要的是模型能否在接触到新情况时，就地利用上下文信息作出调整。

正是基于这一判断，徐梦迪将研究重心放在机器人的适应能力和In-Context Learning范式上。所谓上下文学习，是指模型在推理时并不修改自身权重，而是从当前的输入上下文——比如一段示范、一句指令、一个手势甚至一次失败——中提取信息，当场调整自己的行为。她更相信这种范式，而不是每遇到一个新任务就修改参数。预训练模型如果能覆盖丰富的context，就能在部署时灵活调用，快速适配新场景。这里的关键在于，预训练阶段积累的不应是固定任务的答案，而是理解各种上下文的能力。

为了说明自己的选择，她对比了两种技术路线：Prompt Decision Transformer和Hyper-DT。前者直接通过context进行泛化，不改变模型参数；后者则需要修改少量参数来适应新任务。徐梦迪明确表示更倾向于前者。她认为，真正需要改参数的适应应当发生在场景层面，而不是任务层面。换句话说，模型应该具备一套通用的“场景理解机制”，在不同场景中自动切换行为模式，而不是为每个新任务专门调整一套参数。这种观点把机器人的学习从“任务定制”推向“场景级适应”，让模型在面对无限变化的任务时更有可能保持稳定和高效，也更接近人类在面对新环境时的从容。

人机交互在徐梦迪的框架里也有更广义的内涵。人不只是给机器人下指令的“用户”，还可以扮演多种角色：作为数据来源，为机器人提供示范；作为老师，纠正机器人的错误；作为终端用户，在真实场景中检验机器人的表现。她看好World Action Model（世界行动模型），认为对环境动力学（dynamics）的建模有助于机器人跨场景迁移——理解环境如何变化，才能在不同场景中做出正确的动作规划。这种对世界动态变化的理解，正是机器人摆脱固定程序、走向开放世界的基础。

她还提醒，机器人落地不能只盯着论文里的漂亮数字。评估（evaluation）、仿真（simulation）、实时推理（real-time inference）和硬件成本都是必须认真对待的问题。低MSE（均方误差）不等于真机成功，模型在测试集上的误差低，不代表在真实物理世界中能稳定工作。这种清醒的认识，给火热的具身智能研究泼了一点冷水，也指出了工程化落地的难点所在。

徐梦迪的研究路径，本质上是在回答一个问题：机器人如何学会面对未知？她的答案是，与其在训练阶段穷举所有可能，不如让机器人在现场学会学习。这种思路若能得到验证，或许能帮机器人摆脱“实验室里全能、真实世界失灵”的困境，真正走向开放环境。