大模型脑中藏三维地图,为何不会用?
多模态模型的空间推理存在一种反直觉现象:它能识别图像内容、回答简单方位问题,却在视角转换、方位判断和前后关系推理时失灵。过去这被归因于“空间能力不足”,但MirroS发布的S-Space研究给出了更精细的解释:模型内部可能已形成相当准确的空间地图,真正的短板在于稳定读取、变换和使用这张地图的能力。

S-Space是模型隐藏状态中的三维空间工作区,物体位置沿水平、垂直、距离三个方向连续编码。研究者能从模型中间层读出物体坐标,也能改写这些坐标,并观察到模型的空间判断随之改变。这意味着空间智能不再只是输出层的行为,而成为可观测、可诊断、可接入外部计算系统的内部结构。

研究将空间推理拆分为感知与操作两层。在简单空间关系任务中,仅从中间层读出坐标并比较差值,即可在CV-Bench、EmbSpatial-Bench等评测中稳定作答,说明模型内部存储的是连续坐标而非离散标签。真正的难点在视角转换。以Qwen3.6-27B为例,直接回答准确率为60.96%,加入思维链后升至83.56%,而从S-Space读出坐标、由外部程序执行固定旋转并用确定性规则作答,准确率达95.21%。思维链并非无效,但模型在推理中虽尝试“转动”内部地图,这种转动不够稳定精确,仍会出错。

S-Space不仅能读,还能改写。修改物体token的坐标后,模型的空间判断随之改变,而颜色等非空间判断基本不受影响,证明该空间是参与判断的内部变量。此外,这张地图是动态工作区,会随提示、视角和上下文变化,甚至能补全画面外的空间,如预判未出现的球的位置或不可见主人的方位。但开放性也带来串线:模型会将“socialist”靠近水平轴左端、“conservative”靠近右端,或将图像右方直接映射为“east”,在参照系重新定义时可能成为错误来源。
关于S-Space的来源,语言预训练是重要基础,但语言信号粗糙且易混入隐喻和参照系歧义。行动监督则提供不同反馈:比较Molmo2-ER与其行动模型MolmoAct2发现,后者S-Space中物体与功能部件的深度关系更贴近真实物理关系,说明行动学习会反向校准内部空间工作区。
S-Space的核心价值在于提供新的系统分工方式:多模态模型负责形成空间表征,外部模块负责可靠计算与行动,中间通过可读写的空间接口连接。这为机器人、AR和自动化Agent提供了排查路径——区分感知错误、坐标错误、旋转错误或参照系混乱,并对应不同修正方案。空间智能的下一步,关键不是让模型更大或回答更长,而是将机制分析变成可用基础设施,把内部地图稳定转化为推理和行动能力。
更多推荐阅读

Claude狂写1.8亿行证明代码,首次实现汇编层大规模形式化验证
Anthropic与Theorem合作开展最新研究,让Claude在几周内为123个开源库中的239个测试入口完成形式化验证,产出约1.8亿行通过机器检查的证明代码。据团队介绍,这是其所知的首次大规模利用AI在汇编代码层面对生产软件开展形式化验证。简单来说,就是让Claude找出Bug、修掉,然后交一份证明,说明规定范围内的这类错误不会再出现。 Claude此次检查的是一批长期接受安全测试、接入...
2026-10-24 23:14:14
常青藤学霸弃华尔街投行扎堆硅谷搞AI
去华尔街、大厂还是去车库,这代美国大学生做出了自己的选择。去SpaceX或Google拿一份年薪六位数的实习offer,还是一头扎进旧金山拥挤的“黑客屋”,和一群同样疯狂的年轻人挤上下铺,前途未卜?普林斯顿大学高材生查尔斯·穆尔伯格毫不犹豫地撕掉了第一张门票,跳上独木舟。仅四周后,他创办了自己的AI初创公司,还一路杀到巴塞罗那向潜在客户推销将开源AI模型离线部署到本地设备的构想。这种紧迫感让他做出...
2026-10-24 09:35:33
Transformer作者空降广州,行业首个Pro Agent亮相
带出Transformer一作的“AI祖师爷”Kevin Knight近日现身广州,为TGC 2026科技增长大会打头阵。大会主题为“AI is Profitable”,同场还有Google、OpenAI等全球平台,以及阿里千问、腾讯WorkBuddy等模型与应用团队。Kevin Knight在开场连抛五问,并指出AI for Work是下一次飞跃方向之一。 大会全场特殊的AI主角是行业首个Pr...
2026-10-24 08:44:13
讯飞输入法16.0发布:键盘能“意图成稿”,打字进入许愿时代
聊天里最有悬念的,可能就是「对方正在输入……」。闪了半天,最后只等来一句「好的」。轮到自己回消息就懂了:「周五做不完」太硬,「我尽量」又像把活接下了。老板再问进度,还得翻遍微信、飞书和备忘录,把已完成和待确认的事捋清楚。 10月22日,讯飞输入法16.0正式发布,带来「意图成稿」:你只管说想办的事,键盘结合你给的信息,整理材料、组织内容,再写成适合发出去的话。 语音输入经历三次跃迁。第一代「忠...
2026-10-24 09:05:09
奥特曼预判AI三种终局:最坏可瘫痪对手GPU
据《The Information》报道,OpenAI 首席执行官萨姆・奥特曼在内部员工会议上提出 AI 竞赛的三种可能终局:成立全球性监管机构;顶级实验室合并为一;某家公司率先突破关键技术,甚至有能力让竞争对手的硬件陷入瘫痪。奥特曼直言最后一种是“糟糕透顶”的结局。 第一条路径是建立类似国际原子能机构(IAEA)的全球监管组织,对最先进 AI 系统进行监督,制定统一安全标准,并要求开发企业接受...
2026-10-24 08:44:02
AI Agent四大基础设施入驻AAIF,行业标准争夺战打响
AI 圈又有一件看起来很技术、实际上相当关键的事。Linux 基金会旗下的 Agentic AI Foundation(AAIF)一口气迎来四个新的托管项目:Anthropic 贡献 Agent Skills,OpenAI 贡献 Open Responses,Hugging Face 贡献 OpenEnv,阿里贡献 OpenSandbox。覆盖 AI Agent 从获得技能、调用模型,到训练、执行...
2026-10-24 09:59:46