新基准测试AI“第六感”:人类93分,最强模型仅53.6

新基准测试AI“第六感”:人类93分,最强模型仅53.6

AI 资讯 来源:新闻/公众号 发布时间:2026-10-18 19:22:05 预计阅读 5 分钟

AI能读图表、做竞赛题、识别密集文字,甚至用上万枚推理Token分析视觉题,但可能看不出:追公交的女人为何突然慢下来;两辆车之间还能否塞进一辆;会议室里谁最心不在焉;一排烧杯里模糊的标签是多少。这些人类瞄一眼就有答案的问题,正是Scale AI联合Elorian发布的新Benchmark——Humanity’s Sixth Sense(HSS,人类第六感)所测试的能力。结果显示:20名人类参与者准确率93.1%,榜首GPT-6-astra即使开到最大推理强度也仅53.6%,25个模型的中位数只有30.9%。

新基准开测「AI第六感」!人类一眼秒懂,最强模型只拿53.6分

HSS包含522道开放式任务,对应288张图片和234段视频,视频总时长17.6小时,划分为4大类、11子域:时间与因果动态、物理与空间逻辑、社会与心智推断、抽象与情境推断。最关键的设计是答案不能直接出现在像素里:高清放大可见的题淘汰,需专业知识的题淘汰,人类无法形成一致判断的题也淘汰。标注团队编写3466道候选题,经三轮独立审核仅留522道,录取率15.1%。评分由LLM裁判对照评分标准逐条打分,全部满足才算答对。

新基准开测「AI第六感」!人类一眼秒懂,最强模型只拿53.6分

研究测试了8家厂商的25个多模态模型。GPT-6-astra以53.6%排名第一,其后为GPT-6.1-sol(46.6%)、Claude-Opus-5.5(44.6%)、Gemini-3.8-flash(41.6%)、Claude-Fable-5.1(40.8%),其余均低于40%。盲测对照中,去掉图片和视频、只让最强模型根据问题文本猜答案,GPT-6-astra暴跌至6.6%,说明证据确实藏在视觉现场里。视频尤其难:25个模型中23个在视频任务上表现更差,平均下降7.3个百分点。社会理解最薄弱:21个模型在该项得分最低,平均准确率仅24.4%,其他三域平均34.1%。

新基准开测「AI第六感」!人类一眼秒懂,最强模型只拿53.6分

对8573次失败的逐项归因显示:94%的失败来自感知或潜在信息推断,真正逻辑推理错误只占很小部分。最常见错误是漏掉关键线索(21.3%),其次认错物体、人物或角色(19.9%),误判尺寸距离和能否容纳(12.2%),看错朝向(12.0%),把二维遮挡误当三维对齐(9.1%)。在至少5个模型同时做错的题目中,中位数高达80%的模型因同一原因失败,说明不同厂商、不同架构的模型可能共享相似视觉盲区。25个模型平均每题用约4000个推理Token,提高推理强度总体有帮助但不稳定,若干子域推理等级越高成绩反而越低。

研究团队还将模型放入Claude Code和Codex,让Agent可裁剪、放大、重新抽帧、搜索和反复检查视觉材料。在388题子集上,Claude-Opus-5从30.8%升至51.3%,Claude-Fable-5.1从41.2%升至57.7%,GPT-6-astra在Codex中从54.4%升至59.3%。Agent最擅长修复“再仔细看一遍就能发现”的错误,但把二维重叠误判为三维对齐的错误只从102次降到101次,几乎无变化——这类失败源于模型缺少稳定的三维空间表征。Agent设置中少数逻辑错误反而增加。

HSS把长期被笼统称作“常识”“世界模型”或“社会智能”的问题,拆成可测量的时间、空间、社会和抽象推断能力,并用失败归因指出瓶颈所在。下一代多模态系统可能需要的不只是更长思维链,而是更可靠的对象与角色绑定、更稳定的三维表征、更连续的时间建模,以及从真实交互中获得的社会与物理经验。会描述世界不等于理解世界,会推理也不等于拥有直觉。人类93.1%与模型53.6%之间,隔着的是机器真正走进现实世界之前必须补上的那一眼。

标签: AI 资讯 AI

更多推荐阅读

被称“最无聊机器人”的Dyna,靠叠衣服找到机器人Scaling Law

被称“最无聊机器人”的Dyna,靠叠衣服找到机器人Scaling Law

《纽约邮报》曾称Dyna Robotics为“全世界最无聊的机器人”,而公司创始人认为这是“对一家机器人公司最高的赞美”。Dyna-1主攻叠毛巾、叠衣服;新发布的Dyna-2让机器人Taku进入洗衣房,完成放脏衣服、操作洗衣机、取出送烘干机、折叠放架等流程。联合创始人Jason Ma表示,机器人真正开始工作本就应是“无聊”的,真实部署是衡量机器人的“唯一评估”;机器人不能落地,不是因为没有腿或手,...

2026-10-20 09:48:01
前剪映负责人做视频Agent获千万美元融资

前剪映负责人做视频Agent获千万美元融资

视频Agent赛道出现新玩家Pexo,与采用画布工作流的产品不同,Pexo将剪辑和视频整合在产品中,支持用自然语言对话创作视频。公司已获千万美元天使轮融资,此前于2025年10月获得数百万美元投资。创始人廖谦曾任生数科技产品副总裁、Vidu产品负责人,也曾在腾讯、字节跳动任职,从技术研发转向AI产品与商业化,先后从0到1搭建火山引擎智能创作云,并在剪映/CapCut发起海外AI内容平台Pippit...

2026-10-20 09:26:14
DeepSeek搜索卷起来后,前负责人创业做全网捞人

DeepSeek搜索卷起来后,前负责人创业做全网捞人

近日,DeepSeek开放了自研网页搜索接口,披露该引擎每天处理全球数亿次请求,已收录千亿级网页,正将搜索能力开放给更多开发者。 在搜索对象中,人物信息最为特殊,难点在于把零散线索拼到同一个人身上。Simplex AI创始人张博曾任DeepSeek-VL项目负责人,其团队推出的Lev8主要面向GTM,人物搜索是流程起点。用户用自然语言描述目标,系统即寻找符合条件的对象,结合公开资料判断匹配度,生...

2026-10-20 08:09:15
蚂蚁领投!清华系AI创企熵简科技完成C轮融资

蚂蚁领投!清华系AI创企熵简科技完成C轮融资

智东西10月19日消息,北京AI金融创企熵简科技宣布完成C轮融资,由蚂蚁集团领投,东方国信与乔贝资本跟投。融资后,蚂蚁集团将与熵简科技在AI金融智能体研发、AI金融垂域模型训练等领域展开深度合作。 熵简科技成立于2017年,主要依托大数据、云计算、人工智能等技术,打造全资产、全流程的端到端智能资产管理平台。公司名称源自热力学第二定律中度量系统混沌程度的“熵”,“熵简”寓意通过AI降低金融投研的复...

2026-10-20 09:26:26
Anthropic预言奇点已至:2030年美国GDP或飙至44万亿美元

Anthropic预言奇点已至:2030年美国GDP或飙至44万亿美元

在曼谷举行的国际货币基金组织佩尔·雅各布森讲座上,Anthropic联合创始人Jack Clark提出判断称“奇点已经到来”,即技术进步速度已甩开人类理解和跟进的能力。他预测,在奇点驱动下,到2030年美国GDP将升至44万亿美元。按常规推演,该数字为33.5万亿美元,奇点带来15.4%的额外GDP,平均每年约6%的GDP增长;到2030年前后,累积生产率提升与资本积累将把美国年化经济增长率推高至...

2026-10-20 08:36:21
港科大CMU联手开源新模型:KV Cache砍掉99%,单卡吞吐飙6倍

港科大CMU联手开源新模型:KV Cache砍掉99%,单卡吞吐飙6倍

谷歌一篇论文提到KV Cache至少能压缩6倍,曾引发美光等存储芯片巨头股价下跌。几个月后,岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B,对KV Cache的处理更进一步:上下文从4K扩展到256K,KV Cache占用始终固定在72MiB,相比源模型减少99.1%。一张80GB显卡可同时跑512路长推理,输出吞吐达12124 tokens/s,是源模型的6.42倍...

2026-10-20 23:25:26
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部