GPT-6刷爆ARC考卷，ARC-AGI-5改考“发明”

GPT-6 Astra在ARC-AGI-3半私有测试集上拿下99.9%，OpenAI称该基准已完全“饱和”，导致ARC原定方案作废，ARC系列需重新拟题。ARC Prize创始人François Chollet披露下一代评测蓝图：ARC-AGI-4将于明年Q1登场，聚焦更长尺度下的持续学习与课程学习；被称为“人类最后考卷”的ARC-AGI-5已提上日程，完全围绕“发明”展开。他表示，当AI的学习效率与人类再无客观测量差距时，便是真正的AGI时刻。

GPT-6 Astra在ARC-AGI-3上的表现极具戏剧性。在ARC Prize标准测试框架下，Astra得分62.7%，已是历史最高，但距满分尚远。然而OpenAI接入自家Provider Adapter后，同一模型得分飙至99.9%。该适配器能在多次调用间保留模型隐藏推理状态，使AI更接近生产环境接入能力插件。同一套权重、同一组题目，得分差出36个百分点。ARC-AGI-3排行榜含金量因此被重新审视，争论焦点从“哪家模型泛化能力更强”变为“哪个harness更公平”。类似情况并非孤例：Claude Opus同一套权重在私有集上验证为30%，换用更好harness后达95.5%；英伟达AVO在公开演示集上拿到100%。ARC-AGI-3的“饱和”更像评测工程学事件。

ARC-AGI-1和2核心是“看图找规律”，静态题、答案唯一，考察归纳能力。ARC-AGI-3则把AI丢进游戏世界，在1000多个关卡中自己玩、自己试、自己找规则。没有说明文档、自然语言提示，AI只能看当前画面、选动作、观察结果、决定下一步，逐步拼凑世界运作模型。ARC Prize明确该基准测四件事：探索、建模、目标获取、规划与执行。GPT-6 Astra在96%关卡上用比人类中位数更少步数完成任务，平均每关少用51.7%动作。ARC Prize称这是“阶跃式能力变化”，但强调基准饱和不等于证明AGI，因为这些环境有界且确定性，并非开放式。

按原计划，ARC 4延续ARC 3精神，但更偏长时间尺度上的持续学习和课程学习，关卡更多且“复利”，每关需复用前面所学。如今Chollet把“开放式发明”放入ARC 4和ARC 5共同研发基础。考发明如何出题？ARC 1到3共同前提是存在“对”的答案或“赢”的状态，且人类首次上手就能做到，才能用人类当尺子。ARC 3人类基线由486人、2893次尝试量出。但发明包含“以前没有”，没有标准答案，也就没有现成人类基线。一条可能路径是回到Chollet对智能的定义：智能不是会多少技能，而是获取新技能的效率。发明可量化为：AI造出的新工具、新规则、新记号，能否让后续问题解得更快。Astra给游戏编速记符号已是雏形，它发明中间表示，靠它省了一半步数。ARC 5大概率把这件事变成考题本身。

ARC系列考题大概会在第6代、7代终结。Chollet曾表示，只要还能提出“人类能做、AI不能做”的事，就继续出题；等到提不出来，人类学习效率与前沿AI差距无法测量，那就是AGI。AI进步太快，留给一张评测证明自己“足够难”的时间正被压缩。分数逼近天花板后，原考卷越来越难分辨AI究竟又强了多少、人类还领先在哪里。ARC 5瞄准“发明”，很可能是在提前寻找更难被刷穿的考题：让AI走出预设解法，创造出能被验证、能继续复用的新东西。这道题能守多久无人知晓。但如果连开放式发明也无法再拉开人机差距，“考无可考”就会从感叹变成AGI讨论中绕不开的问题。