AI亲手改写Transformer架构!DeepSeek自我改造暴涨7分
7630亿参数的DeepSeek-V4.1-Flash直接读取自己做数学题时最深7层的内部激活状态,摸清“快要算偏”的信号规律后,在不改半个权重的前提下,亲手写了一段Python代码塞进推理流程实现“读脑自救”:发现思路跑偏就当场回滚重算,在AIME与HMMT 2026数学竞赛上准确率提升7个百分点。这只是DoubleAI重磅研究的一个切面。这家由Mobileye创始人Amnon Shashua创立的AI机构首次提出“机制干预”新范式:把编程Agent放进训练与推理现场,哪层网络卡壳,Agent就当场写Python代码塞进模型主干实时接管计算。预训练模型只塞入20行代码,就在单次前向推理里跑起梯度下降;连塞10层代码后,30种经典算法准确率从55%升至84%。

“机制干预”分三步:Agent实时读取每层梯度信号找瓶颈;现场生成几十个候选Python函数实测哪个最能降误差;把胜出代码挂在初始值为0的门控后并入网络,由后续训练自动推开门控。

第一组实验在12层模型nanochat的1500步训练中,Agent三次塞入代码层,每次并入后预测误差(bpb)连降三次,训满1500步相当于白赚15%训练进度;打乱逻辑的“假代码对照组”与常规训练完全重合。Agent靠“幽灵梯度”假想在某层后加新模块、测算误差下降最快方向,锁定第2、4层热区;候选函数在单批数据上实测后,最高分函数挂门控并入,100步内门控自动调到0.58。第1000步Agent往末层塞进20行“错误记忆层”代码,打破“前向只能推理、反向才能改错”定式,不用等反向传播即可边读边核对前文,找出64个最相似犯错位置,在单次前向传播内实现边读边纠错。

第二组实验将记忆窗口锁死在500词以内,考查找回几千词前变量赋值的能力。常规训练召回率0%;第0步天生自带代码缓存层组55%;第1200步半路插入组72%,比天生自带高17个百分点。原因是开训就给现成代码捷径会让网络“偷懒”依赖外部字典、不打磨底层表征;先强迫模型在限制下练扎实基础表征,撞天花板后再接代码,神经权重与符号代码才能形成最大合力。
第三组实验挑战30种经典算法。传统Transformer遇到训练跳过的“中间长度”准确率崩盘,常规训练20000步总准确率仅55%。第10000步起Agent每隔500步出手一次,连塞10个Python代码层记录“哪些节点访问过”“当前最小值”等状态,5000步后广度优先搜索从0分升至97%,拓扑排序达93%,30种算法总准确率提升29个百分点至84%。涨分关键在于神经与代码配合:Agent用线性探针检测发现第4层已把零散字符拼成真正数字,代码层从第4层读出数值82.6,在Python里完成比大小和循环更新后写回网络。
第四组实验中,团队将DeepSeek-V4.1-Flash在243道数学题上的做题轨迹连同最深7层激活状态交给它自己,它分析犯错规律后写出探针重采样程序probe_and_resample。相同token预算下:标准单次长思维链推理准确率63.9%;仅按长度重采样组65.4%;DeepSeek自写探针组71.0%,提升超7个百分点。思维链每推进到检查点,程序自动提取最深7层激活特征打分,测出轨迹偏离正常分布就触发回滚重算。Qwen3-8B在零梯度更新下自主进化测试15000个Python调度策略,在AIME与HMMT 2026上准确率从58.5%升至65.5%,同样提升7个百分点:32条并发轨迹每跑2048个token检查一次,满8条算出答案且榜首票数达第二名2倍以上就提前终止省算力;跑满12288个token未算完、重复率超0.35的“死循环复读”轨迹被当场砍掉重启并降权投票。
四组实验勾勒出通往超级人工智能的关键一步——递归自我改进:模型卡在哪个算子、崩在哪个长度,不再需要人类盯着Loss曲线猜,AI读懂自身内部状态,当场写几行Python代码就能给自己的大脑动手术。从“人类调权重”迈向“AI写架构”,大模型已开始亲手接管自己的神经网络。
更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线
过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...
2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成
英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...
2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业
「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...
2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作
游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...
2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno
Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...
2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提
我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...
2026-11-20 19:59:42