AI会向开发者隐藏错误!Warp负责人谈Coding Agent最难发现的失败

AI会向开发者隐藏错误!Warp负责人谈Coding Agent最难发现的失败

AI 资讯 来源:新闻/公众号 发布时间:2026-11-10 17:27:59 预计阅读 6 分钟

Ben Holmes是Warp开发者体验工程负责人,参与Warp Factories项目,关注Coding Agent的工作流程、运行评估和Skill改进。他在演讲中指出:Agent碰到障碍会继续尝试直到完成任务,不会报告中途失败,最后只说“已完成”。只保存人机对话不够,还要把调用的工具、碰过的文件、最终产出放在一起看,才能还原任务完成过程。把表现不佳的会话集中分析,找出反复出现的原因,再让Agent提出修改Skill或配置的建议,但团队仍须审查这些改动。

他以Warp测试环境为例:测试Skill中部分指令已过时,Agent按说明操作失败后自行试端口、摸索环境,继续写代码。任务完成了,团队只觉得比预期慢约两分钟,翻看工具调用记录才发现真相。指令并未因这次成功而修正,下一个Agent仍可能重走一遍。还有更隐蔽的问题:Agent可能写大量团队不需要的测试,或在代码里塞进大量注释,让PR更难审。最终代码未必有错、测试也可能全绿,单看结果很难发现它花了多少时间试错、把多少审查负担留给了人。

AI会向开发者隐藏错误!Warp负责人谈Coding Agent最难发现的失败

Ben建议回看完整工作记录并按团队标准检查。若多个Agent卡在同一处,应修改那条Skill,而非每次提醒“下次别这样”。他展示的Skill Doctor能检查Claude Code、Codex等工具的历史会话;持续运行方案中,Agent还会针对反复出现的问题提出PR。但给会话打分的也是Agent,可能看错原因,多加检查还消耗Token;修改Skill的PR是否真减少绕路、有无引入新问题,仍要开发者核对。

演讲核心问题是:Agent交付成功后,团队要不要回头检查它走过的路?如果没人看,今天被绕过的小问题,明天还会出现在另一次“任务完成”之前。

AI会向开发者隐藏错误!Warp负责人谈Coding Agent最难发现的失败

Ben举例发生在Warp自己的测试流程:Skill本应告诉Agent如何启动和检查环境,部分说明却已过时。Agent没停下来等人修改,而是试不同端口、摸清环境后继续写代码。只看这次PR可能什么都不值得追究:改动交了,测试也跑了。但那份Skill下次还会被读取。一个Agent独自绕路两分钟,十个Agent并行就变成团队重复支付的时间和Token。“隐瞒错误”指问题留在过程记录里,没有进入交付报告,并非Agent偷偷把失败测试改成通过,也不是证明模型有欺骗意图。

Ben让团队把每次Agent工作留下的三样东西放在一起:对话、工具调用、产出的代码或PR。对话能看到人交代了什么;工具调用能看到运行了哪些命令、撞上哪些错误;最终改动说明交出了什么。这也解释了为什么“测试全绿”不能回答开头的问题:测试检查的是这次改动有没有满足验收条件,不记录Agent为让测试跑起来是否先试错十几次。要找重复耗时,得回到执行记录。

AI会向开发者隐藏错误!Warp负责人谈Coding Agent最难发现的失败

现场Ben问听众有没有觉得Agent写了太多测试,接着列出三类检查项:重复测试、表达是否冗长、工作是否高效。团队也许想要端到端测试,Agent却写了很多覆盖同一行为的单元测试;代码看起来“测试很多”,未必符合团队原本安排。若Agent在本来清楚的改动里留下大量无用解释,审查者要花更多时间筛掉噪声。效率不能只按完成耗时判断,还要看它有没有因说明不清而反复执行同一种失败命令。多跑一次测试不一定是坏事,第一次失败后换方法也可能是必要排查。Ben提出让团队先写清评价标准,再用Agent筛出值得人回看的会话,而不是把“工具调用多”直接等同于质量差。

Warp的做法是给历史会话设定评分规则,让另一个Agent检查。例如“效率”看它是否朝结果推进,还是陷在重复步骤中。Ben展示了按会话抽样评分的方法,也提到可让每次PR合并后触发检查。评分标准得由团队自己定,先写几条,拿真实会话试,再慢慢改。分数能帮团队从大量记录中挑出异常,但本身不是证据。假如评分Agent把一次必要重试误判成浪费,团队仍要点开原始工具调用;修改Skill也一样,不能因为这次改完跑得快就直接合并,还要拿其他任务试,确认新说明没带来新问题。

下一步是把低分会话里的原因交给专门Agent找共同点。若许多任务都在同一条测试指令上打转,改的就该是那条指令。演示中,Agent发现测试时总在争抢端口,建议修改端到端测试Skill:先确认可用端口再启动环境。另一处反复出现的人工修改,是Ben总要把Agent写的更新日志改成团队习惯说法,他也把这点写回Skill。两处都很小,却让下一次任务少走同样的弯路。Warp还展示了让Agent持续检查会话、提出自我改进PR的工作流,团队会审查这些PR,并非Agent可自行改写规则直接上线。演讲中还发生小插曲:Ben准备展示持续评分图表时,暂存环境访问失效,只好改用口头解释。

开发者现在能试的,是先查一次自己的工作记录。Ben展示的Skill Doctor可检查本地Claude Code、Codex或Warp的历史会话,给出效率、代码质量等方面报告,并提出Skill修改建议,效果仍要用自己项目核对。更稳妥的第一步是找一类常交给Agent的任务,翻看最近几次记录:它在哪条命令前停得最久?是不是每次都要人补同一句提醒?如果根源是项目说明不准,先修说明,再用同类任务比较前后。记录里可能有仓库路径、日志和密钥,集中分析前要先处理访问范围。收益不该靠一个漂亮分数宣布,看下一次任务是否少试了几条无效命令、少来回问了几次、修改

标签: AI 资讯 AI

更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...

2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...

2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业

Claude 开始「整顿」会议室,建议国内大厂抄作业

「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...

2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...

2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...

2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...

2026-11-20 19:59:42
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部