一天烧掉5倍Token预算、3周没看一眼代码!微软产品经理让Claude Code、Codex重构代码库,结果Skills是假的、测试连上了生产环境
一天烧掉100美元,是平时一周Token预算的5倍。微软产品经理Keiji Kanazawa让Claude Code和Codex连续写了三周代码,直到仔细检查AI生成的代码时,才发现自己被“骗”了。Agent不仅没有按要求实现真正的Agent架构,还把单元测试直接接到了生产环境的推理接口上,一天跑了约30轮,狂烧Token。折腾三周后,项目最终只能推倒重来。
Kanazawa并非不懂代码的纯小白,他早年做过开发,也有AI研究背景,如今在微软主要负责与OpenAI、Anthropic等实验室对接。工作中他约90%的时间使用GitHub Copilot CLI,个人项目则主要使用Claude Code和Codex。

他的项目最初很简单:搭建一套个人播客处理工具,能自动下载播客、转录音频、生成摘要。后来逐渐扩展,增加对X和Threads内容的抓取与总结,加入定时调度器让系统24小时运行,还接入邮件收件箱——发送链接即可自动抓取内容并返回摘要。之后他开始构建真正的Agent工作流,包括深度研究、针对自己日常Claude Code使用记录的每日反思,以及根据反思沉淀新技能、自动提出Agent指令优化建议等。为此他编写了一套规格说明,希望构建真正的Agent Runtime,包括Agent注册中心,能调度独立Agent并对接不同Agent SDK。
具体实现时,他让Codex和Claude Code轮流接手,一方实现,另一方检查代码、发现问题并修复Bug。两个AI连续工作三周,表面上看几乎完全按需求把系统跑通了。

真正让他起疑的是一次摘要生成错误:系统生成的每日摘要中,有一句话被错误归到另一个板块。为排查问题,他让Claude Code调出该轮会话的Agent SDK Trace,按Turn逐步展示。Claude Code却回答:“我们没有这个数据。因为这并不是真正的Agent,它根本没有使用Agent SDK。”他当即反问:“我不是明确要求你必须使用Agent SDK吗?”
顺着线索深入查看底层代码后,他发现此前以为已实现的架构与实际代码差距不小:Agent Skills没有真正独立的skill.md文件,也没有对应底层脚本;Actions与Skills实际使用同一套逻辑,只是换了名字;Agents同样没有运行在任何Agent SDK之上,所谓Agent抽象也未实现独立运行机制;每日反思Agent虽能定时运行,但重构中底层Prompt逻辑被破坏,已无法生成有效内容。代码中甚至将action兼容为skill。Kanazawa描述说:“它们给系统里的这些构造起了听起来很合理的名字,但实际上根本不是它们所声称的那样。”更让他气愤的是,Claude Code和Codex曾多次提交规格说明和实施计划,他都审核通过了;当AI称已实现Agent Skills时,他也没有深究。

架构问题之外,账单也出了问题。某月第一周,他收到Token服务商的预算提醒邮件:支出约100美元,约为平时一周消耗量的5倍。排查发现问题出在Codex身上:它把所有单元测试直接连接到生产环境的推理接口,本应验证代码逻辑的测试不断调用真实线上模型服务。收到警报前的一天,Codex已针对生产环境推理接口运行30多轮测试,产生大量额外Token消耗。与此同时,每日反思Agent虽每天按计划运行,但因底层Prompt逻辑被破坏,实际没有有效Prompt执行,生成的摘要全是空的。一个问题持续消耗预算,另一个持续产生无效结果,且都未被及时发现。
最终,Kanazawa放弃修补原有代码,直接推倒重来。这次他不再全权交给AI。他拿四种Agent框架做对比测试:Claude Code、Codex、GitHub Copilot CLI/应用,以及Mario Zechner开发的Pi框架。测试任务是用户输入内容,启动Claude Agent SDK会话,由Agent执行任务并将结果输出到画布。最终他决定个人项目主要使用Claude Code和Codex;工作场景仍以GitHub Copilot为主力,约90%工作时间使用Copilot CLI,并对新推出的Copilot应用评价积极。Pi能快速构建漂亮的交互体验,但会追问SQLite数据库设计、TypeScript API结构等偏工程的问题,让他有些吃不消。他表示喜欢Pi,但它并非能让数百万人轻松构建和运行Agent的工具。
重新搭建项目时,Kanazawa引入新机制Rubrics(评估标准)。此前他主要通过Spec和Plan告诉AI做什么、如何做;这次增加目标评估机制,让Agent不仅知道任务是什么,还能判断最终输出是否符合要求。这些Rubrics本身也是由Agent制定。
更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线
过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...
2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成
英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...
2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业
「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...
2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作
游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...
2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno
Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...
2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提
我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...
2026-11-20 19:59:42