GPT-6也会看错流程图?视觉编程评测新基准发布

GPT-6也会看错流程图?视觉编程评测新基准发布

AI 资讯 来源:新闻/公众号 发布时间:2026-09-30 18:14:50 预计阅读 5 分钟

Coding Agent 正从纯文本世界走向视觉世界。越来越多任务要求 Agent 将流程图、设计稿、3D 草图乃至 PPT 等视觉目标转化为可执行、可编辑的代码,这一能力被称为 Visual Coding。其难点在于:Agent 不仅要保证代码可运行,还需从视觉输入中理解对象、结构、空间关系和语义,并准确编码进程序。

PPT 成为理想测试载体:它由文本、形状、连接线、分组和布局构成,既是可编辑对象集合,又保留视觉结构。视觉相似不等于语义正确——箭头接错节点、漏掉小节点,含义都会改变。

GPT-6 Astra也会「看错」流程图? Einsia AI发布PPTBench,视觉编程还有多远?

Einsia AI 旗下 Navers Lab 发布 PPTBench,任务来自真实科学论文的流程图和架构图,构建 500 个任务,覆盖系统与软件、人工智能、计算机视觉、语言与语音、量子与基础物理、天文、机器人、生物医学等 13 个领域,包含多面板图、层级结构、重复网格、复杂连线和文字密集等布局。任务要求 Agent 用代码将流程图重建为可编辑 PPTX,不能贴图,必须用原生 PowerPoint 对象表达。这要求同时解决三个问题:看懂、写对、交付。

PPTBench 设计了 Agentic Judge。首先通过 Artifact Gate 检查 PPTX 能否正常解析渲染、是否为单页、是否含足够原生可编辑对象、是否存在贴图,无效则 0 分。通过后分三阶段评测:Stage 1 判断流程语义是否正确;Stage 2 检查可读性,排除严重渲染或排版错误;Stage 3 比较整体布局与局部视觉差异,不要求对象表达方式相同,只关注最终视觉结果。

GPT-6 Astra也会「看错」流程图? Einsia AI发布PPTBench,视觉编程还有多远?

研究团队测试 10 个模型、36 种配置,每种完成同一组 500 个任务,每份结果三轮评审,累计 54,000 份评审记录。GPT-6 Astra High 以 77.34 分居首,全部生成有效产物,80.8% 同时通过语义和渲染检查。Kimi K3 High 得 67.80 分,GPT-5.6 Sol Max 和 Qwen 3.8 Max XHigh 分别得 49.28 和 47.69 分。即便最优配置,仍有近两成任务未同时通过两道检查。

在 18000 份结果中,394 份(2.19%)未通过产物检查;11526 份(64.03%)因流程语义错误被拒;剩余 6080 份中 365 份未通过渲染/文字门控,最终 5715 份(31.75%)进入细节评分。细节扣分中,文本与排版占 53.0%,局部图形占 34.3%,布局占 12.8%,失分最多的是文本意外换行。这些问题难以从生成脚本本身看出,只有能进行视觉审查与迭代的模型才能发现并解决。

GPT-6 Astra也会「看错」流程图? Einsia AI发布PPTBench,视觉编程还有多远?

提高 reasoning effort 的收益主要体现在门控通过率。GPT-6 Astra 从 Low 到 High,平均分由 59.42 升至 77.34,通过全部门控比例由 63.0% 升至 80.8%,提高 17.8 个百分点;通过门控后的条件细节分仅由 94.32 升至 95.72。但更多思考不保证更高得分:Astra 五档平均分依次为 Low 59.42、Medium 68.16、High 77.34、XHigh 72.60、Max 68.76。从 High 到 Max,门控通过率从 80.8% 降至 71.0%,尽管条件细节分升至 96.85,总分仍下降。这说明思考深度主要让更多产物保留正确流程,细节精度改善有限,把 effort 调到最高档并非可靠默认选择。

模型构建 PPT 的方式与人类不同:人类逐个拼组件,模型一次写出完整生成脚本再根据视觉反馈调整。分析调用轨迹发现,对自己的产物进行视觉检查次数更多的模型往往得分更高。

标签: AI 资讯 AI

更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...

2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...

2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业

Claude 开始「整顿」会议室,建议国内大厂抄作业

「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...

2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...

2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...

2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...

2026-11-20 19:59:42
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部