WebCraftBench：给 AI 生成的网页来一场「实测大考」

如何评价 AI 写出的网页？我们尝试让 AI 自己来打分。

腾讯混元团队联合清华大学、北京大学的研究者提出 WebCraftBench ，把软件测试的方法引入网页生成评测：让智能体真正操作网页，用代码覆盖率帮助查漏，再从美观度、易用性和需求符合度三个维度打分。在 197 组经复核的应用对比中，它与人类偏好的判断一致率达到 85.3%。

论文标题：WebCraftBench: Evaluating Web Application Generation from a Software Testing Perspective

论文地址：https://arxiv.org/abs/2609.15387

让 AI 帮你做一个网页应用，本以为交代完需求，就可以等着验收。可真正打开交付结果时，却可能遇到这样的场景：

页面做出来了，设计却没跟上。内容一股脑堆在屏幕上，字号、间距毫无章法，甚至输入框和按钮互相重叠，看不清，也点不准。

勤勤恳恳忙了两小时，主页面却一打开就报错。AI 反复写代码、修问题，功能写了一大堆，终于宣布「已完成」。可用户连首页都进不去，更别说体验后面的功能。

功能加了一大堆，用户的需求却走了样。你只想要一个无需登录、打开就能记的待办清单，AI 却擅自加上账号体系和复杂的管理后台，把简单工具做成了另一套产品。

这些问题分别指向美观度、易用性和需求符合度，也正是 AI 网页生成评测绕不开的三个维度：页面看起来怎么样，操作起来顺不顺，以及用户交代的事情有没有做到，都需要分别检查。

WebCraftBench 给出的思路，是让评测先经历一遍真实使用过程，再根据留下的证据判断质量。这场「实测大考」包含：

369 条真实用户需求，保留口语表达、需求模糊和复杂度差异；

5,088 条验收标准，覆盖功能、内容和视觉要求；

17 个前沿模型、6,273 个生成应用...