谷歌Meta被指刷榜 Gemini测试暴跌70分

9月8日，分析机构SemiAnalysis连发五条推文，点名谷歌和Meta，称Gemini 3.8 Flash和Muse Spark 1.3是“刷榜痕迹最明显的两个模型”。

证据来自榜单成绩的剧烈反差。在测Agent干活能力的Terminal-Bench 2.1上，Gemini 3.8 Flash考了89.4分，在182个模型中排第2，超过GPT-6 Astra；Muse Spark 1.3以88.8分排第4。但换到8月29日上线的Terminal-Bench 4.0，Gemini 3.8 Flash只拿到19.1分，在14个测试对象中掉到第12；Muse Spark 1.3为33.3分。同期GPT-6 Astra从88.4降到57.7。

Meta首席AI官Alexandr Wang随后在评论区反驳，称这是“愚蠢的论点”，并指出GPT-5.6 Sol在2.1上是88.8，在4.0上掉到37.3，落差更大却没人说它刷榜。他还强调Meta从未说过Muse Spark 1.3能跟Astra或Fable 5.1一样强，只是性价比更高。

Terminal-Bench测的是Agent真实干活能力：给模型一个终端和模糊目标，让它自行规划、调工具、写脚本并改错。4.0版本共66道题，砍掉8道已被“刷穿”的旧题，大修19道，加入8小时超时限制，并设置35条评分细则和“对抗性作弊试验”，故意让Agent尝试钻奖励机制空子，钻得通就毙掉。新榜中，Claude Mythos 5.1（max）以60.9分居首，GPT-6 Astra和Claude Fable 5.1分别为57.7和55.8分，Claude Opus 5为52.3分，上一代GPT-5.6 Sol和Terra分别为37.3和23.6分。

SemiAnalysis指出，真正内幕在于：2.1任务完全公开，Meta和谷歌不会直接拿原题训练，但会购买无限贴近TB 2.1题型的训练数据，效果等同作弊。这已成明码标价的生意：单个训练任务售价200到2000美元，复杂软件工程任务可达2万美元，克隆网站约2万美元，复刻Slack量级产品30万美元起步，独家买断再翻4到5倍。Epoch AI调研称，Anthropic内部讨论过每年砸10亿美元；单季合同动辄六七位数，有研究员透露均价30万到50万美元一季。供给侧至少35家公司，多数为20人以下初创团队，Scale AI被Meta入股前营收超14亿，Surge的ARR逼近10亿。

SemiAnalysis还点名Datacurve。在长周期编程榜单DeepSWE 1.1上，Muse Spark 1.3（max）以75.4分第一，GPT-6 Astra和Claude Opus 5紧随其后，Gemini 3.8 Flash以73.8分第四。该榜由Datacurve主办，而Datacurve同时向前沿实验室出售“专家级编码数据和强化学习环境”，既当卖题机构又当监考老师。

SemiAnalysis最后判断，所有优质公开基准都难逃此宿命，TB 4.0现在准只是因为才发布两周。解药是多做高质量私有基准，但代价是公开榜单将沦为营销通稿，真实成绩只在实验室和私有评测机构间流动。大厂乐见其成，但开发者将失去公平丈量所有模型的公共尺子。