每逢新模型发布，榜单分数几乎是最先被摆上台面的指标。MMLU、GSM8K、HumanEval 等基准的得分，被用来证明推理、数学与编程能力。但多项研究与开发者实测显示，一些基准题目早已散落在公开网页与代码仓库中，被训练管线顺手收走，榜单高分未必等于真实能力。

高分与新题之间的落差

最直观的检验方式，是把原题稍作改动：换掉数字、调整选项顺序、加入一句无关描述。有开发者发现，部分模型在原题上表现稳定，题目一变就明显失分。这种记得住、推不动的表现，正是数据污染（contamination）的典型迹象——模型见过答案，而不是学会了方法。

污染从哪里来

污染并非某一家的问题，而是整条数据链的结构性风险：

  • 基准题目、答案与解析长期公开，大规模网页抓取很容易将其收入训练语料；
  • 部分第三方数据包来源不明，混入测试集内容，购买方难以核验；
  • 为便于复现，测试集常被放在代码托管平台，训练管线顺手抓取；
  • 个别团队围绕基准做定向调优，把评测当成目标而非测量工具。

此外还有选择性汇报：只公布擅长维度的分数，或在多次运行中取最好结果，进一步放大了失真。

检测能做什么，不能做什么

目前常用手段包括 n-gram 重叠比对、困惑度异常检测、扰动测试，以及直接询问模型能否复述题目。这些方法能给出概率性线索，却很难下定论：训练数据往往不公开，见过与会做的边界也并非泾渭分明。更麻烦的是，一旦模型在已知题目上过拟合，后续迭代可能建立在错误的反馈信号上。

从静态榜单转向动态赛场

业界的应对思路大致有三条。一是动态基准，题目定期更新，并按发布时间切分训练与测试窗口，让模型无法提前预习。二是私有留出集与第三方托管，题目不公开，结果由中立机构核验。三是人类盲测与真实任务评测，通过匿名对战投票、长周期智能体任务，考察模型在开放环境中的稳定性。几条路径各有成本，但共同指向一点：评测需要可复现，也需要可更新。

把评测当作基础设施

对开发方而言，公开训练数据来源、披露去污染流程、在模型卡中说明评测口径，正在成为基本要求。对基准维护方而言，定期轮换题目、公开污染检测工具、保留历史版本，比追逐榜单热度更重要。对采购方与普通用户而言，单一分数只能作为参考，还要看具体任务表现、失败案例与使用成本。

评测的意义不在于排座次，而在于为技术选择、行业采购与监管判断提供依据。当基准本身被污染，受影响的不只是排行榜的公信力，还有整个行业对能力边界的判断。让题目保持新鲜，让过程保持透明，是这场评测改革最朴素也最关键的一步。