要解决的问题
如何可靠地衡量模型的能力。常见的问题是：单一选择题基准很快被刷满，测试题可能混进训练数据（数据污染），用模型当裁判又会带来偏差。
发展趋势
从单一的选择题，走向多维度、动态更新、可自动验证、低污染的评测：
- 多场景多指标：同时衡量准确率、鲁棒性、公平性、效率等多个维度。
- 可验证：评分由程序自动判定，不依赖模型裁判的主观判断。
- 高难度：题目需要专业知识或多步推理，尽量避免仅靠简单搜索就能作答；不意味着答案永远不会公开。
- 持续更新：不断加入新题，并按题目发布时间与模型训练截止时间划分评测，降低污染风险；更新本身不能保证零污染。
- 真实任务：评测模型在真实代码仓库、真实网页环境里完成任务的能力。
代表基准
- HELM（2022）：在多个场景下用多个指标全面评测语言模型。
- IFEval（2023）：用可以程序自动检查的指令（比如英文回答的词数约束）评测指令遵循能力，减少模型裁判的偏差。
- GPQA（2023）：研究生水平的高难度科学问答，专门设计成用搜索引擎也难以找到答案。
- SWE-bench（2023）：让模型解决真实 GitHub 仓库中的问题，以规定测试是否通过来判定任务是否解决；通过这些测试不等于证明补丁满足所有需求、没有其他缺陷。
- LiveCodeBench（2024）：持续从编程竞赛收集新题，支持按时间窗口选择题目，降低训练数据污染的风险。
- MMMU（2023）与 MMMU-Pro（2024）：大学水平、多学科的多模态理解与推理评测。
- GAIA（2023）：评测通用助理完成真实世界任务的能力，需要结合推理、浏览和工具使用。
工程实践
维护三层评测：离线的固定基准、线上的真实业务样本、红队对抗样本。常用工具有 lm-evaluation-harness 和 OpenCompass。
开放问题
- 数据污染的检测与规避。
- 模型裁判的偏差。
- 基准分数与真实使用体验之间的差距。