范围
安全评测关心的问题包括：越狱攻击下的鲁棒性、工具滥用、隐私泄露、版权、虚构信息，以及会话级的权限控制。
核心方法
- 把安全原则纳入训练：在训练阶段就让模型学会按照明确的原则拒绝有害请求。
- 红队测试：人工或自动地构造攻击样本，主动寻找模型的漏洞。
- 标准化评测：用统一的攻击集和判定标准比较不同模型与防御方法。
代表工作
- Constitutional AI（2022）：用一组明确的原则指导模型自我批评和修正，并用 AI 反馈替代部分人工标注来训练无害性。
- HarmBench（2024）：自动化红队测试与稳健拒答能力的标准化评测框架。
实践建议
安全评测要和系统设计一起做，而不是事后补测。对于智能体系统，要把权限、审计、会话控制和工具白名单都纳入安全边界。
开放问题
- 新型越狱攻击层出不穷，评测集难以覆盖。
- 过度拒绝与安全之间的平衡。
- 智能体在真实环境中执行动作带来的新风险。
相关专题
- RLHF、RLAIF与RLVR：Constitutional AI 是 RLAIF 的代表。
- 工具使用与智能体设计：智能体的权限与工具安全。
- 评测基准：通用能力评测。
- 机制可解释性：从模型内部理解和干预安全相关的行为。
- 数据治理、法律与伦理：安全评测与合规要求相关。