要解决的问题
理解模型内部究竟是怎么计算的：哪些神经元或方向表示了什么概念（特征），这些特征如何连接起来完成一项任务（电路）。这是模型安全、调试和可控干预的基础。
核心方法
- 稀疏自编码器（SAE）：用一个较大的特征字典近似重构模型激活，并让每个输入只激活少量特征。得到的部分特征具有较清晰的语义，但稀疏性不保证每个特征都单义、可解释，也不保证覆盖模型全部计算。
- 电路分析：追踪完成某个具体行为的内部计算路径。
- 探针：在中间层训练简单分类器，检验某种信息是否可被解码；探针预测成功不等于模型实际用该信息作决策，需要结合消融或激活干预研究因果作用。
- 激活引导（steering）：直接修改内部激活，干预模型的行为。
代表工作
- Towards Monosemanticity（2023）：Anthropic 用稀疏自编码器从小型模型中提取出大量可解释的单义特征。
- Scaling Monosemanticity（2024）：把这一方法扩展到 Claude 3 Sonnet 这样的生产级模型。
现状
机制可解释性是 Anthropic 等机构的重要研究方向，正在从「理解模型」走向「干预模型」，即在特征级别控制模型的行为。
开放问题
- 能否扩展到最前沿的大模型。
- 提取出的特征是否完备。
- 内部特征与外部行为安全之间的因果联系。