隐私保护

要解决的问题

• 训练数据中的个人隐私不被泄露。
• 满足合规要求，能够去除特定数据对模型的影响。

核心方法

• 差分隐私随机梯度下降（DP-SGD）：裁剪每个样本的梯度，并对聚合梯度加入噪声；结合采样率、噪声尺度、训练步数与隐私会计，得到给定邻接关系下的 $(\epsilon ,\delta )$ 隐私保证。只写「加过噪声」不足以说明隐私强度，样本级保护也不自动等于用户级保护。
• 联邦微调：数据留在本地，交换模型更新；但更新本身可能泄漏训练样本。联邦学习不自动提供差分隐私，通常还需按威胁模型考虑安全聚合、差分隐私等措施。
• 机器遗忘（machine unlearning）：目标是移除指定训练数据的影响，常以「删掉这些数据后重新训练」的模型为参照。近似遗忘需要专门评估；让模型拒答或改掉某条事实，不足以证明相关数据已被遗忘。
• 个人身份信息过滤与去标识化：在数据进入训练之前清洗掉敏感信息。

代表工作

• Deep Learning with Differential Privacy（2016）：提出 DP-SGD，是差分隐私深度学习的基础方法。
• Communication-Efficient Learning of Deep Networks from Decentralized Data（2016）：提出联邦平均（FedAvg）算法与联邦学习的基本框架。

开放问题

• 隐私与模型效用之间的权衡。
• 机器遗忘的效果如何验证。
• 模型对训练数据的记忆与数据提取攻击的防护。

参考资料

• Deep Learning with Differential Privacy
• Deep Leakage from Gradients

相关专题

• 数据治理、法律与伦理
• 数据构建与清洗：训练前的敏感信息过滤。
• 知识编辑：修改模型行为与移除训练数据影响是不同目标，编辑成功不构成遗忘证明。