前言

随着大模型在各个领域的广泛应用,其安全性和隐私性问题日益凸显。这些模型在训练过程中往往需要海量的数据,其中可能包含敏感的个人信息。虽然模型提供者会采取各种措施保护数据安全,但研究表明,通过特定的攻击手段,攻击者仍有可能从模型中提取出训练数据、推断成员身份、获取用户属性,甚至复制整个模型的功能。


我们在本文里尝试根据之前调研的论文、实践,来尽可能系统地说明大模型面临的主要隐私攻击技术,包括训练数据提取攻击、成员推断攻击、属性推断攻击以及模型逆向工程等。这些攻击方式不仅威胁着用户的隐私安全,还可能导致模型知识产权的泄露。深入理解这些攻击技术的原理和特点,对于我们开发更安全的AI系统、制定有效的防御策略都具有重要意义。

​

​

训练数据提取攻击(Training Data Extraction Attacks)

训练数据提取攻击是一种针对预训练大规模语言模型的高级隐私安全威胁,攻击者通过精心设计的提示(Prompt)或查询序列,利用模型在预训练阶段对数据的过度记忆(Memorization)特性,以及模型输出分布与训练数据的统计相关性,从而重建或推断出原始训练集中的敏感信息,这种攻击方式不仅违反数据隐私保护原则,还可能导致知识产权泄露,对模型供应商和终端用户都构成重大安全风险。

攻击原理

训练数据提取攻击的原理可以通过利用模型在训练过程中“记忆”特定数据的方式来进行解释。攻击的核心在于通过查询已部署的大模型并分析其输出,推测出模型在训练期间所接触到的原始数据。具体来说,攻击者通过向模型提供不同的输入,并分析输出结果,从中反推模型可能“记住”的训练数据。

典型的训练数据提取攻击方法,包括模型输出分析攻击、反向传播攻击、模型过拟合利用攻击。

攻击方法

模型输出分析攻击(Model Output Analysis Attack)

该方法是最基本的训练数据提取攻击,攻击者通过向模型输入查询并分析模型的输出,推测训练数据的内容。由于在模型训练过程中,模型参数可能“记住”特定的训练样本,攻击者可以利用模型的输出推断出训练数据。

这里的核心在于攻击者可以通过不同查询推测训练数据中的特定内容。模型输出的多样性和生成的详细性都可能成为攻击者提取信息的线索。

反向传播攻击(Backpropagation Attack)

反向传播攻击基于梯度信息,攻击者通过计算模型输出相对于输入数据的梯度,逐步恢复训练数据。由于许多大型语言模型在训练时会“记住”特定数据样本的特征,攻击者可以通过对模型的输出进行微调和反向传播来反向推测训练数据。

反向传播攻击利用梯度信息帮助推断输入数据,尤其是在模型在训练期间已经“记住”特定数据样本时,攻击者能够通过多次迭代调整恢复输入数据。

模型过拟合利用攻击(Overfitting Exploitation Attack)

大型语言模型在训练时可能会过拟合特定的训练数据,尤其是在数据集较小或数据质量不高的情况下。攻击者可以利用这种过拟合现象,通过生成特定的输入并观察模型是否输出与训练数据相似的内容,从而泄露敏感信息。

攻击步骤:

1)过拟合识别:攻击者通过训练数据的特征和模型的预测能力来评估模型是否过拟合。例如,攻击者可以提交与训练数据相似的查询,观察模型是否输出准确或与训练数据高度一致的内容。

2)输出对比与重构:当模型对某些输入输出产生过度拟合时,攻击者可以通过对比不同的输入输出结果,推测出训练数据的特征,从而恢复原始训练数据。

​

成员推断攻击(Membership Inference Attacks)

成员推断攻击核心目的是判断特定数据样本是否曾被用于训练目标模型。攻击者通过分析模型对训练数据和非训练数据的响应差异,特别是模型在处理训练数据时往往表现出更高的准确性或置信度,从而推断出某一数据是否属于训练集。由于这种攻击能够泄露训练数据的成员信息,尤其是涉及敏感或私密数据时,对数据隐私构成了严重威胁。

​

攻击原理

成员推断攻击之所以存在,是因为大模型在训练过程中会“记住”一些与训练数据相关的模式或信息,尤其是对于特定数据样本,模型的预测结果与这些样本的关系可能不同于其他数据样本。这种“记忆”效应使得攻击者能够通过观察模型的输出,推断出某个特定样本是否在训练集内。具体而言,成员推断攻击依赖于模型的泛化能力和训练数据的影响差异。如果模型对训练数据的响应与非训练数据存在可识别的差异,攻击者便能够通过反向推理来判断某个数据是否被用于训练。

例如,考虑目标模型f target和一个输入样本 x,如果模型对训练数据和非训练数据的输出存在明显差异

则攻击者通过对比测试数据x test和训练数据 x train的输出,能够推断某个样本是否参与了训练。因此,攻击者通过查询模型的响应和学习训练数据的特征差异,能够推断数据是否在训练集中,从而泄露隐私。

​

攻击方法

置信度阈值攻击(Confidence Thresholding Attack)

损失函数差异攻击(Loss Function Difference Attack)

此方法基于模型的损失函数来进行推测。对于训练集的成员,模型的损失通常较低,而对于非训练集的数据,模型的损失通常较高。攻击者可以利用这一差异来进行推测。

输出概率分布攻击(Output Probability Distribution Attack)

在这一方法中,攻击者不仅仅关注输出概率的大小,还会考虑模型输出的概率分布。通常情况下,训练集样本在模型输出中具有较小的熵,而非训练集样本的输出概率分布熵较大。熵(Entropy)是衡量概率分布不确定性的一个度量,计算公式为:

神经网络中间层特征攻击(Intermediate Layer Feature Attack)

在更高级的攻击中,攻击者可能通过观察神经网络中间层的激活特征来推测训练数据的成员身份。通常,训练数据样本在网络中的表示会比非训练数据更具规律性。攻击者通过访问或近似访问模型的中间层特征(如隐藏层输出),可以基于这些特征的分布差异进行推测。

总体而言,成员推断攻击通过分析模型对训练数据和非训练数据的不同响应,利用置信度、损失函数、输出概率分布、以及神经网络中间层的特征差异来推断某个数据样本是否属于训练集。攻击者通过不同的攻击策略,可以有效地揭示训练数据的成员身份,从而威胁模型的隐私性。

​

属性推断攻击(Attribute Inference Attacks)

属性推断攻击主要目的是通过分析模型输出推断训练数据中未显式包含的敏感属性信息,如年龄、性别、政治倾向等。与成员推断攻击不同,属性推断攻击不仅关注判断某个数据样本是否存在于训练集中,还试图揭示与该样本相关的隐含特征或敏感信息。这种攻击利用模型在训练过程中“记忆”特定属性的倾向性,使攻击者能够从模型的预测结果中间接地推断出与训练数据相关的敏感属性,从而对数据隐私构成更为深远的威胁。

攻击原理

属性推断攻击之所以存在,主要是因为大模型在训练过程中对数据中的模式、关联性以及隐含特征的学习,这些特征并不总是直接或显式地表示在训练数据中,而是以某种方式被"记忆"或"编码"在模型的参数和结构中。这种“记忆”使得模型能够对数据的隐含属性进行推测,即使这些属性没有显式地标注或与训练样本的主要标签直接关联。

现代深度学习模型,尤其是大模型,具有非常强的表达能力和高容量,这使得它们能够捕捉到训练数据中存在的复杂模式和关联性。模型在训练过程中不仅学习到显式标签(如文本的分类标签),还无意中“记忆”了与这些标签相关的隐性属性。例如,模型可能在某些输入特征(如文本中某些关键词、上下文信息)和某些隐性属性(如性别、种族等)之间学习到潜在的关联。这使得即使攻击者没有直接访问训练数据,通过模型的输出依然能够推断出这些隐性属性。

在另一方面,对于许多任务(如文本生成、文本分类、情感分析等),模型的输出往往依赖于训练数据的统计特征,这些输出在某些情况下可能无意间暴露了训练数据中的敏感信息。因为训练数据和模型参数之间存在高度的依赖性,模型的预测会反映出训练数据中潜在的结构性特征。例如,模型可能会对涉及特定群体或特定属性的数据给出较为一致的响应,尽管这些属性并未明确在训练数据中显现。

​

攻击方法

属性推断攻击的流程通常包括以下几个步骤:

基于条件概率的推断方法

基于模型输出的特征提取方法

逻辑回归模型攻击

基于中间层的攻击

在深度神经网络中,攻击者还可以通过反向传播或其他优化方法,从模型中间层的特征中提取与敏感属性相关的信息。例如,假设模型由多个隐层组成,攻击者可以通过分析某些特定层的激活值来推测样本 x 是否与敏感属性 a 相关。具体来说,攻击者通过最小化如下损失函数来优化攻击模型:

模型窃取 (Model Stealing)

​

模型窃取(Model Stealing)是一种针对机器学习模型的攻击方式,攻击者通过与目标模型进行交互,获取其输出信息,从而重建出一个近似的模型。这种攻击通常利用模型的预测接口,向模型发送大量输入并记录其对应的输出,进而通过学习这些输入输出对来复制模型的行为。模型窃取攻击不仅可能导致知识产权的泄露,还可能使攻击者能够绕过模型的安全防护措施,进而实施恶意操作或进行进一步的攻击,如模型逆向工程、对抗样本生成等,严重威胁到模型的安全性和隐私保护。

攻击原理

模型窃取攻击的原理依赖于以下几个方面。

1)模型窃取攻击的有效性通常依赖于目标模型的外部接口,即攻击者能够查询模型的预测输出。许多机器学习服务提供商允许用户通过API调用模型,获取给定输入的预测结果。因此,攻击者可以通过接口进行大量查询,收集足够的数据来训练一个窃取模型。

2)攻击者的成功还依赖于目标模型的泛化能力。由于目标模型的复杂性,尤其是深度神经网络模型,它可能会在训练集和测试集之间存在较大的泛化差异。攻击者可以利用这种差异,通过查询模型的预测结果来反向推断模型的结构和参数。

3)攻击者通过查询大量输入数据并获得输出数据,使用这些数据来训练一个近似的模型。该窃取模型通过模拟目标模型的行为,复现其决策边界和输出分布。特别是对于大规模语言模型(LLM),攻击者甚至可以通过有效的查询,捕捉到模型的多样性和语义理解能力。

​

攻击方法

白盒窃取

在白盒攻击中,攻击者拥有目标模型的完整结构和训练数据。因此,攻击者不仅能查询输入输出对,还能够访问模型的详细信息,包括架构、权重等。这使得攻击者能够用与目标模型相似的模型架构来训练窃取模型,优化过程可以非常精确。

​

黑盒窃取

在黑盒攻击中,攻击者只能通过查询目标模型的输入输出对进行训练。攻击者不知道目标模型的内部结构,也不能直接访问其训练数据。攻击者必须通过大量查询输入xi,并利用这些查询结果来逼近目标模型的行为。尽管这种攻击更为复杂,但仍然可以通过精心设计查询策略来成功窃取目标模型。

​

​

参考

1. https://www.linkedin.com/pulse/gen-ai-privacy-conversational-risks-large-language-models-biswas-mfmoe

2. https://not-just-memorization.github.io/extracting-training-data-from-chatgpt.html

3. https://medium.com/@shrivastavasoumyendra/extracting-training-data-from-large-language-models-18604e6e41a2

4. https://www.researchgate.net/figure/The-membership-inference-attack-MIA_fig1_342464437

5. https://www.researchgate.net/figure/Membership-inference-attack_fig1_339897331

6. https://www.researchgate.net/figure/Attribute-Inference-Attack_fig5_368935258

7. https://www.researchgate.net/figure/Overview-of-our-proposed-Attribute-Inference-Attack-against-Dota2-players-Public_fig3_364471145

8. https://www.mlsecurity.ai/post/what-is-model-stealing-and-why-it-matters

9. https://github.com/yunyuntsai/DNN-Model-Stealing

​

​