CN113918814B 一种基于对抗学习的高鲁棒隐私保护推 荐方法 （北京交通大学）

一种基于对抗学习的高鲁棒隐私保护推荐本发明提供了一种基于对抗学习的高鲁棒练集与参考集对联合模型进行对抗训练方式的迭代优化，得到鲁棒的用户和物品特征表示矩对抗训练的方式设计统一的最小最大化目标函数来显式的赋予推荐算法防御成员推理攻击的2步骤S1：构建神经协同过滤模型以及所需训练集，并随机peRxm表示用户特征矩阵，QeR"表示物品特征矩阵，ΘR统一表步骤S2：构建成员推理模型以及所需参考集，步骤S3：利用所述神经协同过滤模型和所述成员推所述的步骤S3中的基于成员推理正则项的神经协同过滤联合模型的目标函数定义如其中，内部的最大化函数的目标是针对给定的推荐模型f(ΘR)找到最强的成员推理模神经协同过滤模型f(ΘR)的优化目标是最小化期望经验损失，使用交叉熵损失作为目其中D,为优化神经协同过滤模型的训练集，Ju所述成员推理模型的目标为最大化经验收益，即为了建模预测分布的参考集D,,训练集用于推荐模型的训练和成员推理模型优化的正样本，参考集不参与推3荐系统的训练而是作为成员推理模型优化的负样本，训练集作为参考集中的正样本，利用上述训练集与参考集对带有成员推理正则项的神经协同过滤联合推荐模型所述的带有成员推理正则项的神经协同过滤联合推荐模型进行迭代对抗训通过以上算法，找到最小最大化目标函数的平衡点，获得具有成员所述神经协同过滤模型f(P,Q,ΘR|u,i)的输入层包括分别描述用户u和物品i的两个one-hot特征稀疏向量vu和vi，将稀疏向量通过嵌特征向量qi＝QTvi，其中peRon和QeRO矩阵分别表示用户特征矩阵和物品特征矩物品低维向量映射为预测点击概率in,所述预测点击概率jue(0,1)越接近于1表示该用户利用负采样技术按照与正样本同分布原则生成用户点击负样本DF=(u,i,yu=0),利用所述用户点击正样本和用户点击负样本共同构成训练神经协同过滤推荐模型的4.根据权利要求1所述的方法，其特征在于，所述的步骤S2中的成员推理模型构建包所述成员推理模型g(ΘM)基于对成员预测和对非成员预测的统计差异利用分类任务来中的任一样本(u,i,yui)以及对应的个性化推荐模型的输出向量iu,共同构成成员推理模4型的输入样本(u,i,iu,yui),若经过成员推理模型后的输出结果ha接近于1则为成员，否则将参与神经协同过滤推荐模型训练的数据集D:-(DtuDT)作为训练成员推理模型的正样本D⃞=(u,i,hu=1),也称为成员推理模型的成员集合，其中hui＝1表示参与神经成员推理模型的负样本D;=(u,i,hu=0),其中hui＝0表示未参与神经协同过滤推荐模型将所述成员推理模型的成员集合与非成员集合共同构成了训练成员推理模型所需的5术支撑是利用机器学习思想来对用户历史浏览数据进行训练然而前人的工作大多聚焦在保护用户的人口统计学特性和用户的历史购买行为等敏感信6两个one-hot特征稀疏向量vu和vi，将稀疏向量通QeR矩阵分别表示用户特征矩阵和物品特征和物品低维向量映射为预测点击概率jui,所述预测点击概率juse(0,1)越接近于1表示该用户越喜欢该物品，越接近于0表示该用户越不喜欢该物品，预测点击概率ju对于评分矩阵中为1的元素生成三元组数据集合D⃞=(u,i,yas=1),其中，u代表用户标号，DT=(u,i,yui=0),利用所述用户点击正样本和用户点击负样本共同构成训练神经协同过滤推荐模型的训练集[0020]所述成员推理模型g(ΘM)基于对成员预测和对非成员预测的统计差异利用分类7模型数据集中的任一样本(u，i，yui)以及对应的个性化推荐模型的输出成员推理攻击模型的输入样本(u,i,jui,yui),若经过成员推理模型后的输出结果接近于1[0022]将参与神经协同过滤推荐模型训练的数据集作为训练成员推理模型的正样本D⃞=(u,i,hui=1),也称为成员推理模型的成员集合，其中hui＝1表示参与用于成员推理模型的负样本D;=(u,i,hus=0),其中hui＝0表示未参与神经协同过滤推荐[0023]将所述成员推理模型的成员集合与非成员集合共同构成了训练成员推理模型所需的参考集D,=(D⃞UD;)。所需的参考集D,,训练集用于推荐模型的训练和成员推理攻击模型的正样本，参考集不参与推荐系统的训练而是作为成员推理模型的负样本，训练集作为参考集中的正样本，8利用上述训练集与参考集对带有成员推理正则项的神经协同过滤联合推荐模型ΘM习，达到能够防御成员推理攻击和缓解推荐模型过拟合以此增强泛化能力和鲁棒性的目在保护成员隐私的前提下向用户精准推荐其所感兴趣[0043]图2为本发明实施例提供的一种基于对抗学习范式的成员隐私保护的个性化推荐[0044]图3为本发明实施例提供的一种个性化神经协同过滤推荐模型方法的具体实例化9语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该[0051]本发明实施例提出了一种基于对抗学习范式的成员隐私保护的鲁棒个性化推荐[0052]本发明将推荐算法对于预测性能和成员隐私保护的权衡问题形式化为一个最小准确判断数据是否参与神经协同过滤推荐模型训练的前提下实现精准推荐的目的。具体[0054](1)构建神经协同过滤模型所需的训练集Dt,所述训练集包含原始数据集中给出的用户点击正样本以及利用负采样技术按照与正样本同分布原则生成的用户点击负[0055](2)构建成员推理模型所需的参考集D,,所述参考集包含参与神经协同过滤推荐模型训练的成员集(与含义相同)，以及相同数量规模和分布的未参与神经协同过滤推荐模型训练的非成员集D;,上述两部分子集共同构成训练成员推理模型的参考集D,=(D⃞UD;);的神经协同过滤联合推荐模型进行迭代对抗训练，生成鲁棒的用户特征矩阵P与物品特征[0058]本发明实施例提供了一种模型对抗训练工作流程图如图1所示，其具体包括以下出的用户点击正样本以及利用负采样技术按照与正样本同分布原则生成的用户点击负样本D;。1的元素生成三元组数据集合D⃞=(u,i,yus=1),其中，u代表用户标号，i表示物品标号，[0063]一般的，我们可以使用上文所述的原始用户-物品评分矩阵来训练神经协同过滤D;=(u,i,yhus=0),其中yui＝0表示用户未点击物品的负样本成了训练神经协同过滤推荐模型的训练集D:=(DUDF)。[0064]步骤S2：构建成员推理模型所需的参考集D,,所述参考集包含参与神经协同过滤推荐模型训练的成员集以及同等规模和分布的未参与神经协同过滤推荐模型训练的推理模型的正样本D⃞=(u,i,hx=1),即D:与表达的含义相同，后文中可以进行同义生成用于成员推理模型的负样本D;=(u,i,hx=0),其中hui＝0表示未参与神经协同过滤参考集D,=(D⃞UD;)。则项的神经协同过滤联合推荐模型进行迭代对抗训练，生成鲁棒的用户特征矩阵P与物品[0069]神经协同过滤模型部分：其输入层包括分别描述用户u和物品i的两个one-hot特QeR矩阵分别表示用户特征矩阵和物品特征矩阵，d为低维嵌入后的维度。随后将获得的用户和物品隐向量输入到一个多层神经网络(我们称之为[0072]其中peRmxd为用户的隐变量矩阵，为物品的隐变量矩阵，ΘR为神经别置信度极高的情况，而未经过训练的非成员数据往往产生的模型预测结果分布比较均样本。在本发明中，我们将成员推理模型视为一个二分类任务，实例化成员推理模型为g神经协同过滤推荐模型的输出向量jui,共同构成成员推理模型的输入样本(u,i,jus,yui),若经过成员推理模型后的输出结果接近于1则为成员，否则为要找到不仅使其损失最小化，而且要使对手的最大增益最小化的神经协同过滤推荐模型，最强的成员推理模型g(ΘM)，外部的最小化函数的目标是针对给定的最强成员推理模型g经协同过滤模型所需的训练集和成员推理模型所需的参考集D,.训练集用于神经协同过[0097]本发明实施例提供的一种对抗学习的成员隐私保护的个性化推荐算法训练与优理模型的经验收益为GP,p,(h).在外部的优化步骤中，对于一个固定的成员推理模型g，成在训练集Dt上进行训练，这一步最小化经验推荐损失LP:(f)+入GP,p,(h)。对Y逐行降序