CN112990383B 对抗样本的生成方法和装置 （支付宝(杭州)信息技术有限公司）

本说明书实施例提供了一种对抗样本的生2在预先设置的向量池中检索与扰动向量相近似的向量；其中，所述向量池中包括的各历史原始向量是根据对应所述指定业务类型的各历史原始样将待扰动向量在该维度上的数值增加或者减少预定倍数的该维度对括如下中的至少一项：得到模型所使用的梯度函数的方向向量，将该方向向量在一个利用simHash算法，KNN算法或KDTree算法，判断所述第一识别结果与将所述原始样本输入所述模型时得到的第二识别结果之间如果否，返回执行所述对待扰动向量添加对抗扰动的步骤至所述判3扰动处理模块，被配置为从所述至少两个原始向量中选择出对抗样本确定模块，被配置为在预先设置的向量池中检索与扰动向量相近似的向量；将待扰动向量在该维度上的数值增加或者减少预定倍数的该维度对得到模型所使用的梯度函数的方向向量，将该方向向量在一个判断所述第一识别结果与将所述原始样本输入所述模型时得到的第二识别结果之间如果否，返回执行所述对待扰动向量添加对抗扰动的步骤至所述判4[0002]对抗样本指的是经过微小调整就可以让机器学习算法输出错误结果的一种输入[0013]所述向量池中包括的各历史原始向量是根据对应所述指定业务类型的各历史原5[0030]判断所述第一识别结果与将所述原始样本输入所述模型时得到的第二识别结果[0051]判断所述第一识别结果与将所述原始样本输入所述模型时得到的第二识别结果6池中包括各历史原始向量，且该各历史原始向量是根据历史实际存在的各原始样本得到是直接利用扰动向量来得到对抗样本，而是在向量池中检索出该扰动向量相近似的向量，7[0066]图1示出了本说明书一个实施例中对抗样本的生成方法的流程图。该方法的执行中出现，利用此种检索到的相近似的向量则既能够满足对抗性要求又能够满足真实性要[0077]在本说明书一个实施例中，图1所示的对抗样本的生成方法可以应用于图像领域[0078]在本说明书另一个实施例中，图1所示的对抗样本的生成方法可以应用于文本领Transformer，BERT等模型结合文本分类等具体文本任务学习得到句子或文章级的表征向8[0100]接下来在步骤109中，在预先设置的向量池中检索与扰动向量相近似的向量；其9历史产生的所有原始向量都加入向量池2中，每一个向量池都只保存本业务类型历史过程[0113]如果向量池中的一个向量与当前检索的扰动向量的欧式距离为0(或者余弦距离池中的一个向量与当前检索的扰动向量的欧式距离不等于0但是只要满足小于预设距离值者杰卡德相似系数不等于1但是只要满足大于预设系数值比如大于0.8)，则说明虽然在之前步骤中得到的扰动向量可能无法还原到一个真实存在的样本数据比如一个真实存在的[0119]以原始样本为图像数据为例，比如在步骤105中得到对应图像中各像素的各原始骤1111中，是用针对该1万个原始向量在向量池中检索到的1万个向量来替换该1万个原始[0133]对抗样本确定模块304，被配置为在预先设置的向量池中检索与扰动向量相近似[0135]所述向量池中包括的各历史原始向量是根据对应所述指定业务类型的各历史原[0139]在本说明书提供的装置的一个实施例中，所述扰动处理模块303被配置为执行如[0151]判断所述第一识别结果与将所述原始样本输入所述模型时得到的第二识别结果[0155]本说明书一个实