CN119487531A 信息处理装置、信息处理方法和程序 （索尼集团公司）

2024.12.31PCT/JP2023/0294882023.08.15WO2024/048265JA2024.03.07本公开涉及使得可以使用更通用的技术来指示由训练数据集中的相应特征量做出的对从练数据集被形成为仅包括常规数据的正常样本并且通过比较通过执行将训练数据集的样本划分为多个群集的聚类而获得的聚类结果中的各2贡献计算单元，所述贡献计算单元计算指示训练数模型输出的预测的标签贡献多少的贡献，所述训练数据集包括合法样本和伪造样本两者，聚类执行单元，所述聚类执行单元执行聚类，以使用所群集比较单元，所述群集比较单元在所述聚类的结果中比较群集之间的特征变异性，训练执行单元，所述训练执行单元通过使用所述训练模型应用单元，所述模型应用单元通过将所述训练数据集应用于由数据校正单元，所述数据校正单元对属于由所述群集比较单所述数据校正单元从所述训练数据集去除所所述数据校正单元修改包括在所述伪造样本中的所述所述训练执行单元通过使用由所述数据校正单元校正的所述训练数据集作为对所述机器学习算法的输入来执行训练来更新所述经训练所述群集比较单元针对所述群集中的每一个计算所述训练数据集的所述特征变异性，所述用户界面屏幕设置有群集比较结果显示部，在所述群集比较结果在所述群集比较结果显示部中，以强调方式显示识别为包含所述伪造样本的所述群3所述用户界面屏幕设置有选择的数据显示部，所述数据显示部显示属于使所述用户界面屏幕设置有移除按钮，所述移除按钮被操作以移除所述用户界面屏幕设置有修改按钮和选择的数据修改部，所述修改按使得信息处理装置计算贡献，所述贡献指示训练数据集中的使得所述信息处理装置执行聚类，以使用所述贡献作使得所述信息处理装置比较所述聚类的结果中的群集之间的计算贡献，所述贡献指示训练数据集中的每个特征对执行聚类，以使用所述贡献作为输入的无监督学习将所述训在所述聚类的结果中比较群集之间的特征变异性，以识别4[0004]例如，专利文献1公开了能够容易地生成表示在机器学习系统上攻击的可能性的特定机器学习算法等的高度通用的方法和有5[0026]操作输入单元21输入机器学习系统11执行伪造数据寻址处理所需的各种用户操[0028]存储单元23存储由于在机器学习系统11中执行的伪造数据寻址处理而获得的经也称为训练数据)。这里，触发指的是导致模型或系统发生故障并且具有恒定值的恶意特6[0032]训练执行单元41通过使用从数据输入单元24读取的训练数据作为对机器学习算[0033]模型应用单元42将从数据输入单元24读取的训练数据应用于从训练执行单元41[0034]贡献计算单元43用可解释的AI(XAI)计算指示从数据输入单元24读取的训练数据[0036]群集比较单元45比较从聚类执行单元44提供的聚类结果中的群集之间的特征变较结果指示存在特征变异性明显小于其他群集的群集的情况下，该群集被识别为目标群数据倾向于具有较少特征变异性的特征来识别目标群集。图3是示出用于识别伪造样本所[0037]数据校正单元46检测属于由群集比较单元45识别的目标改包括在伪造样本中的伪造数据以去除伪造数据的影响来校造样本的训练数据或该训练数据中伪造数据已经被修改的训练数据作为输入来生成不受DNN的方法并有效地检测伪造数据，该可解释的AI是用于描述AI决策背后的基本原理的技7比较群集之间的特征变异性来标识包括负面地影响经训练的模型的伪造数据的伪造样本。的工作机器人或聊天机器人从非预期的数据学习以防止工作机器人或聊天机器人失控的定周期内的交易数据作为输入数据并使用是否用信用卡进行实际支付作为地面真实标签间，欺诈者反复购买低价值物品以建立独特的购买模式(诸如总是使用特定优惠券或伪造一些用户信息)，并且此独特的购买模式充当与具有恒定值的特定特征相对应的触发。此[0047]此外，机器学习系统11自动验证可能的触发或者使得用[0048]图4示出当机器学习系统11应用于电子商务中的应用场景时显示在显示单元22上8[0050]路径指定部71用于指定当机器学习系统11执行伪造数据寻址处理时要使用的训[0051]操作加载按钮72以将位于路径指定部71中指定的路径中的训练数据从数据输入[0054]操作分析按钮74以使机器学习系统11开始执行伪造数据寻址处理。响应于该操[0055]聚类结果显示部75显示通过聚类执行单元44对训练数据的每个样本执行聚类而[0056]在图4中示出的实施例聚类结果中，使用如在训练数据显示部73中示出的包括21[0057]群集比较结果显示部76显示通过群集比较单元45比较聚类结果中的群集之间的[0058]在图4所示的实施例群集比较结果中，以强调属于目标群集的采样的方式来显示[0060]选择的数据显示部77使用群集比较结果显示部76显示属于由用户选择的群集的9本各自具有P_email“”的数据被怀疑是显示部77中显示的多条选择的数据中被选择为校[0067]操作保存按钮81以将利用校正的训练数据更新的经训练的模型保存到路径指定[0068]如上所述配置的机器学习系统11可以通过使用来自可解释的AI的合理输出作为训练数据中的每个特征对预测的标签的贡献并基于该贡献对训练数据执行聚类来检测包过在比较聚类结果中的群集时参考训练数据中的每个特征的变异性来检测包括触发的伪较群集之间的变异性以检查具有相似趋势的群集的存在来确定趋势是训练数据的总体趋[0075]在步骤S11中，训练执行单元41通过使用从数据输入单元24读取的训练数据作为[0076]在步骤S12中，模型应用单元42将从数据输入单元24读出的训练数据应用于在步[0077]在步骤S13中，贡献计算单元43使用可解释的AI计算从数据输入单元24读取的训提供给群集比较单元45。此外，聚类执行单元44在图4的聚类结果显示部75中显示聚类结显示部76中显示对群集之间的特征变异性进行比方法有效地检测伪造数据并且获取不受伪造数据影响[0090]图6是示出用于执行上述一系列处理的程序安装在其上的计算机的实施方式的配以通过通信网络或广播网络下载到计算机并且安装在嵌入在计算机中的硬盘105上。换言可以通过诸如局域网(LAN)和互联网的网络有线传[0094]计算机配备有中央处理单元(CPU)102，并且输入/输出接口110通过总线101连接程序加载到随机存取存储器(RAM)104中以执[0096]因此，CPU102执行根据上述流程图的处理或者根据利用框图描述的[0098]这里，由计算机根据程序执行的处理不必按照如流程图所述的时间序列顺序执技术的一部分或全部可以结合其他实施方式中描述的本技术的一部分或全部来实现。此[0134]训练执行单元通过使用由数据校正单元校正的训练数据集作为对机器学习算法