CN119404233A 用于使用非对抗训练来减少自然语言推理任务中的数据集偏差的系统、方法和计算机程序产品 （维萨国际服务协会）

2024.11.08PCT/US2023/0217092023.05.10WO2023/220159EN2023.11.16用于使用非对抗训练来减少自然语言推理提供了用于使用非对抗训练来生成用于分理器以执行非对抗训练程序来训练机器学习模所述经更新的噪声向量来扰动所述多个训练样扰动的训练样本更新所述机器学习模型的模型2执行非对抗训练程序来训练机器学习模型以提供经训练的机基于所述噪声向量来扰动所述多个训练样本中的每个训练样本获得由输入所述多个训练样本中的每个训练样本产生的所述机器学习模型的第一输出和由输入所述多个经扰动的训练样本中的每个经扰动的训练样本产生的所述机器学习基于所述经更新的噪声向量来扰动所述多个训练样本中的每个训练样基于所述第二多个经扰动的训练样本来更新所述机器学习模型的将所述第二均匀分布除以所述机器学习模型的输入嵌入大小的平基于预定义半径来限制所述经更新的噪声向量的值，以提供第二经更新的噪声向量；其中，当基于所述经更新的噪声向量来扰动所述多个训练基于所述第二经更新的噪声向量来扰动所述多个训练样本中的每个训练样本以提供5.如权利要求1所述的系统，其中所述经训练的机器学习模型是第一经训练的机器学基于所述第一经训练的机器学习模型使用专家乘积(POE)程序来训练第二机器学习模6.如权利要求5所述的系统，其中当使用所述POE程序训练所述第二机器学习模型时，3基于所述训练数据集的所述多个训练样本从所述第一经训练的机器学习模型生成非基于所述训练数据集的所述多个训练样本从所述第二机器学习模型生成非归一化输将来自所述第一经训练的机器学习模型的所述非归一化输出和来自所述第二机器学基于所述组合的非归一化输出来更新所述第二机器学习模型基于所述训练数据集的所述多个训练样本使用第一logits函数生成所述第一经训练其中，当基于所述训练数据集的所述多个训练样本从所基于所述训练数据集的所述多个训练样本使用第二logits函数生成所述第二机器学其中，当组合来自所述第一经训练的机器学习模型的将基于所述训练数据集的所述多个训练样本使用所述第一logits函数的所述第一经训练的机器学习模型的所述输出和基于所述训练数据集的所述多个训练样本使用所述第其中，当基于所述组合的非归一化输出更新所述第二基于所述组合输出来更新所述第二机器学习模型的所述模型权重以提供所述第二经由至少一个处理器执行非对抗训练程序来训练机器学习模型以提供经训练的机器学基于所述噪声向量来扰动所述多个训练样本中的每个训练样本获得由输入所述多个训练样本中的每个训练样本产生的所述机器学习模型的第一输出和由输入所述多个经扰动的训练样本中的每个经扰动的训练样本产生的所述机器学习基于所述经更新的噪声向量来扰动所述多个训练样本中的每个训练样4基于所述第二多个经扰动的训练样本来更新所述机器学习模型的9.如权利要求8所述的计算机实现的方法，其中生成针对所述多个训练样本的所述噪将所述第二均匀分布除以所述机器学习模型的输入嵌入大小的平其中基于所述经更新的噪声向量来扰动所述多个训练样本中的每个训练样本以提供基于所述第二经更新的噪声向量来扰动所述多个训练样本中的每个训练样本以提供基于所述第一经训练的机器学习模型使用专家乘积(POE)程序来训练第二机器学习模基于所述训练数据集的所述多个训练样本从所述第一经训练的机器学习模型生成非基于所述训练数据集的所述多个训练样本从所述第二机器学习模型生成非归一化输将来自所述第一经训练的机器学习模型的所述非归一化输出和来自所述第二机器学基于所述组合的非归一化输出来更新所述第二机器学习模型14.如权利要求13所述的计算机实现的方法，其中基于所述训练数据集的所述多个训练样本从所述第一经训练的机器学习模型生成所基于所述训练数据集的所述多个训练样本使用第一logits函数生成所述第一经训练其中基于所述训练数据集的所述多个训练样本从所述第二机器学习模型生成所述非基于所述训练数据集的所述多个训练样本使用第二logits函数生成所述第二机器学5其中组合来自所述第一经训练的机器学习模型的所述非归一化输出和来自所述第二机器学习模型的所述非归一化输出以提供所述组合的非归一化将基于所述训练数据集的所述多个训练样本使用所述第一logits函数的所述第一经训练的机器学习模型的所述输出和基于所述训练数据集的所述多个训练样本使用所述第其中基于所述组合的非归一化输出更新所述第二机器学习模型的所述模型权重以提基于所述组合输出来更新所述第二机器学习模型的所述模型权重以提供所述第二经执行非对抗训练程序来训练机器学习模型以提供经训练的机基于所述噪声向量来扰动所述多个训练样本中的每个训练样本获得由输入所述多个训练样本中的每个训练样本产生的所述机器学习模型的第一输出和由输入所述多个经扰动的训练样本中的每个经扰动的训练样本产生的所述机器学习基于所述经更新的噪声向量来扰动所述多个训练样本中的每个训练样基于所述第二多个经扰动的训练样本来更新所述机器学习模型的将所述第二均匀分布除以所述机器学习模型的输入嵌入大小的平18.如权利要求15所述的计算机程序产品，其中所述一个或多个指令进一步使得所述基于预定义半径来限制所述经更新的噪声向量的值，以提供第二经更新的噪声向量；6其中当基于所述经更新的噪声向量来扰动所述多个训练样本中的每个训练样本以提基于所述第二经更新的噪声向量来扰动所述多个训练样本中的每个训练样本以提供19.如权利要求15所述的计算机程序产品，其中所述经训练的机器学习模型是第一经基于所述第一经训练的机器学习模型使用专家乘积(POE)程序来训练第二机器学习模基于所述训练数据集的所述多个训练样本从所述第一经训练的机器学习模型生成非基于所述训练数据集的所述多个训练样本从所述第二机器学习模型生成非归一化输将来自所述第一经训练的机器学习模型的所述非归一化输出和来自所述第二机器学基于所述组合的非归一化输出来更新所述第二机器学习模型基于所述训练数据集的所述多个训练样本使用第一logits函数生成所述第一经训练其中，当基于所述训练数据集的所述多个训练样本从所基于所述训练数据集的所述多个训练样本使用第二logits函数生成所述第二机器学其中，当组合来自所述第一经训练的机器学习模型的将基于所述训练数据集的所述多个训练样本使用所述第一logits函数的所述第一经训练的机器学习模型的所述输出和基于所述训练数据集的所述多个训练样本使用所述第其中，当基于所述组合的非归一化输出更新所述第二基于所述组合输出来更新所述第二机器学习模型的所述模型权重以提供所述第二经7[0002]本申请要求于2022年5月10日提交的美国临时专利申请号63/340,132的权益，该等)可以指当机器学习算法产生由于在生成机器学习模型的过程中的错误假设而被系统性非对抗训练程序时。至少一个处理器被进一步编程和/或配置为接收包括多个训练样本的8训练数据集。至少一个处理器被进一步编程和/或配置为基于均匀分布生成针对多个训练样本的噪声向量。至少一个处理器被进一步编程和/或配置为基于噪声向量来扰动多个训和/或配置为获得由输入多个训练样本中的每个训练样本产生的机器学习模型的第一输出和由输入多个经扰动的训练样本中的每个经扰动的训练样本产生的机器学习模型的第二输出之间的梯度。至少一个处理器被进一步编程和/或配置为基于梯度生成经更新的噪声向量。至少一个处理器被进一步编程和/或配置为基于经更新的噪声向量来扰动多个训练程和/或配置为基于第二多个经扰动的训练样本来更新机器学习模型的模型权重，以提供少一个处理器被编程和/或配置为利用第一均匀分布初始化噪声向量。在一些非限制性实声向量时，至少一个处理器被编程和/或配置为将第二均匀分布除以机器学习模型的输入[0012]在一些非限制性实施方案或方面中，至少一个处理器被编程和/或配置为基于预供第二多个经扰动的训练样本时，至少一个处理器被编程和/或配置为基于第二经更新的噪声向量来扰动多个训练样本中的每个训练样本以提供第二多个经扰少一个处理器被进一步编程和/或配置为基于训练数据集的多个训练样本从第一经训练的第二机器学习模型时，至少一个处理器被进一步编程和/或配置为基于训练数据集的多个第一经训练的机器学习模型的非归一化输出和来自第二机器学习模型的非归一化输出进训练第二机器学习模型时，至少一个处理器被进一步编程和/或配置为基于组合的非归一训练的机器学习模型生成非归一化输出时，至少一个处理器被编程和/或配置为基于训练9成非归一化输出时，至少一个处理器被编程和/或配置为基于训练数据集的多个训练样本的非归一化输出以提供组合的非归一化输出时，至少一个处理器被编程和/或配置为将基于训练数据集的多个训练样本使用第一logits函数的第一经训练的机器学习模型的输出和基于训练数据集的多个训练样本使用第二logits函数的第二机器学习模型的输出组合步编程或配置为基于组合输出来更新第二机器学习模型的模型权重以提供第二经训练的中的每个训练样本产生的机器学习模型的第一输出和由输入多个经扰动的训练样本中的[0017]在一些非限制性实施方案或方面中，其中当生成针对多个训练样本的噪声向量学习模型，并且该方法进一步包括基于第一经训练的机器学习模型使用POE程序来训练第[0021]在一些非限制性实施方案或方面中，其中当使用POE程序训练第二机器学习模型成非归一化输出；基于训练数据集的多个训练样本从第二机器学习模型生成非归一化输训练样本使用第一logits函数生成第一经训练的机器的非归一化输出和来自第二机器学习模型的非归一化输出以提供组合的非归一化输出时，该方法进一步包括将基于训练数据集的多个训练样本使用第一logits函数的第一经训练的机器学习模型的输出和基于训练数据集的多个训练样本使用第二logits函数的第二机输出来更新第二机器学习模型的模型权重以提供第二经训练的机练样本中的每个训练样本产生的机器学习模型的第一输出和由输入多个经扰动的训练样个指令进一步使得至少一个处理器将梯度乘且其中当基于经更新的噪声向量来扰动多个训练样本中的每个训练样本以提供第二多个来扰动多个训练样本中的每个训练样本以提供第二多个经扰动模型的非归一化输出和来自第二机器学习模型的非归一化输出组合以提供组合的非归一经训练的机器学习模型的输出和基于训练数据集的多个训练样本使用第二logits函数的当基于组合的非归一化输出更新第二机器学习模型的模型权重以提供第二经训练的机器学习模型的模型权重以提供第二经训练的机产生的机器学习模型的第一输出和由输入多个经扰动的训练样本中的每个经扰动的训练及将第二均匀分布除以机器学习模型的输入嵌入大小的平方根，以提供噪声向量的初始中当基于经更新的噪声向量来扰动多个训练样本中的每个训练样本以提供第二多个经扰个训练样本中的每个训练样本以提供第二多个经扰学习模型使用专家乘积(POE)程序来训练第二机器学训练数据集的多个训练样本使用第一logits函数生成第一经训练的机器学习模型的输出；器学习模型的输出和基于训练数据集的多个训练样本使用第二logits函数的第二机器学入多个训练样本中的每个训练样本产生的机器学习模型的第一输出和由输入多个经扰动第二经更新的噪声向量来扰动多个训练样本中的每个训练样本以提供第二多个经扰动的习模型使用专家乘积(POE)程序来训练第非归一化输出；基于训练数据集的多个训练样本从第二机器学习模型生成非归一化输出；将来自第一经训练的机器学习模型的非归一化输出和来自第二机器学习模型的非归一化训练的机器学习模型的非归一化输出和来自第二机器学习模型的非归一化输出以提供组训练的机器学习模型的输出和基于训练数据集的多个训练样本使用第二logits函数的第二机器学习模型的模型权重以提供第二经训练的机器学获得由输入多个训练样本中的每个训练样本产生的机器学习模型的第一输出和由输入多个经扰动的训练样本中的每个经扰动的训练样本产生的机器学习模型的第二输出之间的个或多个指令使得至少一个处理器将梯度乘机器学习模型的非归一化输出和来自第二机器学习模型的非归一化输出以提供组合的非使用第一logits函数的第一经训练的机器学习模型的输出和基于训练数据集的多个训练习模型的模型权重以提供第二经训练的机器学以及相关结构元件和各部分的组合的操作方法和功能以及制造经济性将变得更加显而易[0054]下文参考附图中说明的示例性实施方案更详细地解释本[0057]图3是用于在为分类任务生成机器学习模型的同时减轻数据集偏差的过程的非限[0058]图4A至图4O是用于在为分类任务生成机器学习模型的同时减轻数据集偏差的过说明的以及在以下说明中描述的特定设备和过程仅仅是本公开的示例性实施方案或方面。因此，除非另有指示，否则与本文公开的实施方案或实施方案的方面相关的特定维度和其他物理特性不应被视为限制。合等)与另一单元通信意味着所述一个单元能够直接或间接地从所述另一单元接收信息施方案或方面中，客户端设备可以包括被配置成与一个或多个网络通信和/或促进交易的权利要求书中所使用，陈述为执行第一步骤或功能的第一服务器和/或第一处理器可指陈述为执行第二步骤或功能的相同或不同服务器和/或获得由输入多个训练样本中的每个训练样本产生的机器学习模型的第一输出和由输入多个经扰动的训练样本中的每个经扰动的训练样本产生的机器学习模型的第二输出之间的的噪声向量来扰动多个训练样本中的每个训练样本以提供第二数据集的多个训练样本使用第一logits函数的第一经训练的机器学习模型的输出和基于训练数据集的多个训练样本使用第二logits函数的第二经训练的机器学习模型的输出组于训练第二机器学习模型的指导)可以通过使第二机器学习模型的预测更准确来改进第二[0075]机器学习模型系统102可以包括被配置为经由通信网络112与数据库108和/或用学习模型，该一个或多个机器学习模型可以被训练并随后用于使用诸如POE、去偏焦点损经训练的教师模型可以用于教导学生模型106做出与经训练的教师模型相同[0078]数据库108可以包括被配置为经由通信网络112与机器学习模型系统102和/或用[0079]用户设备110可以包括被配置为经由通信网络112与机器学习模型系统102和/或个或多个设备)可以执行被描述为由环境100的另一组设备执行的一个型系统102、数据库108和/或用户设备110可以包括至少一个设备200和/或设备200的至少该收发器式部件使得设备200能够例如经由有线连接、无线连接或有线连接和无线连接的组合与其他设备通信。通信接口214可以准许设备200从另一设备接收信息和/或将信息提[0087]设备200可以执行本文描述的一个或多个过程。设备200可以基于处理器204执行由例如存储器206和/或存储部件208的计算机可读介质存储的软件指令来执行这些过程。态存储器设备包括位于单个物理存储设备内部的存储器空间或散布于多个物理存储设备[0088]软件指令可以经由通信接口214从另一计算机可读介质或从另一设备读取到存储[0089]提供图2中所示的部件的数量和布置作为示例。在一些非限制性实施方案或方面为由设备200的另一组部件执行的一个或[0090]现在参考图3，用于在为分类任务生成机器学习模型的同时减轻数据集偏差的过的步骤中的一个或多个步骤可以由机器学习模型系统102(例如机器学习模型系统102的一机器学习模型系统102的一个或多个设备)、数据库108(例如，数据库108的一个或多个设备)和/或用户设备110分离或者包括它们的另一设备或设备群系统102可以接收(例如，从数据库108)用于训练一个或多个机器学习模型的训练数据集。些非限制性实施方案或方面中，机器学习模型系统102可以接收对应于来自一个或多个机102可以将对应于来自一个或多个机器学习模型的输出的训练数据集输入到另一一个或多[0093]在一些非限制性实施方案或方面中，机器学习模型系统102可以使用机器学习技训练教师模型104和/或学生模型106并提供经训练的教师模型方案或方面中，训练数据集的多个训练样本中的[0095]在一些非限制性实施方案或方面中，机器学习模型系统102可以生成多个输入嵌器学习模型系统102的一个或多个机器学习模型的输针对多个训练样本的噪声向量时，机器学习模型系统102可以利用均匀分布来初始化针对练样本的噪声向量时，机器学习模型系统102可以将第二均匀分布除以机器学习模型的输[0098]在一些非限制性实施方案或方面中，机器学习模型系统102可以扰动多个训练样102可以将噪声向量添加到多个训练样本中的训练样本中以获得梯度。在一些非限制性实施方案或方面中输入变量可以是多个训练样本和/或多个经扰动的训练样本。在一些非限制性实施方案102可以基于多个训练样本和/或多个经扰动的训练样本来获得相对于噪多个经扰动的训练样本中的相应经扰动的训练样本处结束的向量的方向(例如，移动方[0101]在一些非限制性实施方案或方面中，机器学习模型系统102可以获得机器学习模型的第一输出和机器学习模型的第二输出之间的梯度。在一些非限制性实施方案或方面扰动的训练样本中的每个经扰动的训练样本输入到机[0104]在一些非限制性实施方案或方面中，机器学习模型系统102可以限制经更新的噪一些非限制性实施方案或方面中，机器学习模型系统102可以基于预定义半径来限制经更[0105]在一些非限制性实施方案或方面中，机器学习模型系统102可以基于经更新的噪新的噪声向量来扰动多个训练样本中的每个训练样本以提供第二多个经扰动的训练样本。个训练样本以提供第二多个经扰动的训练样本时，机器学习模型系统102可以基于第二经更新的噪声向量来扰动多个训练样本中的每个训练样本以提供第二多个经扰动的训练样量添加到多个训练样本来扰动多个训练样本中的每习模型系统102可以基于第二多个经扰动的训练样本来更新教师模型104的模型权重以提习模型系统102可以基于经训练的教师模型104使用POE程序来训练学生模型1器学习模型系统102可以从第一经训练的机器学习模型生成非归一化输出。例如，当使用POE程序训练学生模型106时，机器学习模型系统102可以基于训练数据集的多个训练样本[0110]在一些非限制性实施方案或方面中，机器学习模型系统102可以组合来自第一经[0111]在一些非限制性实施方案或方面中，机器学习模型系统102可以更新第二机器学训练的机器学习模型生成非归一化输出时，机器学习模型系统102可以使用第一logits函个训练样本使用第一logits函数来生成经训练的教师模型1器学习模型生成非归一化输出时，机器学习模型系统102可以使用第二logits函数生成第生成非归一化输出时，机器学习模型系统102可以基于训练数据集的多个训练样本使用第学习模型系统102可以将基于训练数据集的多个训练样本使用第一logits函数的第一经训练的机器学习模型的输出和基于训练数据集的多个训练样本使用第二logits函数的第二一化输出和来自学生模型106的非归一化输出以提供组合的非归一化输出时，机器学习模型系统102可以将基于训练数据集的多个训练样本使用第一logits函数的经训练的教师模型104的输出以及基于训练数据集的多个训练样本使用第二logits函数的学生模型106的习模型的模型权重以提供第二经训练的机器学习模型时，机器学习模型系统102可以基于组合输出来更新第二机器学习模型的模型权重以提供第二经训练的机器学习模型。例如，当基于组合的非归一化输出更新学生模型106的模型权重以提供经训练的学生模型106时，机器学习模型系统102可以基于组合输出来更新学生模型106的模型权重以提供经训练的[0116]在一些非限制性实施方案或方面中，机器学习模型系统102可以训练一个或多个个任务可以包括自然语言推理处理任务。例如，机器学习模型系统102可以训练教师模型[0117]在一些非限制性实施方案或方面中，机器学习模型系统102可以使用用于自然语器的双向编码器表示(bidirectionalencoderrepresentationsfromtransformers，[0118]在一些非限制性实施方案或方面中，机器学习模型系统102可以验证一个或多个[0119]在一些非限制性实施方案或方面中，机器学习模型系统102可以存储一个或多个示使用非对抗训练来训练一个或多个机器学习模型。在一些非限制性实施方案或方面中，模型系统102可以如图4J至图4O所示使用POE程序来训练一个或多个机器学x2…xm])。在一些非限制性实施方案或方面中，训练数据集可以是多体裁自然语言推理[0122]在一些非限制性实施方案或方面中，可以使用训[0123]在一些非限制性实施方案或方面中，一个或多个机器学习模型可以由具有参数θ的函数f来定义。在一些非限制性实施方案或方面中，训练数据集可以包括多个训练样本[0124]在一些非限制性实施方案或方面中，机器学习模型系统102可以使用非对抗训练第一方向上)以增加训练损失的已知对抗性训练程序。非对抗训练程序可以扰动训练数据[0125]在一些非限制性实施方案或方面中，机器学习模型系统102可以执行非对抗训练练样本中的每个训练样本xi，机器学习模型系统102可以利用均匀分布来初始化噪声向量量δ可以根据以下利用均匀分布来初始化：模型系统102可以获得由输入多个训练样本中的每个训练样本产生的机器学习模型的第一输出和由输入多个经扰动的训练样本中的每个经扰动的训练样本产生的机器学习模型的一些非限制性实施方案或方面中，机器学习模型系统102可以基于以下来生成经更新的噪噪声向量δ来更新：+δ[0137]6=6-vol(fo(az+j),ys)一些非限制性实施方案或方面中，机器学习模型系统102可以基于经训练的教师模型使用生成非归一化输出时，机器学习模型系统102可以基于训练数据集的多个训练样本xi使用学习模型系统102可以基于以下生成经训练的教师模型1归一化输出时，机器学习模型系统102可以基于训练数据集的多个训练样本xi使用第二模型系统102可以基于以下生成学生模型1器学习模型系统102可以组合来自第一经训练的机器学习模型的非归一化输出和来自第二组合来自第一经训练的机器学习模型的非归一化输出和来自第二机器学