CN115049077B 用于目标任务的机器学习模型训练方法、装置及设备 （北京宾理信息科技有限公司）

提供了一种用于目标任务的机器学习模型过多个特征提取网络中对应于该子样本数据的模态的特征提取网络从该子样本数据中提取该2获取针对所述目标任务的样本数据集，其中，所述样本数据获取多个第一样本数据，其中，所述多个第一样本数据中的每通过与该第一子样本数据的模态相对应的经过预训练的目标将该第一样本数据中的所述多个第一子样本数据相应的第一标注基于所述多个第一样本数据以及所述多个第一样本数据分别对应的多个第一样本标基于预设滑动步长和预设时间滑动窗口，将所述多个第一样本数对所述多个第一样本数据子集中的每个第一样本数据子集，执行包括下述各项的操基于该第一样本数据子集中每个模态下的多个第一子样本数据，按照时序进行拼接，基于该第一样本数据子集中的多个第一样本数据分别对应的多个基于所述多个第一样本数据子集中的每个第一样本数据子集对应的多个第二子样本数据以及所述多个第一样本数据子集分别对应的多个第二样本标签，生成所述样本数据针对该样本数据的所述多个子样本数据中的每个子样本数据，通网络中对应于该子样本数据的模态的特征提取网络从该子样本数据中提取该子样本数据3基于该样本数据的所述多个子样本数据相应的特征向量，通过基于所述分类结果以及该样本数据的目标任务类别标签，调获取所述相应的特征向量中的每个特征向量基于所述相应的特征向量中的每个特征向量中的目标特征值，对将归一化后的所述相应的特征向量输入所述分类网络，以得到所基于所述样本数据集中每个模态下的样本数据量，确定每个其中，所述基于所述分类结果以及该样本数据的目针对所述多个特征提取网络中的每个特征提取网络，基于所述分获取多个第一样本数据，其中，所述多个第一样本数据中的每通过与该第一子样本数据的模态相对应的经过预训练的目标4将该第一样本数据中的所述多个第一子样本数据相应的第一标注基于所述多个第一样本数据以及所述多个第一样本数据分别对应的多个第一样本标基于预设滑动步长和预设时间滑动窗口，将所述多个第一样本数对所述多个第一样本数据子集中的每个第一样本数据子集，执行包括下述各项的操基于该第一样本数据子集中每个模态下的多个第一子样本数据，按照时序进行拼接，基于该第一样本数据子集中的多个第一样本数据分别对应的多个基于所述多个第一样本数据子集中的每个第一样本数据子集对应的多个第二子样本数据以及所述多个第一样本数据子集分别对应的多个第二样本标签，生成所述样本数据执行单元，被配置为对所述样本数据集中的每个样本数据，提取子单元，被配置为针对该样本数据的所述多个子样本数据中的每个子样本数据，通过所述多个特征提取网络中对应于该子样本数据的模态的特征提取网络从该子样本数第一获取子单元，被配置为基于该样本数据的所述多个子样本数据相应的特征向量，调整子单元，被配置为基于所述分类结果以及该样本数所述分类网络的参数以及所述多个特征提取识别单元，被配置为利用机器学习模型对所述多个数据进行识5其中，所述计算机程序在被所述至少一个处理器执行时，9.一种计算机可读存储介质，其上存储有计算机6[0002]随着我国新能源智能汽车的日益普及，座舱智能化感知成为一个非常重要的方[0005]根据本公开的又另一方面，提供了一种用于目标任务的7至少一个处理器执行如上所述的用于目标任务的机[0013]图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系[0014]图2是图示出根据示例性实施例的用于目标任务的机器学习模型训练方法200的[0015]图3是图示出根据示例性实施例的获取针对目标任务的样本数据集的方法300的[0017]图5是图示出根据另一示例性实施例的基于多个第一样本数据及其第一样本标签[0018]图6是图示出根据示例性实施例的用于目标任务(如人员情绪识别)的机器学习模[0019]图7是图示出根据示例性实施例的通过分类网络获取该样本数据的分类结果的方[0021]图9是图示出根据示例性实施例的用于目标任务的机器学习模型训练装置900的8[0025]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目[0029]图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系[0031]车载系统110包括显示器114和可经由显示器114显示的应用程序(APP)112。应用程序112可以为车载系统110默认安装的或由用户102下载和安装的应用程序，或者作为轻中搜索应用程序112(例如，通过应用程序112的名称等)或扫描应用程序112的图形码(例9服务器120与仅一个车载系统110通信，但是服务器120可以同时为多个车载系统提供后台务器120可以将更新上线后的基于多模态数据的识别模型下发至车载系统110中运行的应[0035]图2是图示出根据示例性实施例的用于目标任务的机器学习模型训练方法200的征提取网络中对应于该子样本数据的模态的特征提取网络从该子样本数据中提取该子样[0048]可理解的，相关技术人员也可根据实际需要自行设置获取的不同模态数据的种[0049]图3示出了根据示例性实施例的获取针对目标任务的样本数据集的方法300的流绪识别的能力，从而获取与模态相对应的经过预训练的情绪识别模型(也即经过预训练的[0062]在一些情况中，存在时空对应关系的不同模态的数据(例如同一时间并对应于同[0064]图5示出了根据另一示例性实施例的基于多个第一样本数据及其第一样本标签生二子样本数据以及多个第一样本数据子集分别对应的多个第二样本标签，生成样本数据滑动窗口中的多个第一样本数据进行整合。例如，预设时间滑动窗口的窗口长度可以为5第2-6秒的第一样本数据……等以此类推的5秒内相应模态的第一子样本数据按照时序进行拼接，从而生成每个模态对应的第二子样本数[0077]图6示出了根据示例性实施例的用于目标任务(如人员情绪识别)的机器学习模型可以通过将上述经过预训练的目标任务分类模型的输出层以及与输出层相邻的一个或多[0080]图7示出了根据示例性实施例的通过分类网络获取该样本数据的分类结果的方法[0087]在一些实施例中，可以将每个样本数据对应的归一化后的多个特征向量进行拼[0096]图9是图示出根据示例性实施例的用于目标任务的机器学习模型训练装置900的[0100]提取子单元921，被配置为针对该样本数据的多个子样本数据中的每个子样本数[0101]第一获取子单元922，被配置为基于该样本数据的多个子样本数据相应的特征向行动作的特定模块可以包括执行动作的该特定模块本身和/或该特定模块调用或以其他方[0110]还应当理解，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图9和10描述的各个单元可以在硬件中或在结合软件和/或固件的硬件中实实现为硬件逻辑/电路。SoC可以包括集成电路芯片(其包括处理器(例如，中央处理单元并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执程序被处理器执行时实现上文描述的任一方法实例来说，图1中所示的服务器120和/或车载系统110可以包括类似于计算机设备1100的架构。上述装置900或装置1000也可以全部或至少部分地由计算机设备1100或类似设备或系[0117]计算机设备1100可以包括能够诸如通过系统总线1114或其他适当的连接彼此通出(I/O)设备1110以及一个或更多大容量[0119]存储器1104和大容量存储设备1112是用于存储指令的计算机可读存储介质的示可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质，所述计算机程序代码可以由处理器1102作为被配置成实施在本文的示例中所描述的操作以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计[0121]虽然在图11中被图示成存储在计算机设备1100的存储器1104中，但是模块1116、[0122]计算机可读存储介质包括通过用于存储信息的任何方法或技术实施的易失性和[0123]一个或更多通信接口1106用于诸如通过网络、直接连接等等与其他设备交换数息和图像。其他I/O设备1110可以是接收来自用户的各种输入并且向用户提供各种输出的应用和/或数据。资源还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的订户网络