CN119493968A 机器学习模型的测评方法、数据处理方法以及相关设备 （华为技术有限公司）

本申请实施例公开一种机器学习模型的测过机器学习模型对测评样本中的多个片段数据应的稳定性和/或准确性，该准确性基于与多个2获取第一测评样本，所述第一测评样本包括第一交通场景在第一时长内的描述数据，通过第一机器学习模型对所述多个第一片段数据进行处理，得到与其中，所述至少一个测评指标指示所述第一机器学习模型生个第一预测标签以及与所述多个第一片段数据对应的真值得述路测数据包括自动驾驶车辆在道路上行驶时所采集到的交通场景的3.根据权利要求1或2所述的方法，其特通过第二机器学习模型对第一训练样本进行处理，得到与所第一机器学习模型进行测评时得到的所述至少一个测评指标的参数值不满足第二条件的通过所述第二机器学习模型对第二训练样本进行处理，得到与所述通过所述第一机器学习模型对所述第二训练样本进行处理，得到失项指示所述与所述第一训练样本对应的第二预测标签和与所述第一训练样本对应的真述与所述第二训练样本对应的第一预测标签之间的通过所述第一机器学习模型对所述第二测评样本进行特征提取，得基于所述第二测评样本的特征信息和所述第一机器学习模型的训练样本的特征信息，练样本的特征信息与所述第二测评样本的特征信息之间的相似度满足所述第一6.根据权利要求1或2所述的方法，其特征在于，所述第3其中，在所述行驶数据为负向样本的情况下，所述目标测评述行驶数据中的所述原始标签进行修改后得在所述行驶数据为负向样本的情况下，所述行驶数据包括交通8.根据权利要求1或2所述的方法，其特征在于，通通过第二机器学习模型对第一训练样本进行处理，得到与所通过所述第二机器学习模型对第二训练样本进行处理，得到与所述通过所述第一机器学习模型对所述第二训练样本进行处理，得到失项指示所述与所述第一训练样本对应的第二预测标签和与所述第一训练样本对应的真述与所述第二训练样本对应的第一预测标签之间的获取第一测评样本，所述第一测评样本包括第一交通场景在第一时长内的描述数据，通过第一机器学习模型对所述多个第一片段数据进行处理，得到与其中，在所述至少一个测评指标的第一参数值满足第二条件的4个第一预测标签的准确性基于所述多个第一预测标签以及与所述多个第一片段数据对应获取模块，用于获取第一测评样本，所述第一测评样本包括第处理模块，用于通过第一机器学习模型对所述多个第一片段数据进行其中，所述至少一个测评指标指示所述第一机器学习模型生个第一预测标签以及与所述多个第一片段数据对应的真值得所述路测数据包括自动驾驶车辆在道路上行驶时所采集到的交通场景的描所述处理模块，还用于通过第二机器学习模型对第一训练样本进第二测评样本为对所述第一机器学习模型进行测评时得到的所述至少一个测评指标的参所述处理模块，还用于通过所述第二机器学习模型对第二训练样本进行所述处理模块，还用于通过所述第一机器学习模型对所练样本对应的第二预测标签和所述与所述第二训练样本对应的第一预测标签之间的相似特征提取模块，用于通过所述第一机器学习模型对所述第二测评样本进行特征提取，所述确定模块，还用于基于所述第二测评样本的特征信息和所述第5集包括多个测评样本，目标测评样本为所述第一机器学习模型的测评样本集中任意一个，其中，在所述行驶数据为负向样本的情况下，所述目标测评述行驶数据中的所述原始标签进行修改后得在所述行驶数据为负向样本的情况下，所述行驶数据包括交通处理模块，用于通过第二机器学习模型对第一训练样本进行处理，得所述处理模块，还用于通过所述第二机器学习模型对第二训练样本进行包括交通场景的描述数据，所述第二训练样本与所述第一训练样本所对应不同的交通场所述处理模块，还用于通过所述第一机器学习模型对所预测标签和所述与所述第二训练样本对应的第一预测标签之间的相获取模块，用于获取第一测评样本，所述第一测评样本包括第所述处理模块，还用于通过第一机器学习模型对所述多6其中，在所述至少一个测评指标的第一参数值满足第二条件的情况下，代个第一预测标签的准确性基于所述多个第一预测标签以及与所述多个第一片段数据对应程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至11中任一7[0002]人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控学习模型应用于自动驾驶领域是人工智能的一种了机器学习模型的测评过程所消耗的计算机资源且8行测评，采用的测评指标指示第一机器学习模型生成多个第一预测标签时的稳定性，和/[0015]例如，当与第一评测样本对应的多个预测标签的跳变次视为多个第一预测标签的准确性不满足第二9机器学习模型进行测评后得到的至少一个测评指标的参数值不满足第一损失项指示与第一训练样本对应的第二预测标签和与第一训练样本对应的真值之间的[0020]本实现方式中，由于第一训练样本与第二测评样本之间而采用第二测评样本对第一机器学习模型进行测评时得到的至少一个测评指标的参数值的特征信息可以包括第二测评样本包括的至少一个片段数据中的每个片段数据的特征信特征信息之间的相似度可以基于第一训练样本的特征信息与第二测评样本包括的至少一征信息与第二测评样本的特征信息之间的相似度可以基于与第二测评样本包括的至少一第二测评样本的特征信息之间的相似度可以为前述至少一个第一相似度的平均值，或者，第一训练样本的特征信息与第二测评样本的特征信息之间的相似度可以为前述至少一个样本时，代表与交通场景的描述数据对应的原始标签所指向的动作与该交通场景不适合，交通场景在第二时长内的描述数据中后半部分的数据可能会引导第一机器学习模型输出练样本对应的第二预测标签。第三设备通过第二机器学习模型对第二训练样本进行处理，指示与第二训练样本对应的第二预测标签和与第二训练样本对应的第一预测标签之间的失项指示与第一训练样本对应的第二预测标签和与第一训练样本对应的真值之间的相似项指示与第二训练样本对应的第二预测标签和与第二训练样本对应的第一预测标签之间测评样本为对第一机器学习模型进行测评时得到的至少一个测评指标的参数值不满足第[0050]图7为本申请实施例提供的获取第一训练样本集以及利用第一训练样本集对第二采用中央处理器(centralprocessingunit，CPU)、嵌入式神经网络处理器(neural_成电路(applicationspecificintegratedcircuit，ASIC)或现场可编程门阵列(field[0061]基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、至少一个测评指标指示第一机器学习模型在第一交通场景中生成的多个第一预测标签的第一预测标签的跳变频率可以为多个第一预测标签的跳变次数与多个第一预测标签的总[0080]第二测评指标指示第一机器学习模型在第一交通场景中生成的多个第一预测标一预测标签的准确率可以代表多个第一预测标签中与真值一致的第一预测标签的数量与可以包括第一交通场景在20秒内多个时间点的场景描述文件，第一测评样本包括5个第一目标行驶数据可以包括目标交通场景在第二时长内的描述数据以及与目标交通场景在第称为与目标测评样本包括的多个目标片段数据中每个目标片段数据对应的[0094]“与交通场景的描述数据对应的原始标签”所指示的信息的含义与通过第一机器数据所对应的标注信息指示该行驶数据为正向样本还是负向样本。“目标行驶数据为负向样本”可以代表目标行驶数据中的原始标签所指示的动作不适合在目标交通场景中执行，“目标行驶数据为正向样本”可以代表目标行驶数据中标交通场景中执行。图3所示，目标交通场景中包括自车和博弈车，博弈车为与自车存在博弈的其他交通参与者。目标行驶数据包括目标交通场景从t0至t15的描述数据，以及与目标交通场景从t0至的交通场景在第二时长内的描述数据中后半部分的数据可能会引导第一机器学习模型输型等。与自车存在博弈关系的其他交通参与者的行为类型可以包括插入(cutin)、并道[0107]第一机器学习模型的测评样本集包括与上述至少一种交通场景中每种交通场景理解为目标测评样本包括该交通场景的描述对应其他交通参与者直行、自车在路口左转、自车在路口左转且其他交通参与者横穿签的跳变频率可以为多个第一预测标签的跳变次数与多个第一预测标签的总数量之间的测标签，通过第一机器学习模型执行的任务为确定是否抢行，5个第一预测标签依次为抢[0117]第二测评指标指示第一机器学习模型在第一交通场景中生成的多个第一预测标对应的真值得到。与第一测评样本包括的多个第一片段数据一一对应的多个真值可以相测标签的准确率可以代表多个第一预测标签中与真值一致的第一预测标签的数量与多个[0119]示例性地，多个第一预测标签包括与第一测评样本包括的5个第一片段数据一一评后得到的至少一个测评指标的参数值不满足第二[0133]图4中以对第一机器学习模型进行测评时采用的至少一个指标包括：与测评样本特征信息可以包括每个第二测评样本包括的至少一个片段数据中的每个片段数据的特征[0140]第二设备可以基于每个第二测评样本的特征信息和第一机器学习模型的每个训征信息与至少一个第二测评样本中某一个第二测评样本的特征信息之间的相似度大于或机器学习模型的训练样本集合中确定一个或多个第一训练样本的具体实现过程进行描述。示例性地，在一种实现方式中，第二设备在获取到[0143]第二设备可以根据与第三测评样本包括的至少一个片段数据一一对应的至少一[0146]第二设备可以对第一机器学习模型的训练样本集合中每个训练样本均执行上述[0147]第二设备可以对至少一个第二测评样本中的每个第二测评样本重复执行上述操至少一个片段数据的特征信息进行聚类，得到与第三测评样本的特征信息对应的类别中[0149]第二设备可以生成目标训练样本的特征信息与前述类别“目标训练样本的特征信息与前述类别中心之间的第二相似计算目标训练样本的特征信息与类别中心之间的余弦相似度得到，或者，前述“余弦相似[0150]第二设备可以判断目标训练样本的特征信息与该类别中心之间的第二相似度是[0151]第二设备可以对第一机器学习模型的训练样本集合中每个训练样本均执行上述[0152]第二设备可以对至少一个第二测评样本中的每个第二测评样本重复执行上述操[0157]本申请实施例中，步骤206为可选步骤。第三设备在获取到第一训练样本集合之练样本可以为第一机器学习模型的训练样本集训练样本输入第二机器学习模型中，通过第二机器学习模型对每个第二训练样本进行处练样本对应的第二预测标签和与第二训练样本对应的第一预测标签之209时，步骤201至203为必选步骤。第三设备可在得到与第一训练样本对应的第二预测标签、与第二训练样本对应的第二预测标签以及与第二训练样本对应的第一预测标签之后，目标包括提高与第二训练样本对应的第二预测标签和与第二训练样本对应的第一预测标输入第二机器学习模型，通过第二机器学习模型生成与第一训练样本对应的第二预测标[0177]本申请实施例中，由于第一训练样本与第二测评样本之间的相似度满足第一条学习模型学习到第一机器学习模型在与第二训练样本对应的交通场景中优良表现；因此，行过训练操作的第二机器学习模型进行测评，在第二机器学习模型未通过测评的情况下，还可以基于第二机器学习模型再次训练第三机器学习模型，重复执行前述步骤至少一次，[0180]在图1b至图7所对应的实施例的基础上，为了更好的实施本申请实施例的上述方器学习模型的测评装置的一种结构示意图，机器学习模型的测评装置800包括：获取模块第一预测标签的准确性基于多个第一预测标签以及与多个第一片段数据对应的真值得到。本为对第一机器学习模型进行测评时得到的至少一个测评指标的参数值不满足第二条件应的第二预测标签和与第二训练样本对应的第一预测标签之间的相测标签和与第二训练样本对应的第一预测标签之间的模型进行测评时得到的至少一个测评指标的参数值不满足第二条件评样本包括第一交通场景在第一时长内的描述数据，第一测评样本包括多个第一片段数与多个第一片段数据一一对应的多个第一预测标签；数据处理装置900还包括：确定模块通过测评，至少一个测评指标指示第一机器学习模型生成多个第一预测标签时的稳定性，和/或，至少一个测评指标指示第一机器学习模型在第一交通场景中生成的多个第一预测据对应的真值得到。数据。存储器1004的一部分还可以包括非易失性随机存取存储器(non_volatilerandom[0196]上述本申请实施例揭示的方法可以应用于处理器1003中，或者由处理器1003实理器或微控制器，还可进一步包括专用集成电路(applicationspecificintegrated[