CN112529204B 模型训练方法、装置及系统 （华为技术有限公司）

DecentralizedGlobalAnalytiSOCC18卷14-25.备发送的机器学习模型；基于第一训练样本集一训练样本集合中的特征数据是所述局点分析了离线训练得到的机器学习模型无法有效适配2接收第一分析设备发送的机器学习模型，所述机器学习模型由所述基于第一训练样本集合，对所述机器学习模型进行增量训练，在接收到所述评估设备发送的训练指令后，基于所述第一绩效指标KPI特征数据组成的待预测数据进行分类结果的预测；所述KPI特征数据为KPI时所述预测信息还包括所述待预测数据中的KPI特征数据对应的KPI据所属的设备的标识以及所述待预测数据对应的KPI数据对于所述第一训练样本集合中的任一训练样本，从所述机器学习模其中，第一节点的当前分裂成本为所述第一节点基于第一训练一节点的历史训练样本集合为所述机器学习模型的历史训练样本集合中划分至所述第一3本为所述第二数值分布范围中各特征维度上的特征取值的跨度确定所述第一数值分布范围在各特征维度上的特征基于第一分裂维度上的第一分裂点添加所述第二节点，其中，所中在所述第一分裂维度上数值不大于所述第一分裂点数值的数值范围划分至所述第二节所述第一数值分布范围的所述第一分裂维度上确定的用于分裂所述第二分裂点为所述第一节点在所述机器学习模型中的历和/或，所述第一分裂点为在所述第一数值分布范围的所述第一分裂维度上随机选择当所述第一节点的历史训练样本集合中的样本的数量与所述第一训练样本的数量之当所述第一节点的历史训练样本集合中的样本的数量与所述第一训练样本的数量之将所述机器学习模型中第一非叶子节点和第二非叶子节点进行合并，4或者，接收所述第一分析设备发送的精简后的机器学习模型是所述第一分析设备将所述机器学习模型中第一非叶子节点和第二非叶子节点进行其中，所述第一叶子节点为所述第一非叶子节点的子节第二非叶子节点的子节点，所述第一叶子节点和所述第二叶子节点包括相同的分类结果，且在同一特征维度上分配的历史训练样本集合的特征取值的跨度标签分布信息用于反映划分至对应节点中的历史训练样本集合中样本的不同类别的标签所述标签分布信息包括：划分至对应节点的历史训练样本集合中样采用所述机器学习模型预测样本得到的目标概率集合中任意两个概率的差值的绝对值小于第一差值阈值，所述目标概率集合包括按照概率的大小降序排列的前n个分类结果或者，采用所述机器学习模型预测样本得到的概率中或者，采用所述机器学习模型预测样本的多种分类或者，采用所述机器学习模型预测样本的多种分类结或者，采用所述机器学习模型预测样本的多种分类结果的概率分布熵E大于指定分布基于历史训练样本集合进行离线训练，得到机器学习模型，所述历史5点分析设备用于训练所述机器学习模型的训练样本集合中的特征数据是所述任一局点分接收所述局点分析设备发送的重训练请求，基于发送所述重训或者，接收所述局点分析设备发送的重训练请求，基于发或者，接收至少两个所述局点分析设备发送的训练样获取已确定标签的历史训练样本集合，所述历史训练样本集合将所述左子节点作为更新后的第三节点，将所述历史训练样本集合将所述右子节点作为更新后的第三节点，将所述历史训练样本集合基于所述历史训练样本集合的数值分布范围进行所述第三节点的分在所述历史训练样本集合的各特征维度中确定在所述历史训练样本集合的所述第三分裂维度将第三数值分布范围中在所述第三分裂维度上数值不大于所述第三分裂点数值的数6或者，所述历史训练样本集合所对应的标签样本集合所对应的标签的标签总数中的占比大于指定将所述机器学习模型中第一非叶子节点和第二非叶子节点进行合并，标签分布信息用于反映划分至对应节点中的历史训练样本集合中样本的不同类别的标签所述标签分布信息包括：划分至对应节点的历史训练样本集合中样采用所述机器学习模型预测样本得到的目标概率集合中任意两个概率的差值的绝对值小于第一差值阈值，所述目标概率集合包括按照概率的大小降序排列的前n个分类结果或者，采用所述机器学习模型预测样本得到的概率中7或者，采用所述机器学习模型预测样本的多种分类或者，采用所述机器学习模型预测样本的多种分类结或者，采用所述机器学习模型预测样本的多种分类结果的概率分布熵E大于指定分布接收模块，用于接收第一分析设备发送的机器学习模型，第一训练样本集合中的特征数据是所述局点分析设备所对应的局预测模块，用于在所述接收第一分析设备发送的机器学习模型之后第一发送模块，用于向评估设备发送预测信息，所在接收到所述评估设备发送的训练指令后，基于所述第一键绩效指标KPI特征数据组成的待预测数据进行分类结果的预测；所述KPI特征数据为KPI所述预测信息还包括所述待预测数据中的KPI特征数据对应的KPI据所属的设备的标识以及所述待预测数据对应的KPI数据第二发送模块，用于当增量训练后的机器学习模型的性对于所述第一训练样本集合中的任一训练样本，从所述机器学习模8其中，第一节点的当前分裂成本为所述第一节点基于第一训练一节点的历史训练样本集合为所述机器学习模型的历史训练样本集合中划分至所述第一成本为所述第二数值分布范围中各特征维度上的特征取值确定所述第一数值分布范围在各特征维度上的特征基于第一分裂维度上的第一分裂点添加所述第二节点，其中，所中在所述第一分裂维度上数值不大于所述第一分裂点数值的数值范围划分至所述第二节所述第一数值分布范围的所述第一分裂维度上确定的用于分裂所述第二分裂点为所述第一节点在所述机器学习模型中的历和/或，所述第一分裂点为在所述第一数值分布范围的所述第一分裂维度上随机选择9当所述第一节点的历史训练样本集合中的样本的数量与所述第一训练样本的数量之停止模块，用于当所述第一节点的历史训练样合并模块，用于将所述机器学习模型中第一非叶子节点和第二非叶子节点进行合并，述精简后的机器学习模型是所述第一分析设备将所述机器学习模型中第一非叶子节点和其中，所述第一叶子节点为所述第一非叶子节点的子节第二非叶子节点的子节点，所述第一叶子节点和所述第二叶子节点包括相同的分类结果，且在同一特征维度上分配的历史训练样本集合的特征取值的跨度标签分布信息用于反映划分至对应节点中的历史训练样本集合中样本的不同类别的标签所述标签分布信息包括：划分至对应节点的历史训练样本集合中样采用所述机器学习模型预测样本得到的目标概率集合中任意两个概率的差值的绝对值小于第一差值阈值，所述目标概率集合包括按照概率的大小降序排列的前n个分类结果或者，采用所述机器学习模型预测样本得到的概率中或者，采用所述机器学习模型预测样本的多种分类或者，采用所述机器学习模型预测样本的多种分类结或者，采用所述机器学习模型预测样本的多种分类结果的概率分布熵E大于指定分布发送模块，用于向多个局点分析设备发送所述机器学习设备中的任一局点分析设备基于第一训练样本集合，对所述机器学习模型进行增量训练，所述任一局点分析设备用于训练所述机器学习模型的训练样本集合中的特征数据是所述在向局点分析设备发送所述机器学习模型之后，接或者，接收所述局点分析设备发送的重训练请求，基于发或者，接收至少两个所述局点分析设备发送的训练样获取已确定标签的历史训练样本集合，所述历史训练样本集合将所述左子节点作为更新后的第三节点，将所述历史训练样本集合将所述右子节点作为更新后的第三节点，将所述历史训练样本集合基于所述历史训练样本集合的数值分布范围进行所述第三节点的分在所述历史训练样本集合的各特征维度中确定在所述历史训练样本集合的所述第三分裂维度将第三数值分布范围中在所述第三分裂维度上数值不大于所述第三分裂点数值的数或者，所述历史训练样本集合所对应的标签样本集合所对应的标签的标签总数中的占比大于指定合并模块，用于将所述机器学习模型中第一非叶子节点和第二非叶子节点进行合并，所述发送模块，还用于向所述局点分析设备发送所述精简后的机器学述局点分析设备基于所述精简后的机器学习模型进行分类结标签分布信息用于反映划分至对应节点中的历史训练样本集合中样本的不同类别的标签所述标签分布信息包括：划分至对应节点的历史训练样本集合中样采用所述机器学习模型预测样本得到的目标概率集合中任意两个概率的差值的绝对值小于第一差值阈值，所述目标概率集合包括按照概率的大小降序排列的前n个分类结果或者，采用所述机器学习模型预测样本得到的概率中或者，采用所述机器学习模型预测样本的多种分类或者，采用所述机器学习模型预测样本的多种分类结或者，采用所述机器学习模型预测样本的多种分类结果的概率分布熵E大于指定分布所述第一分析设备包括权利要求27至40任一所述的模型训练装置；集合中的特征数据是所述局点分析设备所对应的局点[0015]可选地，所述机器学习模型用于对一个或多个关键绩效指标KPI特征数据组成的测数据所属的设备的标识以及所述待预测数据对应的KPI数述第一节点的历史训练样本集合为所述机器学习模型的历史训练样本集合中划分至所述第一数值分布范围是基于所述第一训练样本中的特征取值与第二数值分布范围确定的分布范围；所述第二数值分布范围为第一节点的历史训练样本集合中的特征取值的分布范范围中在所述第一分裂维度上数值不大于所述第一分裂点数值的数值范围划分至所述第为在所述第一数值分布范围的所述第一分裂维度上确定的用于分节点或子节点，所述第二分裂维度为所述第一节点在所述机器学习模型中的历史分裂维[0034]和/或，所述第一分裂点为在所述第一数值分布范围的所述第一分裂维度上随机[0036]当所述第一节点的历史训练样本集合中的样本的数量与所述第一训练样本的数[0038]当所述第一节点的历史训练样本集合中的样本的数量与所述第一训练样本的数学习模型是所述第一分析设备将所述机器学习模型中第一非叶子节点和第二非叶子节点[0048]采用所述机器学习模型预测样本得到的目标概率集合中任意两个概率的差值的绝对值小于第一差值阈值，所述目标概率集合包括按照概率的大小降序排列的前n个分类[0052]或者，采用所述机器学习模型预测样本的多种分类结果的概率分布熵E大于指定习模型的训练样本集合中的特征数据是所述任一局点分析设备所对应的局点网络的特征[0059]可选地，所述历史训练样本集合是多个所述局点分析设备发送的训练样本的集[0078]将第三数值分布范围中在所述第三分裂维度上数值不大于所述第三分裂点数值裂维度上特征取值大于第三分裂点数值的样本划分至[0082]所述第三节点的当前分裂成本大于分裂成本阈值，如此[0096]采用所述机器学习模型预测样本得到的目标概率集合中任意两个概率的差值的绝对值小于第一差值阈值，所述目标概率集合包括按照概率的大小降序排列的前n个分类[0100]或者，采用所述机器学习模型预测样本的多种分类结果的概率分布熵E大于指定[0120]图5是本申请实施例提供的一种基于对分类结果的评估结果，控制局点分析设备的特征数据时，该KPI特征数据具体可以为前述任一KPI类别的KPI数据的时间序列所提取示，该应用场景中包括多个分析设备，该多个分析设备包括分析设备101和多个分析设备施例中所涉及的通信网络是第二代(2-Generation，2G)通信网络、第三代(3rd型部署在各个局点分析设备中，由局点分析设备进行增量训练(该过程即采用前述在线学理一个网络(也称局点网络)中的网络设备103，分析设备102与其管理的网络设备103之间与分析设备102之间通过有线网络或无线网络连接。网络设备103用于向分析设备102上传或分析设备101可以对该存储设备所存储的数据进行读写。这样在应用场景中数据较多的[0160]在异常检测场景中，前述机器学习模型可以为基于统计与数据分布的算法(例如孤立森林(Isolationforest，Iforest))或基于预测的算法模型(例如差分整合移动平均[0163]本申请实施例提供一种模型训练方法，后续实施例假设前述分析设备101为第一练后的机器学习模型更适配于该局点分析设备自身的需求(即该局点分析设备所对应的局[0166]步骤401、第一分析设备基于历史训练样本集合进行离线训练，得到机器学习模个特征的特征数据。每个训练样本对应的特征与该训练样本的特征数据的个数相同(即特[0173]假设训练样本中的特征数据从第一时间序列获取，则目标特征。例如，该目标特征包括统计特征：时间序列分解_周期分量(timeseries合中每个训练样本包括一个或多个特征的KPI时间序列的特征数据，每个训练样本对应一的特征数据，该4个特征的特征数据分别为：移动平均值(Moving_average)、加权平均值(Weighted_mv)、时间序列分解_周期分量(timeseriesdecompose_seasonal，Tsd_理过程用于将收集的样本处理成符合预设条件的样本，该预处理过程可以包括样本去重，[0186]步骤401中所述的离线训练过程也称模型学习过程，是机器学习模型进行其相关预测的分类结果的正确或错误可以由运维人员根据专家经[0191]前述重训练过程可以是离线训练过程，也可以是在线训练过程(如增量训练过程)。该重训练过程使用的训练样本与之前的训练过程所使用的训练样本可以相同也可以结果预测的数据可以包括CPU的KPI和/或内存(m待检测数据均包括一维特征数据，表3记录了特征类别为CPU的KPI的待检测数据的异常检000101设备可以基于对分类结果的评估结果，控制局点分析设备对机器学习模型进行增量训练。对应的KPI数据的采集时刻为xn的采集的计算方式可以参考前述401中的模型评估过程所提供的正确值与前述第一性能劣化阈值可以相同也可以不同。该误判率的计算方式可以参考前述401还与管理设备建立有通信连接，局点分析设备的机器学习模型输出的分类结果为“异常”警信息为一个虚报的告警信息。虚报的告警信息的个数即为预测的分类结果的错误次数。练样本集合的标签可以由局点分析设备或前述管理设备或前述第一分析设备呈现给运维存储局点分析设备在对应的局点网络中预先获取的时间序列。则每个样本可以包括一种或多种网络KPI类别的网络KPI数据，也即是样本对应的特征为[0232]局点分析设备获取训练样本的过程可以参考前述步骤401中第一分析设备获取训[0236]以对在线数据的CPU的KPI进行异常检测(即输入机器学习模型的样本数据的类型个采集时刻T1所采集的CPU的KPI的最终分类结果为1，也即是该T1时刻采集的CPU的KPI异0.490.5100.90.110.510.491数据的预测结果是不可靠的。机器学习模型预测在采集时刻T2获取的CPU的KPI为0的概率和为1的概率相差较大，可以说明机器学习模型对于采集时刻T2所获取的样本数据的预测一训练样本集合包括在局点分析设备获取的样本中筛选得到的满足低区分度条件的样本，[0243]条件1，采用机器学习模型预测样本得到的目标概率集合中任意两个概率的差值的绝对值小于第一差值阈值，目标概率集合包括按照概率的大小降序排列的前n个分类结[0244]条件2，采用机器学习模型预测样本得到的目标概率集合中任意两个概率的差值的绝对值小于第一差值阈值，该目标概率集合包括按照概率的大小降序排列的前n个分类[0245]条件3，采用机器学习模型预测样本的多种分类结果的概率中最高概率和最低概[0246]条件4，采用机器学习模型预测样本的多种分类结果的概率中任意两个概率的差值的绝对值小于第四差值阈值。在这种条件下可以筛选多种分类结果均区分度不足的样[0252]对于前述条件2，可以可以先采用机器学习模型对第一样本进行预测得到多种分结果为第二分类结果的概率。继续参考表5，假设第一样本为在采集时刻TN获取的CPU的[0254]对于前述条件3，可以先采用机器学习模型对第一样本进行预测得到多种分类结[0255]例如，第三差值阈值为0.2，采[0256]对于前述条件4，可以先采用机器学习模型对第一样本进行预测得到多种分类结绝对值与第四差值阈值进行比较，当任意两个概率的差值的绝对值小于第四差值阈值时，[0257]例如，第四差值阈值为0.2，采模型预测样本的两个分类结果的概率均为50概率分布熵取最大值，但最终无法选择实局点分析设备的允许训练时长，第一分析设备运算性能也大于局点分析设备的运算性能。器学习模型进行重训练可以训练得到性能较优的[0265]评估增量训练后的机器学习模型的性能是否满足性能达标条件的动作可以由第一分析设备执行，该过程可以参考前述步骤401中评估机器学习模型是否满足性能达标条设备或局点分析设备执行，该过程可以参考前述步骤404中检测机器学习模型是否发生劣训练样本集合可以携带在前述重训练请求中，也可以通过独立的信息发送至第一分析设发送重训练请求的局点分析设备所发送的训练样本集合以及其他局点分析设备所发送的获取的训练样本集合，还包括其他局点分析设备在各自对应局点网络获取的训练样本集机器学习模型更能适配于多个局点分析设备的需求，提高了离线训练得到的模型的通用[0273]示例的，第一分析设备可以在接收到指定个数的局点分析设备(例如为与第一分估后确定性能满足性能达标条件后，可以采用步骤402的方式发送至至少一个局点分析设备可以在获取的机器学习模型中筛选目标机器学习模型，以筛选较优的机器学习模型(例结点左侧的子树称为该节点的左子树(leftsubtree)，在该节点右侧的子树称为右子树(rightsubtree)；一个结点的子树的根称为该结点的子节点(childnode)，也称孩子节模型的分裂，其主要原理是将一个或多个样本所对应的空间(也称样本空间)进行切割叶子节点。图7假设图6中的机器学习模型对应的训练样本集合中的样本包括二维特征数度y可以分别为前述数据特征和/或提取特征(其中的具体特征参考前述实施例)中的任意标签分布信息用于反映划分至对应节点中的历史训练样本集合中样本的不同类别的标签节点)；当任一节点存在子节点时，该任一节点的分支关系包括该任一节点的子节点的标以表示为a3-a2。历史分裂成本是对应节点基于历史训练样本集合的数值分布范围确定的[0288]尤其在节点信息包括历史训练样本集合的数值分布范围时，在后续重训练过程[0289]假设机器学习模型为一个二叉树模型，离线训练过程是建立机器学习模型的过样本集合中样本的同一类别的标签个数，划分至该节点的历史训练样本集合中标签总数，[0299]传统的iForest模型，是以叶子节点在每棵树上的高度平均值来计算相应的分类[0300]在前述步骤A31中，可以基于历史训练样本集合的数值分布范围进行第三节点的[0307]例如可以先将历史训练样本集合的各特征维度按照跨度从大到小的顺序进行排合的各特征维度中跨度占比最大的特征维度。任一特征维度上的特征取值的跨度占比d满dx1＝(x1_max–x1_min)/z，特征维度x2的跨度占比dx2＝(x2_max–x2_min)/z；假设dx1>[0313]示例的，第三分裂点为在历史训练样本集合的第三分裂维度上随机选择的数值值分布范围中在第三分裂维度上数值不大于第三分裂点数值的数值范围划分至左子节点，第三数值分布范围中在第三分裂维度上数值大于第三分裂点数值的数值范围划分至右子[0318]由于前述节点的分裂只基于特征数据的数值分布范围，[0319]值得说明的是，由于第一分析设备已经获取了前述用于训练的历史训练样本集[0326]条件5、历史训练样本集合所对应的标签中占比最大的标签的数量在历史训练样本集合所对应的标签总数中的占比大于指定占[0332]对于前述条件2，当第三节点的历史训练样本集合的样本的数量小于第二样本数[0333]对于前述条件3，第三节点对应的分裂次数是从根节点的首次分裂到该第三节点[0335]对于条件5、历史训练样本集合所对应的标签中占比最大的标签的数量在标签总的任一非叶子节点，从机器学习模型的根节点开始遍历，对步骤404中的遍历过程进行说[0337]步骤B1、当遍历到的第一节点的当前分裂成本小于第一节点的节点分裂指的是为第一节点添加新的分支)，第一节点的历史分裂成本为第一节点前增量训练为接收到机器学习模型后的首次增量训练，且第一节点为前述任一第三节点，第一节点的历史训练样本集合即为第三节点对应的历史训练一节点的历史训练样本集合中的样本包括两个特征维度的特征数据，在特征维度x的特征的数值分布范围由前述历史训练样本集合的数值分布范围替换为该第一节点的历史训练范围中在第一分裂维度上数值不大于第一分裂点数值的数值范围划分至第二节点的左子则将第一数值分布范围中特征维度y1上小于或等于y1_value的数值范围，即[y1_min,y1_value]。划分至第二节点P4的左子节点P5，将第一数值分布范围中特征维度y1上大于y1_[0350]可选地，第一分裂点为在第一数值分布范围的第一分裂维度上随机选择的数值[0362]增量训练过程中的叶子节点的分类结果的确定方式可以参考前述离线训练的过第一节点的历史训练样本集合中的样本的数量与第一训练样本的数量之和大于第一样本[0366]当第一节点的历史训练样本集合中的样本的数量与第一训练样本的数量之和不量训练过程是步骤401之后首次增量训练过程，则该增量训练过程所述的历史训练样本集合与前述步骤401中的历史训练样本集合相同；若该增量训练过程是步骤401之后第w(w为大于1的整数)次增量训练过程，则该增量训练过程所述的历史训练样本集合为前述步骤401中的历史训练样本集合与前w-1次增量训练过程中输入的训度上分配的历史训练样本集合的特征取值的跨度的特征数据，特征维度分别为特征维度x和特征维度y，该训练样本集合包括：样本M(a1，16左侧的机器学习模型可知，非叶子节点Q9的叶子节点Q91和非叶子节点Q10的叶子节点子空间4合并形成新的子空间3，非叶子节点Q9和非叶子节点Q10合并形成的新的非叶子节一特征维度为前述数据特征和/或提取特征(其中的具体特征参考前述实施例)中的任意一点分析设备可以基于精简后的机器学习模型和未进行合并的节点信息恢复得到未进行精[0378]该模型精简过程也可以在前述步骤404之后由局点分析设备执行，精简后的机器[0381]进一步的，如果将传统的模型训练方法应用于本申请实取的训练样本作为训练样本集合M分别对传统的机器学习模型和本申请实施例提供的机器以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，习模型，增量训练模块基于从该局点分析设备所对应的局点网络获取的第一训练样本集以使得训练后的机器学习模型更适配于该局点分析设备自身的需求，实现模型的定制化，到的分类结果，以供所述评估设备基于所述预测信息评估所述机器学习模型是否发生劣[0394]可选地，所述机器学习模型用于对一个或多个关键绩效指标KPI特征数据组成的测数据所属的设备的标识以及所述待预测数据对应的KPI数[0397]第二发送模块505，用于当增量训练后的机器学习模型的性能不满足性能达标条述第一节点的历史训练样本集合为所述机器学习模型的历史训练样本集合中划分至所述第一数值分布范围是基于所述第一训练样本中的特征取值与第二数值分布范围确定的分布范围；所述第二数值分布范围为第一节点的历史训练样本集合中的特征取值的分布范范围中在所述第一分裂维度上数值不大于所述第一分裂点数值的数值范围划分至所述第为在所述第一数值分布范围的所述第一分裂维度上确定的用于分节点或子节点，所述第二分裂维度为所述第一节点在所述机器学习模型中的历史分裂维[0412]和/或，所述第一分裂点为在所述第一数值分布范围的所述第一分裂维度上随机[0414]当所述第一节点的历史训练样本集合中的样本的数量与所述第一训练样本的数[0418]合并模块506，用于将所述机器学习模型中第一非叶子节点和第二非叶子节点进[0425]采用所述机器学习模型预测样本得到的目标概率集合中任意两个概率的差值的绝对值小于第一差值阈值，所述目标概率集合包括按照概率的大小降序排列的前n个分类[0429]或者，采用所述机器学习模型预测样本的多种分类结果的概率分布熵E大于指定[0433]离线