CN119397460A 一种基于强化学习的异常检测方法及相关装置 （亚信科技（中国）有限公司）

一种基于强化学习的异常检测方法及相关本申请提供的一种基于强化学习的异常检以使异常检测模型输出目标数据对异常检测算望概率最大的算法对目标数值特征进行异常检2调取预先训练的异常检测模型，将所述目标数值检测模型是以强化学习方法和机器学习方法对深度学习网利用所述异常检测算法中第一期望概率最大的算法对所述目标数值特征进行异常检以强化学习方法和机器学习方法对深度学习网络训练得到所述异常检测模型的过程，从原始数据中划分得到用于本次迭代训练的样将所述样本数值特征分别输入至所述第一深度学习网络和所述第二深度学习网络中，所述第二深度学习网络输出所述样本数据对所述异常检测算法的第根据所述样本数据的异常检测结果计算所述异常检测算法的奖概率和所述第四期望概率计算本次迭代训练的交叉熵损失在当前不满足预设的结束条件的情况下，基于所述交叉熵损在当前满足预设的结束条件的情况下，结束训练，训练3在所述原始数据为时序数据的情况下，以滑动窗口对所述原始将所述异常点集合与所述异常点交集集合之间的差集作为异计算所述样本数据的第二均值、以及所述异常点集计算所述欧式距离的第三均值，并利用所述第二均值和所根据所述偏差得分和所述稀疏性得分计算所述奖6.根据权利要求1至5中任意一项所述的基于强化学习的异常检测方法，其特征在于，所述解码器由依次连接的第三多头自注意力机制层、第三线性层、第其中，所述第一多头自注意力机制层的输出分别作为所7.一种基于强化学习的异常检测装置，其模型训练模块，用于以强化学习方法和机器学习方法对深度学习网络4所述处理器用于执行所述计算机程序，以使所述电子设备能够实现如权利当所述一个或多个计算机程序被电子设备执行时，能够使所述电子设备实现如权利要求15[0008]调取预先训练的异常检测模型，将所述目标数值特征输入至所述异常检测模型异常检测模型是以强化学习方法和机器学习方法对深度学[0009]利用所述异常检测算法中第一期望概率最大的算法对所述目标数值特征进行异6[0017]以强化学习方法和机器学习方法对深度学习网络训练得到所述异常检测模型的[0020]将所述样本数值特征分别输入至所述第一深度学习网络和所述第二深度学习网络中，以使所述第一深度学习网络输出所述样本数据对所述异常检测算法的第二期望概[0027]在一种可能的实现中，所述从原始数据中划分得到用于本次迭代训练的样本数[0031]所述根据所述样本数据的异常检测结果计算所述异常检测算法的奖励得分，包7第一方面或第一方面任一实现方式的基于强化学习的异[0050]借由上述技术方案，本申请提供的一种基于强化学习的异常检测方法及相关装学习结合构建异常检测模型，以异常检测模型预测目标数据对异常检测算法的期望概率，8[0053]图2为本申请实施例提供的一种基于强化学习的异常检测方法的部分流程示意[0054]图3为本申请实施例提供的一种基于强化学习的异常检测方法的另一部分流程示[0055]图4为本申请实施例提供的一种基于强化学习的异常检测方法的另一部分流程示而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互9参见图2，图2为本申请实施例提供的一种基于强化学习的异常检测方法的部分流程示意std，则最大值max的归一化结果为，最小值mi"的归一化结果为一化结果为，峰度的归一化结果为，斜率slope的归一化结果为。输出的期望概率为第三期望概率。以第一深度学习网络为例，假设异常检测算法包括Z_abnormal_set_0中的每个异常点来说，如果其在异常点交集集合abnormal_set_finally对异常点1和异常点2分别加1分，异常点3在异常点差集集合diff_set中，则对异常点3减和Boxplot。经过上述步骤S2051至S2055，可以获得Z_score的奖励得分score_finally_o、Sigma_3的奖励得分score_finally_1、MA的奖励得分score_finally_2和Boxplot的奖励得分率和第四期望概率计算本次迭代训练的交叉熵如果所有异常检测算法中第三期望概率最大求（比如每隔5次迭代更新一次第二深度学习网络则第一深度学习网络将其网络参数赋实际应用场景中由于以往算法不灵活而出现的检测不够本数值特征的尺度为36来说明，通过对样本数值特征进行维度扩展得到shape为B*1*36的三维特征。为了从单个特征中提取出更多的高级信息，使用一维卷积层A_1作为且为了保持36个特征值在整段数据中的位置信息，还需要通过位置编码操作将shape=B位置信息的输入特征输入至第一多头自注意力机制层A_2中提取全局语义信息，得到新的送入第二线性层A_5，将第三个维度的特征映射到另一个域内，以此增强编码器的编码能[0131]将编码器输出的三维特征作为三多头自注意力机制层B_1提取全局语义特征，得到新的三维特征shape=B*36*16，送入至第三线性层B_2对第三个维度的尺度进行降维，得到新的三维特征shape=B*36能力。将失活后的三维特征shape=B*36*8送入第四多头自注意力机制层B_3中提取行拼接，得到新的三维特征shape=B*36*16，随后将第二维度和第三维度进行展平=B*144。将第四线性层B_4的输出特征送入第五线性层B_5对第二个维度的尺度继续进行降维，得到新的二维特征shape=B*4。最后利用softmax函数输出不同异常检测算法的期望概率shape=B*4。n的异常检测方法（即Ous）与其他异常检测算法（包括Method、Z_score、Sigma_3、MA和检测算法的期望概率，从而将为目标数据选择期望概率最高的异常检测算法进行异常检[0142]参见图6，图6为本申请实施例提供的一种强化学习的异常检测装置的结构示意于本次迭代训练的样本数据这一步骤，第一深度学习网络在当前满足预设的更新条件时，[0153]用于根据样本数据的异常检测结果计算异常检测算法的奖励得分的模型训练模[0158]其中，第一多头自注意力机制层的输出分别作为第一线性层和第四线性层的输