CN114328095B 一种任务异常告警方法及装置 （深圳前海微众银行股份有限公司）

本发明实施例提供了一种任务异常告警方的任务信息，通过k个第一任务各自的当前运行任务各自在第一预设历史时段内的历史运行时时间估计值矩阵针对任务运行超时异常进行精2在检测到针对任一任务组的异常检测请求时，从任务数从所述任务数据库中获取所述k个第一任务各自在第一预设历史时段内的历史运行时对所述第二运行时间矩阵进行矩阵分解，确定出用于表征所述k个第一任务正常完成确定所述第一运行时间矩阵与所述第一运行时间估计值矩阵在第二预设历史时段内的历史运行时间所确定的预设阈值区间范围内随机选取的任一预在所述第一相关值小于所述第一预设阈值时，确定至少有一2.如权利要求1所述的方法，其特征在于，所对所述k个第一任务各自的当前运行时间进行归一化处理，得到k个所述通过所述k个第一任务各自在第一预设历史时段内的历史运行时间，构造出第二针对所述第一预设历史时段内的每个子时段，以属于所述子时段的所述k个第一任务针对所述初始的第二运行时间矩阵中每列的k个矩阵值，对所述3.如权利要求1所述的方法，其特征在于，所述对所述第二运行时间矩阵进行矩阵分解，确定出用于表征所述k个第一任务正常完成运行过程的第一运行时间估计值矩阵，包将所述多个奇异值进行比对，确定出最大的奇异值，并将所述最大将所述第二运行时间矩阵转换为低秩矩阵和误差矩阵；所述误差35.如权利要求1所述的方法，其特征在于，获取m个第二任务各自在第二预设历史时段内的历史运行时间，并对所述第三运行时间矩阵进行矩阵分解，确定出用于表征所述m个第二任务正常完成确定所述第四运行时间矩阵与所述第二运行时间估计值矩阵过确定所述第二相关值是否小于所述第二预设阈值，确定所述m个第二任务中是否有任务时段的多次运行均遍历完成，从而确定出在所述第二预设阈值时所述m个第二任务各自在通过所述多个不相同的第二预设阈值以及所述多个不相同的第二预设值各自对应的通过所述蒙特卡罗仿真图，确定出运行超时漏报率小于等于第一设定7.如权利要求1至6任一项所述的方法，其特征在于针对所述k个第一任务中每个第一任务，确定所述第一任务的当前运行时间与所述第一运行时间估计值矩阵中所述第一任务的运行时间将所述k个第一任务各自对应的偏差按照从大到小的顺序进行排序将所述排序位于前i个的第一任务发送给异常处理人员进行人工处理，并将所述排序获取单元，用于在检测到针对任一任务组的异常检测请求时，述任务组的任务信息；所述任务信息用于指示所述任务组中k个第一任务各自的当前运行处理单元，用于通过所述k个第一任务各自的当前运行时间，构造出第一运行时间矩阵；从所述任务数据库中获取所述k个第一任务各自在第一预设历史时段内的历史运行时4一预设阈值为从基于多个第二任务各自在第二预设历史时段内的历史运行时间所确定的10.一种计算机可读存储介质，其特征在于，其存储有可由计算设备执行的计算机程5[0001]本发明实施例涉及金融科技(Fintech)领域，尤其涉及一种任务异常告警方法及6[0009]从所述任务数据库中获取所述k个第一任务各自在第一预设历史时段内的历史运[0010]对所述第二运行时间矩阵进行矩阵分解，确定出用于表征所述k个第一任务正常[0011]确定所述第一运行时间矩阵与所述第一运行时间估计值各自在第二预设历史时段内的历史运行时间所确定的预设阈值区间范围内随机选取的任预设历史时段内的历史运行时间，并通过该k个第一任务各自在第一预设历史时段内的历时间估计值矩阵之间的第一相关值小于第一预设阈值时，确定k个第一任务中至少有一个案通过任务组中各任务在预设历史时段内各时段的历史运行时间所确定出的针对各任务7[0017]所述通过所述k个第一任务各自在第一预设历史时段内的历史运行时间，构造出[0018]针对所述第一预设历史时段内的每个子时段，以属于所述子时段的所述k个第一一化处理，以及针对第一预设历史时段内属于每个子时段的k个第一任务的历史运行时间于后续能够及时准确地在同一量纲下进行数据间的运算处理(比如数据间的比较或计算数据间的相关性等)，并可以避免因数据间的量纲不同而给数据的运算处理带来较大误差影[0023]通过奇异值分解算法对所述第二运行时间矩阵进行矩阵分解，确定出多个奇异则所构造出的运行时间矩阵是高维的，不利于后续通过各任务的当前运行时间矩阵(即第一运行时间矩阵)与各任务在预设历史时段内的历史运行时间矩阵(即第二运行时间矩阵)运算放在普通服务器而导致任务运行超时检测流程的8[0028]通过所述奇异值分解算法对所述低秩矩阵进行矩阵分解，确定出所述多个奇异际上是由任务运行时间的期望值矩阵和具有零均值的正态分布的误差值矩阵构成的。其有一定的依赖关系(即具有一定的相关性)，因此通过预先将具有一定相关性(即符合设定要求的相关性)的多个任务整合到同一任务组中，这样便于以组的形式进行检测该类大数存在运行超时异常，从而能够更加准确地检测出运行超时异常具体出现在哪个任务环节，[0033]依据蒙特卡罗仿真方法，将m个不相关且均符合正态分布的第二任务作为一个任[0035]对所述第三运行时间矩阵进行矩阵分解，确定出用于表征所述m个第二任务正常[0037]确定所述第四运行时间矩阵与所述第二运行时间估计值并通过确定所述第二相关值是否小于所述第二预设阈值，确定所述m个第二任务中是否有当前时段的多次运行均遍历完成，从而确定出在所述第二预设阈值时所述m个第二任务各[0038]通过所述多个不相同的第二预设阈值以及所述多个不相同的第二预设值各自对9预设阈值区间范围随机选取出一个预设阈值用于判断任务运行是否存在超时异常，如此，误报率和运行超时漏报率都较低的预设阈值区[0042]针对所述k个第一任务中每个第一任务，确定所述第一任务的当前运行时间与所述第一运行时间估计值矩阵中所述第一任务的运行时间估计值[0043]将所述k个第一任务各自对应的偏差按照从大到小的顺序进行排序，并将排序位[0044]将所述排序位于前i个的第一任务发送给异常处理人员进行人工处理，并将所述地确定出排序位于前i个的第一任务存在运行超时异常，如此可以避免因人工估计任务运行时间期望值而导致所设置的任务运行异常告警时间不准确，并该排序位于前i个的第一序位于前i个的第一任务产生运行超时异常的具体问题，并针对该具体问题采取相应的解针对该排序位于前i个的第一任务所属的任务组进行运行超时异常判断时，该被标记为异常的i个第一任务会对任务组的运行超时异常判断带来干扰影响，从而可以有效地确保针对任一任务组的每次运行超时异常判断都能够准确正取所述任务组的任务信息；所述任务信息用于指示所述任务组中k个第一任务各自的当前矩阵；从所述任务数据库中获取所述k个第一任务各自在第一预设历史时段内的历史运行第一预设阈值为从基于多个第二任务各自在第二预设历史时段内的历史运行时间所确定[0053]针对所述第一预设历史时段内的每个子时段，以属于所述子时段的所述k个第一[0057]通过奇异值分解算法对所述第二运行时间矩阵进行矩阵分解，确定出多个奇异[0061]通过所述奇异值分解算法对所述低秩矩阵进行矩阵分解，确定出所述多个奇异[0064]依据蒙特卡罗仿真方法，将m个不相关且均符合正态分布的第二任务作为一个任[0066]对所述第三运行时间矩阵进行矩阵分解，确定出用于表征所述m个第二任务正常[0068]确定所述第四运行时间矩阵与所述第二运行时间估计值并通过确定所述第二相关值是否小于所述第二预设阈值，确定所述m个第二任务中是否有当前时段的多次运行均遍历完成，从而确定出在所述第二预设阈值时所述m个第二任务各[0069]通过所述多个不相同的第二预设阈值以及所述多个不相同的第二预设值各自对[0072]在确定至少有一个第一任务存在运行超时异常之后，针对所述k个第一任务中每[0073]将所述k个第一任务各自对应的偏差按照从大到小的顺序进行排序，并将排序位[0074]将所述排序位于前i个的第一任务发送给异常处理人员进行人工处理，并将所述处理器执行上述第一方面任意所述的任务异[0081]图4为本发明实施例提供的一种针对任务运行超时漏报率、任务运行超时误报率[0085]图1示例性的示出了本发明实施例提供的一种任务异常告警方法的流程，该流程个任务具有一定的依赖关系(即具有一定的相关性)，因此通过预先将具有一定相关性(即符合设定要求的相关性)的多个任务整合到同一任务组中，这样便于以组的形式进行检测间的相关值需要满足某一设定阈值，将相关值满足设定阈值的各任务整合到一个任务组运行超时异常检测时，即可从任务数据库中获取对应的预先配置好且需要检查的任务组，异常检测的任务组的标识号从任务组数据库中获取与该任务组的标识号相匹配的任务信的任务或被标记为异常的任务对当前判断任务组中是否有任务存在运行超时异常的影响，从而可以提高当前判断任务组中是否有任务存在运行超时异现将不同任务的运行时间归一化到同一量纲下进行相应的处理，比如映射到[0,1]或者[-k个第一任务各自的当前[0093](1)由于任一任务的任务运行时间会随着数据量的大小在一定范围内进行波动，[0096](2)相应地，针对设定的任务运行超时告警时间也可以假设其具有正态分布的特(即任务运行时间波动的概率分布以及设3一般在μ1+3σ1处比较合适，此时任一任务的任务运行时间超过μ1+3σ1的概率会小于望值的计算操作。在确定需要针对某一任务组中的k个任务进行运行超时告警的异常检测k个第一任务在第j日的运行时如此可以将该矩阵R分解为一个任务运行时间期望值矩阵和一个具有正态分布特性的误差,…,xk]T即为任务1～k的运对应的运行时间期望值后即可认为该任务处于任务完成状态。矩阵N中的每一项都是一个各列各自具有的k个归一化后的矩阵值，即时间估计值矩阵。示例性地，以采用奇异值分解算法(SingularValueDecomposition，阵(即第一运行时间矩阵)与各任务在预设历史时段内的历史运行时间矩阵(即第二运行时非通过人为的估计各任务的任务运行时间期望值来进行配置运行最大的奇异值对应的左奇异矩阵，即可得到f.如此即可从k个任务各自在预设历史时段内的历史运行时间中确定出该k个任务各自的[0130]步骤105，确定所述第一运行时间矩阵与所述第一运行时间估计值矩阵之间的第第二预设历史时段内的历史运行时间所确定的预设阈值区间范围内随机选取的任一预设[0132]示例性地，第一运行时间矩阵与第一运行时间估计值矩阵的相关值计算公式如[0134]其中，M用于表示第一运行时间矩阵(即k个第一任务各自的当前运行时间进行归一化后所构造的矩阵)。在计算第一运行时间矩阵与第一运行时间估计值矩阵的第一相关一相关值λ小于第一预设阈值ε时，发出任务运行超时告警。比如，设定第一预设阈值ε=组是否存在运行超时告警能够及时地从该预设阈值区间范围随机选择出一个预设阈值作相关且均符合正态分布的第二任务作为一个任务组，并设置多个不相同的第二预设阈值，同时获取m个第二任务各自在第二预设历史时段内(比如针对该m个第二任务，设定位于当奇异值分解算法对该第三运行时间矩阵进行矩阵分解，即可确定出用于表征m个第二任务二任务各自在当前时段运行多次，以及针对该m个第二任务各自在当前时段每次运行的运从而确定出在该第二预设阈值时该m个第二任务各自在当前时段运行多次的运行超时漏报对应的偏差按照从大到小的顺序进行排序，即可准确地确定出排序位于前i个的第一任务的任务运行异常告警时间不准确，并该排序位于前i个的第一任务发送给异常处理人员进行相应的人工处理，以便能够通过人工处理准确地定位出该排序位于前i个的第一任务产任务所属的任务组进行运行超时异常判断时，该被标记为异常的i个第一任务会对任务组预设历史时段内的历史运行时间，并通过该k个第一任务各自在第一预设历史时段内的历时间估计值矩阵之间的第一相关值小于第一预设阈值时，确定k个第一任务中至少有一个案通过任务组中各任务在预设历史时段内各时段的历史运行时间所确定出的针对各任务[0145]基于相同的技术构思，图5示例性的示出了本发明实施例提供的一种任务异常告获取所述任务组的任务信息；所述任务信息用于指示所述任务组中k个第一任务各自的当时间矩阵；从所述任务数据库中获取所述k个第一任务各自在第一预设历史时段内的历史运行时间估计值矩阵之间的第一相关值，并确定所述第一相关值是否小于第一预设阈值；所述第一预设阈值为从基于多个第二任务各自在第二预设历史时段内的历史运行时间所[0153]针对所述第一预设历史时段内的每个子时段，以属于所述子时段的所述k个第一[0157]通过奇异值分解算法对所述第二运行时间矩阵进行矩阵分解，确定出多个奇异[0161]通过所述奇异值分解算法对所述低秩矩阵进行矩阵分解，确定出所述多个奇异[0164]依据蒙特卡罗仿真方法，将m个不相关且均符合正态分布的第二任务作为一个任[0166]对所述第三运行时间矩阵进行矩阵分解，确定出用于表征所述m个第二任务正常[0168]确定所述第四运行时间矩阵与所述第二运行时间估计值并通过确定所述第二相关值是否小于所述第二预设阈值，确定所述m个第二任务中是否有当前时段的多次运行均遍历完成，从而确定出在所述第二预设阈值时所述m个第二任务各[0169]通过所述多个不相同的第二预设阈值以及所述多个不相同的第二预设值各自对[0172]在确定至少有一个第一任务