CN113780329B 用于识别数据异常的方法、装置、服务器和介质 （北京沃东天骏信息技术有限公司）

本公开的实施例公开了用于识别数据异常施方式包括：获取预设时间段内的目标数据序将该数据特征指标输入至预先训练的自主学习2获取与所述预设时间段匹配的至少一个历史数据序列，其中，历史时间段与所述预设时间段相匹配；基于所述目标数据序列和所述至少一个历史数据序据与历史时间段内的数据之间的差异；基于所述目标数据序列中的数据与对应的预测值，将所述数据特征指标输入至预先训练的自主学习模型，生成用于表获取所述预设时间段内的各子时间段对应的原始数据序原始数据序列确定为所述预设时间段内的目标数据基于所述原始数据序列中各原始数据与所述参考值之间的比较，对所述原始接收所述目标端反馈的告警处理反馈信息，其中，所述告警处理3获取训练样本集合，其中，所述训练样本集合中的训练样本包的标注值，所述样本数据特征基于历史时间段内的数据统计特征和时间段对比特征生成，将所述训练样本集合中的训练样本的样本数据特征作为输入，将所述训练样本集合中的训练样本对应的输出值进行聚类，生模型用于表征数据特征与数据异常等级之间的对应聚类单元，被配置成将所述训练样本集合中的训练样本对模型生成单元，被配置成根据所述代表值和所述准异常分级模生成单元，被配置成将所述数据特征指标输入至预先训练的自主456使得一个或多个处理器实现如第一方面中任一实该程序被处理器执行时实现如第一方面中任[0015]图3是根据本公开的实施例的用于识别数据异常的方法的一个应用场景的示意[0022]图1示出了可以应用本公开的用于识别数据异常的方法或用于识别数据异常的装7在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服客户端应用提供支持的后台服务器。后台服务器可以获取各客户端应用所产生的汇总数据，并根据上述汇总数据执行相应的处理(例如生成用于表征是否存在数据异常的提示信[0030]继续参考图2，示出了根据本公开的用于识别数据异常的方法的一个实施例的流内的目标数据序列。器所监测的按照不同商品类型或不同销售渠道(直营或代理商)或不同店铺而统计的订单银行的进行支付的交易量或通过不同用户端(例如PC端、APP端)进行登录的用户数量等交8设时间段内的目标数据序列：每个原始数据例如可以是对应的子时间段所发生2,3,1,0,1,3,2,6,8,7序列进行预处理可以包括采用各种数据平滑方法(例如移动平均法)对8,7,1,0,1,7,2,5,…]的平均值4[0048]S31、将该原始数据序列中每目标数目个相邻的子时间段对应的原始数据进行求将原始数据序列中的每12个原始数据(即新的原始数据序列中的每2个原始数据)进行求9[0053]在这些实现方式中，上述执行主体可以确定上述步骤S32所确定的新的原始序列值21，上述执行主体可以继续执行上述步骤S31(例如生成新的原始数据序列[36数据序列确定为预设时间段内的目标数据序值，上述执行主体可以将上述步骤S32所生成的新的原始数据序列确定为预设时间段内的避免了由于某些业务数据在单位时间(例如分钟级)内比较小，且经常为0而造成的难以反的参考值，上述执行主体可以通过各种方式对上述原始数据序列中的原始数据进行重映[0064]S’21、确定原始数据序列中的原始数据与参考值之间的差异值(例如差值或比[0066]在这些实现方式中，上述分段倍数列表中的元素按照数值由大至小的顺序排[0072]score＝M-idx+(value-d的目标数据按照前述步骤S1-S5所描述的时间段进行聚合，根据上述聚合后的时间段对应应的预测值例如可以用于表征18:00-18:59所对应的目标数[0081]在这些实现方式中，上述时序预测模型例如可以包括自回归移动平均模型[0083]在本实施例中，基于步骤201所获取的目标数据序列和步骤个历史数据序列对应的历史时间段可以包括但不限于以下至少一项：2019年5月18日12:[0091]作为再一示例，同比多段时间数据之和的差异值例如可以表征前x天中当前时间[0097]在本实施例中，上述执行主体可以将步骤203所生成的数据特征指标输入至预先(eXtremeGradientBoosting)算法作为分类器。上述主动学习的方式可以包括但不限于述标注值可以与上述步骤206所接收的异常数据严重等级和告警响应时间相对应。例如，分钟的标注值可以为1.0。可以通过记录异常信息接收方对告警信息的反馈(包括是否是异常数据以及问题的严重性根据上述序列305确定时段6:45-6:59的预测值20(如图3中306所示)。基于上述序列305和包括前一日6:00-6:59时间段内每15分钟的新用户注册数量与上述序列306的比值(0.67,[0109]进一步参考图4，其示出了用于训练异常分级模型的方法的一个实施例的流程的同一时间段的值之差或之比,当前时间段的数据与模型预测值之差或之比，与当前时间[0112]在本实施例中，上述标注值可以基于前述实施例步骤205-步骤207所描述的方法据特征指标输入至预先训练的自主学习模型，生成用于表征是否存在数据异常的提示信单元503和生成单元504的具体处理及其所带来的技术效果可分别参考图2对应实施例中的列确定为预设时间段内的目标数据序列。[0129]在本实施例的一些可选的实现方式中，该用于识别标数据序列以及确定单元502所确定的目标序列的预测值提取数据特征指标，再通过生成单元504将所提取的数据特征指标作为利用机器学习方法训练得到的自主学习模型的输单元602、聚类单元603和模型生成单元604的具体处理及其所带来的技术效果可分别参考括标注值的训练样本进行模型训练，以及聚类单元603将训练样本对应的输出值进行聚类[0135]下面参考图7，其示出了适于用来实现本申请的实施例的电子设备(例如图1中的[0136]如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)输入/输出(I/O)接口705也连接至质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以于表征数据特征与数据异常等级之间的对应关[0141]可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的