CN114417118B 一种异常数据处理方法、装置、设备以及存储介质 （北京百度网讯科技有限公司）

本公开提供了一种异常数据处理方法、装待识别搜索信息包括搜索词信息和/或所述搜索精准识别出交互平台中的异常数据提供了新的2获取至少两个交互平台的搜索词和所述搜索词从所述搜索词中提取异常触发词，并将所述搜索词和所述异常触发从所述访问网址中提取子网址，并将所述访问网址和所述子网址作信息的网址信息;以及获取所述待识别搜索信息在所述至少两个交互平台中关根据所述访问行为，确定所述待识别搜索信息关联的交互平台根据所述待识别搜索信息关联的交互平台，以及所述待识别搜索信息根据所述访问行为，确定各交互平台关联的待识别搜索信息，根据各交互平台关联的待识别搜索信息，以及各交互平台关联的待根据所述待识别搜索信息的信息内容，确定所述待识别搜索信息的述演变特征添加到所述待识别搜索信息的目标访问通过异常数据识别模型，根据所述目标访问特征，识别所述待识别基于所述样本搜索信息和所述监督标签信息，对所述异常数据识6.根据权利要求5所述的方法，其中，所述确定所述样本搜索信息关联的监督标签信根据所述样本搜索信息的信息内容和所述初始标签信根据所述样本搜索信息的样本访问特征和更新后的初始标签信息的样本访问特征之3若检测到黑名单更新事件，则根据线上黑名单和所述异常信息获取模块，用于获取至少两个交互平台的搜索词和所述搜索词触发的访问网址；访问特征确定模块，用于根据所述访问行为，确定所述待异常数据识别模块，用于根据所述目标访问特征，识别所述根据所述访问行为，确定所述待识别搜索信息关联的交互平台根据所述待识别搜索信息关联的交互平台，以及所述待识别搜索信息根据所述访问行为，确定各交互平台关联的待识别搜索信息，根据各交互平台关联的待识别搜索信息，以及各交互平台关联的待演变特征确定模块，用于根据所述待识别搜索信息的信息内容第二识别单元，用于根据所述目标访问特征和特征阈值，识4模型训练模块，用于基于所述样本搜索信息和所述监督标签信息，根据所述样本搜索信息的信息内容和所述初始标签信根据所述样本搜索信息的样本访问特征和更新后的初始标签信息的样本访问特征之黑名单更新模块，用于若检测到黑名单更新事件，则根据线上黑异常监控模块，基于所述线上黑名单，对所述至少两个交互所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的异常数据处理使所述计算机执行根据权利要求1-9中任一项所述的5使至少一个处理器能够执行本公开任一实施例的[0014]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特6[0026]图1是根据本公开实施例提供的一种异常数据处理方法的流程图。本公开实施例互平台为用户提供搜索服务的过程中所产生的数据信息，具体可以包括搜索词信息和/或[0030]所谓搜索信息在交互平台中关联的访问行为可以是该搜索信息开始访问交互平算设备可以实时监控各交互平台的运营情况，从而获取各交互平台所产生的线上搜索词，和/或该线上搜索词所触发的页面网址，并根据一段时间7直接将获取的线上搜索词和/或访问网址作为一组待识别搜索信息；还可以是对线上搜索将各个待识别搜索信息在各个交互平台中关联的访问行为输入到预先训练好的特征提取此时可以将每个待识别搜索信息的目标访问特征与各类型的异常数据关联的共性访问特8[0044]图2是根据本公开实施例提供的一种异常数据处理方法的流程图。本公开实施例9索信息的目标访问特征，并基于该目标访问特征来判定待识别搜索信息是否为异常数据。本方案基于待识别搜索信息关联的交互平台及其在交互平台上的页面浏览量，从访问范的目标访问特征更为全面准确，进而提高了基于该目标访问特征识别的异常数据的精准[0067]图3是根据本公开实施例提供的一种异常数据处理方法的流程图。本公开实施例[0076]其中，特征阈值可以是预先设置的衡量目标访问特征是符合异常数据特征的标据进行融合(如合并或取交集等)处理得到最终的异据识别模型，和/或特征阈值判断的方式来根据目标访问特征来识别待识别搜索信息中的[0081]图4是根据本公开实施例提供的一种异常数据处理方法的流程图。本公开实施例在上述实施例的基础上，进一步对如何训练异常数据识别模型的过程进行详细解释说明，搜索信息可以是至少两个交互平台历史运营过[0089](二)、根据样本搜索信息的信息内容和初始标签信息的容与各初始标签信息(即第一步已标注成异常数据的样本搜索信息)的信息内容进行相似[0094]具体的，本实施例可以根据样本搜索信息在至少两个交一样本搜索信息，计算其样本访问特征与各初始标签信息的样本访问特征之间的相似度，将相似度达到预设阈值，且不属于初始标签信息的样本搜索信息添加到初始标签信息中，并将本步骤处理后得到的初始标签作为样本搜索信息关联[0098]可选的，本实施例可以获取样本搜索信息在至少两个交互平台中关联的访问行据，并将基于异常数据识别模型确定的异常数据与基于特征阈值确定的异常数据进行融[0106]图5是根据本公开实施例提供的一种异常数据处理方法的流程图。本公开实施例各交互平台响应该数据获取请求所反馈的该预设周期内所产生的所有搜索词和搜索词触得到的待识别搜索信息的网址信息一并作为[0126]图6是根据本公开实施例提供的一种异常数据处理方法的流程图。本公开实施例在上述实施例的基础上，进一步给出了如何应用识别出的异常数据的优选实例，如图6所黑名单都可以采用本实施例所述的方式来进[0140]图7是根据本公开实施例提供的一种异常数据处理的系统架构图。本公开实施例算设备为多个B端交互平台提供数据分析服务的过程，基于多个B端交互平台的搜索数据，据目标访问特征与特征阈值之间的关系，识别出待识别搜索信息中的另一部分异常数据，问网址的子网址四种类型的异常数据各构建一个线上黑名单，针对每一种类型的异常数[0145]图8是根据本公开实施例提供的一种异常数据处理装置的结构示意图。本公开实[0147]访问特征确定模块802，用于根据所述待识别搜索信息在所述至少两个交互平台[0166]根据所述至少两个交互平台对所述样本搜索信息的反馈信息，确定初始标签信[0167]根据所述样本搜索信息的信息内容和所述初始标签信息的信息内容之间的相似[0168]根据所述样本搜索信息的样本访问特征和更新后的初始标签信息的样本访问特的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执因特网的计算机网络和/或各种电信网络与其他设备交换信部分或者全部可以经由ROM902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理[0188]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器[0191]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技[0194]云计算(cloudcomputing)，指的是通过网络接入弹性可扩展的共享物理或虚拟