CN115687732B 基于ai和流式计算的用户分析方法及系统 （杭银消费金融股份有限公司）

US2021256221A1,2021.08.19本申请实施例提供的基于AI和流式计算的依据流式数据组的时序和目标事件数据事件分到的目标流式数据序列在拟分析流式数据事件集中的时序分布情况能够体现目标事件数据在式数据事件集中目标事件数据的时序分布情况2接收目标用户对应的终端设备上传的所述目标用户的流式数据依据调试完成的目标事件识别网络按序对所述流式数据组链中的每一流式数据组进针对所述拟分析流式数据事件集中在采集时间上紧邻的列；输出所述多个在采集时间上紧邻的目标流式数据序列分别在所述拟分析流式数据事件集中的时序分布情况以及所述目标事件数据的获取所述拟分析流式数据事件集，将所述拟分析流式数据事在每一所述流式数据分团中依据预设的挖掘频率进行数据将所述流式数据组链中的多个所述流式数据组按序加载至所述调试完成的目标事件依据所述目标事件识别网络的表征向量挖掘模块，挖掘所述流式依据所述目标事件识别网络的事件分类模块，依据所述流式数据组的表征向量集合，所述获得所述流式数据组链中存在目标事件数据的目标流式数据组以及所述目标流获取所述事件分类模块输出的所述表征向量集合中的每一表征向量的类型和概率变依据所述表征向量集合的各个表征向量对应的数据区间为目标事件数据的概率变量，依据所述流式数据组链中的每一流式数据组的目标事件数据识数据组链中存在目标事件数据的目标流式数据组以及所述目标流式数据组中目标事件数3依据所述标记调试模板集合中的每一个标记调试模板的标将所述分桶质心表征的字段覆盖范围确定为调试所述目标事件识别网络的外部参变针对每个所述流式数据事件调试集，在所述流式数所述搜寻到的流式数据组直到所述流式数据事件调试集的流式数据组全部完依据所述多个流式数据事件调试集搜寻结束后得到的拟标记调试模获取所述标记调试模板集合中指示没有目标事件数据的目标事件数依据事先设置的嵌入事件分布，对所述目标事件数据缺失调试模将所述嵌入事件分布确定为所述模拟目标事件数据调试模板的标记指示有目标事件数据的模拟目标事件数据调试模板加入其中，所述依据事先设置的嵌入事件分布，对所述目通过目标事件识别网络对标记调试模板集合中的标记调试模板进行概率变量以及所述预估临时窗口是否为目标事件数据的预估依据所述表征向量集合的表征向量的预估信息以及所述标记调试模板的标记指示信其中，所述第一误差信息用于指示预估临时窗口的事件分布和所述第二误差信息用于指示表征向量对应的数据区间存在目标事件数据的预估概率4所述第三误差信息用于指示表征向量对应的数据区间是否包括目标事件数据的预估依据所述标记调试模板集合中的标记调试模板的所述第一误获取无标记调试模板集合，对所述无标记调试模板集合中的无标记将依据标记调试模板集合进行依据有监督的调试得到的目标事件识别网络确定为基依据所述无标记模板近似组包括的调试模板各自对应的预估结果间的误差确定所述依据所述无标记模板近似组的共同性误差和标记调试模板的标记获取原始的无标记调试模板集合，依据所述基础目标事件识别如果所述预估结果表征所述半监督标记为第一半监督标记的无标记调试模板的数量为第二半监督标记的无标记调试模板的数量对半监督标记为第一半监督标记的无标记调依据所述基础目标事件识别网络对所述标记调试模板的预估结将所述是否包括目标事件数据的预估概率变量不大于预设概率变量的标记调试模板依据所述无标记模板近似组的共同性误差和所述目标调试模板的标记调试误差确定所述依据所述无标记模板近似组包括的调试模板各自对应的预估结果之间的误差确5其中，所述对所述无标记模板近似组包括的调试模板各自对应6[0002]在金融银行领域，大量用户的金融行为使得系统内部每时每刻都产生大量的数[0008]依据调试完成的目标事件识别网络按序对所述流式数据组链中的每一流式数据[0010]输出所述多个在采集时间上紧邻的目标流式数据序列分别在所述拟分析流式数据事件集中的时序分布情况以及所述目标事件7[0014]依据在每一流式数据分团得到的预设数目的流式数据组，得到所述流式数据组[0016]将所述流式数据组链中的多个所述流式数据组按序加载至所述调试完成的目标[0019]所述获得所述流式数据组链中存在目标事件数据的目标流式数据组以及所述目[0020]获取所述事件分类模块输出的所述表征向量集合中的每一表征向量的类型和概[0021]依据所述表征向量集合的各个表征向量对应的数据区间为目标事件数据的概率目标事件数据以及所述目标事件数据的事件流式数据组链中存在目标事件数据的目标流式数据组以及所述目标流式数据组中目标事[0027]将所述分桶质心表征的字段覆盖范围确定为调试所述目标事件识别网络的外部[0028]可选地，用于调试所述目标事件识别网络的标记调试模板通过如下步骤获取得据组添加到拟标记调试模板集合；当所述搜寻到的流式数据组和相邻流式数据组相似时，跳过所述搜寻到的流式数据组直到所述流式数据事件调试集的流式数据组全[0032]可选地，用于调试所述目标事件识别网络的标记调试模板通过如下步骤获取得8[0033]获取所述标记调试模板集合中指示没有目标事件数据的目标事件数据缺失调试后将指示有目标事件数据的模拟目标事件数据调试模板加预估概率变量以及所述预估临时窗口是否为目标事件数据的预[0039]依据所述表征向量集合的表征向量的预估信息以及所述标记调试模板的标记指[0041]所述第二误差信息用于指示表征向量对应的数据区间存在目标事件数据的预估数据的预估概率变量和实际概率变量之间的[0042]第三误差信息用于指示表征向量对应的数据区间是否包括目标事件数据的预估[0046]将依据标记调试模板集合进行依据有监督的调试得到的目标事件识别网络确定[0047]依据所述无标记模板近似组包括的调试模板各自对应的预估结果间的误差确定9半监督误差，通过所述半监督误差对所述基础目标事件识别网络的网络参变量进行优化，[0052]如果所述预估结果表征所述半监督标记为第一半监督标记的无标记调试模板的标记为第二半监督标记的无标记调试模板的数量对半监督标记为第一半监督标记的无标[0055]将所述是否包括目标事件数据的预估概率变量不大于预设概率变量的标记调试[0056]依据所述无标记模板近似组的共同性误差和所述目标调试模板的标记调试误差[0057]所述依据所述无标记模板近似组包括的调试模板各自对应的预估结果之间的误目标流式数据序列在拟分析流式数据事件集中的时序分布情况能够体现目标事件数据在标记调试模板集合进行预估，获得无标记调试模板和对应的加噪调试模板间的共同性误[0064]图1是本申请实施例提供的基于AI和流式计算的用户分析方法的应用场景示意[0071]本申请实施例提供的基于AI和流式计算的用户分析方法可以由用户分析AI系统[0073]图1是本申请实施例提供的基于AI和流式计算的用户分析方法的应用场景示意[0075]本申请实施例中，拟分析流式数据事件集中的数据时间跨度为预设的时间跨例如预设的时间跨度为12h，则拟分析流式数据事件集中的数据时12h内连续的流式数据。路或时间不同，依据流式数据组对应的时序对流式数据组进行排布以获得流式数据组链。者依据拟分析流式数据事件集的部分流式数据组构依据拟分析流式数据事件集的流式数据组容量对拟分析流式数据事件集进行划分得到流[0079]步骤103：依据调试完成的目标事件识别网络按序对流式数据组链中的每一流式别网络对流式数据组进行目标事件识别输出的识别结果包括流式数据组是否包括目标事件时刻的时间差值不大于预设时间差时确定任意的两个目标流式数据组为在采集时间上时间差值不大于预设时间差时确定该两个目标流式数据组为在采集时间上紧邻的目标流围交并比确定为在采集时间上紧邻的目标流式数据组中目标事件数据的事件分布的匹配确定为在采集时间上紧邻的目标流式数据组A和目标流式数据组B中目标事件数据的事件[0085]步骤105：输出多个在采集时间上紧邻的目标流式数据序列分别在拟分析流式数紧邻的目标流式数据序列的目标事件数据的事件据事件集中的时序分布情况能够体现目标事件数据在拟分析流式数据事件集的时序分布[0088]作为一种实施方式，在依据目标事件识别网络对流式数据组进行目标事件识别[0089]作为一种实施方式，目标事件识别网络包括表征向量挖掘模块和事件分类模（用于指示预估临时窗口的数据是否为目标事件数据窗口的作用为框选目标事件对应的口的预估事件分布确定为目标事件数据的事件分布，得到流式数据组的目标事件识别结进行聚类将分桶质心表征的字段覆盖范围确定为调试目标事件识别网络的外部参变量依据人工标注获取到。[0096]依据标注获取标记调试模板的过程具体可以包括：获取多个流式数据事件调试结束后得到的拟标记调试模板集合，确定用于调试目标事件识别网络的标记调试模板集半监督的学习方式通过无标记调试模板集合和标记调试模板集合共同对目标事件识别结果指示半监督标记为第一半监督标记的无标记调试模板的数量比半监督标记为第二半标记为第二半监督标记的无标记调试模板与抽取获得的半监督标记为第一半监督标记的督标记的无标记调试模板与第二半监督标记的无标记调试模板得到无标记调试模板集合，[0103]在基础目标事件识别网络输出的无标记模板近似组包括的调试模板各自对应的标记调试模板，预估概率变量过高表示目标事件识别网络对该调试模板的预估预期太强，[0111]步骤300：依据标记调试模板的标记调试误差与共同性误差对基础目标事件识别向量对应的数据区间为目标事件数据的概率变量以及每个表征向量对应的预估临时窗口数据组；当任意的两个目标流式数据组对应的事件时刻的时间差值不大于预设时间差时，邻的目标流式数据序列分别在拟分析流式数据事件集中的时序分布情况以及目标事件数结束后得到的拟标记调试模板集合，确定用于调试目标事件识别网络的标记调试模板集括目标事件数据的预估概率变量以及预估临时窗口是否为目标事件数据的预估概率变量；于指示表征向量对应的数据区间不存在目标事件数据的预估概率变量和实际概率变量之据半监督标记为第二半监督标记的无标记调试模板与抽取获得的半监督标记为第一半监对标记调试模板的预估结果，获取标记调试模板中是否包括目标事件数据的预估概率变于此得到的目标流式数据序列在拟分析流式数据事件集中的时序分布情况能够体现目标标记调试模板集合进行预估，获得无标记调试模板和对应的加噪调试模板间的共同性误[0122]事件数据获取模块341，用于接收目标用户对应的终端设备上传的所述目标用户所述拟分析流式数据事件集中的数据时间跨度为预设的时[0123]数据组链获取模块342，用于获取所述拟分析流式数据事件集对应的流式数据组[0124]目标事件识别模块343，用于依据调试完成的目标事件识别网络按序对所述流式数据的目标流式数据组以及所述目标流式数据组中目标事件数据[0125]数据序列确定模块344，用于针对所述拟分析流式数据事件集中在采集时间上紧采集时间上紧邻的目标流式数据序列；[0126]事件信息输出模块345，用于输出所述多个在采集时间上紧邻的目标流式数据序列分别在所述拟分析流式数据事件集中的时序分布情况以及所述目标事件数据的事件分程序被处理器执行时实现上述告警处理方法。所述计算