CN115098029B 数据处理方法及装置 （上海哔哩哔哩科技有限公司）

US2021191958A1,2021.06.24据，通过这种对大量的用户行为明细数据的处2获取针对目标对象在预设历史时间区间内的用户基于所述用户行为明细数据中的用户标识，将所述用户行为明细数据进行聚合处理，按照预设划分时间区间对所述初始聚合数据中的事件属性信息进行基于目标数据压缩结构对所述目标聚合数据进行格式转换，获得所述目标其中，基于所述用户行为明细数据中的用户标识，将所述用确定所述用户行为明细数据中与事件类型对应基于所述用户行为明细数据中的用户标识，对所述目标用户行为保留所述用户行为明细数据中所述事件属性信息，裁剪确定所述初始事件属性信息中除所述事件标识信息和所述事件时间信息以外的其他根据所述目标用户标识在所述目标用户行为明细数据中确定目标用户对所述目标用户行为子数据中的用户属性信息执行去重处理，获得根据用户属性信息对所述事件属性信息执行聚合处理，获得所拼接所述用户属性信息和所述事件属性信息，获得所述目标用户基于事件时间信息对所述事件标识信息进行拼接，获得所述用户属6.如权利要求4所述的方法，其特征在于，拼接所述用户属性信息和所述事件属性信3确定所述事件属性信息中满足预设干扰条件的事件标识预设干扰条件为用户在预设时间区间内反复发生的行为删除所述事件属性信息中干扰事件标识以及所述干扰事将执行删除操作后的事件属性信息与所述用户属性信息进行拼接，获得所述按照预设划分时间区间，对所述初始聚合数据中的事件时间信息将每个事件时间区间所对应的事件标识确定为事件标识集合，并基于所基于目标数据压缩结构将所述目标聚合数据的用户属性信息中的用户标识进行格式获取针对目标对象的用户标识以及所述用户标识对基于目标数据压缩结构对所述用户标识进行格式转换，基于转换相应地，所述基于转换后的用户标识以及所述属性标签，确接收针对目标对象的用户路径数据查询请求，其中，所述用户路径基于所述基础配置查询条件在所述数据库中的用户路径数据中，基于所述用户路径数据生成用户路径图，并将所述用户路径图接收针对目标对象的用户路径数据查询请求，其中，所述用户路径4根据预设数据处理方式，对所述待处理用户路径数据以及所述待基于所述标签用户路径数据生成标签用户路径图，并将所述标签确定所述基础配置查询条件以及所述标签数据查询条件之间的基于所述预设数据处理方式对所述待处理用户路径数据以及所述待处理用户标签数数据获取模块，被配置为获取针对目标对象在预设历史时间初始聚合模块，被配置为基于所述用户行为明细数据中数据转换模块，被配置为基于目标数据压缩结构对所述目标聚合数据进行格式转换，其中，基于所述用户行为明细数据中的用户标识，将所述用确定所述用户行为明细数据中与事件类型对应基于所述用户行为明细数据中的用户标识，对所述目标用户行为理器执行时实现权利要求1-15任意一项所述方法5指令被处理器执行时实现权利要求1-15任67预设划分时间区间对所述初始聚合数据中的事件属性信息进行划分，获得目标聚合数据，[0019]图1是本申请一实施例提供的一种数据处理方法应用于数据处理系统的系统结构[0021]图3是本申请一实施例提供的一种数据处理方法中标签用户路径图的展示界面示[0022]图4是本申请一实施例提供的一种应用于用户路径分析场景的数据处理方法的处8询功能，能将SQL语句转变成MapReduce(MapReduce是一个基于集群的高性能并行计算平分析处理查询(OLAP:OnlineAnalyticalProcessing)MPP架构的列式存储数据库(DBMS：9据仓库102对应用程序中用户行为明细数据进行数据预处理，并将处理后的用户行为数据取到应用程序在预设历史时间区间内的所有用户行为明细数据，并输入至数据仓库102的[0053]图2示出了根据本申请一实施例提供的一种数据处理方法的流程图，具体包括以[0060]用户属性信息可以理解为与用户具有关联性的用户行为数据，包括用户标识数库中的DWB层可对大量的用户行为明细数据进行聚合处理，以获得用户路径分析的轻度汇[0076]确定所述初始事件属性信息中的事件标识信息和事件时间信息，为事件属性信[0077]确定所述初始事件属性信息中除所述事件标识信息和所述事件时间信息以外的施时，将初始事件属性信息中的事件标识信息和事件时间信息作为事件属性信息进行留[0083]根据所述目标用户标识在所述目标用户行为明细数据中确定目标用户行为子数标行为子数据，该过程可以理解为将目标用户标识对应的明细数据进行筛选的操作过程；[0097]确定所述事件属性信息中满足预设干扰条件的事件标识所述预设干扰条件为用户在预设时间区间内反复发生的行为事[0102]步骤206：按照预设划分时间区间对所述初始聚合数据中的事件属性信息进行划[0115]基于目标数据压缩结构将所述目标聚合数据的用户属性信息中的用户标识进行目标数据压缩结构BitMap对应的数据字典，并基于数据字典将聚合数据K中用户属性信息的用户标识转换为BitMap数据结构；由BitMap数据结构的用户标识和聚合数据K中除用户[0130]通过将压缩得到的用户标签数据和用户路径数据代替用户明细数据存储至数据[0145]实际应用中，数据库在接收到针对某一应用程序的用户[0147]图3中的选择路径分析事件、配置条件的部分可以理解为基础配置查询条件以及[0150]基于所述预设数据处理方式对所述待处理用户路径数据以及所述待处理用户标[0157]需要说明的是，明细数据即流量数据可分为私有参数(与事件类型相关联的属性参数在用户粒度下是不会经常改变的，因为可利用hive表中的函数执行查询维度的裁剪，[0161]步骤408：数据仓库的DWS层可将用户路径数据利用出仓脚本将hive数据导入[0163]另外，在接收到用户路径数据查询请求中还携带有标签查询条件时，可通过路径数据以及用户标签数据均能够引入了RBM数据存储结构，即可实现Bitmap存储结构的[0167]数据获取模块502，被配置为获取针对目标对象在预设历史时间区间内的用户行[0169]目标聚合模块506，被配置为按照预设划分时间区间对所述初始聚合数据中的事[0170]数据转换模块508，被配置为基于目标数据压缩结构对所述目标聚合数据进行格[0179]确定所述初始事件属性信息中的事件标识信息和事件时间信息，为事件属性信[0180]确定所述初始事件属性信息中除所述事件标识信息和所述事件时间信息以外的[0183]根据所述目标用户标识在所述目标用户行为明细数据中确定目标用户行为子数[0191]确定所述事件属性信息中满足预设干扰条件的事件标识所述预设干扰条件为用户在预设时间区间内反复发生的行为事[0198]基于目标数据压缩结构将所述目标聚合数据的用户属性信息中的用户标识进行[0217]基于所述预设数据处理方式对所述待处理用户路径数据以及所述待处理用户标多个网络660通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网[0225]计算设备600可以是任何类型的静止或移动计算设备，包括移动计算机或移动计机指令被处理器执行时实现如前所述数据处理方法[0230]上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围[0231]所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、容