CN115048466B 一种数据分析方法、系统、终端及存储介质 （浙江吉利控股集团有限公司）

息，并根据所述数据分析任务信息，对所述采用多种负载均衡策略对数据分析任务进行调2获取数据分析任务信息，并根据所述数据分析任务信息，对所述Cli其中，所述对所述ClickHouse集群的各节点进行任务调度采用关系型数据库管理系统对分布式数据分析任务队列进在所述数据分析任务的读取行数超过最大读取行数，和/或所述数据分析任务的执行2.如权利要求1所述的分析方法，其特征在于，按照预设规则将所述行为数据存储至根据所述目标对象的身份标识号，对所述行为数据进行哈希分片将所述各目标对象的行为数据按照三级索引顺序进其中，一级索引为所述行为数据的事件号；二级索引为所述行若所述任务类型为事件统计和/或画像分析和/或漏斗分析和/或行为路径分析，则采所述数据写入模块用于获取目标对象的行为数据，并按照第一预所述数据存储模块用于将写入所述ClickHouse集群的行为数据按照第二预设规则进3所述任务调度模块用于获取数据分析任务信息，并根据所述数据分析所述数据分析模块用于根据任务调度安排，对所述各节点的行为数据进其中，所述任务调度模块包括分布式队列存储模块、任务调度器以及Click所述分布式队列存储模块用于采用关系型数据库管理系统对分布式数据分析任务队所述任务调度器用于根据任务执行优先级，按顺序执行不所述ClickHouse客户端模块用于获取数据分析任务的读取行数及据分析任务的读取行数超过最大读取行数，和/或所述数据分析任务的执行时间超过最大在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1理器执行时实现如权利要求1至5任一项所述分析方法4开发,从而实现对海量用户行为数据的高效分析,但二次开发成本极高且计算效率往往不如人意,后续维护成本也非常高。所以大多数企业一般会购买商业化产品来弥补在海量用户行为数据分析领域的缺陷,但是昂贵的商业化产品和数据隐私问题也成为了企业发展的[0003]现有技术,如专利CN202011006169.X,提供一种基于ClickHouse实现OLAP分析的索引为所述行为数据的事件号；二级索引为所述行为数据所属的目标对象的身份标识号；中的至少一项。5据分析任务的读取行数及执行时间；在所述数据分析任务的读取行数超过最大读取行数，6[0021]步骤S101：获取目标对象的行为数据，并按照预设规则将行为数据存储至[0025]可选地，采用开源流处理框架(Flink)服务以Java数据库连接(jdbc)的方式将数据按照目标对象的身份标识号(用户ID)进行哈希分片后直接插入到ClickHouse集群本地作为一级索引；为保证数据查询高效性,选择行为数据所属的目标对象的身份标识号(xxHash32(distinct_id)作为二级索引,选择行为数据的日志时间(log_time)作为三级索[0033]在采样字段选择方面,为保证预估场景小的毫秒级响应,选用目标对象的身份标[0034]在数据生存时间(TimeToLive,TTL)方面,从本7分析为分析用户从第一时刻到第n时刻的操作轨迹，如对应用程序或网页内容的点击轨迹[0043]若任务类型为事件统计和/或画像分析和/或漏斗分析和/或行为路径分析，则采[0049]在数据分析任务的读取行数超过最大读取行数，和/或数据分析任务的执行时间8[0056]本申请实施例一提供的数据分析方法，采用ClickHouse集群作为基础计算服务,用户所有行为数据都存储在同一台机器,从而实现了分布式集群模式下的本地化计算；为ClickHouse集群引入独立的调度服务,所有数据分析任务都经过调度服务,有效控制数据效控制单个任务可以占用的最大资源；还引入了多种负载均衡策略,以保证集群各个节点群在达到计算峰值时不稳定的问题，能够满足超大数据规模下用户行为数据的分析需求，[0059]数据存储模块12用于将写入ClickHouse集群的行为数据按照第二预设规则进行[0060]任务调度模块13用于获取数据分析任务信息，并根据数据分析任务信息，对[0062]可选地，任务调度模块13包括分布式队列存储模块130、任务调度器131、[0065]ClickHouse客户端模块132用于根据数据分析任务的任务类型，采取对应的负载[0066]ClickHouse客户端模块132还用于获取数据分析任务的读取行数及执行时间，并在数据分析任务的读取行数超过最大读取行数，和/或数据分析任务的执行时间超过最大据分析系统的可用率达到99.99并能够将数据9其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器述存储器2