爱奇艺大数据分析平台架构演进

1、爱奇艺大数据分析平台架构演进技术创新，变革未来0 10 20 3 目录爱奇艺数据现状2020自助查询平台 - 魔镜用户分析平台 - 北斗日均上亿独立设备数离线：日增 500TB实时：日处理万亿级消息10+ AppsPCMobileTV报表分析推荐爱奇艺数据现状2020MapReduce2010201420172019SparkImpala/KuduPilot智能SQL引擎2016Kylin2018爱奇艺数据平台发展史2020Druid计算引擎数据源Gear计算层应用层采集调度平台行为数据服务日志MySQLCouchBaseRedisHiKVMongoDBClickHouseImpalaSpar

2、kHiveMR统一数仓数据层数据集市爱奇艺数据平台架构2020用户集市内容集市统计报表推荐数据ODS (原始数据层)DWD (数据明细层)MID (汇总数据层)BabelX 数据集成工具Venus 日志采集平台MySQL IO自助查询平台精细化运营平台内容分析平台Bi报表系统数据平台目标：链接数据与业务，提供高效，快捷的分析平台0 10 20 3 目录爱奇艺数据现状2020自助查询平台 - 魔镜用户分析平台 - 北斗自助查询平台-诞生背景2020遇到的问题运营及老板有越来越多的数据需求固定的报表开发难以满足各方数据需求数据开发工程师逐渐成为获取数据的瓶颈破局的思路需要赋能运营及分析师自助获取数

3、据的能力自助查询平台1.02020定制计算计算列表后台管理数据管理表管理字典管理数据依赖HIVE产品功能服务层调度/引擎数据管理用户登录计算配置计算结果计算配置SQL生成任务执行定时任务缺陷功能单一：支持单表计算，支持计算模板类型少数据源单一：数据来源为原始日志，没有数仓数据引擎单薄：使用hive client作为单一执行引擎，稳定 性不强自助查询平台1.02020后台管理数据管理字典管理数据依赖产品功能服务层调度/引擎数据管理用户登录计算模板单表计算计算配置SQL生成任务执行定时任务定制计算计算列表计算配置计算结果New表注册日志表管理GearHiveNewNew自助查询平台2.02020关

4、联计算漏斗分析留存分析自定义SQL改进丰富功能：支持了关联，留存，漏斗等计算类型扩展数据源：支持用户自定义注册数仓表健壮调度：集成基于Apache Oozie的Gear工作流调度系统 ，去除单点入口机依赖效果任务失败率从5%降低至2%（非语法类）问题数据开发提供了注册的数仓表，但是由于用户的习惯，不愿意进行计算的切换， 导致高效的表难以推广解决方案对最核心的用户行为数据进行数仓建模，进行常用维度聚合，平台提供一键切 换功能，杜绝使用原始表自助查询平台2.0-表一键替换2020效果释放了50台服务器资源单任务平均时长40分钟20分钟缺陷执行效率：使用Hive作为计算引擎，在日益增长的数据现状下，

5、 难以满足数据即时提取需求新的问题数据量的增加及基础设施的限制，公司开始多机房建设，数据 可能分布到多个大数据集群。面临着为每一次查询找到正确的 集群的问题。自助查询平2.02020自助查询平台-魔镜3.02020后台管理数据管理字典管理数据依赖调度/引擎数据管理用户登录计算模板关联计算留存分析漏斗分析计算配置SQL生成任务执行定时任务定制计算计算列表计算配置计算结果表注册日志表管理Pilot执行引擎ImpalaSparkHiveSQL特征特征模型引擎路由集群路由New任务限流产品功能服务层改进及效果自研智能SQL路由引擎Pilot，实现基于机器学习的智能SQL路由、失败降级、审计、错误诊断等

6、功能查询性能从平均20分钟16分钟，提升25%查询失败率降低至从2%降低至0.3%Pilot-查询路由2020SQL特征表个数：3数据大小：91.6GJoin次数：5Distinct次数：6。Gear： 1201SPilot：214S执行引擎性能提升：80%0 20 3 目录0 1爱奇艺数据现状2020自助查询平台 - 魔镜用户分析平台 - 北斗Q1看过隐没的角落的人群数据分析、提取2周策略上线2周效果计算申请分析师资源进行时间片对比分析1周深入 实践用户分析平台-诞生背景人群圈选行为分析定向运营数据可快速 可分析可决策可行动不但提供表的服务，进一步提供解决方案 服务2020死循环局面：策略细

7、分靠临时开发跨APP、甚至APP内跨场景数据不统 一，无法规模化复用底层、工具、应用层同时升级北斗下游业务应用人群 分发 枢纽即时分析画像分析路径分析用户细查漏斗分析留存分析多角度行为分析分布分析上游业务&平台爱奇艺人群输出奇巴布爱奇艺阅读AB平台Push平台分析输出/决策支持产品迭代 / 业务运营平台数据行为/属性圈定细分人群设备粒度/账号粒度单App/跨App 用户属性/核心行为/新增/AB实验/活动行为业务数据飞鸽广告。用户细查全链路平台 用户反馈平台报表平台人群分析生成人群用户分析平台-产品架构2020数据层：将数据通过统一的Hash算法切片为100份存储，基于用户行为库定制的用户事件

8、， 属性模型。引擎层：基于动态抽样（根据样本数量决定 Hash分片数）+ Impala查询引擎，提升单 次分析效率从平均70S提升至9S以内产品模块：人群结果通过文件及接口方式分发至 公司90%的触达用户平台用户分析平台-技术架构2020VS用户分析平台-技术选型2020VSKylinSparkImpala单表查询(10 亿)好(命中Cube)差中关联查询差中好并发控制中好差背景需要从900亿数据中圈选出入左图条件人群解决方案对数据进行抽样，保证千分之五以下的误差用户分析平台-抽样实现2020性能提升性能从70S9S全量和抽样的误差千分之一全量分析抽样分析用户分析平台-抽样实现2020背景每个用户基本都有多个剧集偏好，需要计算用户对于 剧集每个用户基本都有多个剧集偏好数据存储：每个