爱奇艺大数据OLAP技术体系演进

1、技术创新，变革未来爱奇艺大数据 OLAP技术体系演进爱奇艺数据现状移动端月活跃用户数 5.3 亿数据来源: Quest Mobile 2020年10月离线：日增 1 PB 以上 实时：日处理万亿级消息20+ AppsPCMobileTV报表分析推荐批处理 固定报表 即席查询 实时更新 时序分析爱奇艺 OLAP 分析场景HiveImpalaKylinKuduDruid爱奇艺 OLAP 体系AGENDAOLAP 服务矩阵OLAP 平台建设OLAP 服务治理未来规划OLAP 服务矩阵演变2016 2018多样化 交互查询2018 2020实时化统一入口12013 2015离线分析 批处理23离线批处

2、理 - HiveHive 挑战变更难：报表调整需开发扩展差：分库、分表查询慢：交互查询需分钟级时效差：T+1 数据延迟更新弱：不支持更新1+LYH 064/$G KRF4(7/23爱奇艺现状场景：批处理、备份 查询：100 K 查询/天存储：300 PB优点：稳定、吞吐高批处理正在用 Spark SQL 代替+LYH.OLQ,PSDOD6SDUN64/.XGX Hive实践 - 总览存储生命周期管理小文件治理存储格式优化元数据统一元数据水平扩展（TiDB）任务扫描数据过大创建文件过快并发过大组件HiveServer2自愈HiveServer2内存 泄露Hive实践 - 性能优化创建文件过快 -

3、 Scratch目录切换 背景：NameNode高峰期创建文件压力大定位：来源50%为/tmp/hive，即Scratch目录 调整：将其切换至其他NameSpace效果：高峰期创建文件压力减半NS01 08点创建操数路径修改前修改后/hive/warehouse3.44M3.52M/tmp/hive3.63M0.3MHiveServer2内存泄露 背景：HiveServer2频繁自愈定位：通过内存分析定位为ClassLoader泄露 调整：应用相关Patch效果：不再自愈不再发生自愈固定报表场景 - KylinKylin1. 变更容易页面修改定义自动翻译构建计算快：层级计算、优化扩展好：HB

4、ase水平扩展Hive变更难手动撰写 SQL需开发排期计算慢：重复计算扩展差：Cube 膨胀场景示例：分析各页面、城市、平台组合下的展示量、点击量+)6+LYH 6SDUN064/64/ 123+)605+%DVH+LYH.OLQKylin 架构+LYH5(67 6HUYHU-%&/2%&SQL&XEH05/2/$3 &XEH+%DVHKylin是基于Hadoop针对固定报表的SQL引擎空间换时间计算优化示例业务变更：页面拖拽，半小时完成计算：耗时缩短 10 倍，成本省 50% 扩展：输入 4 TB/天，9 维度Kylin - 落地效果公司落地情况业务：30 余个，BI、推荐、搜索等Cube：

5、386 个输入：4 千亿行/天最大Cube：2 PB 输入Cube增量：800 TB/天查询：6 万余个/天耗时：P95 4秒背景：混布 HBase 互相影响，稳定差 调整：独立 Kylin HBase，针对性调优写：仅 Bulkload读：缓存、线程增大比例协处理器分裂策略效果：查询不可用时间降低至混用 HBase 的 25%Kylin优化 - 独立HBase.OLQ+%DVH+)6 &XEH.OLQ+%DVH+)6 &XEH$%+%DVH+)6&XEH +)6&XEH %.OLQ$.OLQ场景1：报表维度灵活 场景2：临时排障分析即席查询场景 - Impala+)6+LYH06TO$G-K

6、RF12痛点扩展差查询慢排障时提交完 Hive 查询，喝杯咖啡目标引擎需求支持维度多无需预计算交互级响应能水平扩展Impala是构建于HDFS之上的 大数据分析引擎关键特性常驻进程元数据缓存无需落盘Impala - 架构Impala - 落地+)6+)6.XGX,PSDOD,PSDOD+LYH适用于 Ad-hoc 查询，介于 MySQL 跟 Hive 之间MySQL：300G，秒级响应Hive：TB级别，分钟级别响应Impala：TB级别，秒级响应3个独立集群，百万查询/天，99%延时3秒7个公共集群，30万查询/天，99%延时1分钟阶段1 - 独立计算结点Impala实践 - 公共集群存算分

7、离,PSDODGDUQ+)6+)6,PSDODG 80-maintenance_manager_num_threads 1 - disk-num/3-block_cache_capacity_mb 30分 钟内智能电视实时预警5分钟实时报警，多维分析追溯根因Druid - 落地爱奇艺落地集群规模：三百结点输入消息：千亿消息/天输出消息：减少10倍 查询规模：千万查询/天查询延时：99%延时1秒内；决策要素时效性：天级、小时、分钟级查询延时：离线分析、交互级、线上查询频次：用户发起，定时发起查询模式：固定查询、灵活分析写入模式：批量导入、实时更新数据规模：行数、大小OLAP 产品技术选型6&$1

8、2/$32/$3.XGX.OLQ,PSDOD+LYH (6SDUN)UXLG 300* 300* 15 064/+%DVHOLAP 平台建设统一查询分析Pilot智能SQL引擎魔镜即席查询平台RAP实时分析平台统一指标系统统一SQL引擎 屏蔽底层服务统一数据模型 开发和查询统一指标口径SQL化平台化指标化Pilot是一款智能SQL引擎，提供OLAP访问的 统一入口问题入口众多：缺乏限制、审计异常查询能力开发低效：重复开发HA、降级、监控、诊 断等模块引擎锁定：Hive MR仍是主流，替换引擎 业务代价大核心功能路由：基于查询特征（大小、复杂度）智 能选择引擎管控：拦截大查询、缓存重复查询、限流

9、 过多查询审计：记录所有查询，提供监控、告警优化：调整执行参数，透明替换执行引擎Pilot -智能SQL引擎Pilot智能SQL引擎查询 路由权限 管理限流高可用HiveKylinImpalaDruid数据调度SQLProfilerPilot - 落地效果背景（引擎升级All or nothing）Hive on MR占比大，执行慢，耗资源灰度困难：集群粒度业务抗拒：需修改线上服务工作重复：语法修改、参数调优Pilot（持续迭代）灰度：业务线、任务级动态控制透明：业务无感，双跑，降级机制复用：语法兼容、资源优化等工作 Spark优化Spark Thrift Server稳定性Dynamic R

10、esource Allocate特性效果：逐步切换10%查询，时间减半，资源下降Pilot - 引擎灰度升级定位：一站式自助查询工具，让取数变得更高效魔镜 - 即席查询平台后台管理数据管理字典管理数据依赖产品功能服务层调度/引擎数据管理用户登录计算模板关联计算留存分析漏斗分析计算配置SQL生成任务执行定时任务定制计算计算列表计算配置计算结果表注册日志表管理Pilot执行引擎ImpalaSparkHiveSQL特征特征模型引擎路由集群路由任务限流Realtime Analysis Platfrom：基于超大规模实时数据的快速分析平台全向导配置计算存储透明丰富报表类型数据延时低秒级查询灵活变更需求

11、RAP - 实时分析平台数 据 源前 端处 理存 储MySQL大屏展示DruidImpalaKudu实时报I分析（漏斗、留存）D户数据Ka(kaMySQL IO实时报表F控数据PilotSparkFlink魔镜/RAP问题重复计算相似的指标 统一指标系统定义、提供业务指标无需SQL/工作流OLAP 服务治理DevOps （平台化、自动化）自助查询：展示表、SQL查询等信息，便于用户 自助优化自动化：增加工单自动化率DataOps （数据驱动）数据驱动：分析运维瓶颈（告警、工单） 服务优化：系统性、程序性优化AIOps （智能化）上线Hive查询智能诊断、自助排障系统接入智能客服，50%自动回答，大幅减少运维压 力上线告警自愈，故障响应时间从30分钟缩短至5 分钟服务治理 - 运维体系建设服务治理 - Hive自助排障服务治理 - 数据生命周期管理管理平台：多种策略，简单配置，自动执行 落地效果成本优化：累计清理/归档 500 P