百度大数据即席查询技术探讨

百度大数据即席查询服务BaiduBigSQL/孙垚光自我介绍基础架构部分布式计算团队孙垚光09年-11年：Linux内核/网络协议栈优化11年-今：分布式计算/百度开放云Hadoop/Spark百度开放云即席查询服务（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技术•BigSQL在Baidu内部的应用•下一步计划即席查询服务（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技术•BigSQL在Baidu内部的应用•下一步计划BigSQL定位Ø大数据即席查询（Ad-HocQuery）平台Ø：开箱即用，用户无需关心机器/集群的运维/细节Ø高性能/规模：裸机/优化/最大PB量级以上Ø低成本：多租户共享集群/按使用付费BigSQL特点Ø数据格式：半结构化（等）Ø使用接口：易用/多样化（）Ø语法集：兼容开源SparkSQL/HQLØ按使用付费：按（Query复杂度+扫描数据量）计费Ø多用户协同：灵活的权限管理Ad-HocQuery•面向“人”的查询ü交互式（）：Ø查询具有较高时效性ü即席（Ad-Hoc）：Ø查询模式相对不固定Ø数据没有（时间/成本）做过多预处理即席查询多维分析Ad-HocQueryOLAP数据密度加工过程查询模式弱（半）结构化粗（浅）加工相对随机高度结构化深度加工相对固定SQLonHadoop/SparkSQL扩展性1000台以内/PB以下千台以上/PB以上查询延迟架构复杂性容错毫秒~秒中等秒~分钟复杂无有调度策略启停开销小/常驻进程分批大/现启动松散与存储结合程度紧密BigSQL示意图UserueryUserQueryBigSQLServiceStreamingBatchBOSr即席查询服务（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技术•BigSQL在Baidu内部的应用•下一步计划BigSQL整体架构SDKCLIRESTAPIConsole接入层（HttpServer）StateStoreSessionManagerIAMSessionWorkerSessionWorkerQuerySessionWorkerQueryQueryQueryQueryMetaStoreQuerySparkContextSparkContextSparkContext账单监控SchedulerCompute&StorageClusterBigSQL整体架构：接入层Ø易用性：各种形式的APIØ可用性：关键节点容错Ø安全：租户认证和鉴权、限制Ø账单Ø监控BigSQL整体架构：引擎层接入层SessionWorkerSessionWorkerSessionWorkerSessionWorker计算引擎（Spark）APPAPPAPPAPPExecutorExecutorExecutorExecutorExecutorExecutorExecutorExecutor分布式缓存（CacheManager）存储引擎（DFS/ColumnStorage）即席查询服务（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技术•BigSQL在Baidu内部的应用•下一步计划BigSQL关键技术（一）高性能BigSQL关键技术（一）高性能BigSQL关键技术（一）BigSQL关键技术（二）数据缓存层UserUser接入层计算引擎（Spark）CacheManager存储引擎（HDFS+Parquet）BigSQL关键技术（二）数据缓存策略l按需缓存ØQuery运行时触发Cachemiss，异步load到缓存l数据预取Ø周期性Load相关到缓存Ø根据过去Query信息统计热点数据，提前Load到缓存典型案例：跨地域查询加速（提升至少一个数量级）BigSQL关键技术（三）优化执行l智能参数优化Ø利用Combine类，减少数Ø根据上游输出，自动优化数目l调度优化Ø评估数据量，自动复用或者启用新的l近似查询Ø长尾任务自动忽略，保证时效性BigSQL关键技术（四）资源隔离/安全l基于的隔离ØCPU/Memory/FSØ本身的加固Ø网络的互通与隔离lJVM沙箱层的多种安全策略l计算/存储框架层的安全认证和加密传输即席查询服务（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技术•BigSQL在Baidu内部的应用•下一步计划在Baidu内部的应用凤巢广告数据分析l漏斗分析Ø分析广告被过滤的原因，各个维度特征等l系统优化和问题定位Ø分析系统业务日志，发现可优化的指标和潜在问题日均扫描数据量：xxPB即席查询服务（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技术•BigSQL在Baidu内部的应用•下一步计划BigSQL后续规划l持续投入技术研发Ø更智能的数据缓存层：细粒度/物化视图选取Ø实时更新Ø向量执行：提高CPU命中率ØCBO：BigSQL后