大数据即席查询技术

百度大数据即席查询服务百度开放云即席查询服务（BigSQL）•

BigSQL定位/特点•

BigSQL架构•

BigSQL关键技术•

BigSQL在Baidu内部的应用•

下一步计划即席查询服务（BigSQL）•

BigSQL定位/特点•

BigSQL架构•

BigSQL关键技术•

BigSQL在Baidu内部的应用•

下一步计划Ø大数据即席查询（Ad-Hoc

Query）平台ØPAAS：开箱即用，用户无需关心机器/集群的运维/细节Ø高性能/规模：裸机/优化/最大PB量级以上Ø低成本：多租户共享集群/按使用付费BigSQL

定位Ø

数据格式：半结构化（CSV/JSON/Parquet/Protobuf等）Ø

使用接口：易用/多样化（RestAPI/Console/CLI/JDBC）Ø

语法集：兼容开源SparkSQL/HQLØ

按使用付费：按（Query复杂度+扫描数据量）计费Ø

多用户协同：灵活的权限管理BigSQL

特点•

面向“人”的查询ü交互式（Interactive）：Ø查询具有较高时效性ü即席（Ad-Hoc）：Ø查询模式相对不固定Ø数据没有（时间/成本）做过多预处理Ad-Hoc

QueryAd-HocQueryOLAP数据密度弱（半）结构化高度结构化加工过程粗（浅）加工深度加工查询模式相对随机相对固定即席查询

vs

多维分析MPP/ImpalaSQLonHadoop/SparkSQL扩展性1000台以内/PB以下千台以上/PB以上查询延迟毫秒~秒秒~分钟架构复杂性中等复杂容错无有调度策略Gang/Transaction分批启停开销小/常驻进程大/现启动与存储结合程度紧密松散MPP/Shared-NothingBigSQLServiceWebServe

rTools/SDKBOSBigSQL

示意图

User

QueryUser

QueryStreamingBatch即席查查询服服务（（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技技术•BigSQL在Baidu内部的的应用用•下一步步计划划RESTAPI接入层层（HttpServer））SessionManagerSparkContextSessionWorkerQueryQuerySchedulerCompute&StorageClusterSparkContextSessionWorkerQueryQuerySparkContextSessionWorkerQueryQuerySDKCLIToolsMetaStoreIAM账单监控StateStoreConsoleBigSQL整体架架构Ø易用性性：各各种形形式的的APIØ可用性性：关关键节节点容容错Ø安全：：租户户认证证和鉴鉴权、、Quota限制Ø账单Ø监控BigSQL整体架架构：：接入入层计算引引擎（（Spark））SessionWorkerSessionWorkerSessionWorkerSessionWorkerAPPExecutorExecutorAPPExecutorExecutorExecutor分布式式缓存存（CacheManager）存储引引擎（（DFS/ColumnStorage）APPExecutorAPPExecutorExecutorBigSQL整体架架构：：引擎擎层接入层层即席查查询服服务（（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技技术•BigSQL在Baidu内部的的应用用•下一步步计划划高性能能ShuffleBigSQL关键技技术（（一））高性能能ShuffleBigSQL关键技技术（（一））BigSQL关键技技术（（一））数据缓缓存层层BigSQL关键技技术（（二））UserUser接入层层计算引引擎（（Spark））CacheManagerCache存储引引擎（（HDFS+Parquet）数据缓缓存策策略l按需缓缓存ØQuery运行时时触发发Cachemiss，异步步load到缓存存l数据预预取Ø周期性性Load相关Table/Partition到缓存存Ø根据过过去Query信息统统计热热点数数据，，提前前Load到缓存存典型案案例：：跨地地域查查询加加速（提升升至少少一个个数量量级））BigSQL关键技技术（（二））优化执执行l智能参参数优优化Ø利用Combine类InputFormat，减少少MapTask数Ø根据上上游输输出，，自动动优化化ReducePartition数目l调度优优化Ø评估数数据量量，自自动复复用Application或者启用新新的Applicationl近似查查询Ø长尾任任务自自动忽忽略，，保证证时效效性BigSQL关键技技术（（三））资源隔隔离/安全l基于Cgroup/Namespace的Container隔离ØCPU/Memory/FSØContainer本身的加加固Ø网络的互互通与隔隔离lJVM沙箱层的的多种安安全策略略l计算/存储框架架层的安安全认证证和加密密传输BigSQL关键技术术（四））即席查询询服务（（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技术术•BigSQL在Baidu内部的应应用•下一步计计划在Baidu内部的应应用凤巢广告告数据分分析l漏斗分析析Ø分析广告告被过滤滤的原因因，各个个维度特特征等l系统优化化和问题题定位Ø分析系统统业务日日志，发发现可优优化的指指标和潜潜在问题题日均扫描描数据量量：xxPB即席查询询服务（（BigSQL）•BigSQL定位/特点•BigSQL架构•BigSQL关键技术术•BigSQL在Baidu内部的应应用•下一步计计划l持续投入入技术研研发Ø更智能的的数据缓缓存层：：细粒度/物化视图图选取Ø实时更新新Ø向量执行行：提高CPUcache命中率ØCBO：Cost-basedOptimizerBigSQL后续规划划l构建通用用大数据据处理平平台Ø日志收集集服务Ø数据变形形/ETL服务Ø报表/多维分析析Ø即席查询询服务Ø批处