ClickHouse在头条技术架构演化课件

1、技术创新，变革未来ClickHouse 在头条技术架构演化第1页，共33页。目录ClickHouse 简介Bytedance 如何使用ClickHouse问题与解决方案Q&A第2页，共33页。Developed by Yandex, and open source since 2016查询性能优越的分析型引擎主要特点（not new)Column oriented + vector executionLocal attached storage (not Hadoop ecosystem)Linear scalable & Reliable(shard + replication)SQL in

2、terfaceFastClickHouse 简介第3页，共33页。Data Skipping- 分区以及分区剪枝数据局部有序（LSM-like engine, zone map)资源的垂直整合并发 MPP+ SMP（plan level)- Tuned执行层实现 （multi-variant agg implementation, SIMD)C+ Template CodeClickHouse 简介 - 性能优越的因素第4页，共33页。适用场景单表分析 或 colocate join casedistributed join 性能并不出色不足no transactionbatch data i

3、ngestweak update/delete supportweak optimizer & query rewriteClickHouse 简介 - 适用场景与不足第5页，共33页。选择ClickHouse的原因产品需求交互式分析能力 (in seconds)查询模式多变以大宽表为主数据量大Open sourced MPP OLAP engine - (performance, feature, quality)Bytedance 如何使用ClickHouse第6页，共33页。几千个节点, 最大集群1200个节点数据总量 几十PB日增数据 100TB查询响应时间(mostly) ms -

4、30s覆盖下列用户产品运营，分析师开发人员少量广告类用户openapiBytedance 如何使用ClickHouse第7页，共33页。Bytedance 如何使用ClickHouse产品运营研发人员用户行为分析平台自研BI系统SQL 网关其他ClickHouse集群数据仓库（HIVE)KafkaRDBMS(MYSQL)数据ETL 服务Mini batch Data第8页，共33页。多种数据源 （离线 + 实时 + )交互式分析数据处理链路对业务方透明满足数据中台对数据查询需求。Bytedance 如何使用ClickHouse第9页，共33页。问题与解决方案第10页，共33页。数据源-Clic

5、kHouse 服务化数据就 绪？ETL CH NodeCH NodeCH NodeHDFS消息中间件其他服务化与自动化中的问题HDFS 数据访问数据导入过程中Fail overCH数据就绪速度(Part生成）第11页，共33页。增加 HDFS 数据访问能力（HDFS client porting from HAWQ)ETL服务维护外部事务保障数据一致性（fail over)INSERT INTO LOCAL TABLE数据构建与查询分离 (experimental feature)数据源-ClickHouse 服务化第12页，共33页。客户端上报字段多变 (自定义参数）数据产品需要相对固定sc

6、hemaEngine fix this Gap by Map type性能需求： 访问MAP 键值需要与访问POD 类型的列速度一致 实现方式：LOB ？ Two-implicit column?OtherMap 数据类型 - 动态Schema第13页，共33页。数据特征： # keys 总量可控， 局部有限局部（PART level)展平模型 (自描述）Map 数据类型 - 动态Schema第14页，共33页。1. MAP键访问自动改写e.g.“select c_mapa from table” will be rewrote to “select c_map_a from table”2.

7、 MAP列访问 (代价较大)e.g. select c_map from tableMerge阶段优化（无需重构MAP column)收益：自动化接入Table schema 简化极大简化数据构建(ETL)逻辑Map 数据类型 - 动态Schema第15页，共33页。语法：Create table t(c1 UInt64, c2 Map(String, UInt8) ENGINE=MergeTree.insert into t values(1, abc:1, bcd:2)Select c2abc from tMap 数据类型 - 动态Schema第16页，共33页。两副本保障数据/服务Rep

8、licatedMergeTree in ClickHouse （Issue)- Async Master-Master replication-High Volume Data & High Availability (zookeeper 使用问题)第17页，共33页。ReplicatedMergeTree的问题ZooKeeper压力大，znode太多400 Nodes 集群， 半年数据， 800万znodesReplicatedMergeTree use ZK to store:Table schema副本状态（part info & log info)分片（shard) 状态Catalog

9、 service + mini log service + coordinate serviceHigh Volume Data & High Availability (zookeeper 使用问题)第18页，共33页。数据继续增长会导致ZK无法服务社区mini checksum in zk能缓解内存使用，但不能解决问题基于MergeTree开发HA 方案High Volume Data & High Availability (Zookeeper问题)第19页，共33页。ZooKeeper只用作coordinateLog Sequence Number(LSN) 分配数据Block ID

10、分配元数据管理节点维护local log service (action log)Log 在分片内部节点间通过Gossip协议交互数据信息（parts) 按需交互外部接口与社区兼容（例如：multi-master写 入）High Volume Data & High Availability - HaMergeTreeZK（LSN/ID alloc, metadata)ReplicaReplicaPart/Log INFO第20页，共33页。High Volume Data & High Availability - HaMergeTreeZK（LSN/ID alloc, metadata)R

11、eplica AReplica BInsert1223A 获取LSN和Block IDA Push log to active replica B2. B get its log lags from ZK and pull from AB redo the log and get Block from A第21页，共33页。High Volume Data & High Availability - HaMergeTreeZooKeeper压力不会随着数据量增长 3M znodes in ZK保障数据&服务高可用第22页，共33页。String 类型的滥用（from HIVE), 处理低效Wh

12、y not LowCardinalityColumn？算子尽量在压缩域上执行（actionable compression)pure dictionary compressionpredication (equality family)group by (single/composite keys)String 类型处理效率 - Global Dictionary第23页，共33页。String 类型处理效率 - Global Dictionary1. Per replica字典(异步)构建- why not cluster level/shard level?2. Support xxMer

13、geTree onlyINSERTPART ROLLINMERGEAsync check & recodeWriteData & Dict (MergedBlockO utPutStream)第24页，共33页。1. 压缩域执行String 类型处理效率 - Global DictionarySelectDecompress(optional)Execute actions on codeAnalyzeand RewriteRead compressed string as code第25页，共33页。分布式表字典 （per shard, per replica)分布式表压缩域执行3. 性能提

14、升约 20% 30%String 类型处理效率 - Global Dictionary第26页，共33页。Query：60天内用户转化率/行为路径，以及对应每天转化率内存使用量大，OOM对服务稳定性影响Aggregator无法感知底层数据特性特定场景内存OOM - Step-ed Aggregation第27页，共33页。Aggregator 由执行HINT控制HINT 感知数据分区/指标语义Blocked Aggregator 按partition pipeline计算指标。收益：内存使用比默认方式降低约五倍特定场景内存OOM - Step-ed Aggregation第28页，共33页。A

15、rray类型处理 - BloomFilter & BitMap indexArray类型用来表示实验IDQuery：命中某些实验的用户指标单条记录Array（实验） 几百 or 上千Array col.binArray col in BlockArray hasAny第29页，共33页。1. 需要辅助信息减少 Array column materialize- Two scale BloomFilter (Part level, MRK range level)2. 减少Long Array column in Runtime Block- Transform hasAnyinto BitMap index OR-ingArray Column value+BitMap 集合has(array, value) get BitMap (执行层自动改写）A