阿里云大规模结构化云存储HBase架构特性解析-中国大数据技术大会

封神阿里云高级技术专家曹龙(封神)阿里云技术专家、架构师专注在大数据领域，有6年分布式引擎研发经验先后研发上万台Hadoop、ODPS集群先后负责阿里YARN、spark及自主研发内存计算引擎目前为广大公共云用户提供专业的云Hadoop服务及云HBase服务提纲提纲•阿里大数据三大组件最佳实践部署模式真实案例云云HBase内核优化阿里大数据三大件阿里阿里大数据核心组件大件组件公有云产品主要功能ODPSMaxCompute离线计算&机器学习云HBase实时数仓&在线存储&实时更新查询Flink(Blink)数千StreamCompute实时计算核心场核心场景ase场景搭配核心需求，强调吞吐量据信息QPS线导入数据速度比较看重raphaseseESslor云HBase云HBase部署架构本线下物理机本线下物理机S1云S2云云HBase基础架构–基于VMS1本S2本S4本S1本S1本S1本S1本线下云小通吃，可以不同群。还可以弹性加减少节S2S2云S1云云HBase基础架构–基于VMS1本S3本S4本SS2本云盘存储(中小客户)本地盘存储(大客户)起步存储400G50T(大约20T最好用本地盘存储)(以实际为准)35W(成本下降到30%)灵活性计算与存储绑定稳定性云盘通过隔离保障磁盘通过物理磁盘隔离更加稳定云HBase云HBase内核优化流式Flink离线ETL数流式Flink离线ETL数据集成(CDP)云HBase最佳组合-在线离线方式实时ETL云云HBase&PhoenixODPSODPS(离线计算)••满足实时写入、更新•Spark可以连接Phoenix•满足高性能Spark分析•谓词下推•分区裁剪•直接生成RDD\DF\DS等云HBase最佳组合-HTAPSparSpark云云HBase&Phoenix(按需运行)EMRMR ECS(按需运行)EMRMR ECS(Kylin服务) 云HBase云HBase最佳实践-Kylin多维服务服务多维度实时查询云HBase满足高效的写入查询EMRMR按需、离线build历史数据列式存储ODPS离线数仓Replication异步实时ODPS离线数仓Replication异步实时消息中间件全文索引云HBase最佳实践-数据流出•数据到ODPS•离线分析，出报表的需求•数据到ES•检索的需求•原始数据存放HBase，检索字段存放ES云HBase(数据存储类)云云HBase大数据组件流通性云HBase云HBase真实案例云件流式计算数据清洗云HBase真实案例云件流式计算数据清洗云HBase真实案例分析分析Spark•Rowkey设计：Sub(Hash(车辆ID),5)+车辆ID+时间•每辆车10s上传一次，每次1KB•GeoHash存放轨迹信息•100万台车•1年数据存储3P•读写请求：100w+Spark算法训练实时查询Spark算法训练实时查询返回结果客户方云HBase真实案例云云ODODPS报表•用户画像、指纹等•爬虫、手机等原始信息•数据量•200T+实时关系写入推荐关系实时feede实时关系写入推荐关系实时feedee云HBase真实案例SparkStreaming主备集群主备集群推荐关系•单集群读写高峰QPS•数据量：30T云HBase&云HBase&Phoenix云HBase真实案例ODPSODPST+1导入实时查询二级索引多个索引字段•数据量：100T云云HBase内核优化云云HBase内核优化-GC•更快更省的CCSMap•自己来管理写缓存的生命周期•永不晋升的Cache–BucketCache•向JVM深圳一块用不归还的内存作为BlockCache，内存进行规定大小分段•AliGC•中等生命周期对象中最”大头"的部分，将这些对象在生成时直接分配到中等生命周期租户的old区，避免RSet标记•HDFS串行pipeline改为并发Quorum机制•降低写抖动YGCT从120ms降低到5ms基本消灭GC的影响云云HBase内核优化-压缩编码•ZSTD新型无损压缩算法•ZSTD的数据压缩率相对于LZO基本可以提高25%-30%•新IndexableDeltaEncoding上线•相对于Diffencodingrt下降50%，但存储开销仅仅提高3-5%1、使用User/1、使用User/Password获取ticket2、使用ticket访问HBase云HBase内核优化–企业安全•安全白名单：机器网络防火墙•VPC：网络隔离认证：serPassWordACL•跟MySQL体验一致授权•可以授权到表及列族加密•数据加密阿里云环境阿里云环境2、转换rs的地址为公2、转换rs的地址为公网外部环境阿里云环境ClientKRegionServer云HBase内核优化–混合访问•支持内网公网同时访问CliClientKKKK云HBase内核优化–主备•人工切换•自动切换•双可用区•同城100ms•异地1s Clientreplication Clientreplication99.99%可用性云云HBase内核优化–HBase性能云云HBase平台能力云HBase平台能力云云HBase平台能力–运维能力在线扩容节点\磁盘可用性检测及报警指标可视化内核在线升级15分钟快速交付专家坐诊云云HBase平台能力PhoenixPhoenix云HBase后续发展-提升分析能力•融合列存技术索引•HBase+Spark•改善分析能力SparSpark集群集群集群集群云HBase后续发展–基于共享存储从计