大数据时代云数据库HBase架构

1、大数据时代云数据库HBase架构技术创新，变革未来提纲业务挑战带来的架构演进大数据数据库的实际案例业务的挑战 - 存储量/并发计算增大MySQLECS数据量变大索引计算力存储事务SparkHBaseES/Solr100T存储量大 分布式复杂 成本高分布式化 - 大数据方案列存磁盘业务的挑战 - 结构化业务增多MySQLECS检索计算力存储事务Graph时序时空工程成本 复杂性关系关系NewSQL业务的挑战 - 引更多的数据复杂性分布式延迟灵活性计算复 杂性灵活性Kylin(满足读延迟)Hadoop& Spark延迟分布式数据库应对的办法云化复用资源&弹性 降低成本分层设计降低复杂性分布式提供扩

2、展性计算力延伸算子+SQL基本架构Spark提供计算 能力分布式件系统：盘古分布式安全隔离保障层：QOS纯SSDSSD&SATA 混合纯SATA分布式件接口：HDFS&API分布式Region - HBase分布式索引 - ES&Solr时序数据库-OpenTSDB图数据库-JanusGraph时空数据库-GeoMesaCube数据库-KylinSQL标准的SQL口基于存储计算分离HDFS 与 分布式Region分布式索引分离SQL时空图时序Cube与分布式Region检索分离存储与计算分离 - 存储按需计费分层负责-规避工程复杂性-构建各自核心竞争力解决成本的方案盘古QOS纯SSDSSD&S

3、ATA 混合纯SATAHDFS&API分级存储分级存储高压缩比基础设施共享 - 库存压力分担存储与计算分离 - 按需计费 优化性能按需计费高压缩节点资源资源节点可用区A可用区C节点节点节点节点资源资源可用区B资源资源资源资源资源资源资源资源北京区域杭州区域降低成本存储集群 冷热搭配资源多租户、与其它业务共享资源存储集群 冷存储集群 热存储集群 热存储集群 热存储集群 冷可用区A可用区B同城容灾异地容灾冷数据/备份冷数据/备份云数据库基本部署结构高并发、海量存储高并发海量存储万列稀疏矩阵1B100M 海量存储HBase图片档网页病毒对象存储时序数据推荐画像消息/订单存储时空数据高并发海量存储轨迹

4、气象网格强同步、海量数据聊天消息 订单/保单存储用户特征Feeds流NewSQL实时报表传感器股票K线监控数据千万并发PB存储KV基础存储动态列强同步稀疏表SQL二级索引Read Replicas100M的对象存储高并发请求访问 朋友圈新闻SQL、二级索引、动态列索引查询、元数据库Cube分析、支持的场景客户案例 - 某车联网公司物联网套 件ApsaraDB-HBase流计算 数据清洗分析轨迹100万台车，每辆车 10s上传一次，每次1KB1年数据存储300T+，6个月以上数据低频访问，分级存储的能力Rowkey设计：Sub(Hash(车辆ID),5)+ 车辆ID + 时间客户案例 - 某大数

5、据控公司ApsaraDB-HBaseAPP ECSECS实时查询 返回结果Spark算法训练Spark SQL报表HBase数据 (在线实时大数据存储)用户画像、指纹等爬虫、手机等原始信息数据量200T+ApsaraDB-HBaseECS推荐关系ECSSLA要求高99.99，双集群保障单集群读写高峰QPS 1000w+数据量：30TApsaraDB-HBase主备集群推荐关系 实时feedSpark Streaming实时关系写定期回补关系客户案例 - 某社交公司ApsaraDB-HBase & PhoenixODPS同步ECSSQL实时查询批量快速加载交易订单查询单表 10000亿 +级索引 多个索引字段数据量：100T客户案例 - 某基公司ApsaraDB-HBaseODPSReport实时查询离线build cube再数据同步到HBase中离线建好Cube实时更新数据量20T左右客户案例 - 某