《Hadoop技术原理》课件-8.HBase概述

Hadoop技术原理Hbase概述Hbase概述01列式存储、行式存储01行式存储和列式存储区别时间商品名商品描述销量店铺名店长2018-01-01连衣裙描述11000爱居兔Franny2018-01-01运动鞋描述2888360Rick2018-01-02连帽风衣描述3777爱居兔Fly2018-01-02球衣描述4666安踏Soul行式存储：列式存储：2018-01-01连衣裙描述11000爱居兔Franny2018-01-01运动鞋描述2888360Rick。。。2018-01-012018-01-01连衣裙运动鞋描述1描述21000888爱居兔360FrannyRick列式存储、行式存储02行式存储和列式存储优缺点列式存储、行式存储03OLTP&OLAPOLTP：On-LineTransactionProcessing（联机事务处理过程）。也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。典型案例：银行转账OLAP：On-LineAnalyticProcessing（联机分析处理过程）。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。典型案例：商品推荐列式存储、行式存储04OLTP、OLAP的区别列式存储、行式存储05行式存储、列式存储应用场景识别列式存储：（OLAP）（1）对于单列，获取频率较高，就使用列式存储。（2）如果针对多列查询，使用并行处理查询效率也是很高，可采用列式存储。（3）对于大数据的环境，利于数据压缩和线性扩展，也可以采用列式存储。（4）事务使用率不高，数据量非常大。（5）对于更新某些行的频率不高，也可以选择列式存储。行式存储：（OLTP）（1）关系之间的解决方案，表与表之关联大，可以采用行式存储。主键--外键（2）强事务特性，如消费、资金的业务。（3）如数据小于千万级，可考虑行式存储。HBase简介06Hbase是什么HBase是一个分布式的、面向列的开源数据库，该技术来源于Google论文《Bigtable：一个结构化数据的分布式存储系统》。HBase在Hadoop之上提供了类似于Bigtable的能力。HBase简介07Hbase特性伸缩性：表可以很“高”（数十亿个数据行），可以很“宽”（数百万个列）。自动分区：当表增长时，表会自动分裂成Region，并分布到可用节点上。线性扩展和对于新节点的自动处理：增加节点，指它指向RegionServer，Region自动负载均衡。普通商用硬件支持容错：HBase在Hadoop的文件系统之上，利用了Hadoop的文件系统（HDFS）提供的容错能力。检索性能：HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。HBase简介08Hbase应用场景Hbase模型架构02HBase数据模型01HbaseTable的组成数据存储的模式：(key-value数据库)Table+RowKey（升序）+ColumnFamily+Column+Timestamp-->ValueHBase数据模型02列数据属性Timestamp作为列数据版本，默认只存一个版本。如果指定了版本数，比如3，则不断更新时，只会保留Timestamp最大的最后3个版本HBase物理模型03数据表与region关系Hbase的Table中的所有行都按照rowkey的字典序排列。Table在行的方向上分割为多个Region。Region是HBase中分布式存储和负载均衡的最小单元。HBase物理模型04Region的分布

不同Region分布到不同RegionServer上。HBase物理模型05Region分裂（split）Region分裂指一个大的Region分裂为两个较小的Region。HBase架构06HBase架构07HBase组件描述HMaster，负责表和Region的管理工作（1）管理用户对表结构的操作（2）实现不同RegionServer之间的负载均衡（3）Region分裂或合并后，负责重新调整Region的分布。（4）监控RegionServer的工作状态，对发现故障失效的RegionServer上的Region进行迁移。RegionServer：（1）维护HMaster分配给它的Region（2）响应Client对Region的读写请求（3）负责切分正在运行过程中变的过大的Region（Region分裂）Zookeeper：（1）保证集群中至少有一个HMaster处于运行状态（2）存储HBase的schema、表元数据、Region的寻址入口HBase架构08Region内部结构Region由一个或者多个Store组成，每个Store保存一个ColumnsFamily。每个Strore又由一个MemStore和0至多个StoreFile组成。MemStore存储在内存中，Stor