Hadoop 3大数据部署与数据分析实战 课件04-02-HBase简介

四、分布式存储数据库4.2HBase简介在分布式文件系统上构建一个数据库

会有什么特性/挑战？1.继承分布式文件系统的特性，海量数据存储，存储成本低，容错性。2.同时面临分布式文件系统带来的负面特性，块的尺寸较大，流式文件，随机读写能力弱。4.2HBase简介构建在分布式文件系统上的数据库需要满足的条件HBase是构建在HDFS分布式文件系统上，是一个提供高可靠性、高性能、可伸缩、实时随机读写、分布式数据库。它是Google公司BigTable思想的开源实现，具有存储非结构化数据的能力。4.2HBase简介HBase简介HBase是构建在HDFS分布式文件系统上，是一个提供高可靠性、高性能、可伸缩、实时随机读写、分布式数据库。它是Google公司BigTable思想的开源实现，具有存储非结构化数据的能力。4.2HBase简介HBase在企业的应用小米大数据框架主要运用在广告营销系统，搜索和推荐，互联网金融、精细化运营、防黄牛、图片分析和处理领域。其中存储用的较多的是HBase。。4.2HBase简介HBase在小米的应用4.2HBase简介为什么青睐HBase？4.2HBase简介HBase的特性伸缩性：表可以很“高”（数十亿个数据行），可以很“宽”（数百万个列族）。自动分区：当表行数增长时，表会自动分裂成Region，并分布到可用节点上。线性扩展和对于新节点的自动处理：增加节点，指它指向RegionServer，Region自动负载均衡。普通商用硬件支持容错：HBase拥有HDFS提供的容错能力。检索性能：HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。4.2HBase简介HBase的数据模型术语rowkeyinfoscorenamesexagechnmathts1001张三女248990ts2001张三女238990ts1002李四男3091列族（ColumnFamily）列限定符（Qualifier）单元格（Cell）行(Row)行键（RowKey）时间戳（Timestamp）表（Table）4.2HBase简介HBase的数据模型术语详解（1）表（Table）HBase采用表来组织数据，表由行和列组成，列又可以划分为若干个列族（ColumnFamily）。（2）行（Row）每个HBase表都由若干个行组成，每个行由行键（RowKey）来唯一标识。行键可以是任意字符串的字节数组，按字典序排序，因此行键设计非常重要。访问表中的行有3种方式：通过单个行键访问，通过一个行键的区间来访问，全表扫描。（3）列族（ColumnFamily）列族必须在表的定义阶段给出。每个列族可以有一个或多个列限定符（Qualifier），列限定符不需要在表定义时给出，新的列限定符可以随后按需、动态加入。数据按列族分开存储，HBase的列式存储就是根据列族分开存储，每个列族对应一个存储区域。4.2HBase简介HBase的数据模型术语详解（4）列限定符（Qualifier）列族里面的数据通过列限定符来定位。列限定符不用事先定义，也不需要在不同行之间保持一致。列限定符通常也简称为列（Column）。（5）单元格（Cell）单元格由行键、列族、列限定符、时间戳唯一决定。单元格中的数据是没有类型的，全部以字节码形式存储。（6）时间戳（Timestamp）每个单元格都保持着同一份数据的多个不同版本，这些版本都采用时间戳来进行区分和索引。时间戳通常也称为版本（Version）。4.2HBase简介HBase的数据模型HBase的数据模型可以看成是一个多维度的（Key-Value）Map。4.2HBase简介HBase的数据模型HBase的数据模型可以看成是一个