第05讲-分布式数据库系统HBase分析-新

第05章分布式数据库系统HBase

新型结构化存储模式HBase系统架构HBase的数据模型检索机制读写过程分析1《大数据技术》21.新型结构化存储模式行存储(rowstorage)是指下一个存储对象是同条记录的下一个属性的存储模式。传统关系型数据库DB2、Oracle、Sybase、SQLServer、MySQL、Greenplum、Netezza和Teradata等都采用了行存储模式。1.1列存储问题：读取数据开销大《大数据技术》31.新型结构化存储模式列式存储(columnstorage)模式：存储空间中的下一个对象是下一条记录的同一属性。按“列”存储，降低开销提高压缩比《大数据技术》41.2Key-Value存储1.新型结构化存储模式特征：1.键值对存储2.速度快3.并发性能高4.数据无结构化

《大数据技术》51.新型结构化存储模式1.3图存储图(graph)是由节点(vertex)和边(edge)构成的数据结构，用于表示如计算机网络、社交网络、交通网络、知识图谱等等这类事物。大数据图存储系统有Neo4j、Titan、OrientDB、DEX和InfiniteGraph等；图计算系统有：GooglePregel、SparkGraphX、GraphLab等系统1.4其他存储模式文档存储

对象存储时序存储《大数据技术》61.新型结构化存储模式1.5NoSQL与NewSQLNoSQL(notonlySQL)：对不同于传统关系型数据库的数据库管理系统的统称NewSQL是对各种新的可扩展/高性能数据库的简称，这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数据库支持ACID和SQL等特性ACID：数据库管理系统为保证事务（transaction）正确可靠，必须具备的四个特性：原子性（atomicity，或称不可分割性）、一致性（consistency）、隔离性（isolation，又称独立性）、持久性（durability）2.HBase系统架构《大数据技术》2.1HBase的基本架构7特征：1.面向列2.基于HDFS3.可扩展2.HBase系统架构《大数据技术》2.2主要组件8Client：通过HBaseRPC来与HBase进行交互。与RegionServer交互。Client会缓存一些Region的信息。2.HBase系统架构《大数据技术》2.2主要组件9Zookeeper：协同管理节点。分布式协作、分布式同步、配置管理。存储了Master的地址和RegionServer状态信息。2.HBase系统架构《大数据技术》2.2主要组件10Master：监控集群中RegionServer的状态。RegionServer之间的负载均衡。管理元数据表格。管理对数据表的增删改和查询操作2.HBase系统架构《大数据技术》2.2主要组件11RegionServer：负责处理来自客户端的请求。HDFS文件交互Region：表中的分区一个表可以划分多个Store2.HBase系统架构《大数据技术》2.2主要组件12RegionServer：负责处理来自客户端的请求。HDFS文件交互Region：表中的分区一个表可以划分多个Store3.HBase的数据模型《大数据技术》133.1HBase的列存储模型HBase是面向列的分布式存储系统，其存储的数据都被存储在表中，表中的每个单元是通过由行键、列族、列限定符和时间戳组成的索引来标识的。3.HBase的数据模型《大数据技术》143.1HBase的列存储模型3.HBase的数据模型《大数据技术》153.2从逻辑表到物理存储由于HBase存储数据的特点为稀疏存储，在逻辑表中的列有时会出现空白的情况RowTimestampColumnFamily：col1ColumnFamily：col2row1t5col1:1=value1-1

t4col1:2=value1-2

row2t3

col2:1=value2-1t2

col2:2=value2-2t1

col2:3=value2-33.HBase的数据模型《大数据技术》163.2从逻辑表到物理存储HBase的物理底层是以列存储为主Key-Value的数据形式，从物理模型角度分析，先将逻辑模型中的行进行分割，再按照列族的方式存储，也就是说，逻辑模型的可转化为两个物理模型3.HBase的数据模型《大数据技术》173.2从逻辑表到物理存储RowTimestampColumnFamily：col1row1t5col1:1=value1-1t4col1:2=value1-2RowTimestampColumnFamily：col2row2t3col2:1=value2-1t2col2:2=value2-2t1col2:3=value2-3HBase物理模型1HBase物理模型24.检索机制《大数据技术》184.1分区（Region）的检索HBase的Region检索是指在分布式环境中定位和获取存储在特定Region中的数据的过程。每个HBase表被分割成一系列的Region，每个Region负责一段连续的行键范围。在查询数据时，HBase会根据查询的行键范围定位到相应的Region，然后从该Region中检索数据。4.检索机制《大数据技术》194.1分区（Region）的检索（1）行键定位（2）元数据查询（3）RegionServer分配（4）数据检索（5）数据返回4.检索机制《大数据技术》204.2

物理存储文件（StoreFile）的检索HBase中的数据存储是通过一系列的StoreFile（存储文件）来实现的。StoreFile是在HBaseRegion（区域）中实际存储数据的文件，每个列族（ColumnFamily）在每个StoreFile中都有一个或多个文件。每个StoreFile都是一种有序的、不可变的、基于HFile(HBase中数据的最小存储单位)的数据文件4.检索机制《大数据技术》214.2

物理存储文件（StoreFile）的检索（1）确定表和行键（2）查找Region（3）查找StoreFile（4）数据检索（5）返回结果5.读写过程分析《大数据技术》5.1读数据225.读写过程分析《大数据技术》5.2写数据23《大数据技术》24

资料开始准备必要条件(计算机、数据