厦门大学数据库实验室NoSQL系列学习之列族数据库HBase

1、厦门大学数据库实验室NoSQL系列学习之列族数据库HBase架构介绍报告人：谢荣东指导老师：林子雨2015年7月10日遇到的问题遇到的问题目录1、列族数据库简介2、Hbase架构简介3、总结Part 1列族数据库- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -基本概念列族数据库列族数据库列式数据库以列相关存储架构进行数据存储的数据库适合与批量数据处理和即席查询行式数据库数据以行相关的存储体系架构进行空间分配适合与小批量的数据处理，

2、常用于联机事务型数据处理数据格式：1,Smith,Joe,40000;2,Jones,Mary,50000;3,Johnson,Cathy,44000;数据格式：1,2,3;Smith,Jones,Johnson;Joe,Mary,Cathy;40000,50000,44000;EmpIdLastnameFirstnameSalary1SmithJoe400002JonesMary500003JohnsonCathy44000Part 2HBase架构简介- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

3、- - - - - - - - - - - - - - - - - - -HBase介绍历史回顾历史回顾HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“BigTable：一个结构化数据的分布式存储系统”。HBase Hadoop Database，具有高可靠性、高性能、面向列、可伸缩等特点，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

4、- - - - - - - - - -HBase介绍HBase定位定位 HBASE是存储 基于HDFS 实时随机读写- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase介绍HBase特性特性 线性扩展 行操作的强一致性，是CP系统 自动分表 支持MapReduce Java,Thrift,REST-ful接口- - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

5、 - - - - - - - - - - - - - - - - - - - - - - - -Hbase数据模型数据模型数据模型TableRegionColumnFamilyRowColumnVersionValueCELL- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase架构设计总体结构总体结构 Master Region之上的操作 Put/Get不经过Master RegionServer Region之下的操作 H

6、DFS HFile HLog ZooKeeper 状态信息- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase架构设计RegionServer结构结构- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase基本操作与与RDBMS的区别的区别HBasel 数据类

7、型：数据类型：HBase只有简单的字符类型，所有的类型都是交由用户自己处理，它只保存字符串。而关系数据库有丰富的类型和存储方式。RDBMSl 数据类型：数据类型：关系数据库有丰富的类型和存储方式。l 数据操作：数据操作：HBase只有很简单的插入、查询、删除、清空等操作，表和表之间是分离的，没有复杂的表和表之间的关系l 数据操作：数据操作：通常有各式各样的函数和连接操作。 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase

8、基本操作与与RDBMS的区别的区别HBasel 存储模式：存储模式： HBase是基于列存储的，每个列族都由几个文件保存，不同的列族的文件时分离的RDBMSl 存储模式：存储模式：基于表格结构和行模式保存的 l 数据维护：数据维护： HBase的更新操作不应该叫更新，它实际上是插入了新的数据l 数据维护：数据维护：传统数据库是替换修改l 可伸缩性：可伸缩性： Hbase这类分布式数据库就是为了这个目的而开发出来的，所以它能够轻松增加或减少硬件的数量，并且对错误的兼容性比较高。l 可伸缩性：可伸缩性：通常需要增加中间层才能实现类似的功能- - - - - - - - - - - - - - -

9、- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase基本操作创建表创建表l 创建表：“create blog_user,userInfo”- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Hbase基本操作插入数据插入数据l 插入数据：“ putblog_user,userInfo:user_Name,aboutyun”上

10、面我们看到了l 1所示是什么，我们在传统数据块里面根本没有，这是nosql所特有的，是一个rowkey，是系统自带的，也是nosql中一条记录的唯一标识。但是这个唯一标识，有跟我们的传统数据库是有所差别的。如图1所示，“记录1”便是rowkey.l 2所示是我们插入的列user_Name，这也是最难以理解的地方，列竟然可以插入。并且其“value”为3即aboutyun- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Hbase基本

11、操作插入数据插入数据我们会看到l 1为rowkey，插入数据，l 2为列族下面列的名字user_Namel 3我们并没有在设计的添加这个列族，所以这个是系统自带的，这个是记录的操作时间，以时间戳的形式放到hbase里面。l 4是我们插入的user_Name的值- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Hbase基本操作插入数据插入数据l 再插入列Password：“putblog_user,userInfo:user_Pas

12、sword,aboutyun”到这里，我们看到两行记录，传统数据块认为这是两行数据，对于nosql，这是一条记录。- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Hbase基本操作删除删除数据数据删除单元格数据删除单元格数据delete blog_user,userInfo:user_PasswordPart 3总结总结总结- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -优点：极高的装载速度适合大量的数据而不