HBase基础培训.ppt

1、HBase简介,HBase是一个构建在HDFS上的分布式列存储系统； HBase是基于Google BigTable模型开发的，典型的key/value系统； HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储； 从逻辑上讲，HBase将数据按照表、行和列进行存储。 与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。 HBase表的特点 大：一个表可以有数十亿行，上百万列； 无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列； 面向列：面向列（族）

2、的存储和权限控制，列（族）独立检索； 稀疏：空（null）列并不占用存储空间，表可以设计的非常稀疏； 数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳； 数据类型单一：Hbase中的数据都是字符串，没有类型。,HBase结构图,HBase体系架构,Client ：包含访问HBase的接口，并维护cache来加快对HBase的访问，比如region的位置信息 Master : 为Region server分配region 负责Region server的负载均衡 发现失效的Region server并重新分配其上region 管理用户对table的增删

3、改查操作,HBase体系架构,Region Server : Regionserver维护region，处理对这些region的IO请求 Regionserver负责切分在运行过程中变得过大的region,Zookeeper: 通过选举，保证任何时候，集群中只有一个master，Master与RegionServers 启动时会向ZooKeeper注册 所有Region的寻址入口 实时监控Region server的上线和下线信息。并实时通知给Master 存储HBase的schema和table元数据 默认情况下，HBase 管理ZooKeeper 实例，比如， 启动或者停止ZooKeepe

4、r,HBase逻辑模型,1、HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(row family)； 2、HBase支持多列族，但是官方不建议使用多个列族；,RowKey：是Byte array，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要。 Column Family：列族，拥有一个名称(string)，包含一个或者多个相关列 Column：属于某一个columnfamily，familyName:columnName，每条记录可动态添加 Version Number：类型为Long，默认值是系统时间戳，可由用户自定义 Value(Cell)：由row

5、 key, column(= + ), version 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。,HBase原语,建表语句： create beijing:tb_gpsinfo, NAME = cf, BLOOMFILTER = ROW, VERSIONS = 1, IN_MEMORY = true, KEEP_DELETED_CELLS = FALSE, DATA_BLOCK_ENCODING = NONE, COMPRESSION = snappy, MIN_VERSIONS = 0, BLOCKCACHE = true, BLOCKSIZE = 8192, R

6、EPLICATION_SCOPE = 0,HBase物理模型,Table中所有行都按照row key的字典序排列； Table在行的方向上分割为多个Region； Region按大小分割的，每个表开始只有一个region，随着数据增多，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region，之后会有越来越多的region；,Region是Hbase中分布式存储和负载均衡的最小单元，不同Region分布到不同RegionServer上。,HBase物理模型,Region虽然是分布式存储的最小单元，但并不是存储的最小单元。Region由一个或者多个Store组成，

7、每个store保存一个columns family；每个Strore又由一个memStore和0至多个StoreFile组成，StoreFile包含HFile；memStore存储在内存中，StoreFile存储在HDFS上。,HBase部署,安装JDK，建议使用JDK1.8以上版本；,安装hadoop集群；,安装zookeeper集群；,安装HBase；,安装顺序,Group name: general Commands: status, table_help, version, whoami Group name: ddl Commands: alter, alter_async, alt

8、er_status, create, describe, disable, disable_all, drop, drop_all, enable, enable_all, exists, get_table, is_disabled, is_enabled, list, locate_region, show_filters Group name: namespace Commands: alter_namespace, create_namespace, describe_namespace, drop_namespace, list_namespace, list_namespace_t

9、ables Group name: dml Commands: append, count, delete, deleteall, get, get_counter, get_splits, incr, put, scan, truncate, truncate_preserve,Hbase客户端工具(HBase shell),Group name: tools Commands: assign, balance_switch, balancer, balancer_enabled, catalogjanitor_enabled, catalogjanitor_run, catalogjani

10、tor_switch, close_region, compact, compact_mob, compact_rs, flush, major_compact, major_compact_mob, merge_region, move, normalize, normalizer_enabled, normalizer_switch, split, trace, unassign, wal_roll, zk_dump Group name: replication Commands: add_peer, append_peer_tableCFs, disable_peer, disable

11、_table_replication, enable_peer, enable_table_replication, list_peers, list_replicated_tables, remove_peer, remove_peer_tableCFs, set_peer_tableCFs, show_peer_tableCFs Group name: snapshots Commands: clone_snapshot, delete_all_snapshot, delete_snapshot, list_snapshots, restore_snapshot, snapshot Gro

12、up name: configuration Commands: update_all_config, update_config Group name: quotas Commands: list_quotas, set_quota Group name: security Commands: grant, list_security_capabilities, revoke, user_permission Group name: procedures Commands: abort_procedure, list_procedures Group name: visibility labels Commands: