HBase基础培训.ppt_第1页
HBase基础培训.ppt_第2页
HBase基础培训.ppt_第3页
HBase基础培训.ppt_第4页
HBase基础培训.ppt_第5页
已阅读5页,还剩11页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、HBase简介,HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发的,典型的key/value系统; HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储; 从逻辑上讲,HBase将数据按照表、行和列进行存储。 与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。 HBase表的特点 大:一个表可以有数十亿行,上百万列; 无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列; 面向列:面向列(族)

2、的存储和权限控制,列(族)独立检索; 稀疏:空(null)列并不占用存储空间,表可以设计的非常稀疏; 数据多版本:每个单元中的数据可以有多个版本,默认情况下版本号自动分配,是单元格插入时的时间戳; 数据类型单一:Hbase中的数据都是字符串,没有类型。,HBase结构图,HBase体系架构,Client :包含访问HBase的接口,并维护cache来加快对HBase的访问,比如region的位置信息 Master : 为Region server分配region 负责Region server的负载均衡 发现失效的Region server并重新分配其上region 管理用户对table的增删

3、改查操作,HBase体系架构,Region Server : Regionserver维护region,处理对这些region的IO请求 Regionserver负责切分在运行过程中变得过大的region,Zookeeper: 通过选举,保证任何时候,集群中只有一个master,Master与RegionServers 启动时会向ZooKeeper注册 所有Region的寻址入口 实时监控Region server的上线和下线信息。并实时通知给Master 存储HBase的schema和table元数据 默认情况下,HBase 管理ZooKeeper 实例,比如, 启动或者停止ZooKeepe

4、r,HBase逻辑模型,1、HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(row family); 2、HBase支持多列族,但是官方不建议使用多个列族;,RowKey:是Byte array,是表中每条记录的“主键”,方便快速查找,Rowkey的设计非常重要。 Column Family:列族,拥有一个名称(string),包含一个或者多个相关列 Column:属于某一个columnfamily,familyName:columnName,每条记录可动态添加 Version Number:类型为Long,默认值是系统时间戳,可由用户自定义 Value(Cell):由row

5、 key, column(= + ), version 唯一确定的单元。cell中的数据是没有类型的,全部是字节码形式存贮。,HBase原语,建表语句: create beijing:tb_gpsinfo, NAME = cf, BLOOMFILTER = ROW, VERSIONS = 1, IN_MEMORY = true, KEEP_DELETED_CELLS = FALSE, DATA_BLOCK_ENCODING = NONE, COMPRESSION = snappy, MIN_VERSIONS = 0, BLOCKCACHE = true, BLOCKSIZE = 8192, R

6、EPLICATION_SCOPE = 0,HBase物理模型,Table中所有行都按照row key的字典序排列; Table在行的方向上分割为多个Region; Region按大小分割的,每个表开始只有一个region,随着数据增多,region不断增大,当增大到一个阀值的时候,region就会等分会两个新的region,之后会有越来越多的region;,Region是Hbase中分布式存储和负载均衡的最小单元,不同Region分布到不同RegionServer上。,HBase物理模型,Region虽然是分布式存储的最小单元,但并不是存储的最小单元。Region由一个或者多个Store组成,

7、每个store保存一个columns family;每个Strore又由一个memStore和0至多个StoreFile组成,StoreFile包含HFile;memStore存储在内存中,StoreFile存储在HDFS上。,HBase部署,安装JDK,建议使用JDK1.8以上版本;,安装hadoop集群;,安装zookeeper集群;,安装HBase;,安装顺序,Group name: general Commands: status, table_help, version, whoami Group name: ddl Commands: alter, alter_async, alt

8、er_status, create, describe, disable, disable_all, drop, drop_all, enable, enable_all, exists, get_table, is_disabled, is_enabled, list, locate_region, show_filters Group name: namespace Commands: alter_namespace, create_namespace, describe_namespace, drop_namespace, list_namespace, list_namespace_t

9、ables Group name: dml Commands: append, count, delete, deleteall, get, get_counter, get_splits, incr, put, scan, truncate, truncate_preserve,Hbase客户端工具(HBase shell),Group name: tools Commands: assign, balance_switch, balancer, balancer_enabled, catalogjanitor_enabled, catalogjanitor_run, catalogjani

10、tor_switch, close_region, compact, compact_mob, compact_rs, flush, major_compact, major_compact_mob, merge_region, move, normalize, normalizer_enabled, normalizer_switch, split, trace, unassign, wal_roll, zk_dump Group name: replication Commands: add_peer, append_peer_tableCFs, disable_peer, disable

11、_table_replication, enable_peer, enable_table_replication, list_peers, list_replicated_tables, remove_peer, remove_peer_tableCFs, set_peer_tableCFs, show_peer_tableCFs Group name: snapshots Commands: clone_snapshot, delete_all_snapshot, delete_snapshot, list_snapshots, restore_snapshot, snapshot Gro

12、up name: configuration Commands: update_all_config, update_config Group name: quotas Commands: list_quotas, set_quota Group name: security Commands: grant, list_security_capabilities, revoke, user_permission Group name: procedures Commands: abort_procedure, list_procedures Group name: visibility labels Commands:

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论