HBase应用最佳实践详解

1、技术创新，变革未来HBase应用最佳实践详解内容HBase安装HBase常用命令HBase优化 HBase应用场景HBase表设计HBase安装本地模式伪分布模式，可以学习HBase的各种特性所有守护进程全部运行在一个物理节点集群模式所有守护进程分布在不同物理节点HBase安装先要安装HadoopHBase与Zookeeper、Hadoop版本要匹配几个重要的配置文件hdfs-site.xml：拷贝到HBASE_HOME/confhbase-env.sh：启动HBase的一些设置hbase-site.xml：HBase在hdfs上的数据目录， zookeeper的主机和端口regionserv

2、ers：配置RegionServer的主机列表backup-master：配置备用Master的列表HBase安装hbase-env.sh中的主要配置export JAVA_HOME=/usr/java/jdk1.7.0_79/export HADOOP_HOME=/var/hadoop/hadoop-2.6.0/export HADOOP_CONF_DIR=$HADOOP_HOMEetc/hadoopexport HBASE_HOME=/var/hbase/hbase-1.0.0-cdh5.4.5export HBASE_CONF_DIR=$HBASE_HOME/confexport HBA

3、SE_LIBRARY_PATH=$HBASE_HOME/lib/nativeexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HBASE_HOME/lib/nativeHBase安装hbase-site.xml中的主要配置namevaluehbase.cluster.distributedtruehbase.rootdirhdfs:/huike:9000/perty.clie ntPort2181HBase常用命令start-hbase.shstop-hbase.shhb

4、ase-daemon.sh start masterhbase-daemon.sh stop masterhbase-daemon.sh start regionserverhbase-daemon.sh stop regionservergraceful_stop.sh restartHBase常用命令建表hbase create test,cf新建记录hbase put test,1,cf:a,2修改表属性hbase describe testhbase alter test,NAME = cf,DATA_BLOCK_ENCODING =PREFIX_TREE删表hbase disable

5、 test hbase drop testHBase常用命令compacthbase(main):006:0 major_compact testBalancehbase(main):006:0 balancerHBase优化垃圾回收优化使用CMS垃圾回收机制启用压缩GZIP、Snappy、LZO，推荐SnappyMemStore缓存配置HBase优化Region拆分和合并预建分区，避免自动split，提高hbase响应速度Region均衡避免出现Region热点现象，按照table级别进行balance尽量只用1-2个列族定期建表，如每月中旬建立下一个月的表，表名中含有年 月HBase优化参

6、数默认值说明hbase.hregion.majorco mpaction604800000major compaction的执行周期，默认 是一天，可以设置为0禁用，利用后台 调度，在业务不忙的时间点单独运行hbase.regionserver.han dler.count10处理rpc请求的线程数，请求较多的情 况下可以适当调大hfile.block.cache.size0.4RS中block cache占堆内存大小的比例， 在读大于写的情况下，可以适当调大， 但是要防止block cache与memstore的 百分比之和大于80%，出现OOMhbase.regionserver.glob

7、 al.memstore.size0.4RS中Memstore占用的内存百分比HBase优化参数默认值说明pactio nThreshold3可以调大，如设置为6，Store下面有超过这 个数目的文件个数，可触发minor compacthbase.master.loadbalan ce.bytablefalse改为true，默认按照regionserver去balance 会出现热点情况hbase.hregion.max.filesi ze10737418240Region大小大于此值，hbase就会split，可 根据存储内容进行适当调整，如存储文件应 该将此值设置更大hbase.bala

8、ncer.period300000RegionServer负载均衡时间间隔，默认5分 钟，可稍微调长至半小时或1小时，HBase优化参数默认值说明paction.max10一次minor compact文件个数的最大值hbase.hstore.blockin gStoreFiles10一个store下面的文件超过这个值之后，block住 所有的put delete操作，直到compact完成为止hbase.hregion.memstore.flush.size134217728Memstore中的数据达到128m，会flush到磁盘上hbase.hregion.mems tore.block.

9、multiplier4当memstore中的数据达到此参数与hbase.hregion.memstore.flush.size相乘的时候，block住更新操作，如果写入请求较 高的情况下可以适当提高此倍率HBase应用场景大数据集上对数据进行随机读写操作大数据集上高并发操作，如每秒对PB级数 据进行上千次操作读写访问均是非常简单的操作，不需要跨 行跨表的事务支持以及join操作随着数据量的增加，容易扩展HBase应用场景历史记录查询上百亿行数据每天新增上千万行查询场景简单，检索条件少成本低HBase应用场景用户历史订单交易评价记录电信话费用户画像监控记录HBase表设计RowKey设计保证唯一

10、性长度越短越好散列：rowkey均匀分布在各个hbase节点上，用MD5（用户 ID/手机号/QQ号）取前几位+ （用户ID/手机号/QQ号）+发生时间（毫秒）+随机数，把数据打散到各Region没有散列值，如时间字段作为Rowkey的起始，会导致 热数据集中在一个RegionServer上同一次查询的数据存储在一起HBase表设计预建分区提前对表进行分区，防止Region SplitRegion数量计算确定按年/季/月建表，如果数据量特别大，不能只有1个表确定HFile最大大小，例如10G假设有1个列族，1个月的数据有5T则需要5T/(10G * 1)=512个Region预建分区可以多估一

11、点，分裂时写入或查询数据很缓慢HBase表设计建表属性BLOOMFILTER = ROW：启用bloom过滤器，保证根据Rowkey在 HFile中查找会非常快VERSIONS = 1：保存几个版本，要保存10个版本，把数字改成10IN_MEMORY = false：列族数据是否常驻内存TTL = FOREVER：列族数据永远不删除，如果只保存多少天，可 以设置这个值，如果设置了天数，HBase会定时扫描整个列族，为删 除数据做准备，耗资源COMPRESSION = NONE：HFile压缩格式，一般用SNAPPYHBase表设计建表属性BLOCKCACHE = true：针对列族，是否启用BLOCKCACHEBLOCK