第4章-HBase介绍和应用

介绍与应用HBASE定位HBASE是存储基于HDFS实时随机读写HBASE特性线性扩展行操作的强一致性自动分表支持MapReduceJava,Thrift,REST-ful接口HBASE基本性能参数3台RegionServer.每台8G内存，8核1亿行Row/sMB/sRow/sPernodeBigTable

Row/s

pernode随机写1478914.78949308850随机写(noLog)2218022机读19961.9966651212顺序读1067810.67835594425目录HBASE模型架构设计使用技巧运维技巧测试分析HBASE模型

Hbase数据模型TableRegionColumnFamilyRowColumnVersionValueCELLHBASE操作PutDelete原子操作WALScanGetFilterCache/Batch批量操作行锁Hbase架构设计

总体结构MasterRegion之上的操作Put/Get不经过MasterRegionServerRegion之下的操作HDFSHFileHLogZooKeeper状态信息RegionServer结构HFile结构DataBlock存储Key-ValueMetaBlock(可选)存储BloomFilterDataBlockIndexKey到BlockOffsetRead占用内存，加载缓慢Write存储分布寻找RegionServerZooKeeper-ROOT-(单Region).META.用户表Put/Get操作PUTDELETEGETSCANRegion操作FlushMemStoreCompactMajorCompactSplit使用技巧Schema设计ColumnFamily的数量最好为1Key的设计避免单调递增最小化最小化ColumnSchema设计ColumnFamily的数量最好为1Key的设计避免单调递增最小化最小化ColumnSchema设计ColumnFamily的数量最好为1Key的设计避免单调递增最小化最小化ColumnMapReduce结合MapperRegion数=Mapper数ReducerRegion数=Reducer数Reducer写Hfile,再BulkLoadHive/Pig建立索引单列索引组合索引Join?Key<=>Kind:IDIndexKeyColumn:ValueKey…IndexKeyColumn:Value/Column:ValueKey…单列索引组合索引开发调优Table属性BlockSizeBloomFilterBlockCacheInMemory尽可能使用BulkLoadPut使用客户端CacheScan使用Cache/Batch运维技巧HBASE部署Hadoop版本Hadoop0.20.xAppend补丁ZooKeeperMetric内存RegionServer12GBMemStore<=40%HFileDataIndexBlockCache<=20%Master4GBZooKeeper1GBRegion管理预创建RegionRegion的大小hbase.hregion.max.filesize=256MB,1GB,4GB手动Split,交错负载Region合并pactionThreshold=3hbase.hstore.blockingStoreFiles=7(阻塞,超时)paction.max=10hbase.hregion.majorcompaction=86400,0MemStoreFlushhbase.regionserver.global.memstore.upperLimithbase.regionserver.global.memstore.lowerLimit运维调优JavaGCJVMGC调整(ParNewGC+CMS)FullGC-10s/GBMemStore本地分配(2MB,减少碎片)LZO压缩压缩单位为Block提高性能并发数调整hbase.regionserver.handler.countCache设置hfile.block.cache.