2018大数据学科就业指导材料06面试问题hbase的优化

1、Hbase Hbase 默认 单个region 可小的region。（小 这个参数的意思是：RegionServer的请求处理IO假如当前内存比较充足，而且还是要做大数据量操作（scanput大量的数据），那就嘴好把线程数量设置的小一些。这样反倒效率高而且不会出现内存 的事 有时候正在运行的regionserver会因为网络或者其他问题，造成不按照规定时间报活；如果regionserver在规定的时间内没有响应，那么zookeeper会把这个regionserverhmasterregionserver上负责的一些重新balance，也就是给迁移走，由其他的regionserver.timeo

2、ut这个参数就是控制合适把出故障的hbase进行 比如说既然出故障了，调低timeout的时间的确是可以加速failoverhbase，因为既有可能会做批量的查询，那很难保证客户要查询的基于 rowkey 的数据不再坏掉的 regionserver上，所以快速点也是有好处的；但是时间也不能太短，比如把超时时间设置成 50 秒，50 秒之后，zookeeper regionserver移除了。然后hmaster也开始做balanceregionserver被运维用WALmemstore大小的，先说upperLimit，这个参数是防止因为占用内存过大，在你flush的时候出现OOM因为如果这个up

3、perLimit 过大的话，在flush 的时候，会把内存所有的数据放到一个队列里 memstore占用的内存，如果这时候消费者速度跟不上，就会出现积压消息过多，严重了就会OOM所以 限制这个upperLimitmemstore占用内存达到推内存的upperLimit的时候，就强制flushblobk住写操作，来 memstore占用的内存，避免出现OOM这样严重的和upperLimit差不多，只不过lowerLimit会在memstore达到heap内存的lowerLimit值得时候，会做flush所有的，而是去找占用内存最大的那个region去做flush默认值 默认值 如果region

4、小的话，那么region的storefile 也很小，这样但是如果 Hbase.hregion.max.filesize 这个值调节的小，也意味着 region 的和 compact 操甚至会导致一些bug 出现；（大Hbase.hregion.max.filesizeregion compact storefile compact 的时候，还可能内存不够，导致OOM； 让region 首先要把Hbase.hregion.max.filesizeregionserver不可能200Gregion就 不会自动 然后在一个低谷的时间， 使用hbase的s hbase .apache.hadoop.

5、hbase.util.RegionSplitter HexStringSplit -c 要分割的区域数量 -f 列族名字r（默认值8、，hbase r（默认值8、，hbase 在region 下的store 里面的storefile 过多的时候，因为会影响所以会做compaction 操作，但是这个storeFile 到底怎么算是过多？ 到指定的值后，hbaseblock主读写操作，然后开始但是尽这个值设置的非常小，因为这样会导致频繁的compaction操作，因为会默认值是 有一个参数：hbase.hregion.memstore.flush.size（64M），每次hbase做完更 reg

6、ion memstore 大于 hbase.hregion.memstore.flush.size （64M）flush 操作Hbase.hregion.memstore.block.multip r（2）这个参数就是为了防止:突然出现大的 put OOM设置的hbase.hregion.memstore.flush.size=100M ，但是突然之间要put数据，大小是310M，那么这个310M 已经超出了hbase.hregion.memstore.flush.size =100M 3 倍，所以此时需要 Hbase.hregion.memstore.block.multip r（2）这个参

7、数做一下最大限制 , 意思是说：memStoreHbase.hregion.memstore.block.multip r（2）这个值得时候，hbase block 住所有的请求操作，然后开始做flush 操作这里HBaseRegionserverMemstore，主要用来写； BlockCache，主要用于读BlockCache大小+memstoreheap80%大小，否则hbase在调节upLimit 和lowerLimit 的时候也要考虑到Hfi到时候就看你这个hbase 的库是写操作重 还是 读操作重9、尽量不要超过2个列族（Column10、避免CMSconcurrentmode9、

8、尽量不要超过2个列族（Column10、避免CMSconcurrentmode12、在scan表的时候，尽量以少的RPC请求去获的数 Scan 的操作是是一次的时候，都是一次RPC 的请求。那么每次的RPC 请求所以可以在代码这样就可以一次 RPC，返的数据，效率是的操作客户端向表put 的数据时候，默认是一条put 一次的，这种方式会有可以命令客户端去做批量的putnewPut填满客户端flush采用CMS方式做回收是没问题的，也是正确方式。但是这CMS 90%的时候，开始做回收；90%，老年 始 CMS的并发收集，此时年轻代还在不断的把对CMS还没完成标记，老年代的空间就满了，那么这个时候就会出现比较严重的fullGC ，停掉所有正在运行的线程，然后以单线所以 最好用：-XX:CMSInitiatingOccupancyFraction=N（默认90）这个参数去控制，不要 把老年代的GC设置的这么高，调节到60%就可首先说， 查询，按照 rowkey做查询的时候，具体的数据是存在列族上面的，但是列族的region去做管理的，regionregionServer负责的，所以如果一个hbase数据库的列族特别多的话， 写操作都是比较占用IO 的操作；而且se很难保证存在2个以的列的时会处不发生题的这也是se的方，另就