hbase进阶-课程代码exportweek面向高并发写入优化

优化预分预分禁用splitwal禁用或延增大memstoreflush单次参与文件防止频繁写入导致flush频繁加大单次compaction文件参与数多个region同在一个regionserver小象学院– 数据在– 避免服务尖峰时进行major避免过大文件参与搜索”深入分析HBaseCompaction机制覆盖写入和删除较少，可以限制参与compaction文件大不会进行major 使 过防止发生full 使用减小减少datablock 缓存充 缩短majorcompaction 需要缓存充设置为打开文件时预取block，对于全表扫描效果明与*.cacheonwrite区别：region被重新加载也可以预取ResultScanner实例与相关机器数比过不同ResultScanner的next请求引起并发磁盘io过导致磁盘操作变为随机对scan操作按照startkey排序、按所在regionserver分组，并执在mapreduce中也可以使用此策 –公号教育披荆斩棘方法可形式部分被并入hbck被称作firstaidhbasecheck不可形式只有经尝试总结出可形式化的方 确定HDFS正namenodeweb确定没有blockmiss、确定datanodehdfs异常导致的常见现regionserver 象– zookeeper是master判断集群状态的数据 如果zookeeper不可master会退 节点异常，流程无法完成处 region被反复加 zookeeper状态不一 master与regionserver处理的region状态 zookeeper实例数为2个时发生 观察WEB首先确认master和regionserver借助WEBUI初步判断问mastertaskregionservertasksplitzookeeper无法正常加检查regionserver master与regionserver的包含各类处理的细region加载有问查找regionencode相关各类处理有问查找关键字 忽略掉查找发现性能瓶 hbase–HBase集群的一致regionserver中挂载的region被多个regionserver等一般由regionsplit直接修加等待下次重 注意权限问dumpjava可以建立用于分析jmapdump出的快照文件的webgc0.94后大幅强能修复90%不一致问集群状态正常尝试解决检测出的问调用后根据影响region的数量等待一段默认等待1分钟，但是region数过多时往往1分钟解决不了问多次修复失败需要依据经验手动修复，有可能重启也无法解根据log发现瓶 确定block是否丢尝试修无法修复只能删除文端口占不统机器名配置错toomanyopen其他进程异CLOSE_WAIT过0.94容易出现的问compaction异依靠经搜索引一筹莫展时的常用伎重启大量regionserver时需要重启 – 公号教育披荆斩棘实观察region是否存在于异常中的regionserver如果在查看regionserver的task是否有region相关操作堵进一步观察regionserver观察region挂载是否完zkregion挂载状态以及是否有异如果挂载相关regionserver经常切换则有异进一步查看regionlog–文件损坏或异»修复或删 文件的目标不存 文件名格式:”原文件名.原region 文件已被删»删 文mastertask是否有挂载卡 现发现问题过zookeeperdump中能够发现此region的region通过zookeeperdump中的异常，发现openregion时，无法找到引解低版本中禁用autotoomanyopen从regionserver的log现regionserver由于toomanyopenfilesregionserver发现问题过发现region对应的storefile分析compact相关的部分解 现部分regionserver没有region版本发现问题过观察异常退出master找到相关region的分配log，确定目标region在regionserverlog中发现加载region时无法加载lzo解 regionstartkeyendkeyhbck中发现表有异进一步观察输出发现region不连在web页面上发现regionstartkeyendkey0.89fb中hbck功能有限无法编写代码关闭子重新open父scan或get失根据客户端日志定位发生问题的regionregionserverlog中显示blocktype解析失根据原理，异常的block可能来自物理文件或缓如果是文件损后续的block现在只是一个block坏所以否定了此原如果是block物理内容写入错则无法解决此问重启后仍然无法解如果是缓存数据错重启可解重启相关regionserver，以清空缓存问题得到解决，并可以验证为缓存处理有BUG重启集群后产生的问zookeeperdump中发现大量region长时间无法加hbck能促进部分region加载成功hbase版本较老为0.94中已修查找masterlog中未加载的regionencode发现有分配操master分配操作几秒后，regionserver中出现根据异常栈整理代码逻regionserver是在向master发送的心跳请求的返回值中得到region加载操 网络压力较大，需要加载的region较多，导致返回消息较长，最终导致RPC请求超masterregion分配机制无法感知通信心跳汇报操作并发不高而默认超时但时间只有3根据源码发现相关参数hbase.regionserverReport.timeout，设置为60 disable表的过程完异步处region数多时hbases会报超此时我们需要观察master的taskmonitor以确定请求执行完结果只有部分region下线，修改表请求无法响再次disable很快返回，但master中看不到相关处hbase版本首先，看disable相关为何不生发现jruby的disable函数中，如果表已有下线region，则不再响然后