hbaseregionServer异常分析报告

1、测试环境 ：172.25.3.103-106 ，172.25.3.103 是 master 节点。测试步骤 ：拔了 172.25.3.105 节点的网线。现象描述 ：原先每个 regionserver 负责 25 个 region ，当 172.25.3.105 节点挂了以后，它负责 的 region 会有其他 regionserver 接管， 500 多万的数据，恢复时间为 6 分钟左右。问题分析 ：1. 在 zookeeper 的 /hbase/rs 目录下维护在线的 regionserver 节点， 当 zookeeper 检测 至U某个节点 expiration , ServerMan

2、ager 会将该节点添加至Udead servers，并提交ServerShutdownHandler 执行 Splitting logs。2. 将 172.25.3.105 上的 WALs 拆分成两个文件，如： 172-25-3-105%2C60020%2C1447730854044.1447817260887 172-25-3-105%2C60020%2C1447730854044.1447813660762同时启动 task 任务，将拆分后的文件分配给 172.25.3.103 和 172.25.3.104 节点的 SplitLogWorker。3. 将新生成的两个 WALs 文件放入

3、hdfs:/mycluster/hbase/oldWALs4. 调用 recoverLease 方法，获取新生成的 WALs 文件租约(在 hdfs 的设计中， Lease是为了实现一个文件在一个时刻只能被一个客户端写) 。 recoverLease 方法返回有 几种途径： 1)成功获取租约； 2)达至超时时间； 3)文件关闭。在分别获取两个 路径租约的时候，第一个路径成功获取租约：recoverLease=true ；另一个路径一直获取不至租约，在重试 7 次之后，文件关闭，after 324721ms 返回， 这也是恢复过程耗时长的主要原因 。第一次失败， sleep 4000ms 后重试

4、；之后每次重试 sleep 时 间根据参数： hbase.lease.recovery.dfs.timeout 而定，我们系统设置该值为 64000ms 。5. recoverLease 方法返回后， HLogSplitter 开启 writer thread ，将 172.25.3.105 节点上 的 region 进行拆分，以 0bfdac9dc87129b7e0e6ed7be99fb8f7 region 为例：a) Creating writer path = hdfs:/mycluster/hbase/data/default/falcon_picrecord/0bfdac9dc871

5、29b7e0e6ed 7be99fb8f7/recovered.edits/0000000000000002161.tempb) Split writers finished 后， Submitting close of hdfs:/mycluster/hbase/data/default/falcon_picrecord/0bfdac9dc87129b7e0e6ed 7be99fb8f7/recovered.edits/0000000000000002161.tempc) Closing hdfs:/mycluster/hbase/data/default/falcon_picrecord/

6、0bfdac9dc87129b7e0e6ed 7be99fb8f7/recovered.edits/0000000000000002161.tempd) Closed wap hdfs:/mycluster/hbase/data/default/falcon_picrecord/0bfdac9dc87129b7e0e6ed 7be99fb8f7/recovered.edits/0000000000000002161.tempe) Rename hdfs:/mycluster/hbase/data/default/falcon_picrecord/0bfdac9dc87129b7e0e6ed 7

7、be99fb8f7/recovered.edits/0000000000000002161.temptohdfs:/mycluster/hbase/data/default/falcon_picrecord/0bfdac9dc87129b7e0e6ed 7be99fb8f7/recovered.edits/00000000000000022816. Rename region 完成后，开启 flush ，先对本机原有的 region 进行 flush ，以 7da3ddf6e948ee2742f0cec68cf6ee93 region 为例：a) HRegionServer： periodic

8、Flusher requesting flush for regionb) HRegion: Started memstore flush for falcon_picrecord,094,1447749551421.7da3ddf6e948ee2742f0cec68cf6ee93.c) DefaultStoreFlusher: Flush into tmp file hdfs:/mycluster/hbase/data/default/falcon_picrecord/7da3ddf6e948ee2742f0ce c68cf6ee93/.tmp/f87842e59e9f450d9514959

9、bade2c121d) HRegionFileSystem: Committing store file hdfs:/mycluster/hbase/data/default/falcon_picrecord/7da3ddf6e948ee2742f0ce c68cf6ee93/.tmp/f87842e59e9f450d9514959bade2c121as hdfs:/mycluster/hbase/data/default/falcon_picrecord/7da3ddf6e948ee2742f0ce c68cf6ee93/col/f87842e59e9f450d9514959bade2c12

10、1e) HStore: Added hdfs:/mycluster/hbase/data/default/falcon_picrecord/7da3ddf6e948ee2742f0ce c68cf6ee93/col/f87842e59e9f450d9514959bade2c121f) HRegion: Finished memstore flush7. Flush 完成后开启 major compaction ，还是以 7da3ddf6e948ee2742f0cec68cf6ee93 为 例：a) HRegion: Starting compaction on col in region fa

11、lcon_picrecord,094,1447749551421.7da3ddf6e948ee2742f0cec68cf6ee93.b) HStore: Starting compaction of 3 file(s) in col ofc) falcon_picrecord,094,1447749551421.7da3ddf6e948ee2742f0cec68cf6ee93. into tmpdir =hdfs:/mycluster/hbase/data/default/falcon_picrecord/7da3ddf6e948ee2 742f0cec68cf6ee93/.tmpd) Com

12、pactor: Compacting hdfs:/mycluster/hbase/data/default/falcon_picrecord/7da3ddf6e948ee2742f0ce c68cf6ee93/col/c892b1043660402a8a7ee557918d17ae hdfs:/mycluster/hbase/data/default/falcon_picrecord/7da3ddf6e948ee2742f0ce c68cf6ee93/col/3d3adc0339f94b02b434b7a616e6b0c8 hdfs:/mycluster/hbase/data/default/

13、falcon_picrecord/7da3ddf6e948ee2742f0ce c68cf6ee93/col/f87842e59e9f450d9514959bade2c121e) HRegionFileSystem: Committing store file hdfs:/mycluster/hbase/data/default/falcon_picrecord/7da3ddf6e948ee2742f0ce c68cf6ee93/.tmp/4eccfc22b593438395c73210f2a8040aas hdfs:/mycluster/hbase/data/default/falcon_p

14、icrecord/7da3ddf6e948ee2742f0ce c68cf6ee93/col/4eccfc22b593438395c73210f2a8040af) HFileArchiver: Finished archiving from hdfs:/mycluster/hbase/data/default/falcon_picrecord/7da3ddf6e948ee2742f0ce c68cf6ee93/col/c892b1043660402a8a7ee557918d17ae,to hdfs:/mycluster/hbase/archive/data/default/falcon_pic

15、record/7da3ddf6e948ee2 742f0cec68cf6ee93/col/c892b1043660402a8a7ee557918d17ae hdfs:/mycluster/hbase/data/default/falcon_picrecord/7da3ddf6e948ee2742f0cec68cf6ee93/col/3d3adc0339f94b02b434b7a616e6b0c8,tohdfs:/mycluster/hbase/archive/data/default/falcon_picrecord/7da3ddf6e948ee2742f0cec68cf6ee93/col/3

16、d3adc0339f94b02b434b7a616e6b0c8hdfs:/mycluster/hbase/data/default/falcon_picrecord/7da3ddf6e948ee2742f0ce c68cf6ee93/col/f87842e59e9f450d9514959bade2c121,tohdfs:/mycluster/hbase/archive/data/default/falcon_picrecord/7da3ddf6e948ee2742f0cec68cf6ee93/col/f87842e59e9f450d9514959bade2c121g) HStore: Comp

17、leted major compaction of 3 files of7da3ddf6e948ee2742f0cec68cf6ee93 into 4eccfc22b593438395c73210f2a8040a8. 当另一个recoverLease方法返回后，删除原先的WALs文件，将172.25.3.105上的region 通过 round-robin 分配到其他三个 regionserver 上， AssignmentManager ： Assigning 8 region(s) to 172-25-3-103Assigning 9 region(s) to 172-25-3-104As

18、signing 9 region(s) to 172-25-3-1069. 将分发到各个 regionserver 的 region Online ：a) AssignmentManager: Handling RS_ZK_REGION_OPENING state=PENDING_OPENb) RegionStates: Transitioned state=PENDING_OPEN to state=OPENINGc) AssignmentManager: Handling RS_ZK_REGION_OPENED state=OPENINGd) RegionStates: Transitioned state=OPENING to state=OPENe) OpenedRegionHandler: Handling OPENED of5ebe39a8fb6c5144663d7b1c63400625 from 172-25-3-103, deleting unassigned node.f) AssignmentManager: Znode 5ebe39a8fb6c5144663d7b1c63400625 deleted, state