HBase二级索引实现方案

1、HBase二级索引实现方案ODP说明：本方案主要参照了华为公布的HBase二级索引实现方案。1 .概要设计主要思路：为每个DataTable创建一个与之对应的IndexTable,通过各种途径，保证IndexTableRegion与DataTableRegion一对应，并且存储在同一个RegionServer上，存储结构如图1所示。最终要实现的效果是，每个IndexTableRegion是对应的DataTableRegion的局部索引，使用索引进行查询时，将对每个IndexTableRegion进行检索，找出所有符合条件的DataTableRowKey,再本艮据DataTableRowKey到

2、对应的DataTableRegion中读取相应DataTableRow。图1HBase二级索引存储结构示意图2 .详细设计2.1. IndexTable的创建IndexTable的创建主要出现在两个时机，一是创建新DataTable时，系统根据索引定义，自动创建对应的IndexTable;二是对已存在的DataTable,用户调用接口方法，动态创建索引。IndexTable的创建过程如下：第一步,获取DataTable的所有Regioninfo,得到所有DataTableRegion的StartKey。第二步，结合索引定义和DataTableRegion的StartKey信息，调用HBaseA

3、dmin的createTable(finalHTableDescriptordesc,bytesplitKeys)方法创建索引表。通过以上两步便建立了IndexTableRegion和DataTableRegion的以StartKey为依据的一一对应关系。2.2. IndexTableRowKey的设计IndexTable的RowKey由四部分组成，按顺序依次是：DataTableRegionStartKey、IndexName、IndexValue和DataTableRowKey,如图2所示。DataTableRegionStartKeyIndexNameIndexValueDataTabl

4、eRowKey图2IndexTableRowKey结构示意图A. DataTableRegionStartKey。将DataTableRegion的StartKey作为IndexTableRegion的RowKey的第一部分，主要基于两个方面的考虑。一是使得IndexTableRegion和对应的DataTableRegion拥有相同的StartKey,这样便可将StartKey作为两个Region的关联依据；二是当DataTableRegion分裂时，可使用相同的SplitKey对IndexTableRegion进行相应的分裂操作，并将新产生的DataTableRegion和IndexTab

5、leRegion建立关联关系。B. IndexName。在一张DataTable的基础上可以定义多个索引，如果为每个索引创建一个IndexTable,则在实际应用过程中，势必会产生大量的IndexTable,当DataTableRegion分裂时，还需要对与之关联的所有IndexTableRegion分别执行分裂操作，这将消耗大量的系统资源，并且不易维护。因此，我们考虑将一张DataTable的所有索引数据，存放到同一张IndexTable中，不同索引的数据以IndexName进行区分。C. IndexValue。如果索引是单列索引，IndexValue就是DataTableRow的某个Col

6、umnValue,如果索引是组合索引的话，则IndexValue就是DataTableRow的多个ColumnValue组合而成的。D. DataTableRowKey被用来定位DataTableRow,以获取最终的数据。2.3. IndexTableRegion的分配控制IndexTableRegion的分配控制过程，即是保证IndexTableRegion与DataTableRegion的一一对应，并且被分配到同一个RegionServer的过程。自定义LoadBalancer,重写balanceCluster方法，主要增加对IndexTableRegion的分配控制。以相同的StartK

7、ey作为IndexTableRegion和DataTableRegion的关联依据，将IndexTableRegion和与其对应的DataTableRegion分配到同一个RegionServer。自定义LoadBalancer对IndexTableRegion的分配控制过程如图3所示。RegionSetMaster图3自定义LoadBalancer对IndexTableRegion的分配控制示意图注意：这里只增加对IndexTableRegion分配的控制，并不对DataTableRegion的分配进行干预，DataTableRegion由HBase按照指定的负载均衡策略进行分配，使得对现有

8、HBase运行环境的影响降到最小。2.4. IndexTableRegion的分裂过程本节将以一个示例讲述IndexTableRegion的分裂过程，假设当前有一个DataTableRegion和对应的IndexTableRegion,如图4所示，绿色表格为DataTableRegion,红色表格为IndexTableRegion。RowKeyValueRowKeyValueStartKev：0000DATA5tartKey:0000*0201IDATA00*0502DATA00e,00031DATAoo*w04DATA00*041DATA00*0100*g00*0300*021图4DataT

9、ableRegion和IndexTableRegion根据概要设计中的说明，假设SplitKey:03,经过一系列操作之后，原来的DataTableRegion和IndexTableRegion均分裂成两个新的Region,并且依然保存一一对应关系。最终效果如图5所示。StartKeyzOORowKeyVaJufiStjrtKey:(W)RowKeyValue00DATA00*0201DATA02DATA00"0Loo*o。00*02RowKeyValueStartKey:03RowKevValue03ATA。声。504DATA。5data03，*0403*03图5分裂后的最终效果示

10、意图IndexTableRegion具体分步骤说明如下：第一步，确定SplitKey后，遍历IndexTableRegion中所有的行，找出所有DataTableRowKey大于或等于SplitKey的Row,如图6.1所示。StartKev-005Plit3：03RowKeyValueStartKeyWRowKeyValue遍历1F00DZVTA00*0201DATA00*05C2DZVTA00*g03DATA00*0404口酊A00*0405DATAoa*oi00*05D0*03tXJ*02图6.1第一步第二步，删除第一步找到的所有DataTableRowKey大于或等于SplitKey的

11、Row,并将RowKey的第一部分(DataTableRegionStartKey)替换成SplitKey后，重新插入至ijIndexTableRegion中，如图6.2所示。RowKeyValueRowKeyValueStartKeyzOOnoDffTAStartKey：OO00*02aiDATA0200*00SplitKey:030=UAIA二二DffTAnd.05DATA00*01Woo0Q*Q303*0S03*0403*D403*03图6.2第二步第三步，以SplitKey,同时对DataTableRegion和IndexTableRegion进行分裂操作,如图6.3所示。最终达到如图

12、5所示的效果。$tar+Key：00SplitKey:03RowKeyValu«StartKey;OORowKeyVa加白00DATA00*D201DATA001502DATA00*0003DATA04DATAOSDATA00*0100*00SplitKey)300*0300*003*0503*04Q3*0403*03图6.3第三步2.5. 数据的写入过程数据的写入过程，主要通过Coprocessor代理完成，保证更新DataTableRegion数据的同时更新IndexTableRegion中的数据。具体步骤如图7所示。情景说明：1,有一张"Table",定义了

13、一个;2.为"Table11上XF:C1J,和"CF:C2"防列分别建立了索引标识为"indexr和'indexr;品与bable”对应的索引表标识为4ndexTablewcPut阡皿。bl'JCF汇135,，tFid'H1、_,.sE_Err>DataTabitRegionCoprocessorPutIndexTiafaleJ!lciindeK101J,Put1ndeMT<ifcih!,PJ，00indeB2IK)lz、门f>IndoxTableRegicm图7数据写入过程示意图2.6. 数据的读取过程与数据的

14、写入过程一样，数据的读取过程也是由Coprocessor代理完成。Coprocessor收到查询请求后，首先判断是否可以利用某个索引，提高本次查询效率。如果有可用的索引，贝U先从IndexTableRegion中查出所有符合条件的RowKey,再根据RowKey,从DataTableRegion中查找出实际的数据返回给客户端。具体步骤如图8所示。情景说明：L有f-Table-.封了f*CF”;2为"Table"上IHCF:Cr和”CF：CF两列分别建立了索引，标识为"indexV和''index?*;M.与叮犯，对应的索引表标识为-IndexTable".控制流一数倨流图8数据读出过程示意图注意：通过2.3节中描述的IndexTableRegion分配机制，保证了Index