HBase二级索引实现方案.doc

HBase二级索引实现方案ODP说明：本方案主要参照了华为公布的HBase二级索引实现方案。1. 概要设计主要思路：为每个DataTable创建一个与之对应的IndexTable，通过各种途径，保证IndexTable Region与DataTable Region一一对应，并且存储在同一个RegionServer上，存储结构如图1所示。最终要实现的效果是，每个IndexTable Region是对应的DataTable Region的局部索引，使用索引进行查询时，将对每个IndexTable Region进行检索，找出所有符合条件的DataTable RowKey，再根据DataTable RowKey到对应的DataTable Region中读取相应DataTable Row。图1 HBase二级索引存储结构示意图2. 详细设计2.1. IndexTable的创建IndexTable的创建主要出现在两个时机，一是创建新DataTable时，系统根据索引定义，自动创建对应的IndexTable；二是对已存在的DataTable，用户调用接口方法，动态创建索引。IndexTable的创建过程如下：第一步，获取DataTable的所有RegionInfo，得到所有DataTable Region的StartKey。第二步，结合索引定义和DataTable Region的StartKey信息，调用HBaseAdmin的createTable(final HTableDescriptor desc, byte splitKeys)方法创建索引表。通过以上两步便建立了IndexTable Region和DataTable Region的以StartKey为依据的一一对应关系。2.2. IndexTable RowKey的设计IndexTable的RowKey由四部分组成，按顺序依次是：DataTable Region StartKey、IndexName、IndexValue和DataTable RowKey，如图2所示。图2 IndexTable RowKey结构示意图A. DataTable Region StartKey。将DataTable Region的StartKey作为IndexTable Region的RowKey的第一部分，主要基于两个方面的考虑。一是使得IndexTable Region和对应的DataTable Region拥有相同的StartKey，这样便可将StartKey作为两个Region的关联依据；二是当DataTable Region分裂时，可使用相同的SplitKey对IndexTable Region进行相应的分裂操作，并将新产生的DataTable Region和IndexTable Region建立关联关系。B. IndexName。在一张DataTable的基础上可以定义多个索引，如果为每个索引创建一个IndexTable，则在实际应用过程中，势必会产生大量的IndexTable，当DataTable Region分裂时，还需要对与之关联的所有IndexTable Region分别执行分裂操作，这将消耗大量的系统资源，并且不易维护。因此，我们考虑将一张DataTable的所有索引数据，存放到同一张IndexTable中，不同索引的数据以IndexName进行区分。C. IndexValue。如果索引是单列索引，IndexValue就是DataTable Row的某个Column Value，如果索引是组合索引的话，则IndexValue就是DataTable Row的多个Column Value组合而成的。D. DataTable RowKey。被用来定位DataTable Row，以获取最终的数据。2.3. IndexTable Region的分配控制IndexTable Region的分配控制过程，即是保证IndexTable Region与DataTable Region的一一对应，并且被分配到同一个RegionServer的过程。自定义LoadBalancer，重写balanceCluster方法，主要增加对IndexTable Region的分配控制。以相同的StartKey作为IndexTable Region和DataTable Region的关联依据，将IndexTable Region和与其对应的DataTable Region分配到同一个RegionServer。自定义LoadBalancer对IndexTable Region的分配控制过程如图3所示。图3 自定义LoadBalancer对IndexTable Region的分配控制示意图注意：这里只增加对IndexTable Region分配的控制，并不对DataTable Region的分配进行干预，DataTable Region由HBase按照指定的负载均衡策略进行分配，使得对现有HBase运行环境的影响降到最小。2.4. IndexTable Region的分裂过程本节将以一个示例讲述IndexTable Region的分裂过程，假设当前有一个DataTable Region和对应的IndexTable Region，如图4所示，绿色表格为DataTable Region，红色表格为IndexTable Region。图4 DataTable Region和IndexTable Region根据概要设计中的说明，假设SplitKey:03，经过一系列操作之后，原来的DataTable Region和IndexTable Region均分裂成两个新的Region，并且依然保存一一对应关系。最终效果如图5所示。图5 分裂后的最终效果示意图IndexTable Region具体分步骤说明如下：第一步，确定SplitKey后，遍历IndexTable Region中所有的行，找出所有DataTable RowKey大于或等于SplitKey的Row，如图6.1所示。图6.1 第一步第二步，删除第一步找到的所有DataTable RowKey大于或等于SplitKey的Row，并将RowKey的第一部分（DataTable Region StartKey）替换成SplitKey后，重新插入到IndexTable Region中，如图6.2所示。图6.2 第二步第三步，以SplitKey，同时对DataTable Region和IndexTable Region进行分裂操作，如图6.3所示。最终达到如图5所示的效果。图6.3 第三步2.5. 数据的写入过程数据的写入过程，主要通过Coprocessor代理完成，保证更新DataTable Region数据的同时更新IndexTable Region中的数据。具体步骤如图7所示。图7 数据写入过程示意图2.6. 数据的读取过程与数据的写入过程一样，数据的读取过程也是由Coprocessor代理完成。Coprocessor收到查询请求后，首先判断是否可以利用某个索引，提高本次查询效率。如果有可用的索引，则先从IndexTable Region中查出所有符合条件的RowKey，再根据RowKey，从DataTable Region中查找出实际的数据返回给客户端。具体步骤如图8所示。图8 数据读出过程示意图注意：通过2.3节中描述的IndexTable Region分配机制，保证了IndexTable Region和对应的DataTable Region处于同一个RegionServer上，这样便解决了在有大量符