hadoop技术培训材料hbase叶爱国

121234第2页/共23HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，实现的编程语言为Java。1、是建立的hdfs之上2、提供高可靠性3、高性能4、列5、可伸缩、的数据库系统。6、可在廉价PCServer搭建大规模结构 集群 它介于nosql和RDBMS之间，仅能通过主键(rowkey)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来 超大型松散数据。与hadoop一样，HBase目标主要依靠横向扩展，通过不断增加廉价 服务器，来增加计算 能力。第3页/共23稀疏:对于为空(null)的列，并不占 空间，因此，表可以设计的非常稀疏面向列: 1、HadoopHDFS为HBase提供了高可靠性的底 支持3、Zookeeper为HBase提供了稳定服务和failover 第4页/共23121234第5页/共23第RowA、Table主键,Table中记录按照RowKey排序 HBasetable中的行，在HBase内部，rowkey保存为字节数组。三种查询方式：通过单个row通过rowkey的 时，数据按照Rowkey的字典序(byteorder)排序 123、要保持整形的自然序，行键必须用0第7页/共23 B、erowkey。CHBas回 cellHBase中通过row和columns确定的为一个存贮单元称为cell。由{rowkey,column=<family><label>version唯一确定的单元。cell中的数据是没第8页/共23121234第9页/共23HBase数据库表列族（Column列修饰符（Column第10页/共23publicstaticHTablegetHTable(StringtabName)Configurationconf= Port", tryreturnnewHTable(conf, }catch(IOExceptione){}return}12

得到hbase设定操作端口为2181， 集群内hbase安装主 第11页/共233、将所写数据PUTHTable3、将所写数据PUT第12页/共23tryHTabletable=ResultScannerresults=table.getScanner(newScan());for(Resultresult:results){for(KeyValuerowKV:result.raw()){System.out.print("行名"+newString(rowKV.getRow()));System.out.print("时间戳"+rowKV.getTimestamp());System.out.print("列族名"+newString(rowKV.getFamily()));System.out.print("列名"+newString(rowKV.getQualifier()));System.out.println("值"+newString(rowKV.getValue()));}}}catch(IOExceptione){}第13页/共23trytryHTable=List=newDelete=new}catch(IOExceptione)}rowkeyHBase表中的ID第14页/共23121234第15页/共23本有序），FilteRPCr1第16页/共231、LESS<2、LESS_OR_EQUAL<=3、EQUAL4、NOT_EQUAL≠5、GREATER_OR_EQUAL>=6、GREATER parator按字节索引顺序比较指定字节数组 parator跟前面相同，只是比较左端的数据是否相 parator判断当前值是否为 parator按位比较BitwiseOp类做异或(XOR)、与(AND)、或(OR)操 parator提供一个正则的比较器，仅支持EQUAL和非 parator判断提供的子串是否出现在table的value中第17页/共23publicstaticFiltergetFilter(StringtabName,Stringfamily,Stringqualifier,CompareOpop,Stringval){Filterfilter=newSingleColumnValueFilter( returnfilter;}publicstaticSingleColumnValueFiltergetSubstringFilter(StringtabName,Stringfamily,Stringqualifier,CompareOpop,Stringval){SingleColumnValueFilterfilternewSingleColumnValueFilter(Bytes.toBytes(family), returnfilter;}第18页/共23publicstaticFilterListfilterList(StringstartDate,StringstopDate,Stringval){List<Filter>filters=newFilterfilter1=getFilter("tablename","ColumnFamily","Column",CompareOp.LESS_OR_EQUAL,stopDate);Filterfilter2=getFilter("tablename","ColumnFamily","Column",CompareOp.GREATER_OR_EQUAL,startDate);、、、、returnnew}注：tablename为表名，ColumnFamily为列簇，Column第19页/共23publicstaticResultScannergetResultScanner(FilterListfilterList){Scanscan=newScan();try{ResultScannerscanner=}catch(IOExceptione)}returnscanner}注：tablename第20页/共23publicstaticList<Object[][]>valList(ResultScannerscanner){List<Object[][]>list=newArrayList<Object[][]>();for(Resultresult:scanner){Object[][]o=newObject[8][2];inti=0;for(KeyValuekv:result.raw())o[i][0]=newString