show大数据与hbase实践

大数据与hbase应用关于hadoop与hbase的介绍和开发应用,周勇沂2014年10月16日,目录,2,大数据与HADOOP介绍,1,HDFS介绍,2,Hbase介绍,3,Hbase应用,4,3,1、WINDOWS进程间通信方式,第一章大数据与HADOOP介绍,第一章HADOOP介绍,4,1、大数据的背景与定义,日益信息化的时代,5,大数据的定义与特征,“Bigdataisdatathatexceedstheprocessingcapacityofconventionaldatabasesystems”OReillyRadar,“WhatIsBigData?”,January2012所谓大数据，就是用现有的一般技术难以管理的大量数据的集合-野村综合研究所大数据顺应大规模信息化到新阶段而诞生的数据库革命性运动NoSQL(NoSQL=NotOnlySQL)不同的NoSQL场景不同，可比性不高原则：解放思想，事实求是,6,大数据的挑战,7,一个关系型数据库的表数据量上亿时分区分表分库导致上层复杂度提高，成本倍增IO天花板，非线性单机计算,大数据对系统的需求,Highperformance高并发读写的需求高并发、实时动态获取和更新数据HugeStorage海量数据的高效率存储和访问的需求类似SNS社会性网络服务网站，海量用户信息的高效率实时存储和查询HighScalability进门后可以通往各个层楼，每个楼层就是一个销售分区(HRegion)5，关于一个销售分区(Hregion)a,每层楼根据商品木箱(列族ColumnFamily)的规格多少，分为多个专卖店(Store)b,每个专卖店(Sotre),由促销仓(放内存上的Memstore)和0个或多个普通仓(放hfile上的Sotrefile)组成,HRegionServer入库过程简介,31,Hstore分流简介,32,Client写入-存入MemStore，一直到MemStore满-Flush成一个StoreFile，直至增长到一定阈值-出发Compact合并操作-多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除-当StoreFilesCompact后，逐步形成越来越大的StoreFile-单个StoreFile大小超过一定阈值后，触发Split操作，把当前RegionSplit成2个Region，Region会下线，新Split出的2个孩子Region会被HMaster分配到相应的HRegionServer上，使得原先1个Region的压力得以分流到2个Region上,hfile文件格式,33,hfile文件由6部分组成：datablock，metablock(可选)，fileinfo，datablockindex，metablockindex，trailer。datablock存储了表数据，metablock存储了布隆过滤器索引数据，fileinfo存储了本文件的相关信息，index存储了datablock和metablock的索引数据，trailer存储了本文件的相关信息。,34,1、WINDOWS进程间通信方式,第三章HBASE的应用,HBaseShell,35,Hbase编程,36,封装好的HbaseDAO例子importcom.etrans.lib.db.hbase.dao.TrackDaoImpl;privateGpsTrackvo=newGpsTrack();方式一TrackDaoImpltrackDao=newTrackDaoImpl();trackDao.openTable(false,1024*1024*32);trackDao.insert(vo);/增、改为同一接口trackDao.list(startKey,endKey,selectedColSet,filter);trackDao.closeTable();trackDao=null;方式二TrackDaoImpltrackDao=newTrackDaoImpl();trackDao.insert(vo);trackDao.list(startKey,endKey,selectedColSet,filter);trackDao=null;,Hbase编程,37,TrackDaoImpl操作对象如何初始化初始化表名StringCONST_TABLE_NAME=“track;对象与hbase表字段映射关系OverridepublicvoidinitSchema()addHbaseCol(newHbaseCol(artistName,an);addHbaseCol(newHbaseCol(year,ye,true);addHbaseCol(newHbaseCol(downCount,dc,HbaseColType.LONG);如何生成rowkeyOverridepublicbytegetRowKey(Trackvo)如何读取key数据OverridepublicvoidreadRowKeyFromResult(Trackvo,byterowkey),Hadoop技术哪家强?美国找CLOUDERA,38,在Hadoop生态系统中，规模最大、知名度最高的公司则是Cloudera。2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持，咨询服务和培训。Cloudera的客户中倒是有很多知名公司，如AOL、哥伦比亚广播公司、eBay、Expedia、摩根大通、Monsanto、诺基亚、RIM和迪士尼等。Cloudera企业解决方案包括Hadoop软件发行版、Cloudera管理器。2014年英特尔7.