大数据应用技术介绍

大数据应用技术介绍2014年2月现在是1页\一共有37页\编辑于星期五Hadoop生态系统现在是2页\一共有37页\编辑于星期五Hadoop生态系统SubProject描述common分布式文件系统和通用I/O的组件与接口（序列化，JavaRPC和持久化数据结构）Avro支持高效的跨语言RPC和持久数据存储的序列化系统MapReduce分布式数据处理模型和执行环境，运行在大型商用机集群HDFS分布式文件系统，用于大型商用机集群PIGPig是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。Hive分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基于SQL的查询语言（由运行时引擎翻译成MapReduce作业）Hbase分布式、按列存储的数据库。HBase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询（随机读取）ZooKeeper分布式、可用性高的协调服务。提供类似分布式锁的基础服务。Sqoop在数据库和HDFS之间高效传输数据的工具Flume分布式、可靠、和高可用的海量日志聚合的系统。ChukwaChukwa是基于Hadoop的大集群监控系统，由yahoo贡献。现在是3页\一共有37页\编辑于星期五Hadoop介绍HDFSMapReduce现在是4页\一共有37页\编辑于星期五HDFS特点存储大文件百兆以上级别文件百万级文件由于亿级别文件流式处理数据一次写多次多模式支持追加操作廉价的硬件环境普通pcserver组成集群环境现在是5页\一共有37页\编辑于星期五HDFS缺点低延时读操作高吞吐量而非低延时Hbase解决了这个问题大量小数据文件最好每个文件大于100M多次写只支持一次写只支持在文件尾部添加，不支持随机写现在是6页\一共有37页\编辑于星期五HDFS部署结构现在是7页\一共有37页\编辑于星期五HDFS读写过程现在是8页\一共有37页\编辑于星期五MapReduce部署结构JobTracker管理集群资源和Job调度TaskTracker管理Task运行现在是9页\一共有37页\编辑于星期五MapReduce计算模型Inputk1,v1Mapk2,v2Reducek3,v3Output现在是10页\一共有37页\编辑于星期五MapReduce扩展接口InputFormatMapperPartitionerReducerOutputFormat现在是11页\一共有37页\编辑于星期五Map现在是12页\一共有37页\编辑于星期五Reduce现在是13页\一共有37页\编辑于星期五MapReduce实例现在是14页\一共有37页\编辑于星期五MapReduce内部结构现在是15页\一共有37页\编辑于星期五Hadoop2.0引入一个新的资源管理系统YARNHDFS单点故障得以解决HDFSFederationHDFS快照通过NFS访问HDFS支持Window系统现在是16页\一共有37页\编辑于星期五Hadoop1VSHadoop2现在是17页\一共有37页\编辑于星期五集群资源管理Hadoop介绍现在是18页\一共有37页\编辑于星期五Yarn运行原理图现在是19页\一共有37页\编辑于星期五Hbase介绍1高可靠性2高效性3面向列4可伸缩5可在廉价PCServer搭建大规模结构化存储集群现在是20页\一共有37页\编辑于星期五Hbase体系结构现在是21页\一共有37页\编辑于星期五HBase系统架构图现在是22页\一共有37页\编辑于星期五HBase部件说明Client：

使用HBaseRPC机制与HMaster和HRegionServer进行通信

Client与HMaster进行通信进行管理类操作

Client与HRegionServer进行数据读写类操作

Zookeeper：

ZookeeperQuorum存储-ROOT-表地址、HMaster地址

HRegionServer把自己以Ephedral方式注册到Zookeeper中，HMaster随时感知各个HRegionServer的健康状况

Zookeeper避免HMaster单点问题

HMaster：

HMaster没有单点问题，HBase中可以启动多个HMaster，通过Zookeeper的MasterElection机制保证总有一个Master在运行

主要负责Table和Region的管理工作：

1管理用户对表的增删改查操作

2管理HRegionServer的负载均衡，调整Region分布

3RegionSplit后，负责新Region的分布

4在HRegionServer停机后，负责失效HRegionServer上Region迁移

现在是23页\一共有37页\编辑于星期五Table&RegionTable随着记录增多不断变大，会自动分裂成多份Splits，成为Regions一个region由[startkey，endkey)表示不同region会被Master分配给相应的RegionServer进行管理现在是24页\一共有37页\编辑于星期五HregionServer现在是25页\一共有37页\编辑于星期五-ROOT-&.META..META.记录用户表的Region信息，同时，.META.也可以有多region-ROOT-记录.META.表的Region信息，但是，-ROOT-只有一个regionZookeeper中记录了-ROOT-表的location客户端访问数据的流程：

Client->Zookeeper->-ROOT-->.META.->用户数据表多次网络操作，不过client端有cache缓存现在是26页\一共有37页\编辑于星期五HBase数据模型RowKey：Table主键，Table中记录按照RowKey排序

Timestamp：

每次对数据操作对应的时间戳，也即数据的versionnumber

ColumnFamily：列簇，一个table在水平方向有一个或者多个列簇，列簇可由任

意多个Column组成，列簇支持动态扩展，无须预定义数量及

类型，二进制存储，用户需自行进行类型转换现在是27页\一共有37页\编辑于星期五HbaseShell现在是28页\一共有37页\编辑于星期五Hbaseshell现在是29页\一共有37页\编辑于星期五Hbase与RDBMS数据类型：Hbase只有简单的字符串类型。数据操作：Hbase只有很简单的插入、查询、删除、清空操作，没有复杂的表和表之间的关系。存储模式：Hbase是基于列式存储，每个列族由几个文件保存，不同列族的文件是分离的。数据维护：更新操作是替换版本，删除只是逻辑标记可伸缩性：现在是30页\一共有37页\编辑于星期五参考资料现在是31页\一共有37页\编辑于星期五Lucene搜索结构现在是32页\一共有37页\编辑于星期五基于文档的搜索Tika是一个内容抽取的工具集合。支持work，ppt，execl，PDF等现在是33页\一共有37页\编辑于星期五大数据统计Elasticsearch：开源的分布式实时搜索系统，结合Hbase实现海量数据存储和检索，同时提供索引数据统计功能，满足海量数据的实时统计要求。ya主要功能特点realtimedistributedhighavailabilitydocumentorientedschemafreerestfulapi索引数据统计min、max、sum、avg。s