大数据应用技术介绍（PPT37页).ppt

大数据应用技术介绍 2014年2月 Hadoop生态系统 Hadoop生态系统 Hadoop介绍 HDFS特点 HDFS缺点 HDFS部署结构 HDFS读写过程 MapReduce部署结构 MapReduce计算模型 Input k1 v1 Map k2 v2 Reduce k3 v3 Output MapReduce扩展接口 InputFormatMapperPartitionerReducerOutputFormat Map Reduce MapReduce实例 MapReduce内部结构 Hadoop2 0 引入一个新的资源管理系统YARNHDFS单点故障得以解决HDFSFederationHDFS快照通过NFS访问HDFS支持Window系统 Hadoop1VSHadoop2 集群资源管理 Hadoop介绍 Yarn运行原理图 Hbase介绍 1高可靠性2高效性3面向列4可伸缩5可在廉价PCServer搭建大规模结构化存储集群 Hbase体系结构 HBase系统架构图 HBase部件说明 Client 使用HBaseRPC机制与HMaster和HRegionServer进行通信Client与HMaster进行通信进行管理类操作Client与HRegionServer进行数据读写类操作Zookeeper ZookeeperQuorum存储 ROOT 表地址 HMaster地址HRegionServer把自己以Ephedral方式注册到Zookeeper中 HMaster随时感知各个HRegionServer的健康状况Zookeeper避免HMaster单点问题HMaster HMaster没有单点问题 HBase中可以启动多个HMaster 通过Zookeeper的MasterElection机制保证总有一个Master在运行主要负责Table和Region的管理工作 1管理用户对表的增删改查操作2管理HRegionServer的负载均衡 调整Region分布3RegionSplit后 负责新Region的分布4在HRegionServer停机后 负责失效HRegionServer上Region迁移 Table Region Table随着记录增多不断变大 会自动分裂成多份Splits 成为Regions一个region由 startkey endkey 表示不同region会被Master分配给相应的RegionServer进行管理 HregionServer ROOT META META 记录用户表的Region信息 同时 META 也可以有多region ROOT 记录 META 表的Region信息 但是 ROOT 只有一个regionZookeeper中记录了 ROOT 表的location客户端访问数据的流程 Client Zookeeper ROOT META 用户数据表多次网络操作 不过client端有cache缓存 HBase数据模型 RowKey Table主键 Table中记录按照RowKey排序Timestamp 每次对数据操作对应的时间戳 也即数据的versionnumberColumnFamily 列簇 一个table在水平方向有一个或者多个列簇 列簇可由任意多个Column组成 列簇支持动态扩展 无须预定义数量及类型 二进制存储 用户需自行进行类型转换 HbaseShell Hbaseshell Hbase与RDBMS 数据类型 Hbase只有简单的字符串类型 数据操作 Hbase只有很简单的插入 查询 删除 清空操作 没有复杂的表和表之间的关系 存储模式 Hbase是基于列式存储 每个列族由几个文件保存 不同列族的文件是分离的 数据维护 更新操作是替换版本 删除只是逻辑标记可伸缩性 参考资料 Lucene搜索结构 基于文档的搜索 Tika是一个内容抽取的工具集合 支持work ppt execl PDF等 大数据统计 Elasticsea