版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、,1,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,Hadoop基础知识培训,江西电信大数据支撑团队,2014年中国电信大数据技术与应用培训,2,2 企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,主要内容,第一篇 Hadoop综述 第二篇 HDFS 分布式文件系统 第三篇 MapReduce 分布式计算框架 第四篇 常用Hadoop组件介绍,3,3 企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,第一篇Hadoop综述,: 什么是Hadoop : Hadoop生态系统 : Hadoop的厂商 : Hadoop的部署,4,企业信息化部,把信息化打造成为中国电信企
2、业核心竞争力之一,Hadoop是什么?,Hadoop是Apache基金会下的一个开源分布式计算平台,以分布式 文件系统(HDFS)和分布式计算框架(MapReduce)为核心,为用户 提供了底层细节透明的分布式基础设施。 yHDFS的高容错性、高伸缩性等优点,允许用户将Hadoop部署 在廉价的硬件上,构建分布式系统。 yMapReduce分布式计算框架允许用户在不了解分布式底层细节 的情况下开发并行、分布的应用程序,利用大规模计算资源,解 决传统高性能单机无法解决的大数据处理问题 Hadoop Nutch Lucene,高性能全文 索引工具包,高性能搜索 引擎工具包,版本演进,对应Cloud
3、era公司的CDH3u5,对应Cloudera 公司的CDH4,5,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,Hadoop的特点,Hadoop运用于海量数据处理,主要有如下几个优势: 方便 Hadoop可以运行在一般商业机器(X86服务器)构成的大型集群 上 弹性 Hadoop通过增加集群节点,可以线性扩展以处理更大的数据集; 同时在负载下降时,也可减少节点,以便高效使用资源。 健壮 Hadoop设计之初,将故障检测和自动恢复作为设计目标,可以 从容处理通用计算平台上出现的硬件失效情况。 简单 Hadoop允许用户快速编写出高效的并行分布式代码。,6,企业信息化部,把信息化打造
4、成为中国电信企业核心竞争力之一,HADOOP生态系统,y经过几年的快速发展,Hadoop现在已经发展成为包含多个相关项目的软件生 态系统,成为大数据处理技术的事实标准,目前典型的Hadoop生态系统如下所 示:,7,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,发展目标,HADOOP生态系统,(1)实时应用场景(05s):Storm、S4等; (2)交互式场景(5s1m):这种场景通常能要求必须支持SQL,则可行系统有: Cloudera Impala、Apache Drill、Shark等; (3)非交互式场景(1m1h):通常运行时间较长,处理数据量较大,对容错性和扩 展性要求
5、较高,可行系统有:MapReduce、Hive、Pig、Stinger等; (4)批处理场景(1h+):通常运行时间很长,处理数据量很大,对容错性和扩展性要 求很高,可行系统有:MapReduce、Hive、Pig、Stinger等。,8,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,HADOOP厂商,Hadoop处于近时间的大数据革命的风暴眼,在Hadoop取得成功的同时也促使主 流市场对其稳定性、成熟的管理,丰富的SQL环境等提出更高要求,于是Hadoop 厂商通过技术创新各显神通。,9,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,物理上的Hadoop集群,10,
6、企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,逻辑部署的Hadoop集群,11,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,简介: 江西电信Hadoop批处理平 台共由62台PC服务器构成, 形成物理上独立的3个RACK ,按照功能角色分组,主控 节点、数据节点、Hive接入 节点、元数据节点、监控告 警节点和ETL节点。 主控节点6台 (2台Namenode、1台 Jobtracker、3台 Zookeeper) 数据节点56台,江西电信物理部署的Hadoop集群,12,12 企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,第二篇HDFS,一: HDFS简
7、介 二: HDFS 架构 三: 漫画HDFS之读写机制 四: 漫画HDFS之容错性 五: 漫画HDFS之复制策略,13,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,1 HDFS简介,HDFS(HADOOP DISTRIBUTED FILE SYSTEM),是一个分布式文件系统。它 是谷歌的GFS提出之后出现的一种用户级文件系统。有一定的容错性, 能提供高吞吐量的数据访问,适合大规模数据集上的应用。 HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解决方案,14,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,2 HDFS 架构,Block:大文件的存储会被分割为多
8、个block进行存储。默认64MB,每一个 blok会在多个datanode上存储多份副本,默认3份,基 本 概 念,Namenode:主要负责存储一些metadata信息,主要包括文件目录、block 和文件对应关系,以及block和datanote的对应关系,Datanode:负责存储数据,数据以block的形式存在,15,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,3 HDFS 之漫画读写,16,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,3 HDFS 之漫画读写(续),17,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,3 HDFS 之漫画读写,
9、18,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,3 HDFS 之漫画读写,19,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,4 HDFS 之漫画容错,20,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,4 HDFS 之漫画容错,21,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,4 HDFS 之漫画容错,22,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,4 HDFS 之漫画容错,23,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,5 HDFS 之漫画复制策略,24,24 企业信息化部,把信息化打造成为中国电信企业核
10、心竞争力之一,第二篇 MapReduce,一:MapReduce基础 二:MapReduce优劣 三:MapReduce工作原理,25,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,1 MapReduce基础,MapReduce是一种编程模型,用于大规模数据集的并行计算。核心操作 由Map(映射)和Reduce(归约)组成,极大地方便了编程人员在不会分 布式并行编程的情况下,将自己的程序运行在分布式系统上,典型的MapReduce过程可以细分为Input(Split)、Mappers、(Shuffle/Partition/Sort)、 Reducers和Output等阶段,26,企
11、业信息化部,把信息化打造成为中国电信企业核心竞争力之一,1 MapReduce示例,1.输入端根据输入文本大小进行切片形成适合Map处理的数据片,2.分片后的数据申请Map资源,执行本地单词映射操作,3.通过交换将map生成的结果按照单词进行归并重组,4.重组后的结果,申请Reduce资源,进行单词的合并统计,5.对Reduce的结果进行记录合并生成输出文件,MapReduce 过程示例, 对输入的文 本进行单词 统计, 对输入的文 本进行单词 统计,27,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,2 MapReduce 执行过程,从MapReduce在整个Hadoop框架 的
12、位置可以看出作为Hadoop最成熟 的批处理框架,MapReduce起到承 上启下的作用,一方面可以操作 HDFS中的数据,另一方面可以被封 装,提供Hive、Pig这样的上层组件 的调用,28,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,MapReduce优劣,MapReduce的缺点, 通过MapReduce这个分布式处理框架,不仅能用于处理大规模数据, 而且能将很多繁琐的细节隐藏起来,比如,自动并行化、负载均衡和 灾备管理等,这样将极大地简化开发者工作 MapReduce的伸缩性非常好,也就是说,每增加一台服务器,其就 能将差不多的计算能力接入到集群中,而过去的大多数分布式
13、处理框 架,在伸缩性方面都与MapReduce相差甚远。 MapReduce的缺点 MapReduce最大的不足则在于,其不适应实时应用的需求,目前还 无法满足用户交互式的需求。,29,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,3 MapReduce+YARN,30,30 企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,第四篇 Hadoop常用组件简介,:Hadoop常用组件Hbase简介 : Hadoop常用组件Hive简介 : Hadoop常用组件Pig简介 :Hadoop常用组件Zookeeper简介 :Hadoop常用组件Sqoop简介 :Hadoop常用组件
14、Hue简介,31,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,1 Hbase简介,HBase是一个分布式的、多版本的、面向列的开源数 据库 利用Hadoop HDFS作为其文件存储系统,提供高可靠性、高性能、列 存储、可伸缩、实时读写的数据库系统 利用Hadoop MapReduce来处理HBase中的海量数据 利用Zookeeper作为协同服务,32,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,HBase 简介(续), 大:一个表可以有上亿行,上百万列 面向列:面向列(族)的存储和权限控制, 列(族)独立检索 稀疏:对于为空的列,并不占用存储空 间,因此,表可以设
15、计的非常稀疏 多版本:每条记录中的数据可以有多个 版本 无类型:存在HBase中的数据都是字符 串,无其他类型,33,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,HBase与RDBMS对比,Hbase的优点 y1 列的可以动态增加,并且列为空就不存储数据,节省存储空间. y2 可以自动切分数据,使得数据存储自动具有水平扩展. y3 可以提供高并发读写操作的支持 Hbase的潜在缺点 y1 不能支持条件查询,只支持按照Row key来查询 y2 暂时不能支持Master server的故障切换,当Master宕机后,整个存储系统就会挂掉,34,企业信息化部,把信息化打造成为中国电信
16、企业核心竞争力之一,2 HBase 体系结构,35,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,Hbase应用场景,成熟的数据分析主题,业务场景简单,不需要关系数据库 中很多特性,查询模式已经确定并且不易改变,传统的关系型数据库已经无法承受负荷,高速插入,有大 量读取清单的需求,并且有快速随机访问的需求 适合海量的,但是同时也是简单的操作,具备低延时的数 据返回,比如说key-value的操作,是生产环境对外访问可 行的方式,海量数据存储的驱使,具备动态扩展系统容量的需求,36,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,Hadoop常用组件Hive简介,Hive是
17、基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一 张数据库表,并提供完整的类sql查询功能,可以将类sql语句转换为 MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速 实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数 据仓库的统计分析。,37,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,当前数据分析方法,百万级,千万级,亿万级以上,Unix/Linux工具 awk、grep、sort、join等 RDBMS,如Mysql Perl、python、java等,RDBMS,如 Mysql、Mongodb
18、 Oracle、DB2等, 分布式: Oracle RAC、Greenplum Hadoop(开源免费) MPP,主要基于单机计算,基于集群并行计算,38,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,HIVE VS SQL,数据存储 HDFS/HBase Raw Device/Loacl FS 数据格式 用户自定义 系统决定 数据更新 不支持(覆盖之前数据) 支持 索引 有(0.8版本新增) 有 执行 MapReduce Executor 执行延迟 高 低 可扩展性 高(UDF、UDAF、UDTF) 低 数据规模 大(数据大于TB) 小 数据检查 读时模式 写时模式, 列分隔符(
19、通常为空格、”t”、”x001) 行分隔符(”n”), 随时间变化的 如MYSQL:MyISAM、InnoDB、MEMORY SQL:, 需要经常进行修改的,面向用户的数据 添加数据,,39,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,Pig是Hadoop上层的衍生架构,对比Hive(一种声明式的语言),Pig是 一种过程语言,类似于存储过程一步一步的对数据进行转化 Pig对MapReduce算法实现了一套shell,类似SQL语句,在Pig中称为 Pig Latin,可以对数据进行排序、过滤、求和、分组(group by)、关联 (Joining)等操作 Pig也可以由用户自定
20、义一些函数对数据集进行操作,也就是传说中的 UDF(user-defined functions)。,Hadoop常用组件Pig简介,40,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,Pig和Hive的对比,41,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,Pig的设计哲学, Pig语言可以操纵各种类型的数据,无论数据是否是元数据、是 否结构化,都没有问题,甚至可以扩展到对键/值 数据的操作,Pigs eat anything, Pig设计是独立成体系的,可以在Hadoop上的HDFS上实现运行, 也可以在其它的文件系统运行,Pig live anywhere, P
21、ig可以快速的处理数据,今后对pig的持续改进,将不会让它为 了实现某种功能而降低性能,目的就是为了让Pig可以自由的飞 翔,Pigs fly, Pig被设计为易于操作和修改,用户可以自己定义函数实现很多 数据操作的功能,为了更好的让数据操作函数共享,pig发起了 一个全球的pig bank的计划,上面会有全球pig开发工程师共享的 数据操作函数,这些函数可以免费共享和使用,Pigs are domestic animals,Pig什么都能吃,Pig 哪儿都能活,Pig哪儿都能养,让pig飞翔,42,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,ZooKeeper是一个针对大型分布式系统的可靠协调系统,提供的功 能包括:配置维护、名字服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易 用的接口和性能高效、功能稳定的系统提供给用户。,Hadoop常用组件ZooKeeper简介,43,企业信息化部,把信息化打造成为中国电信企业核心竞争力之一,sqoop主要用来在Hadoop和关系数据库中传递数据。通过sqoop,我们 可以方便的将数据从关系数据库导入到HDFS,或者将数据从HDFS导出 到关系
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- CR400AF动车组车体技术
- 深度复盘中水回用系统改造:融资轮次与头部玩家图谱
- 十五五智能人体感应传感器:2026年6G网络下的超感知融合
- 2024湖北省电力公司咸宁供电公司校园招聘62人【重点基础提升】模拟试题附带答案真题题库含答案18
- 2026年环保行业智能化设备应用报告
- 2026年家电行业消费分析报告:男性、女性、儿童消费差异比较
- 2026年电动车行业市场渠道策略研究报告
- 2026年教育行业报告:私有化部署与在线教育市场分析
- 2026年新材料行业市场应用领域拓展报告
- 2026年体育用品行业利润款产品创新研究
- 2026中国洗衣干衣行业市场现状需求分析投资布局发展策略研究文献
- 环境应急预案备案依据(3篇)
- 2026年江西省高考物理试卷真题(含答案及解析)
- 2026秋小学教科版科学五年级上册第二单元测试练习卷含参考答案
- 特香型白酒的讲解
- 2026中国邮政社会招聘笔试真题(完整版+详细答案解析)
- 五年级上册《白鹭》课件
- 岩爆的预防及处理培训课件
- 中国电信理工综合类笔试题库
- CSCO非小细胞肺癌诊疗指南(2026版)
- T∕CCEAS008-2026 建设工程造价咨询成果文件质量标准
评论
0/150
提交评论