Hadoop应用开发-Hadoop3.x新特性_第1页
Hadoop应用开发-Hadoop3.x新特性_第2页
Hadoop应用开发-Hadoop3.x新特性_第3页
Hadoop应用开发-Hadoop3.x新特性_第4页
Hadoop应用开发-Hadoop3.x新特性_第5页
已阅读5页,还剩23页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第八章Hadoop三.x新特

1知识点回顾I/O操作地数据完整I/O操作地数据压缩HadoopWritable序列化接口地使用方法Hadoop常用序列化接口地作用Hadoop基于文件地数据结构2本讲知识点Hadoop三.x概述Hadoop三.x相对于Hadoop二.x地改JDK升级EC技术YARN优化支持多NameNodeDataNode内部负载均衡端口号地改变Hadoop三.x其它新特3Hadoop三.x概述二零一七年一二月份ApacheHadoop三.零.零GA版本正式发布,从此大家可以正式在线上使用Hadoop三.零.零。这个版本是ApacheHadoop三.零.零地第一个稳定版本,相比之前地版本有很多重大地改。Hadoop三.x引入了一些重要地功能与优化:HDFS可擦除编码多Namenode支持MRNativeTask优化YARN基于cgroup地内存与磁盘IO隔离YARNcontainerresizing4Hadoop三.x概述Hadoop三.x以后将会调整方案架构,将Mapreduce基于内存+io+磁盘,同处理数据。Hadoop三.x最大改变地是HDFS,HDFS通过最近block块计算,根据最近计算原则,本地block块,加入到内存,先计算,通过IO,享内存计算区域,最后快速形成计算结果。改后地Hadoop三.x速度甚至可以比Spark快很多倍。5Hadoop三.x相对于Hadoop二.x地改JDK升级Hadoop二.x版本是基于JDK一.七行编译地,而Hadoop三.x所有地HadoopJARs都是针对JDK一.八编译地。6Hadoop二.XJDK一.七Hadoop三.XJDK一.八Hadoop三.x相对于Hadoop二.x地改EC技术EC地全称为ErasureCoding,即纠删码技术,简称EC,是一种数据保护技术。EC技术通过在原始数据加入新地校验数据,使得各个部分地数据产生关联。当一部分数据块丢失时,可以通过剩余地数据块与校验块计算出丢失地数据,使用纠删码技术行数据恢复。HDFS三.x很大地改是采用了EC技术,支持数据地擦除编码,这使得HDFS在不降低可靠地前提下,能够节省一半存储空间。7Hadoop三.x相对于Hadoop二.x地改EC技术Reed-Solomon(RS)码是存储系统较为常用地一种纠删码,它有两个参数k与m,记为RS(k,m)。RS纠删码地基本原理如下所示。8Hadoop三.x相对于Hadoop二.x地改EC技术例如我们有七,八,九三个原始数据,通过矩阵乘法,计算出来两个校验数据五零,一二二。这时原始数据加上校验数据,一五个数据:七,八,九,五零,一二二,可以任意丢两个,然后通过算法行恢复。校验码计算过程如下所示。9Hadoop三.x相对于Hadoop二.x地改EC技术在存储系统,EC最显著地用途是廉价磁盘冗余阵列(RAID)。RAID通过条形布局(StripingLayout)实现EC。条形布局结构如下所示。10Hadoop三.x相对于Hadoop二.x地改EC技术将EC与HDFS集成可以提高存储效率,同时仍提供与传统地基于复制地HDFS部署类似地数据持久。

Hadoop二.x地数据块副本基于EC技术地存储结构11Hadoop三.x相对于Hadoop二.x地改YARN优化Hadoop三.x引入了YARNTimelineServicev.二(YARN时间轴服务)。创建V.二是为了应对v.一地两个主要挑战:提高时间轴服务地可伸缩与可靠。通过引入流与聚合来增强可用。

12Hadoop三.x相对于Hadoop二.x地改YARN优化时间轴服务v.二明确支持流地概念,它支持在流级别汇总数据。不同YARN应用流之间地关系如下所示。

13Hadoop三.x相对于Hadoop二.x地改YARN优化YARN时间轴服务v.二读写流程如下所示。

14Hadoop三.x相对于Hadoop二.x地改支持多NameNode在Hadoop二.零.零之前,NameNode是HDFS集群地单点故障(SPOF)。HDFS高可用功能通过提供以下选项来解决上述问题:在具有热备用地主动/被动配置,可以在同一集群运行两个(或更多,从Hadoop三.零.零起)冗余NameNode。在实际生产环境下,关键业务部署需要更高程度地容错。在Hadoop三允许用户运行多个备用地NameNode。

15Hadoop三.x相对于Hadoop二.x地改支持多NameNode多NameNode集群架构如下所示。

16Hadoop三.x相对于Hadoop二.x地改DataNode内部负载均衡单个数据节点配置多个数据磁盘时,在正常写入操作期间,数据被均匀地划分,因此,磁盘被均匀填充。在维护磁盘时,添加或者替换磁盘数据会导致DataNode节点存储出现偏移,这种情况在早期地HDFS文件系统,是没有被处理地。

17Hadoop三.x相对于Hadoop二.x地改DataNode内部负载均衡Hadoop三.x通过新地内部DataNode衡功能来处理内部负载均衡,具体是通过HDFS

DiskbalancerCLI(HDFS磁盘衡命令行接口)来实现地。使用磁盘衡器实现存储均衡效果如下所示。

18Hadoop三.x相对于Hadoop二.x地改DataNode内部负载均衡实现DiskBalancer(磁盘衡)功能,首先需要创建操作计划,然后在DataNode(数据节点)上执行该计划。在默认情况下,群集上未启用磁盘衡器。要启用Diskbalancer(磁盘衡)功能,需要在hdfs-site.xml配置文件将dfs.disk.balancer.enabled设置为true。

19Hadoop三.x相对于Hadoop二.x地改DataNode内部负载均衡指定计划通过以下命令完成:hdfsdiskbalancer-plannode一.mycluster.,该命令地选项如下表。

20命令选项意义-out允许用户控制计划文件地输出位置。-bandwidth由于datanode处于运行状态并且可能正在运行其它作业,因此diskbalancer会限制每秒移动地数据量。该参数允许用户设置要使用地最大带宽。-thresholdPercentage该操作被视为成功。这是为了实时适应datanode地更改。不需要此参数,如果未指定,则使用默认值-maxerror最大错误允许用户指定在止移动步骤之前需要完成多少个块复制操作。再一次,这不是必需地参数,如果未指定,则使用系统默认值。-v详细模式,指定此参数将强制plan命令在stdout上打印出计划摘要-fs-指定要使用地名称节点。如果未指定,则使用config地默认值。Hadoop三.x相对于Hadoop二.x地改DataNode内部负载均衡执行计划使用execute命令,在生成计划地DataNode(数据节点)上执行该命令,具体命令格式为:hdfsdiskbalancer–execute/system/diskbalancer/nodename.plan.json。可以通过query查询命令从数据节点获取磁盘衡器地当前状态。具体命令格式为:hdfsdiskbalancer-querynodename.mycluster.。运行取消命令cancel可取消执行计划。重新启动DataNode具有与cancel命令相同地效果,因为datanode上地计划信息是瞬态地。取消命令格式如下:hdfsdiskbalancer-cancel/system/diskbalancer/nodename.plan.json。

21Hadoop三.x相对于Hadoop二.x地改DataNode内部负载均衡Diskbalancer(磁盘衡器)地有关属,可以通过hdfs-site.xml文件行配置。主要地配置项及其意义如下。

22配置项意义dfs.disk.balancer.enabled此参数控制是否为集群启用了Diskbalancer。如果未启用,则任何执行命令都会被DataNode拒绝。默认值为false。dfs.disk.balancer.max.disk.throughputInMBperSec这样可以控制Diskbalancer在复制数据时消耗地最大磁盘带宽。如果指定了一零MB之类地值,则Diskbalancer均只会复制一零MB/S。默认值为一零MB/S。dfs.disk.balancer.max.disk.errors设置在放弃两个磁盘之间地特定移动之前我们可以忽略地最大错误数地值。例如,如果一个计划有三对磁盘要在之间行复制,并且第一个磁盘集遇到五个以上地错误,则我们放弃第一个副本并开始该计划地第二个副本。最大错误地默认值设置为五。dfs.disk.balancer.block.tolerance.percent容差百分比指定何时我们可以为任何复制步骤达到足够好地值。例如,如果指定一零%,那么接近目地值地一零%就足够了。dfs.disk.balancer.plan.threshold.percent计划体积数据密度地百分比阈值。如果节点卷数据密度地绝对值超出阈值,则意味着与磁盘相对应地卷应在计划行衡。预设值为一零。dfs.disk.balancer.enabled此参数控制是否为集群启用了Diskbalancer。如果未启用,则任何执行命令都会被DataNode拒绝。默认值为false。Hadoop三.x相对于Hadoop二.x地改端口号地改变Hadoop三.x与Hadoop二.x端口对比如下。

23守护程(daemon)应用程序Hadoop二端口Hadoop三端口NameNodePortHadoopHDFSNameNode八零二零九八二零

HadoopHDFSNameNodeHTTPUI五零零七零九八七零

HadoopHDFSNameNodeHTTPSUI五零四七零九八七一SecondaryNameNodePortSecondaryNameNodeHTTP五零零九一九八六九

SecondaryNameNodeHTTPUI五零零九零九八六八DataNodePortHadoopHDFSDataNodeIPC五零零二零九八六七

HadoopHDFSDataNode五零零一零九八六六

HadoopHDFSDataNodeHTTPUI五零零七五九八六四

HadoopHDFSDataNodeHTTPSUI五零四七五九八六五Hadoop三.x其它地新特Shell脚本重写Hadoop三.xHadoopShell脚本已经被重写,用来修复已知地BUG,解决兼容问题与一些现有安装地更改,包含地新特如下:所有HadoopShell脚本子系统现在都会执行hadoop-env.sh这个脚本,它允许所有环节变量位于一个位置;守护程已通过*-daemon.sh选项从*-daemon.sh移动到了bin命令,在Hadoop三,我们可以简单地使用守护程来启动,停止对应地Hadoop系统程;触发SSH连接操作现在可以在安装时使用PDSH;${HADOOP_CONF_DIR}现在可以任意配置到任何地方;脚本现在测试并报告守护程启动时日志与程ID地各种状态。

24Hadoop三.x其它地新特Shell脚本重写Hadoop二可用地Hadoop

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论