Hadoop项目实战开发15-YARN支持的计算框架.ppt_第1页
Hadoop项目实战开发15-YARN支持的计算框架.ppt_第2页
Hadoop项目实战开发15-YARN支持的计算框架.ppt_第3页
Hadoop项目实战开发15-YARN支持的计算框架.ppt_第4页
Hadoop项目实战开发15-YARN支持的计算框架.ppt_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

HadoopHadoop大数据解决方案大数据解决方案进阶应进阶应进阶应进阶应 用用 Hadoop 讲师：迪伦（北风网版权所有） YARN支持的计算框架(5) q Tez与其他系统对比 q 配置Tez q 什么是Spark 课程目标 Tez与其他系统对比 q 与Oozie对比 Oozie是工作流调度系统，按照用户定义好的作业依赖关系调度 作业 Oozie只是一种作业依赖关系表达和调度框架，逻辑上并没有将 有依赖关系的作业合并成一个作业来优化I/O读写 q 与MapReduce对比 MapReduce只是一种简单的数据处理模型 Tez可以包含任意多个数据处理阶段 Tez可作为MapReduce之下的数据处理引擎 Tez与MapReduce编程接口完全兼容 Tez特色总结 q 丰富的数据流（dataflow，NOT Streaming！）编程接口 q 扩展性良好的“Input-Processor-Output”运行模型 q 简化数据部署（充分利用了YARN框架，Tez本身仅是一个客户 端编程库，无需事先部署相关服务） q 性能优于MapReduce q 优化的资源管理（直接运行在资源管理系统YARN之上） q 动态生成物理数据流（dataflow） 配置Tez q 部署好Hadoop 2.2.0 q 构建tez $ mvn clean install -DskipTests=true -Dmaven.javadoc.skip=true q 拷贝Jars包和相关文件到HDFS $ hadoop dfs -put tez-dist/target/tez-0.4.0-incubating/tez-0.4.0- incubating /apps/ q 配置tez-site.xml来设置tez.lib.uris指向HDFS中包含jars的路 径 比如：”$/apps/tez-0.4.0- incubating,$/apps/tez-0.4.0-incubating/lib/” 配置Tez q 修改mapred-site.xml 启动Tez AM 设置CLASSPATH q 修改hadoop-env.sh q 提交一个MR作业 $ hadoop jar hadoop-mapreduce-client-jobclient-3.0.0-SNAPSHOT- tests.jar sleep -mt 1 -rt 1 -m 1 -r 1 什么是Spark q Spark是一种与Hadoop相似的开源集群计算环境 q Spark基于MR算法实现的分布式计算，拥有Hadoop MR的优 点，不同的是结果保存在内存中 q Spark是一个针对超大数据集合的低延迟的集群分布式计算系 统，比MapReduce快40倍左右 q Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序 框架 q Spark兼容Hadoop的API，能够读写H
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论