课件yarn支持的计算框架

1、Hadoop大数据解决方案进阶应用Hadoop讲师：迪伦（北风网 ）YARN支持的计算框架(3) Storm On YARN服务 Apache Tez介绍 Tez实现原理课程目标YARN-Storm ApplicationMasterStorm ApplicationMaster初始化时，将在同一个Container中启动Storm Nimbus和Storm Web UI两个服务根据待启动的Supervisor数目向ResourceManager申请资源ApplicationMaster将请求一个节点上所有资源然后启动Supervisor服务也就是说，当前Supervisor将独占节点而不会与

2、其他服务共享节点资源，这种情况下可避免其他服务对Storm集群的干扰Storm ApplicationMaster还会启动一个Thrift Server以处理来自YARN-Storm Client端的各种请求当前Storm On YARN存在的问题难以将所有Storm服务运行在相邻的节点上，比如同一个机架上由于Nimbus服务运行在ApplicationMaster上，而一旦ApplicationMaster失败后，YARN会将它运行在另外一个节点上YARN需要提供一个ApplicationMaster或Nimbus位置获取服务，客户端直接通过该服务获取Nimbus位置即可NodeManage

3、r本身无法支持动态升级Apache Tez是什么Tez是Apache开源的支持DAG作业的计算框架直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分Map被拆分成Input、Processor、Sort、Merge和Output Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output分解后的元操作可以任意灵活组合，产生新的操作，这些操作经过一些控制程序组装后，可形成一个大的DAG作业天生融入Hadoop 2.0中的资源管理平台YARNTez主要由两部分组成数据处理引擎DAGAppMaster传统的MR运行过程包括H

4、ive，Pig和直接编写MR程序采用Tez的运行过程使用MapReduce和Tez解决WordCount问题Tez特点与MapReduce兼容，继承了MapReduce的各种优点（比如良好的扩展性和容错性）运行在YARN之上适用于DAG（有向图）应用Apache当前有顶级项目Oozie用于DAG作业设计，但Oozie是比较高层（作业层面）的Tez在更底层提供了DAG编程接口，用户编写程序时直接采用这些接口进行程序设计，这种更底层的编程方式会带来更高的效率Tez数据处理引擎Tez提供了6中可编程组件，实现了一些常见的算法和组件Input：对输入数据源的抽象，类似于MR模型中的InputFormat，它解析输入数据格式，并吐出一个个Key/valueOutput：对输出数据源的抽象，类似于MR模型中的OutputFormat，它将用户程序产生的Key/value写入文件系统Partitioner：对数据进行分片，类似于MR中的PartitionerProcessor：对计算单元的抽象，它从一个Input中获取数据，经用户定义的逻辑处理后，通过Output输出到文件系统Task：对任务的抽象，每