《Hadoop批处理技术与应用》课件-第十三章 作业调度引擎Azkaban

第十三章作业调度引擎Azkaban12Azkaban简介及其体系架构Azkaban的安装配置3使用Azkaban调度任务Azkaban简介及其体系架构第十三章作业调度引擎Azkaban01什么是工作流引擎？第十三章作业调度引擎Azkaban工作流（WorkFlow）就是工作流程的计算模型，即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。工作流要解决的主要问题是：为实现某个业务目标，在多个参与者之间，利用计算机，按某种预定规则自动传递。举例：员工请假的流程Azkaban简介第十三章作业调度引擎AzkabanAzkaban的核心组件第十三章作业调度引擎AzkabanPage

7作业调度的原理第十三章作业调度引擎Azkaban首先Webserver根据内存中缓存的各Executor的资源状态（Webserver有一个线程会遍历各个activeexecutor，去发送http请求获取其资源状态信息缓存到内存中），按照选择策略（包括executor资源状态、最近执行流个数等）选择一个executor下发作业流；然后executor判断是否设置作业粒度分配，如果未设置作业粒度分配，则在当前executor执行所有作业；如果设置了作业粒度分配，则当前节点会成为作业分配的决策者，即分配节点；分配节点从zookeeper获取各个executor的资源状态信息，然后根据策略选择一个executor分配作业；被分配到作业的executor即成为执行节点，执行作业，然后更新数据库。

Azkaban的安装和配置

第十三章作业调度引擎Azkaban02Page

9安装和配置MySQL第十三章作业调度引擎Azkaban创建数据库:CREATEDATABASEazkaban;Useazkaban;source~/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql安装AzkabanWebServer第十三章作业调度引擎Azkaban解压安装包：tar–zxvfazkaban-web-server-2.5.0.tar.gz–C~/azkaban/上传mysql驱动包至~/azkaban/azkaban-web-2.5.0/extlib/生成jettyssl所需密钥文件注意：这里keystore的密码为mysteel,key的密码为mysteel可自行修改最后将生成的keystore文件放到Azkaban安装目录中~/azkaban/azkaban-web-2.5.0/（也可通过修改配置文件改变其默认存放地址）安装AzkabanWebServer第十三章作业调度引擎Azkaban修改配置文件(conf/preties)安装AzkabanWebServer第十三章作业调度引擎Azkaban用户及权限配置Page

13AzkabanExecutorServer安装第十三章作业调度引擎Azkaban解压安装包：tar–zxvfazkaban-executor-server-2.5.0.tar.gz–C~/azkaban/修改配置文件(conf/preties）Page

14启动验证第十三章作业调度引擎Azkaban登录界面第十三章作业调度引擎Azkaban

使用Azkaban调度任务

第十三章作业调度引擎Azkaban03使用Azkaban创建作业任务第十三章作业调度引擎Azkaban下面给大家介绍使用流程，首先，我们在WebServer的WebConsole上创建一个项目，如下图所示：使用Azkaban创建作业任务第十三章作业调度引擎Azkaban然后，点击上传按钮，将我们编写好的应用进行打包上传。这里WordCount为例子。如下图所示：创建任务的zip文件第十三章作业调度引擎Azkaban在WordCount.zip文件中，包含两个文件，一个是我们编写需要执行的JAR文件，另一个是对JAR文件进行描述的Job文件，即：WordCount.job，其内容涉及如下：type=javaprocessjava.class=cn.java.HelloPage

20设置任务第十三章作业调度引擎Azkaban在ExecutorFlow中可以设置，告警通知者，在执行完成，或是失败的时候通知应用开发者，让其知晓执行进度，如下所示：Page

21设置任务调度时间第十三章作业调度引擎Azkaban如下图，我们点击Schedule按钮，可以设置调度的时间。如下图所示：任务调度信息第十三章作业调度引擎Azkaban在调度模块，显示该项目任务的调度信息，如下图所示：Oozie和Azkaban的区别第十三章作业调度引擎Azkaban两者在功能方面大致相同，只是Oozie底层在提交HadoopSpark作业是通过org.apache.hadoop的封装好的接口进行提交，而Azkaban可以直接操作shell语句。在安全性上可能Oozie会比较好。工作流定义：Oozie是通过xml定义的而Azkaban为properties来定义。部署过程：Oozie的部署相对困难些，同时它是从Yarn上拉任务日志。Azkaban中如果有任务出现失败，只要进程有效执行，那么任务就算执行成功，这是BUG，但是Oozie能有效的检测任务的成功与失败。操作工作流：Azkaban使用Web操作。Oozie支持Web，RestApi，JavaAPI操作。权限控制：Oozie基本无权限控制，Azkaban有较完善的权限控制，供用户对工作流读写执行操作。Oozie的action主要运行在hadoop中而Azkab