大数据技术基础及应用（微课版） 实验手册11.Oozie任务调度实战

Oozie任务调度实战实验背景Oozie是一个基于工作流引擎的开源框架，能够提供对Hadoop作业的任务调度与协调。Oozie支持提交多种类型任务，例如Hive、Spark、Loader、Mapreduce、Java、DistCp、Shell、HDFS、SSH、SubWorkflow、Streaming、定时任务等。实验目的掌握Oozie常用操作。实验前提实验环境创建成功后，请等待1-2分钟，后台在执行start-oms.sh脚本：执行sh${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh命令查看OMS的状态，显示信息表示主备OMS服务启动正常再执行下一步。在windows-client打开GoogleChrome浏览器登录FusionInsightManager地址（00:8080/web）。登录FusionInsightManager后，单击“服务管理”，选择“更多操作>启动集群”。在弹出的提示框中单击“确定”，开始启动集群。界面提示“操作成功。”，单击“完成”，集群成功启动。使用SecureCRT工具登录到fihsots-1节点上，接下来进行环境变量设置与用户认证。cd/opt/hadoopclient/切换到客户端安装目录。sourcebigdata_env配置环境变量。kinituser01进行用户认证，输入用户密码客户端文件安装于fihosts-1服务器的/opt/hadoopclient目录中，认证用户user01，密码Huawei!@34实验任务使用Oozie客户端使用客户端使用PuTTY工具，以客户端安装用户，登录安装客户端的节点。执行以下命令，切换到客户端安装目录。cd/opt/hadoopclient执行以下命令配置环境变量。sourcebigdata_env判断集群认证模式。kinit

组件业务用户配置Hue拷贝Oozie客户端配置文件：cp/opt/hadoopclient/Oozie/oozie-client-4.2.0/conf/hive-site.xml/opt/hadoopclient/Oozie/oozie-client-4.2.0/examples/apps/hivecp/opt/hadoopclient/Oozie/oozie-client-4.2.0/conf/hive-site.xml/opt/hadoopclient/Oozie/oozie-client-4.2.0/examples/apps/hive2上传Oozie配置文件以及Jar包至HDFS：hdfsdfs-mkdir/user/exampleUserhdfsdfs-put-f/opt/hadoopclient/Oozie/oozie-client-4.2.0/examples/user/exampleUser/hdfsdfs-put-f/opt/hadoopclient/Oozie/oozie-client-4.2.0/share/lib/user/oozie/share/注：“exampleUser”为提交任务的人机用户名。上传Oozie配置文件上传完成后建议重启Oozie服务Oozie提交Loader作业创建Oozie工作流用户通过Hue管理界面可以进行提交Oozie作业，提交作业之前，首先需要创建一个工作流。登录FusionInsightManager，单击“服务管理

>

Hue

>

Hue(主)

”，打开Hue管理界面。使用user01登录Hue的Web管理界面。在界面上方选择“Workflows

>

编辑器

>

Workflow”，打开Workflow编辑器。单击“创建”按钮，在操作列表中，选择需要创建的作业类型，将其拖到操作界面中即可。新建Loader业务作业请参照《Loader数据导入导出实战》实验手册的实验1，准备好Loader的业务作业在新建Loader作业的最后一步“输出设置”中，点击“保存”，只保存不运行作业编辑Oozie工作流在工作流编辑页面，选择“Loader”按钮，将其拖到操作区中。在弹出的“Loader”窗口中配置“作业ID”的值，例如“1”。然后点击“添加”。

说明：JobID是需要编排的Loader作业的ID值，可从Loader页面获取单击Oozie编辑器右上角的保存按钮。保存前如果需要修改作业名称（默认为“MyWorkflow”），可以直接点击该名称进行修改，例如“Loader-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。单击“Workflows>仪表板”，在打开的Oozie控制面板中可以查看Workflow、Coordinator、Bundle任务的相关信息。Oozie提交HDFS作业创建Oozie工作流请参照上实验1的步骤1，新建Oozie工作流编辑Oozie工作流在工作流编辑页面，选择“HDFSFs”按钮，将其拖到操作区中。在弹出的“HDFSFs”窗口中点击“添加”。单击“CREATEDIRECTORY+”，添加待创建的HDFS目录。例如“/user/admin/examples/output-data/mkdir_workflow”和“/user/admin/examples/output-data/mkdir_workflow1”。单击Oozie编辑器右上角的保存按钮。保存前如果需要修改作业名称（默认为“MyWorkflow”），可以直接点击该名称进行修改，例如“HDFS-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。验证HDFS下是否有创建文件>hdfsdfs-ls/user/admin/examples/output-dataFound2itemsdrwxr-xr-x-user01hadoop02019-06-1815:34/user/admin/examples/output-data/mkdir_workflowdrwxr-xr-x-user01hadoop02019-06-1815:34/user/admin/examples/output-data/mkdir_workflow1提交JobDesign-HDFS作业该任务指导用户通过Hue的作业设计器页面，提交HDFS类型的Oozie作业。打开Hue，点击进入。在作业设计器页面，选择“新操作”里面的。出现如下视图：配置参照如下示例。名称：Hdfs-JobDesign描述：Hdfs-JobDesig