第八章 FusionInsight 技术基础 - Loader架构原理

HCNP,FusionInsight,R2CXX,1.0,练韵文/113568,2015.12,张伟/301377,新开发,Loader架构原理,学完本课程后，您将能够：描述Loader的主要功能描述Loader的主要特性进行Loader作业的管理进行Loader作业的监控,Loader简介Loader操作维护,Loader简介,Loader,高性能,高可靠,图形化,提供图形化配置、监控界面，操作简便,LoaderServer采用主备双机作业通过MapReduce执行，支持失败重试两阶段导入数据，作业失败不会产生垃圾数据,利用MapReduce并行处理数据,安全,Kerberos认证,Loader特点,Loader模块架构,Loader,LoadClient,Tool,WebUI,LoadServer,RESTAPI,JobScheduler,TransformEngine,ExecutionEngine,SubmissionEngine,JobManager,MetadataRepository,HAManager,ExternalDataSource,JDBC,File,Yarn,MapTask,ReduceTask,HBase,HDFS,JDBC,SFTP/FTP,Loader模块架构模块说明,Loader部署原则,Loader必须部署到NodeManager所在的节点必须部署在两个节点（主备双机）,Loader简介Loader操作维护登录Loader的UI界面Loader作业管理创建Loader作业监控作业执行状态,登录Loader的UI界面,Loader作业管理,1.点击”Newjob”按钮，进入新建作业向导。,创建Loader作业-步骤1,1.配置作业的名称、类型和连接。2.没有需要的连接时，可以通过增加新连接进行配置。,创建Loader作业-步骤2,1.配置当前作业相关的外部数据源参数。,创建Loader作业-步骤3,1.配置当前作业相关的Hadoop参数。,创建Loader作业-步骤4,1.配置当前作业数据转换参数。,监控作业执行状态,查看所有作业执行状态：1.进入Loader作业管理界面。2.界面会显示当前的所有作业和作业最后一次执行状态。3.选中一个作业，可以点击上方的按钮执行相应的操作。,监控作业执行状态作业历史记录,查看指定作业历史执行记录：1.选中一个作业，点击上方的“Viewthehistory”按钮，进入作业历史查看界面。2.该界面显示作业每次执行的启动时间、执行时长、状态、失败原因、读取记录/文件数、写入记录/文件数、跳过记录/文件数、脏数据链接、MapReduce日志链接。,监控作业执行状态脏数据查看,查看脏数据：1.在作业历史查看界面上，发现跳过记录数不为0时，点击“Dirtdata”按钮，进入该次执行脏数据查看界面。2.脏数据存放在HDFS，每个MapTask处理的脏数据记录到一个文件。,监控作业执行状态MapReduce日志,1.在作业历史查看界面，点击“Logs”按钮，进入该次执行的MapReduce日志界面。,作业执行失败时上报告警,监控