ETL调度产品TASKCTL-CIR2.1产品介绍.pptx

产品网站：产品网站： TASKCTL-CIR 2.1TASKCTL-CIR 2.1 产品介绍产品介绍 ETLETL调度领域专业产品调度领域专业产品 2 2 报告议程 一、产品背景 二、产品概述 三、产品亮点与优势 四、产品功能 五、产品功能特征总结 一、产品背景 六、关于产品不同版本 3 不变的技术体系：企业EAI战略的不断深入，ETL数据项目的不断展 开。调度不仅是ETL项目必不可少的功能，同时调度也是ETL技术框架下 不变的技术体系 产品背景 调度是ETL领域不变的技术体系 银行业 证券业 通信业 电力业 其它行业 DW类ODS类 绩效 理财 CRM 信贷 其 它 DM 基础数据类 集中数据应用类 各行业各ETL系统 调度 调度软件 任务1任务2 任务3任务4 任务n 不变的技术体系 4 产品背景 调度现状 目前，市场调度实施主要包括以下三种方案： p 项目开发调度：该方案主要根据项目具体的需求以及结合调度 的规模，设计并实施不同程度的调度 p ETL工具调度：比如Datastage、Informatica、ODI、Kettle p 专业调度产品：比如国外Control-M；国内Moia、ETL-Plus 、 WFT等，其中Control-M是美国BMC公司产品，目前是调度 业界全球顶级产品，在国内有一定的客户量 5 产品背景 调度现状分析 首先，我们来了解调度两大主要问题： （一） 核心功能 能完成什么样的调度？ （二） 用户体验 用户怎样使用调度？ 6 产品背景 调度现状分析 核心功能主要体现为： p 什么条件下调用执行： 比如关系条件依赖、并行、互斥 等；执行计划周期条件、资源条件等 p 在哪儿执行： 比如控制多台ETL时任务在那台机器上执 行；是否可以负载均衡等 p 能执行什么任务：是否可以支持Datastage任务、 Informatica任务以及其它不同种类的任务 7 产品背景 调度现状分析 用户体验主要体现为： p 用户怎样管理调度平台：比如各种与调度相关的信息管 理、系统初始配置管理等 p 用户怎样设计开发流程： 调度流程设计是调度应用的最 主要内容，具体流程信息是需要用户设计与开发 p 用户怎样对调度进行监控维护：监控维护是调度出现频 率最高的应用场景 8 产品背景 调度现状分析 调度现状在用户体验方面存在以下两个主要问题： （一） 对于大流程图表现力度不够，缺乏一定 的适用性与可操作性 （二） 对于大量任务流程缺乏有效且适用的开 发设计手段 9 9 报告议程 一、产品背景 二、产品概述 三、产品亮点与优势 四、产品功能 二、产品概述 一、产品背景 五、产品功能特征总结 六、关于产品不同版本 10 TASKCTL秉承专业、专注的产品理念，坚持以ETL调 度为核心发展方向 产品概述 产品定位 行业数据项目方案 银行业 证券业 通信业 电力业 其它行业 DW类 ODS类 Datastage TASKCTL 企业级调度平台 InformaticaKettleOther ETL专业工具平台产品 绩效 理财 CRM 信贷 其它 DM 数据类项目 基础数据类 集中数据应用类 企业网络 偏重技术： 传统ETL工具负 责与业务数据相关 的任务处理 偏重管理与控制： TASKCTL负责任务的调 度以及ETL项目结构展示 产品概述 产品发展历程 n流程文本代码方式设计 n简单后台应用系统 TASKCTL (原型) TASKCTL1. 0 TASKCTL2. 1 TASKCTL2013 （规划中） n无数据库设计 n核心三层架构 n完整后台应用系统 n任务类型插件扩展 nC语言二次开发接口 n核心四层架构 n提供完整桌面图形界面 系统 n后台应用系统重组 n增加调度用户管理 n提升图形操作能力 n提供JAVA二次开发包 2007年 产品化程度 2009年2011年 2013年 当前版本： 2.1不仅仅增加了图形界面系 统，从整体应用的角度，与以 前版本相比有了质的飞跃 产品概述 产品架构 q 整体架构 产品概述 产品架构 q 产品核心架构 1414 报告议程 一、产品背景 二、产品概述 三、产品亮点与优势 四、产品功能 五、关于产品不同版本 三、产品亮点与优势 二、产品概述 产品亮点与优势(一) 无数据库技术平台 TASKCTL从1.0开始就采用无数据库设计 ，信息主要通过共享内存与文件系统的方式进行 交换与存储。 该方式不仅使用户安装更容易，同时也使用 户减少极大的维护工作量。 专业的操作界面 一款调度系统软件界面很多，但流程图 应该说是调度最重要的界面，以下我们就以流 程图界面来展示业界专业化的变化历程。 产品亮点与优势(二) TASKCTL 界面设计不仅吸取了调度 界各家经验，同时也充分借鉴其它相 关工具软件的布局与展示技巧 完整应用体系 TASKCTL调度平台不仅仅完成各种调度的核心功能 ，同时从用户体验的角度，分别从安装、初始化配置、流 程设计、流程运行监控维护等各个使用环节设计了相配套 的应用工具软件。 另外，为了满足不同的应用场景以及不同操作习惯用 户，TASKCTL不仅有完整的图形桌面应用系统，同时 还具有与之对应的后台字符界面系统。 产品亮点与优势(三) 完整应用体系 q 三套不同应用场景软件的关系 产品亮点与优势(三) 产品亮点与优势(三) 完整应用体系 q 图形桌面系统与后台字符界面系统 桌面应用系统字符界面系统 Admin 平台综合管理系统 Designer 流程集成开发环境 Monitor 流程监控管理系统 Admin 平台综合管理系统 Flowc 流程配置设计系统 Monitor 流程监控管理系统 前后台应用系统主要区别： n前台桌面软件比后台软件更直观 n后台软件比前台桌面软件功能更全面 强大的图形展示平台 TASKCTL 2.1不仅仅是能够展示流程图。为了使大量任务流程 图保留显示直观性、美观感以及操作的可行性、流畅性，在流程 图展示操作时，具有很多显示特性与操作技巧 钻取显示 规则排列是图形 永远直观 自动排列 钻取显示使图形 具有结构化操作性 中英切换 中英切换方便了用 户从业务的角 度理解流程 缩放图 缩放图使用户对大流程 有直观的全局干以及 大范围的定位 定位搜索 定位搜索可使用户在大流程图快 速定位指定的任务节点 强大的图形 展示平台 规则排列使图形 永远直观 自动排列 中英切换 中英切换方便了用 户从业务的角 度理解流程 定位搜索 定位搜索可使用户在大流程图快 速定位指定的任务节点 钻取显示 钻取显示使图形 具有结构化操作性 缩放图 缩放图使用户对大流程 有直观的全局感以及 大范围的定位 强大的图形 展示平台 TASKCTL对流程展示实际 有八个特征，在此着重介 绍五个特征 产品亮点与优势(四) 产品亮点与优势 强大的图形展示平台(一) q 自动排列 自动规则排列，不论任务多少，关 系永远清晰，且无线条交叉与重叠 产品亮点与优势 强大的图形展示平台(二） q 钻取显示 双击模块节点展示 下级模块流程图 产品亮点与优势 强大的图形展示平台(二） q 钻取显示 产品亮点与优势 强大的图形展示平台(二) q 钻取显示 通过点击模块节点或上级模块右击 菜单的方式进行下钻返回，从而达到 关联模块之间便捷切换操作 产品亮点与优势 强大的图形展示平台(三) q 缩放图 拖动该按钮可以 放大缩小流程图 拖动该方框使流程 在主窗口中移动 对于大模块流程，为了操作展示方便，我 们采用缩放图导航窗口的方式，方便用户对 图形的整体认识与范围定位操作。 产品亮点与优势 强大的图形展示平台(四) q 定位搜索 目前选中项定 位在该节点 输入并选择需定 位的任务节点 产品亮点与优势 强大的图形展示平台(四) q 定位搜索 系统自动将选定的任 务定位到窗口中央 在大流程应用中，通过任务查询定位的 方式给其它很多应用操作带来极大的便捷性 产品亮点与优势 强大的图形展示平台(五) q 中英切换 目前流程节点 显示英文名称 点击此按钮 中英切换 产品亮点与优势 强大的图形展示平台(五) q 中英切换 经过切换后显示中 文说明信息 TASKCTL流程图采用节点英文名称 与中文说明自由切换的方式进行图形展 示，这极大提高了流程图的阅读性与可 理解性 产品亮点与优势(五) 流程的代码与图形同时设计方式 q 代码方式 用户通过对具有一定 语法规则的代码可以 快速编辑设计流程 错误列表窗口适时报 告流程代码的对错， 提高用户编辑的正确 性 产品亮点与优势(五) 流程的代码与图形同时设计方式 q 图形编辑方式 第一步：从工具箱拖 拽任务图标到左边窗 口指定位置 第二步：通过任务属 性窗口编辑任务节点 各种属性 用户可以结合自身对流程代码的理解深度以及操作习惯， 既可以通过图形对话框的方式设计，又可以通过编辑性很强 的文本代码方式进行设计开发。该方式杜绝传统借助诸 如第三方Excel补充配置方案，使平台对流程的配置设 计以及流程管理真正达到系统级的应用统一。 产品亮点与优势(六) 统一的任务扩展与应用 不同任务类型的扩展是专业调度平台的基本要 求，但我们认为调度平台不仅仅要能够扩展不同 的任务，同时还要对不同类型任务在应用时保证 统一，需要有统一的应用接口。 统一的任务扩展与应用 q 任务驱动插件机制 为了适应诸如Datastage、Informatica等各种任务的支持与 扩展，同时保证不同任务类型的应用统一，TASKCTL对任务的控 制采用插件驱动机制 产品亮点与优势(六) 统一的任务扩展与应用 q 统一应用接口 统一任务定义接口： 任务名称 程序名称 程序参数 程序环境参数 举例： passday DSJob1 workdate=$(workdate) project=ocrm 其它统一应用接口： 不论什么任务，平台都有统一面向用户的任务启停等控制命令 不论什么任务，都可以通过平台客户端相同命令查询任务日志 产品亮点与优势(六) 3636 报告议程 一、产品背景 二、产品概述 三、产品亮点与优势 四、产品功能 四、产品主要功能 三、产品亮点与优势 五、产品功能特征总结 六、关于产品不同版本 产品功能 功能体系 核心功能表达平台能 够完成什么样的调度 应用功能表达用户怎 么操作使用调度平台 产品功能 平台管理（Admin） q 主要功能介绍 工具软件Admin主要功能包括： p 平台节点定义：用于定义产品核心的网络架构 p 任务类型定义：用于定义平台所支持的各种任务类型 p 工程定义：工程定义是属于项目初期规划，表示整个项目或企业 对所有流程需要多少个工程进行管理 p 应用设置：设置一些系统级信息，比如ETL服务器任务并行度，日 志保留天数等信息 p 全局变量：定义各个调度服务器中各流程所需的全局变量信息 p 导入导出：导入导出平台的所有或指定流程，可用于系统备份、切 换以及开发环境与生产之间的信息转移等 产品功能 平台管理（Admin） q 主要界面 平台网络节点定义 核心EM节点 核心调度服务 节点 核心任务代理 执行节点 产品功能 平台管理（Admin） q主要界面 任务类型定义 自定义各种任务 类型名称 设置任务类型对 应的驱动插件 产品功能 流程设计与开发(Designer) q 主要功能介绍 工具软件Designer主要功能包括： p 平台流程代码信息管理：通过工程管理各流程所有信息 p 代码设计编辑功能：Designer集成开发环境提供专门的流程代 码编辑器，便于用户的编辑操作 p 图形编辑功能：该软件主要通过流程图窗口、节点树窗口、工具 箱窗口、属性编辑器等窗口协同完成图形编辑 p 错误检测：设置系统可以适时检测用户设计的准确性，并通过相 应窗口报告给用户 p 编译：用户可以编译流程代码并发布流程信息 产品功能 流程设计与开发(Designer) q 主要界面-主窗口 流程资源管理区 流程设计区 流程节点工具箱 属性编辑区 产品功能 流程设计与开发(Designer) q 主要界面-代码设计窗口 产品功能 流程设计与开发(Designer) q 主要界面-图形设计窗口 产品功能 流程设计与开发(Designer) q 主要界面-执行计划属性设计窗口 通过该编辑器可以 实现任务的各种执 行计划周期 编辑后自动生 成执行计划字 符串表达式 产品功能 流程监控与管理(Monitor) q 主要功能介绍 工具软件Monitor主要功能包括： p 图形监控：Monitor通过流程图动态监控流程的运行情况 p 多角度统计监控：Monitor可以从平台、工程、流程、自定义业 务标签以及不同状态等多角度对流程实现动态的统计监控 p 流程运行维护：实现流程的适时启动、暂停、重置等流程级维护 操作 p 任务运行维护：实现任务的暂停、强制执行、强制成功、重做等 人工操作。 p 信息查询：可查询任务日志、调度日志以及各种流程相关对象信 息。 产品功能 流程监控与管理(Monitor) q 主要界面-主窗口 流程资源管理区 监控操作区 监控窗口列表 产品功能 流程监控与管理(Monitor) q 主要界面-图形监控窗口 红图标：成功运行 绿图标：正在运行 统计面板汇总并显示该 流程所有任务不同状态 等 产品功能 流程监控与管理(Monitor) q 主要界面-图形全屏监控效果 全屏监控可让用户利用 最大的视屏空间，使监 控更直观方便 产品功能 流程监控与管理(Monitor) q 主要界面-统计监控窗口 该统计监控是按用 户自定义业务口径 进行统计监控 产品功能 流程监控与管理(Monitor) q 主要界面-多窗口监控 5252 报告议程 一、产品背景 二、产品概述 三、产品亮点与优势 四、产品功能四、产品功能 五、产品功能特征总结 六、关于产品不同版本 五、产品功能特征总结 产品功能特征总结 TASKCTL功能特征总体总结为 ： 三个”不仅仅” 八个”图形特征” 产品功能特征总结 三个”不仅仅”体现为： （1）TASKCTL 不仅仅能完成各种调度功能，同时站在用户