计划工具设计.pptx

调度工具 文思海辉2012年3月 调动工具的作用 Pactera Confidential AllRightsReserved 文件2 文件n 临时区 主题域2 主题域n 基础层 汇总层 ETL ETL 聚合数据 脚本 脚本 脚本 脚本 调度工具 调度执行的三个维度条件 时间按规定的时间周期跑日 周 月 季度事件调度当指定日期的文件到达后 调度器就会自动调起指定的作业 任务依赖前置作业跑正确 后置作业才能跑 Pactera Confidential AllRightsReserved 调度系统的架构 Pactera Confidential AllRightsReserved Server Agent组1 功能模块n 功能模块1 功能模块n Agent2 Agent3 功能模块1 功能模块1 功能模块n 功能模块n Agent组2 功能模块1 功能模块n Agent2 功能模块1 功能模块n Agent组3 功能模块1 功能模块n Repository WebAPP ActiveMQ 各个部分的说明 WebAPP是用户管理配置任务 监控任务的窗口 Repository这部分是调度工具系统的知识库 存储了用户 权限 任务配置等信息 Server调度系统的后台服务程序 在整个系统的体系中有且只有一台server实例 负责收集可运行任务 给agent下发任务 收集agent上传的任务执行状态 更新执行状态到repository 同时还负责对各个agent的管理工作 ActiveMQActiveMQ是Apache出品的开源消息中间件 Agent调度系统的后台服务程序 agent部署在真正的服务器上 负责接受server发送的任务 执行任务 同时给server上传每个任务的执行情况 Agent组Agent组是个逻辑上概念 逻辑上将若干个agent划分为一组 Pactera Confidential AllRightsReserved 系统整体设计 Pactera Confidential AllRightsReserved Repository ActiveMQ 数据库访问模块 任务消息组装 任务发送模块 任务扫描模块 通讯模块 任务状态接收及更新模块 任务状态消息解包 任务状态接收模块 通讯模块 任务状态更新模块 数据库访问模块 通讯模块 任务接收 执行 状态上传 任务接收模块 通讯模块 执行及状态上传模块B 任务执行模块 任务消息解包 任务状态组装 状态发送模块 通讯模块 ActiveMQ server agent 任务下发流程 Pactera Confidential AllRightsReserved 任务扫描模块 Repository 数据库访问模块 ActiveMQ 任务消息组装 任务发送模块 通讯模块 SQL agent 任务状态接收及更新流程 Pactera Confidential AllRightsReserved 任务状态接收及更新模块 Repository ActiveMQ 任务状态消息解包 任务状态接收模块 通讯模块 SQL agent 任务状态更新模块 数据库访问模块 任务执行及状态上传流程 Pactera Confidential AllRightsReserved 任务接收 执行 状态上传 ActiveMQ 任务接收模块 通讯模块 任务状态上传 执行及状态上传模块A 任务执行模块 任务消息解包 任务状态组装 任务状态发送模块 通讯模块 执行及状态上传模块N 任务执行模块 任务消息解包 任务状态组装 任务状态发送模块 通讯模块 执行及状态上传模块B 任务执行模块 任务消息解包 任务状态组装 任务状态发送模块 通讯模块 Server 调度系统的未来规划 Pactera Confidential