系统后台批量业务处理精细化管理

1 成果上报申请书 （同 2010 年） 成果名称 系统后台批量业务处理精细化管理 成果申报单位 成果 承担 部门 /分 公司 项目负责人姓名 项目负责人联系电话 和 Email 成果专业类别 * 业务支撑 所属专业部门 * 业务支撑线条 成果研究类别 * 新产品开发 省内评审结果 * （按填写说明 4） 关键词索引（ 3 5 个） 应用投资 产品版权归属单位 对企业现有标准规范的符合度： （按填写说明 5） 如果该成果来源于研发项目，请填写研发项目的年度、名称和类型（类型包括：集团重点研发项目、集团联合 研发项目、省公司重点研发项目、其他研发项目），可填写多个： 研发项目年度： 2010 年至 2011 年，名称 系统后台 批量业务处理精细化管理 ，类型：其他研发项目 成果简介： 简要描述成果目的和意义，解决的问题，取得的社会和经济效益。 系统后台批 量业务 处理是指“部署于系统后台，定时执行，对批量的用户或系统数据进行处理的作业计划”，如：后台资费到期、包年续签、返费、费用提醒等等业务均是通过后台批处理实现。 这些批处理如果得不到很好的管理，则批处理得不到正确、及时的执行，一旦出现此种情况，就会对相应的业务产生重大影 响，举例来说：如果 2 月 1 日的资费到期批处理没有正常执行，则会有几万甚至几十万的用户出现资费错误的情况，而一旦用户资费错误，则会造成计费错误、用户误停机等等严重问题。 所以，系统后台的批处理是业务支撑系统的关键构成部分之一，其重要程度丝毫不亚于前台业务操作功能，对批处理的管理要求我们做到更加精细、严格。 我省后台批处理极其繁多 （达到 200 多种） ，实现了多种业务功能， 但长久以来均缺少有效的管理方式：各种批处理分散设置于多处、各自为政，调度、运行、结果等情况杂乱无章、无迹可寻，无统一的时间计划安排，无统一的资源分 配安排，进而导致了极易产生资源冲突、影响营业生产的现象，另外，每次系统 2 升级、维护停机等过程中，均需要大范围梳理、确认，耗费了大量人力资源。 基于以上背景黑龙江省提 出了 “ 系统后台批处理精细化管理 ” 项目，改变对业务支撑系统批处理的管理技术及模式 。 项目完成后，彻底解决了上述问题， 系统后台批 量业务 处理 得到有效管理，能够及时、稳定、按部就班的完成业务处理，大幅提升用户业务数据处理的准确性、及时性；另外， 系统的信息收集功能也为业务功能优化提供了数据信息基础，为提升业务支撑系统整体的处理性能、保障系统运行奠定了基础。 省内试运行效果： 描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等。 通过在我省近 6 个月的试运行，收效显著 ： （ 1） 可 实现集中化、可视化管理 各系统、主机部署的批处理作业得到集中，实现了便捷的设置、调整，可直观统计到批处理作业的时间分布信息以及调度信息。 （ 2）从整体角度设置、管理全部批处理 通过对集中后的全部批处理作业的设置时间、执行时长等信息进行分析，发现了系统批处理作业的“热点”，通过对设置时间进行调整，将“热点”消除，避免了对业务支撑系统的整体产生影响，对系统整体起到了优化作用。另外，诸如 数据库维护性启动等操作过程中，不再需要所有应用管理人员再大范围梳理、确认操作对批处理的影响，只要根据管理功能中的设置情况确认哪些需要暂停处理、哪些需要补充处理即可，节省了大量时间、人力资源。 （ 3）减少投资 通过试 用，成果所起到的作用已完全满足我省的需要，原采购 BMC 的 CONTROL-M 工具 计划 已经取消，为公司节约了投资开支近 300 万元。 文章主体（ 3000 字以上，可附在表格后）： 根据成果研究类别，主体内容的要求有差异，具体要求见表格后的“填写说明 6”。 一、 业务及功能简介 : 系统后台批 量业务 处理是指“部署于 系统后台，定时执行，对批量的用户或系统数据进行处理的作业计划”，如：后台资费到期、包年续签、返费、费用提醒等等业务均是通过后台批处理实现。 我省后台批处理极其繁多，实现了多种业务功能，这些批处理如果得不到很好的管理，则批处理得不到正确、及时的执行，一旦出现此种情况，就会对相应的业务产生重大影响，举例来说：如果 2 月 1 日的资费到期批处理没有正常执行，则会有几万甚至几十万的用户出现资费错误的情况，而一旦用户资费错误，则会造成计费错误、用户误停机等等严重问题。 所以，系统后台的批处理是业务支撑系统的关键构成部分之一 ，其重要程度丝毫不亚于前台业务操作 3 功能，对批处理的管理要求我们做到更加精细、严格。 二、 原有系统实现流程及存在的问题： 我省营业系统的后台批处理处于多主机部署、多人管理，无统一执行计划的状态之下，此种情况会造成批处理作业执行的时间处于无计划状态，相互之间会产生交叉，从而会导致同一时刻有多作业并行执行的情况，可能造成系统资源的冲突问题。 原部署是采用 AIX 操作系统的 crontab 功能来设置批处理作业的执行，见下图： 其设置方法极不利于明确各作业的部署、时间安排情况，同时作业的调度、执行等情况信息也无法通过 crontab 设置来直观体现，作业是否被调度成功需分析相应的日志方可得出结论， 如果有的作业没有产生日志，则无从掌握作业是否已经被调度。 各种批处理分散设置于多处、各自为政，调度、运行、结果等情况杂乱无章、无迹可寻，无统一的时间计划安排，无统一的资源分配安排，进而导致了极易产生资源冲突、影响营业生产的现象。 多主机部署、多人管理模式，在进行系统维护性停机、升级期间，需要多人来分析、确认多主机上布置的作业与停机、升级操作是否产生冲突，如果不确认，则会产生某些批处理因停机、升级而未被执行的情况，因此需消耗很大的人力资 源来完成重复性的分析、确认工作。造成上述问题的关键问题就是：对批处理未做到统一的精细化管理。 三、 优化后的实现流程： 欲解决上述问题，则需工具化实现统一管理、统一调度后台批处理，经综合讨论、分析，我们设计出如下方案： 对所有批量业务处理的 “ 任务信息 ”，实现集中配置、任务集中分配 、运行情况集中跟踪、信息集中收集的管理模式； 对所有批量业务处理的“ 任务实施 ”， 实现 “被动”接收任务、任务实施、任务进展情况及 4 信息反馈等被管理模式。“任务实施”过程受“任务信息管理方”管控，以此实现任务的统一调度、管理。 具体实现方案及流程： 1、采用 C/S 架构实现管理与调度； 2、基于数据库（ ORACLE）实现配置内容的存储，配置内容统一纳入表管理，要包含下述信息：批处理序号、批处理状态（启用、暂停、废弃）、批处理状态设置时间、批处理名称、批处理管理人、设置执行年、设置执行月、设置执行周、设置执行日、设置执行小时、设置执行分钟、执行状态（待执行或正在执行）、最后一次运行时间、下一次执行时间、手动执行标志（手动立即、非手动立即执行）、手动执行时间设置、运行主机、运行主机 IP、运行主机登录用户、调用 shell 目录、调用 shell 名称、调用 shell 输出日志目录、调用 shell 输出日志名称等必须信息。 设置截图如下： 3、开发 SERVER 程序，要实现对配置内容的解读、调度位置识别、调度操作人（系统用户）识别、任务分配、启动判定、启动结果处理、执行结果处理、“下次执行时间”预测等功能； 4、开发 CLIENT 端程序，要实现本地时间信息向 SERVER 端反馈、任务信息接收、任务启动（实施）、任务启动结果反馈、任务执行结果反馈等功能； 5、 SERVER 与 CLIENT 端通过 SOCKET 通信以及多线程技术实现对话、多并发处理，以满足复杂多 样、不同执行时长、不同启动时间设置的批处理要求。 设计实现流程图如下： 5 s e r v e r 端 准 备 : 打开 、 捆 绑 端 口 ， 进行 监 听S E L E C T端 口 状 态 被 更 改 ？NA C C E P T接 受 接 入 请 求打 开 数 据 库 连 接（ 先 主 后 备 ）R E C V接 收 并 解 读 C L I E N T端 的 请 求 报 文 信 息F O R K子 进 程 ， S E R V E R 端 与C L I E N T 端 一 对 一 处 理 ，实 现 多 任 务 并 发 处 理 、保 障 及 时 性Y报 文 头 值= 0C L I E N T 发 送 来 的 任务 查 询 请 求= 1C L I E N T 发 送 来 的 任务 明 细 请 求根 据 请 求 内 容 中 提供 的 I P 、 U S E R 、 时间 串 信 息 提 取 满 足条 件 的 任 务 总 量根 据 请 求 内 容 中 提 供 的 任 务I D 、 I P 、 U S E R 、 时 间 串 信息 提 取 满 足 条 件 的 任 务 明 细信 息 ： 任 务 脚 本 位 置 、 输 出日 志 位 置 等 信 息返 回 C L I E N T 端结 束 子 进 程返 回 C L I E N T 端R E C V阻 塞 式 等 待 并 解 读C L I E N T 端 反 馈 信 息报 文 头 值= 2C L I E N T 返 回 的 任 务检 测 、 启 动 结 果= 3C L I E N T 返 回 的 任 务执 行 结 果更 新 任 务 状 态 、 计算 下 次 调 度 时 间结 果 信 息 为 0 ？Y计 算 下 次 调 度 时间 、 结 束 子 进 程更 新 任 务 状 态结 束 子 进 程N批 处 理 管 理 S E R V E R 端 简 易 流 程 图 6 批 处 理 管 理 C L I E N T 端 简 易 流 程 图C L I E N T 端 准 备 : 获 取 用 户 、I P 、 S E R V E R 端 口 等 信 息当 前 时 间 整 分 钟 ？NC O N N E C T 、 S E N D向 S E R V E R 发 送 任 务 总 量 请 求解 析 任 务 I D 信 息F O R K子 进 程接 收 S E R V E R 端 返 回 任务 总 量 信 息YY检 测 结 果 ： 启 动 ？S E N D反 馈 正 在 执 行 中 信 息 、 关闭 S O C K E T 、 结 束 子 进 程调 度 可 执 行 作 业 程序 ， 开 始 执 行NS E N D反 馈 已 可 执 行 、 已执 行 信 息 、 执 行 结果 信 息Y休 眠 5 0 0 毫 秒N任 务 总 量 0 ?已 处 理 任 务 量 任 务 总 量 ？YC O N N E C T 、 S E N D向 S E R V E R 发 送 任 务 明 细 请 求R E C V阻 塞 式 等 待 并 解 读 S E R V E R 端 反 馈 信 息检 测 C L I E N T 端 所 在 主 机 上 相 应 进 程 是否 已 经 被 启 动关 闭 S O C K E T 、结 束 子 进 程 7 四、 优化后达到的效果 （ 1） 可 实现集中化、可视化管理 各系统、主机部署的批处理作业得到集中，实现了便捷的设置、调整，可直观统计到批处理作业的时间分布信息以及调度信息。目前系统已经承载了我省 233 个后台批量业务处理功能， 对这些业务真正做到了集中、有效的管理，不再是散乱、无序的管理状态。 （ 2）从整体角度设置、管理全部批处理 通过对集中后的全部批处理作业的设置时间、执行时长等信息进行分析，发现了系统批处理作业的“热点”，通过对设置时间进行调整，将“热点”消除，避免了对业务支撑系统的整体产生影响，对系统整体起到了优化作用 ，从系统上线至今，根据系统自行收集的各业务功能运行数据，我中心分析并有重点的对十多个效率低、占用资源大、消耗时间长的业务功能进行了优化，大幅提升了业务功能的效率、降低了系统整体资源消耗、提升了业务支撑系统的整体受力性能 。 另外，诸如数据库 10g 升级、容灾应急演练、日常维护性重启数据库等工作中 ， 已经 不再需要所有应用管 理人员再大范围梳理、确认操作对批处理的影响，只要根据管理功能中的设置情况确认哪些需要暂停处理、哪些需要补充处理即可，节省了大量时间、人力资源。 （ 3）投资效益 本管理系统的设计、开发等均为我公司自行完成，投资小，且拥有完全知识产权。另外， 通过试 用，成果所起到的作用已完全满足我省的需要，原采购 BMC 的 CONTROL-M 工具 计划 已经取消， 为公司节约了投资开支 300 万元 以上 。 “成果上报申请书”的 填写说明： 1、“成果 专业 类别”指 ： 核心网、 无线 、 传输 、 IP、 网管、业务支撑、管理信息系统、市场研究、数据业务 、 数据 网络、通信电源、空调、 其他。 2、“成果研究类别”指： 超前研究、新产品开发、 相关网络解决方案、 现有业务优化 、 其他。 3、 “所属专业部门”指： 完成该 成果 的单位 在省公司或地市 分 公司所属的专业部门线条。可填写： 规划计划线条、网络线条、业务支撑线条、管理信息系统线条、数据线条、市场线条、集团客户线条 、其他 。 4、 “省内评审结果”指：优秀、通过。 5、“对企业 现有 标准 规范 的符合 度 ”指：列举该成果使用并符合的中国移动统一发布的企业标准的名称和编号，详细描述该成果在现有的企业标准基础上所需新增的功能要求（如业务流程的改变 、