【毕业学位论文】（Word原稿）基于主机的MCMS系统的设计与实现-软件工程

基于主机的 统的设计与实现 硕士学位论文 （工程硕士） 基于主机的 统的设计与实现 姓 名： 褚华斌 学 号： 1121170015 所在院系：软件学院 职业类型： 工程硕士 专业领域：软件工程 指导教师： 高珍 副 指导教师 ： 二 一三 年 八 月 隶书，二号，加粗 居中， 单倍行距，段前 选填：硕士或者博士 隶书，四号，加粗 居中， 单倍行距 校标尺寸 ( 居中 基于主机的 统的设计与实现 A in 2010 1121170015 2013 ,三号，居中 ，三号 ， 单倍行距，缩进 符 ，小二，加粗 居中，单倍行距 ，四号， 居中，单倍行距，段前 0 磅，段后 0 磅 基于主机的 统的设计与实现 建基于主机的 M C M 的设计与实现 褚华斌 同 济大学 基于主机的 统的设计与实现 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有关部门或者机构送交论文的复印件和 电子版；在不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 年 月 日 基于主机的 统的设计与实现 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出 贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 年 月 日 同济大学 硕 /博士学位论文 致谢 摘要 随着中国加入世界贸易组织，我国 的银行业也 逐渐 对外开放。为了进一 步提升我国银行业的竞争水平。自 2000年起，我国主要的国有银行，包括中、农、工、建、交 等银行 都陆续展开 了 以数据大集中为标志的新一 轮银行信息化建设。在我国各大国有银行进行数据集中及数据中心建设的过程中，都采用了 据集中后，系统架构变得更加复杂、牵扯的各方面因素也比原来大大增加，一旦出现问题将导致严重的业务停顿，造成不可估量的损失。这对数据中心主机平台的管理带来了新的挑战，如何管理主机的性能，如何合理地规划主机的容量都是需要关注的重点。 大型主机平台的性能指标繁多，就算是资深的主机工程师也很难从原始报告中轻易的发现问题。更何况在管理主机系统的实际过程中，往往需要对历史数 据进行比较，包括峰值、平均值等等。虽然有工具可以进行配合，但是大部分情况下，仍然使用传统的手工方式进行分析，包括打印报告、截取数据、分析制图等，耗时耗力。 本文为大型主机客户设计实现了一个统一的主机性能容量管理系统（ 它可以对大型主机系统的运行历史数据进行收集、管理、分析的工作，可以根据不同的 境，收集不同的数据来源，通过浏览器方便、灵活、直观展现收集到的历史数据，满足客户对报表的各种不同需求，便于用户对系统性能的变化趋势进行客观的分析 和对比 ，并通过这些历史数据完成合理的大型机容量管理。 本 论文 从系统需求、系统设计、系统实现、系统测试、系统部署等方面详细的介绍了整个系统的实现。同时，论文也对系统实现所用到的技术做了详细的研究与说明。 系统的实现主要采用了 本技术框架， 充分利用了 便、 快捷 、高效 的开发特点。 关键词： 大型主机，性能容量管理 ， z/B/S， C# 同济大学 硕 /博士学位论文 致谢 In to 000, BM as to s is to in to to a a of it is to or to a is to a It as s T of of of in In in in as of z/B/S, C# 同济大学 硕 /博士学位论文 致谢 目录 第一章 引言 . 10 题研究背景 . 10 机性能容量管理研究现状 . 11 题研究内容 . 12 究内容 . 12 究目标 . 13 用目标 . 13 文组织 . 13 第二章 系统相关技术 . 15 型主机介绍 . 15 型主机操作系统 z/. 17 型主机主要应用软件 . 19 型主机性能容量的监控与管 理 . 21 能容量监控与管理概述 . 21 绍 . 21 能容量监控工具 . 22 序设计语言 . 27 #语言和 绍 . 28 #语言 . 28 台体系结构 . 29 关技术 . 30 发环境介绍 . 32 . 32 第三章 系统需求分析 . 33 景 介绍 . 33 机性能容量数据抽取模块 . 33 机性能容量数据抽取用例 . 33 机性能容量数据导入模块 . 34 机性能容量数据导入用例 . 34 机性能容量数据展现与报表模块 . 35 机性能容量数据展现用例 . 36 机性能容量数据报表用例 . 37 机性能容量数据分析模块 . 38 机性能容量数据趋势对比用例 . 38 机性能容量数据告警与预测用例 . 39 陆与管理员设置模块 . 41 陆与管理员设置用例 . 41 第四章 系统设计 . 43 统架构设计 . 43 统总体设计 . 44 统功能模块设计 . 44 统流程设计 . 48 同济大学 硕 /博士学位论文 致谢 序图设计 . 49 机性能容量数据抽取顺序图 . 49 机性能数据导入顺序图 . 50 机性能容量数据展现与报表 顺序图 . 50 机性能容量数据分析顺序图 . 51 录与管理员顺序图 . 52 据库设计 . 53 第五章 系统实现与测试 . 57 统部署与测试 . 57 机平台部署与测试 . 57 放平台部署与测试 . 59 试方法与策略 . 61 机性能容量数据抽取模块实现 . 62 机作业自动化管理实现 . 62 机性能数据自动化抽取实现 . 64 机性能容量数据导入模块实现 . 67 机性能容量数据导入实现 . 67 机性能容量数据展现与报表模块实现 . 70 机性能容量数据展现实现 . 70 机性能容量数据报表实现 . 73 机性能容量数据分析模块实现 . 76 机性能容量趋势对比实现 . 76 机性能容量告警与预测实现 . 77 陆与 系统管理实现 . 81 第六章 结论与展望 . 86 论 . 86 望 . 87 致谢 . 88 参考文献 . 89 个人简历、在读期间发表的学术论文与研究成果 . 90 同济大学 硕 /博士学位论文 致谢 第一章 引言 题研究背景 自 1964年 S/360 发布以来， 泛应用于银行、证券、保险、电信、航空等行业。时至今日，大型主机在 1。仅从银行业来看，全球最大的 500家银行中，绝大多数都采用大型机来构建核心信息系统。 凭借大型机高安全性、高适应性、高稳定性的特点，从很早开始就进入银行信息化的阵营，承担起后台服务器的重任。 随着中国加入世界贸易组织，我们的银行业也渐渐 对外开放。为了进一步提升我国银行业的竞争水平。自 2000年起，我国主要的国有银行，包括中、农、工、建、交都陆续展开以 数据大集中为标志的新一轮银行信息化建设。各银行纷纷把原来分布在 一、二级分行的业务和管理数据逐级上收，最终集中在一个或者多个 中心，以实现全行业务经营和管理的集约化、适应管理扁平化；也使为数众多的 分支机构、网点能够 跨越地域限制，在数据流、业务流和管理信息流上实现高度统一，全行的信息资源、业务资源、客户资源、管理资源将得到最优配置和最大利用，这为各大银行提高核心竞争力以应对越来越激烈的市场竞争提供了广阔的技术平台，同时也为我国银行业的改革和发展提供了有力的支持 2。 在我国各大国有银行进行数据集中及数据中心建设的过程中，都采用了 国内最大的银行为例，其每秒高峰时需要处理超过 5000笔交易，如此巨量的 这对主机平台， 包括服务器、网络、操作系统、数据库、中间件、磁盘都提出了很高的要求。 在笔者所处的主机服务行业，许多银行客户 觉得 在完成了数据大集中工程之后。由于主机性能数据繁冗，报告不易解读，主机系统的运行维护 管理工作的难度也越来越大。同时原来分散的数据向数据中心集中的同时，原来分散的风险也随之集中。数据集中后，系统架构变得更加复杂、牵扯的各方面因素也比原来大大增加，一旦出现问题将导致严重的业务停顿，造成不可估量的损失。这对数据中心主机平台的管理带来了新的挑战，如何管理主机的性能，如何合理地规划主机的容量都是需要关注的重点 。 主机平台的性能指标繁多 ，就算是资深的主机工程师也很难从原始报告中轻易的发现问题。更何况在管理主机系统的实际过程中，往往需要对历史数据进行比较，包括峰值、平均值等等。虽然有工具可以进行配合，但是大部分情况下，同济大学 硕 /博士学位论文 致谢 仍然使用传统的手工方式进行分析，包括打印报告、截取数据、分析制图等，耗时耗力，如何加速这些手工处理性能容量数据的进程是一个重要的课题；从另一方面来说，数据中心的管理往往是一个精细化、长期化并且不断优化的过程， 主机性能容量 历史数据的保留展现，从历史数据中挖掘系统变化的趋势 和预测都对数据中心主机的管理有深 刻的意义。在此背景之下，启动了该课题项目的研究。 机性能容量管理研究现状 正如上一小节所说，随 着银行数据大集中的实现。如何有效地管理商业大型计算机的性能和安全生产成为人们普遍关注的焦点。完整、有效、及时、正确地采集系统数据进行分析是优化主机性能、管理主机容量的 有效途径。银行数据中心 的服务管理水平对外表现为运营的可持续性服务质量，对内则表现为多样化资源集成管理的效率。传统的主机系统监控是以资源监控导向的， 不同的资源监控有各自独立的监控台， 例如系统资源性能监控工具 对各个子产品如 司的 但这些监控往往更加侧重于生产环境第一时间的现场信息，对于第一时间问题的发生解决有很大的帮助。但对于生产主机系统性能容量的监控往往需要事后的分析并利用 据，目前部分 的工具和常见方案如下（以主流的 z/ z/要以 括 I， 来提供相应的报告和数据，并可以配合 M,以提供 I/O， 各类报告，并通过 要由 过 10打印报告。 能数据，主要由 的 00、 101、 102答应 告。 历史数据分析，有 主机系统的 保存 下来并提供相应的分析。 不管是从目前业界主流的工具还是国内客户实际使用的情况而言，主机性能容量管理的现状有如下问题： 虽然部分工具提供了报告解析展现的功能，但目前大部分的报表解析和显示主要是通过手动完成的，对于海量数据的银行客户，每天繁杂的手工动作不仅耗时耗力，效率低，而且还可能发生错误。 同济大学 硕 /博士学位论文 致谢 目前现有的工具和方案中，缺乏历史数据的有效保存和对比分析。工具软件能够实现部分的功能，但缺乏整体性，关联性 。不能完全满足客户的需要。 基于目前主机在客户数据中心的重要性，往往需要对主机的使用情况做出 合理和评估、预警和预测 ，并保留一定的余量。目前这方面的需求没有满足。 题 研究内容 究内容 在大型主机性能容量监控与分析的基础上，研究如何实现大型主机性能容量的有效管理。建立相应的流程并予以实现，如下图所示： 图 机性能容量监控流程图 第一阶段 1） 主机性能数据采集自动化 2） 主机性能容量数据库搭建 第二阶段 1）主机性能容量数据展现 同济大学 硕 /博士学位论文 致谢 2）主机性能容量指标趋势分析 3）主机性能容量历史报告查询 4）主机性能容量自动化报告 第三阶段 1） 主机性能容量告警 2） 主机性能容量分析与预测 究目标 本文的研究目标主要是 通过对 主机客户的 需求分析， 针对现有流程方法中存在的问题， 提供一个 功能清晰、性能稳定、安全可靠、简单易用的 系统 。该系统可以 对主机性能数据进行进一步的采集和提炼，生成直观简练的图形报表，并通过内部办公网络，清楚明了地在 台显示输出，以便于相关人员及时方便的了解主机系统情况，实现在主机 性能容量 管理方面的自动化需 求 。并研究如何针对不同客户需求进行标准化，以及如何设计使得系统具有更好的扩展性， 能够满足将来系统的扩充需求以及具备良好的升级能力，为未来系统升级预留接口 。 用目标 应用目标 为 主机客户开发一个 统一的主机性能容量管理系统（ 。它可以对大型主机系统的运行历史数据进行收集、管理、分析的工作， 可以根据不同的 集不同的数据来源，通过浏览器方便、灵活、直观展现收集到的历史数据，满足客户对报表的各种不同需求，便于用户对系统性能的变化趋势进行客观的分析 和对比 ，并通过这些历史数据完成合理的大型机容量管理。 文组织 本文 主要分为六 个部分 ，主要内容如下： 第一章：引言。介绍了 课题研究的 背景， 分析了主机性能容量管理的国内外研究现状，简要介绍了 目前待解决的问题 和课题研究内容 ，并列出了本文的内容结构。 第二章：系统相关技术 。主要对 涉及到的 相关技术作了详细的研究和介绍 ，主要包括大型主机、主机操作系统 z/机应用软件 机性能容量监控工具、 言；开放平台 的 C#,术 等。 同济大学 硕 /博士学位论文 致谢 第三章：系统 需求 分析。介绍了系统的需求，给出了系统各模块功能，包括数据抽取模块、数据导入模块、数据展现与报表模块、数据分析模块 。 第四章：系统设计。 主要介绍了系统的设计，包括 系统体系结构、功能结构设计、数据库设计及技术架构，并对 各 模块的详细设计进行了介绍。 第五章：系统 实现 与测试 。介绍了系统的实现平台， 管理模块的实现 并对这些模块的功能进行了基本的测试 。 第六章：结论与展望 。 总结整个论文， 探讨今后近一步研究的方向 。 同济大学 硕 /博士学位论文 致谢 第二章 系统相关技术 本文研究环境涉及到了主机和开放两方面的技术。主机技术包括操作系统z/资源管理工具 据库管理系统 易管理系统 序化设计语言 放平台技术包括 #语言。 只有基于这些技术的良好理解才能顺利有效地实现 在实际案例中予以应用。 型主机介绍 大型计算机又称大型机、大型主机 、主机等， 主机的起源要追溯 到 20世纪50年代，可能还会更早。那时候，主机不仅是最大的计算机，也是唯一的计算机，很少有企业有能力购买它。 大型 主 机也曾有过辉煌的时代 ， 那是在 60年代到 80年代期间 ， 信息处理主要是以主机系统 +傻终端为代表的 ， 即大型机的集中式数据处理。进入 80年代以后 ， 随着 C 机性能的极大提高和网络技术的普及 ， 客户机 /服务器 (术得以飞速发展 ， 这种 C/ 并很快在全球普及开来。 而进入 90年代后 ， 随着企业规模的扩大与信息技术的发展 ， 很多 采用分散式运算模式的企业突然发现 ， 其服务器的数量已经到了令人吃惊的地步 ， 由此带来的是 ， 复杂的管理模式、运算营运成本失控、关键型应用无法实现 ， 因而迫使他们用大型机实现服务器的再集中。 直至今天，主机在绝大多数世界最大型企业中的日常运作中扮演了核心角色，这些企业包括许多财富 1000强的公司。尽管其他类型的计算被大量应用在不同级别的商务活动中，主机仍然在当今的电子商务环境中占据着令人羡慕的地位。在银行，金融，医疗，保险，公用事业，政府机关，和大量的其他公有及私有企业中，主机继续构成现代商务的基础。 在 机介绍中，对主机有如下定义“主机是商业中用于储存商业数据库，交易服务和应用程序的机器，相比于规模较小的机器上常见的这些服务，他们要求更高的安全性和可用性。 在数据 处理中， 经被大众接受。 这些术语定义如下： 可靠性： 系统的硬件组成部分拥有强大的自我检查和自我恢复的能力。对软件进 行 广泛的测试并对检测出的问题进行迅速更正，这些保证了系统的软件可靠性。 同济大学 硕 /博士学位论文 致谢 可用性： 系统能够恢复失效组件，而不影响系统中正在运行的其他部分它包括硬件恢复 (自动使用备份替换失效组件 )和 软件恢复 (操作系统提供的故障恢复层 )。 可服务性： 系统能够确定故障发生的原因，它允许在尽可能小地影响业务系统的前提下对软硬件进行替换。这一术语也暗含了软件或硬件都具有明确的替换单元。 由于主机在 优秀特性，企业使用主机运行一些极为依赖可扩展性和可靠性的应用程序。例如，银行机构用主机管理客户账户存放的数据库，交易可以在全世界范围成千上万 目前国内 各大银行的核心业务平台和正在兴建的全国各地的数据处理中心 ,绝大多数安装 和使用 大型机软硬件系统 ，其平台主要由 并行耦合体 （ 介绍 随着各种应用业务的发展，以及人们对各种相关服务质量要求的提高，一个单独的主机系统已经很难满足人们的需要。为了在现有的信息技术平台上应对如此大的信息处理流量， 其前端的应用处理系统提供了一个 高效、稳定、可靠安全的系统平台。并行耦合（ 术是通过 耦合器 将多台 z/ 过硬件和软件的支持实现这些机器的相互通信和合作，达到更强的处理能力和更高的可靠性和可用性。下图为一个简单的并行耦合体架构图： 图 行耦合体架构图 同济大学 硕 /博士学位论文 致谢 并行耦合体的技术特点及优势： 非常高的连续性 并行耦合体构建了一个并行处理的系统环境，在这个环境中不会存在单点故障，大部分的应用可以同时运行在多个系统上，即使由于硬件或者软件问题导致某个系统宕机，运行在这个系统上的应用也会自动恢复到其他的系统上运行，而新的业务也会自动地分配到其他健康的系统上去运行。同时并行耦合体可以让 232个系统一起运行，所以相 对于一个单独的系统，并行耦合体提供了非常高的处理能力。 动态的负载均衡 从应用和 用户的角度来看，并行耦合体可以作为一个整体的系统，业务可以动态地分配到各个系统上去运行。对于联机交易，并行耦合体可以通过下端上传的交易动态地分配到不同的 对于批量而言，并行耦合体可以通过 态地分配批量作业到各个系统。 合体 里某个系统出现宕机的情况下进行自动恢复的策略管理工具，在 ， 可以根据业务在每个系统上运行的重要性，把各个系统分成不同的权重 。 在 耦合体 出现问题的时候， 可以根据 合体 进行重整，保留权重比较大的系统组成新的 耦合体 。 型 主 机操作系统 z/OS z/ 其最新的大型机 z/门推出的操作系统，是在90 操作系统基础上发展起来的，配合 z/列 主机开发出来的 64位操作系统，是 型机的主流操作系统。 今天的 z/从一个曾经只 能一次只能处理一个程序的操作系统，演变成能够并行处理数以千计的程序和为数以千计的用户提供交互服务的操作系统。 大型机操作系统的发展经历了若干个阶段 ： 1964年， 60 操作系统诞生 1974年， 作系统诞生 90年代， 90 从 用于 S/390大型主机系列中 同济大学 硕 /博士学位论文 致谢 2000年， z/ 在 90操作系统 基础之上发展起来的，是为最新的大型机 z/门推出的 64位操作系统 图 2.2 z/作为 大型主机上的主流操作系统， z/上层的应用程序提供 了一个稳定、安 全、连续性极高的运行环境。如果和其他操作系统比较的话， z/主要特点就在于其囊括内容之广，以及其超高的稳定性。 z/很多“组件”构成，并提供了大量相关的服务，如下图所示： 同济大学 硕 /博士学位论文 致谢 图 2.3 z/在 z/ 些是基本元素，没有这些基本元素，系统就无法正常工作， 比如：基本控制程序 信服务器 储管理 布式文件管理 业管理子系统分时系统 了这些基本的元素， z/如：带库管理工具 安全服务器 资源管理子系统 据管理工具 z/里列出来的只是一部分，客户可以根据自身需求订购相应的组件， 试工作，以确保定制的系统可以正常工作。 型 主 机主要应用软件 在 z/作系统上，可以运行各种中间件、数据库软件以及 系统管理工具类软件 。常见的软 件有 据库、 据库、 间件、系统自动化软件 (消息队列中间件 。 我们选择最为常用的 做简单的介绍。 如下图所示： 同济大学 硕 /博士学位论文 致谢 图 型主机主要应用软件 司数据库管理产品线上最知名也是最成功的产品。 在大型企业和行业得到非常广泛的应用，是主流关系 型 数据库管理系统。 品自研制到目前已经超过 30 年。 从 布 后，在一些 大型的商业应用当中，发挥了很大的作用 。特别在二 十世纪八十年代以后， 在一些大型的应用中占主流地位。 比如银行和金融业，它们对数据处理的要求非常迫切，恰能够满足其对数据处理的要求。在全球超大型的数据库环境中，往往搭配 行耦合体以及 z/者组成的数据共享（ 构在性能、可靠性、可用性上都达到了很高的标准。 除了大型机平台， 提供了跨平台（包括基于 及 有用于个人电脑的 操作系统，以及微软的 统）的 品。 据库可以通过使用微软的开放数据库连接（ 接口， 据库连接（ 口，或者 口代理被任何的应用程序访问。 是 流行的事务处理系统，是中间件产品，它被广泛地应用在当今信息产业的各个领域中，如金融、航空等行业的事务处理。 名思义称之为客户信息控制系统，又被称为交易管理系统、交易监控系统和应用服务器。 它协助操作系统高效地处理业务交易，使操作系统无须关注这些复 杂的交易负载。它提供了一个支持多用户、多进程、多数据源访问的应用运行环境； 理和调度操作系统资源从而确保应用运行环境的性能、灵活性、安全性和完整性。 z/A Q 济大学 硕 /博士学位论文 致谢 型 主 机性能 容量的 监控与 管理 能容量监控与管理概述 由于大型主机往往承担着最重要的系统或业务 ，比如银行的核心业务等， 所以 对大型主机进行性能容量的监控与管理显得尤为重要。以银行业务为例，一笔交易的响应时间往往只有几十毫秒，包括了从交易进主机到整个交易完成的时间，涉及到网络、系统、中间件、数据库、业务逻 辑 ，任何一个环节的异常都会对交易产生影响，由于在主机上运行的应用交易往往达到每秒几百甚至几千笔。所以个别交易的异常会造成其他交易的拥堵，从而影响到整个业务系统。 对于大型主机性能容量的监控分为如下两个方面：一是 控，通过控工具实时地监控系统以及子系统的运行状态，这方面的工具有 M， 及 司的 列；二是通过 据进行事后的分析和监控。 本小节将对 及相应的性能容量工具做一个介绍。 绍 一个系统管理软件，提供给主机产品一个例程，用来记录产品的状态或者性能信息。它采用格式化的信息来收集数据，记录面向系统和面向作业的各类信息。面向系统的信息包括系统配置、页活动和工作负荷情况；面向作业的信息包括 间、 。 硬 件 操作系统 通讯 数据库 用服务器 应用程序 业务逻辑 侦听 安全 命名 加锁 日志 调度 恢复 一致性 例外