多数据业务平台统一维护管理系统

1 多数据业务平台统一维护管理系统 的研究与实现 摘 要 随着 中国移动数据业务的蓬勃发展 ，提供数据业务应用的各类 系统 的数量和种类也在 不断 地攀升 ， 众多的业务 系统 增加了日常维护 的 复杂 度 ，也给维护人员的工作带来了新的挑战。 本报告 针 对中国移动现网各类数据业务 系统 维护现状 进 行了 分析， 阐述了多数据业务平台统一维护管理的必要性， 提出了多数据业务平台统一维护 管理 系统 的 功能需求 , 并 对 各系统日常 监控 的 内容和 通信 接口进行 了 研究和 梳理 ， 详细 剖析 了实现 多数据业务系统各 指标 采集 的技术手段 , 在此基础上 描述了 多 数据 业务平台统一维护 管理系统的 整体架构和各模块功能 ，阐述了如何实现各业务系统不同监控指标的统一配置 ， 统一调度， 集中告警和统一报表生成 , 从而 达到 多数据业务平台的统一 全面自动化 维护 。 2 目录 目录 . 2 引言 . 3 第一章 数据业务系统维护概述 . 4 第一节 数据业务系统简介 . 4 第二节 数据业务系统维护现状和统一维护的必要性 . 6 第三节 多数据业务平台统一维护系统功能需求 . 7 第二章 多数据业务平台监控分析 . 9 第一节 监控指标分类描述 . 9 第二节 现网设备采集通信接口汇总 . 10 第三章 多数据业务统一维护系统的实现 . 13 第一节 系统监控开发包 . 14 第二节 采集模块 . 15 第三节 密码管理模块 . 25 第四节 实时告警模块 . 25 第五节 存储模块 . 26 第六节 报表模块 . 28 第七节 配置模块 . 29 第八节 监控处理模块 . 34 第四章 统一管理平台的现网部署 . 34 第一节 硬件部署 . 34 第二节 软件部署 . 35 第三节 网络部署 . 36 第四节 现网监控指标的部署 . 37 第五节 软件系统测试 . 39 第六节 试运行结果 . 40 第五章 项目总结 . 42 第一节 预期目标评估 . 42 第二节 项目成果带来的效益 . 43 3 引言 系统 日常 维护的目的在于通过实时监控 现网各 主机 系统 以及 网络 设备 的 运行状况 从而 及时 发现潜在问题并快速作出响应。系统监控的自动化也随着现网 数据业务 系统的增多而变得愈加重要。 上海移动的数据业务系统仅钦州机房就有 400 多台主机 服务器 和 网络 设备 。它们因业务的不同 所实现 的 功能也各不相同 ，需要 监控的内容 也各种各样，主要包括 系统 硬件 运行 状态指标、系统软件运行状态 指标、 业务运行容量和质量指标 等 三类 。 为全面 保障各数据业务 系统可靠、稳定、高效地运行， 提高 日维 的工作质量和工作效率， 需要对监 控任务 实现集中化、 自动 化管理和维护，以 协助 日维工作人员 完成繁杂的日维工作 ，做到有 问题 及时发现 ，防患于未然 。 本报告将着重阐述如何实现多数据业务平台统一维护系统，以满足 现网 多数据 业务 日常 维护的需求。 文章内容安排如下 ： 第一章 主要 回顾了现网数据业务系统的维护现状， 阐述了对各数据业务平台实施统一维护管理的必要性和迫切性 ， 并根据业务系统维护日常要 求提出了实现多数据业务平台统一维护管理系统的功能需求。 第二章 对现网所需要的各监控 指标进行分类描述，并梳理了现网数据业务系统的各类维护通信接口 。 4 第三 章 提出了 多数据业务 平台统一维护管理系统 的设计 框架， 然后依 次对 系统监控开发包， 采集模块 ， 密码管理模块 ， 实时告警模块 ， 存储模块 ， 报表模块 ， 配置模块 和监控处理模块 的功 能 和 部分 实现 进行了 详细 描述 。 第四章 阐述 了 该 维护 管理系统 的 硬件、 软件 和网络 部署 ， 以及 对 现网 各数据业务系统 监控指标的实施 方案 ，并介绍了 系统 测试 和试运行状况 。 第五章 总结 了该创新项目 创新成果 和取得的收益。 第一章 数据业 务 系统维护 概述 第一节 数据业务系统简介 上海移动数据业务机房目前 有 钦州 机房 ， 浦东 IDC 机房 ，怒江 IDC 机房 ， 金桥 机房 ，它们 承担 上海所有数据业务和部分全网 数据业务 的业务 服务。 其中大多数 的 数据现网业务 的业务系统都部署在钦州机房，包括 ADC 管理平台 、手机网游、WAPPUSH、 MISC 管理平台 、彩铃门户、集团总机门户、彩话门户、 WWW 门户、个人数据门户、企信通、行业网关 M 模块、IP 电话系统 、 农信通、城管通、小区短信、 LBS、闪信、亲子通、天网、信令采集系统、电子商务 、流媒体手机电视和视频监控等20 多种业务， 共 有 400 多台主机和网络设备。 众多的 业务系统总结下来 存在以下特点。 5 、 功能各不相同。不同的业务 为提供不同的服务 实现 了不同的功能 ， 这就使得业务系统的 各 主机和网络 设备 在 功能各有差异。 大致可 分为 数据库服务器， 文件服务器， WEB 服务器，应用服务器 ， 负载均衡 服务器 ， 防火墙 服务器 ， 路由设备，交换设备 等 。 、 服务器硬件设备类型 差异。 不同的业务是由不同厂商提供的，这就决定了硬件设备的 多样性 。 目前硬件设备的厂商有3COM， B16， BigIP， Cisco， Compaq， Dell， EMC， HP， IBM，Juniper， NetApp， NetScreen， Redware， Raritan， SDK， Sun，UU，中兴，华为，大华，安氏，思科，港湾，绿盟，融天科技等 30 多家厂商。 、 软件类 型的差异。 不同业务应用是由不同软件开发商提供的， 各系统 运行的操作系 统类型 和 版本 ， 第三方软件类型 和 版本，以及业务应用软件使得软件 千差万别 。 如 操作系统有Windows， AIX， HP-UNIX， SUNOS， SUSELinux， RedhatLinux。数据库软件有： ORACLE,MYSQL,SQLServer 等。 WEB 服务器软件有 IIS， APACHE， WebLogic 等。 软硬件的差异决定了日常维护工作的繁杂性 ，也 给日常维护人员带来了挑战。 为 确保各主机和网络设备稳定、安全、高效的运行， 日常维护工作就需要对现网系统进 行全方位的监控，通过定时采集各个系统的 性能 和功能指标，实现对异常问题早发现，早分析，早排除，从而防患于未然 。 6 第二节 数据业务系统维护现状 和统一维护 的必要性 通过对目前 数据业务系统维护 状况 的调查， 总结起来有以下几个特点。 1、 日维监控工具 分散 且 不统一 。 目前一些业务如 MISC，小区短信，企信通，天网 等 系统的监控工具是由业务开发商提供的，只针对 单个业务 使用， 风格各异，且 不具有通用性 ， 无法 用于其它系统维护使用 。另有 一些业务 的监控工具 是由 业务负责人自己编写，各自 负责 运行和维护 。 分散各异 的监控工具 之间的协同工作能力较 差， 使得日 常 维 值 人员难以达 到同时兼顾 ， 影响 维护效率 。 2、 系统 安全 埋有隐患 。 部分业务 频繁地 手工 登录访问系统主机查看系统 和业务的 运行状况 ， 既 耗费人力又 难以做到安全防护 而且 易产生误操作从而影响现网业务的正常运行 。 另外， 有些对主机远程访问 密码 使用 明文保存 和分散管理的 方式，安全性 和维护性 不高。 3、 监控指标 不全面。 各业务主机系统和网络设备既 需要有共同 的 监控指标如 硬件运行状态 指标 CPU 利用率 、 内存空间使用率 、 磁盘空间利用率 和 磁盘读写繁忙率 等， 也 需要有 根据不同设备和业务的差异而不同的 软件 运行 状态 指标和 业务运行 状态指标 。 所有指标 数据均正常才能确保 整个 业务的稳定 ，可靠运行 。而目前大多数业务系统对于很多关键性 指标 均 没有 达 到实时自动化 监控 ，无法做到防患于未然。 7 4、 监控 指标 数据 存储 分散 或 无 存储。 由于监控工具的分散使得监控采集数据各自 存放， 既 增加了软硬件的开销， 又 难以进行系统和业务的横向指标比较。另外， 部分自己开发的简易的 监控工具 没有存储功能，难以生成 数据 报表和 统计报表 进行分析 。 5、 告警系统 欠主动 。大部分 业务 仅能将告警汇报在 各自的业务 维护系统 内，需要管理员定期去提取、查看 , 可能会 导致问题 发现 不及时 。 、 业务报表数据手工填写和 生成 。 业务报表需日维人员登录到各系统上采集 业务指标 后，手工填写到报表中，重复性的手工操作既花费了时间，实时性和准确性也无法 充分 保证。 7、 监控指标扩展性 较弱 。 对现有的厂商提供的各业务监控工具，如有业务功能扩展或欲新增监控指标，需向厂商提出新的需求，并委托厂商开发，然后 进行软件升级， 从而增加了时间延迟 、 费用开销和升级风险。 第三节 多数据业务平台 统一维护系统功能需求 基于以上分析， 传统的 系统 维护方式已经无法满足 日益增加的数据业务系统日常维护的要求，我们需要建立一个能够 支持多数据业务的统一维护管理系统，来协助日 维人员完成 繁杂的日常监控任务，从而提高 工作效率和工作质量。 该系统需要实现以下功能： 8 1、 实现 各种数据业务 系统下各种监控指标的数据提取，屏蔽各种监控方式的差异，实现采集手段的集中配置，采集任务的统一调度和采集结果的集中化实时展示。 2、 支持监控方式的通用性，提取监控方式的共同点，便于将此监控方式快速应用到同类型的其他业务 、 系统和指标的监控。 3、 支持监控方式的可扩展。便于新的采集接口和采集内容的快速开发和部署。 4、 实现实时告警和告警方式的多样化，支持基本声音颜色告警，支持扩展的 EMAIL， SMS 告警，支持企信通平台的 实时 短 信下发。 5、 支持告警方式的可定制功能，可以根据需求快速开发和部署，同时支持短信内容和下发对象的自定义功能。 6、 支持监控指标数据的统一存储 和备份 ，实现数据汇聚，便于进行统计分析和报表生成。 7、 支持业务指标报表的自动化生成。 8、 系统自身用户界面友好，部署成本应相对较低，且易于维护和升级。 9、 系统设计有前瞻性，能有效应对 后续 移动数据业务的增长。 9 第二章 多数据业务平台监控分析 集中监控是实现统一维护的关键内容，也是集中告警，统一存储和统一报表的功能实现的前提条件。本章将对现网监控指标和通信接口进行梳理。 第一节 监控指标 分 类 描述 现网数据业务指标 依据 业务 功能 和 软硬件的不同而各种各样， 既有通用的监控指标也有业务相关的独有的监控指标。归纳起来 分为 以下 三类。 1、 系统 硬件运行状态指标 。 系统硬件 运行 状态 指标是指各 主机 、 网络设备 的 硬件资源的使用情况 ， 包括 CPU利用率，内存空间利用率，磁盘利用率 ， 磁盘读写繁忙率 和 网络带宽利用率 等 。 它们是系统稳定 和 高效运行的 基础，也是最 基本的 监控指标。 当然 ， 根据设备功能 的不同 对不同的性能监控指标 有所侧重 ， 如 对于应用服务器， CPU 利用率和内存利用率 的监控比较重要，它们 直接决定了应用程序的运行效率 ，也会反映业务 服务 的质量 。 而 对于存储服务器，磁盘利用率 和IO 读写繁忙率的监控就更 重要。 系统运行性能指标也会依据操作系统 和设备类型 的不同而表现为不同的指标 数据 。 详细内容见附件一： 系统 硬件运行状态指标 。 10 2、 系统软件运行状态 指标。 这类指标 主要 指业务正常运行在 功能 和性能 上的要求 ， 会因业务的不同而各有差异，包括 网络连通性， URL 连 通性 和有效性 ， 服务运行状态， 进程运行实例数 ， 进程运行状态， 应用程序运行状态 和 数据库运行状态 等等 。 通过检查这些指标可以判断各软件 在功能 和性能 上 是否正常运行。 具体指标详细内容见附件二：系统软件运行状态指标 。 3、 业务 运行 容量和 质量 指标 。 业务容量和质量指标 是评估业务运行情 况和 运行 能力的重要手段，也是部门和中心 KPI 考核 指标， 主 要分为业务运行 成功率和业务并发 处理 能力 两大类。 这类指标会因业务的不同而 各不相 同。 具体内容见附件 三 ：日报表 业务指标 。 第二节 现网 设备 采集通信 接口汇总 各业务主机从安全性和可维护性上考虑提供了不同的外部访问 服务 接口 ，日维人员通过这些 服务 远程访问现网设备和 业务 功能 。 归纳起来 有 以下几种。 1、 远程登录 （ Telnet ， SSH）服务 。 远程登录服务是 现网 所有 主机 操作系统 （ Sun Solaris， HP Unix， Windows：Telnet， SUSELinux， RedHatLinux， AIX） 和网络设备操作系统（ CiscoIOS， HuaWeiVRP） 默认支持 的服务类型，用户可以 通过 网络远程登录到 远程 IP 网络 计算 11 机上，并 以 本地 虚拟终端方式 在远程设备上 执行操作 。其中， SSH 服务实现了 网络 传输 数据 的 压缩和加密。既能防止 网络传输过程中传输内容被截获，也能提高传输效率 ，它 完全 实现了 Telnet 的功能 。 现网 一些主机和网络设备开放 了 远程 登录端 口，便 于 系统维护的日维人员 通过网管网络 对 主机，网络设备的运行状态做 日常 检查和错误诊断 等 日常维护工作 。 2、 文件传输 （ FTP， SFTP） 服务 。 文件传输服务也是所有 现网主机 操作系统默认支持的服务类型。用户通过虚拟终端 连接 到 远程计算机 上， 实现 将 文件从远程计算机上拷到本地计算机 或把本地计算机的文件 推 送到远程计算机去 的功能 。 SFTP 服务 是采用加密方式来传输数据的 ，比 FTP 在传输方式上更安全。 通过文件传输服务 ，日维人员在需要日志、 报表传输 时可以方便的通过网管网络实现对各种 类型 文件 的获取 。 3、 超文本链接 （ HTTP， HTTPS） 服务 。 HTTP 服务通过服务器端 开放 WEB 服务侦听端口 提供 WEB 应用 ， 客户端只需 通过 标准 WEB 浏览器 ，就可以访问业务WEB 服务器提供的网站 。 在日常维护工作中， 日维人员通过在本地部署 如 IE， FireFox， Netscape 等 Web 浏览器 ， 就可以方便 地 进行 WWW 网站的有效性 测试 ，日常报表数据、业务运行状态和 日志 查询 等操作 。 12 4、 简单网络管理 （ SNMP） 服务 。 SNMP 服务 提供了一种从网络 主机 设备 和网络设备 中 提取和 收集 设备 管理信息 （ MIB） 的方法 。 MIB 来自 各厂家 为产品 定义 的被管理对象名 的 集合， 包括 设备 性能 特性、数据吞吐量、通信超载和错误 等与设备相关的数据指标。 SNMP 服务 功能 包括管理站 和 代理两部分 ， 它们 分别部署在同一个或两个 不同 的网络 设备上。 SNMP 提供 了两种管理信息的获取方式： 提取 （ SNMP Get） ， 指的是 由管理站 发起要求获得管理信息的 请求，代理 则 根据请求中的 MIB 标识从当前设备上提取对应的 MIB 值，将结果返回给管理站 ； 收集 （ SNMP Trap） ， 指的 是 代理 上设置相应 MIB 信息 的告警规则 ，当出现 告警 ，代理将主动向管理站 发送或在网络上广播 Trap 包 来 报告意外情况。 目前，所有的主流操作系统都支持 SNMP 服务 。系统维护的 日维人员通过在本地部署 SNMP 管理站，来 查看 远程 网络设备的运行状态 。 5、 网络控制报文（ ICMP） 协议 。 用于在 IP 主机、路由器之间传递控制消息。控制消息 包括 网络 是否连 通 、主机是否可达、路由是否可用等网络本身的消息。这些控制消息虽然并不传输用户数据，但是对于用户数据的传递起着重要的作用。 所有的 主机系统和 网络设 13 备 默认 都支持此协议。日维人员通常使用 Ping 程序和transrouter 程序来测试 网络连通性和主机可到达性。 6、 数据库服务器网络侦听服务。数据库服务器网络侦听服务 用于 侦听数据库 客户端 到 数据库 服务器的 连接请求，提供通过网络远程 访问数据库 的 服务 。 所有的主流数据库（ Oracle， Sql server， SysBase， Mysql）都支持这种网络接入服务。通过在服务器端开启网络侦听服务，将客户端部署到本地网管主机，日维人员可以实现数据库的远程接入和数据访问。 第三章 多数据业务统一维护系统的实现 统一维护系统 设计采用分层次的模块化结构，基于 Windows和 Linux 操作系统为开发平台，以 系统监控 开发包和 Oracle 数据库作为承载模块进行实现。总体框架如下图所示： 14 承 载 模 块监 控 处 理 模 块采集方法配置告警配置阀值配置调度配置被 监 控 网 络 设 备配 置 模 块密码配置采集模块密码管理模块告警模块O r a c l e告 警 接 收 对 象存储配置存 储 模 块统 一 备份 系 统报 表 模 块图表 1 多数据业务平台统一维护系统框架图 如 图所示，为实现系统功能 , 在 系统监控 开发包和 Oracle 数据库等形成的软件承载基础上，设计了配置模块，密码管理模块，采集模块，监控处理模块 , 存储模块 , 告警模块和报表模块 , 并通过各模块之间的消息传递，方法调用和网络端口通信来完成对各监控指标的配置，调度，告警 , 存储和统计等功能。下面就对各模块功能作详细描述。 第一节 系统监控开发包 系统 监控开发包 是由 Ks-soft 公司基于 Dephi 集成开发环境 推出的基础开发包 , 通常 运行在 Windows 系列操作系统平台 之上 ，主要适用于 主机监控软件 的二次开发 。它提供了标 准化展示界面 15 及统一调度功能 , 支持代理方式的数据采集，代理可以运行在Windows， AIX， Linux， Unix 操作系统上。 在采集方式上，它支持通用的 SNMP 采集方式 可 用于远程 MIB 库信息的提取； 也具备 ODBC 开放式调用接口 , 为实现数据库统一访问提供了可能； 而提供代理和非代理方式下的 开放的外部可执行程序调用接口 , 则 为用户的个性化监控需求的采集实现提供了支持 。 我们通过编写 多重 可执行脚本和程序可以实现所有现网业务系统监控指标的采集需求 ， 如果有新的业务指标需要新的采集方法，只要添加新编写的 VB 脚本 、 可执行程序 或 Shell 脚本，经过独立测试后就可以集成到现有采集功能列表，灵活实现业务指标采集功能的扩展，节省了二次开发的费用，节约了维护成本。另外，为了增强代码的通用性，我们还采用程序模块参数化的思想，使得同一程序通过接收不同参数实现多指标采集的代码共享。 在告警方式上，通过开放的外部可执行程序的调用，我们也可以根据需求实现任意方式的告警通知。 总之，该开发包为 我们在其上 进行二次 开发 ，实现多数据业务 平台 的统一 维护 管理系统提供了 较好的 支持。 第 二 节 采集 模块 采集模块负责与远程主机和网络设备进行通信执行定时数据采集功能。通 过提取采集方式，读取参数输入来选择调用不同的 16 应用程序实现代理或无代理方式下的采集数据的提取，同时接收采集数据。 采集方式根据采集端口 共 分为两种 ： 一、 客户机 /代理 /服务器模式 。 这种方式通过在被监控的主机端部署代理软件，提供了 采集端 （客户端） 和被采集端 （服务器）通信的 统一的 TCP 端口，从而 不依靠其它通信端口 和服务 就能够实现本地 网管 主机的 到 远程 网络设备的 访问 。 消息流程图 如 下 所示 ： 客 户 机代 理 服 务 器A u t h e n t i c a t i o n R e q u e s t ( U s e r / P a s s w d )A u t h e n t i c a t i o n S u c c c e s sC o n t e n t s R e q u e s tE x e c u t e C o n t e n t s R e q u e s tR e s u l t r e s p o n s eR e s u l t R e s p o n s eC l o s e C o n n e c t i o n C o n n e c t i o n R e q u e s tC o n n e c t i o n S u c c e s sC l o s e S u c c e s s建 立 连 接认 证执 行 请 求断 开 连 接C r e a t e S u b P r o c e s sE x e c u t e图表 2 客户机 /代理 /服务器 消息 流程 、 建立连接 阶段 。 运行在服务器主机系统上 的代理 ，开放 TCP 侦听端口并始终保持侦听状态；客户机通过Socket 发起建立连接请求，其中包 括代理所在的主机名和端口 信息，代理侦听器接收到连接请求 ，查找预 17 先配置的主机名列表，如果是合法主机，则返回连接成功。 、 认证阶段。 客户机收到连接响应后立即发送用户名和密码认证请求给代理程序，代理进行密码校验成功后将生成 通信文件描述符 ， 客户端返回认证成功。代理主进程创建 通信 子进程， 通信 子进程根据 通信文件描述符 将与客户端进行通信。主进程关闭通信文件描述符继续侦听端口上的连接请求 ，这 种方式将避免了多个请求连接阻塞，实现了并发访问 。 、 内容请求执行阶段。客户端发送命令请求并等待代理执行返回，代理 通信 子进程 在 接收 到 命令请求 后 ，直接 转发 给服务器执行请求， 服务器 在 解析并 执行 命令请求后将结果返回给代理通信子进程，后者 将结果通过转发给客户机 。 、 连接断开阶段。客户机收到执行结果后将断开 Socket连接，代理 在收到请求后则 退出通信子进程。客户机和代理随即释放系统资源，返回连接前状态。 代理 方式的优点在于， 客户机和服务器之间可以减少 互操作 次数 ，降低网络流量 ； 另外， 通过开放统一端口， 限制 客户机源地址 和密码认 证 来 实现安全的数据访问 。 这种访问方式的 缺点是需要在远程网络主机上 额外部署软件程序并占用主机 资源 。 由以上消息流程可以看出，代理实现通信连接 18 和转发功能，而和请求内容和返回结果无关。这样，客户机即可根据实际需求自由定制请求内容，只要请求能被服务器应用程序解释执行，同时，对服务器端返回的结果，客户机程序同样能够解释即可。对于这种采集方式，在实现手段上按 服务器端的 操作系统 类型 分为两类。 、 采用 Shell 脚本方式提取采集指标数据 (适用于 Linux，Unix， AIX 操作系统 )。 Shell 是所有非 Windows 操作系统以外的 主流操作系统都支持的 解释型的 编程语言。它既是 命令语言，又是一种程序设计语言。作为命令语言，它交互式地解释和执行用户输入 系统命令，文件操作命令，以及各种应用程序命令 ；作为程序设计语言，它 仍然支持交互式命令的解释执行，并定义了各种变量和参数， 提供了许多在高级语言中才具有的控制结构，包括循环和分支。 当 手工提取这类操作系统的指标数据时， 可通过 输入一个或多个 Shell 交互命令的方式实现。 一般来说 ，只要 Shell 命令能够做到的，我们都能 通过 Shell 脚本，实现该类操作系 统的任何指标 的采集 逻辑 。 下图是对 Shell 概念的描 述图。 19 操 作 系 统 内 核S h e l l 解 释 器S h e l l 命 令S h e l l 脚 本图表 3 Shell 概念描述图 、 采用 VBS 脚本方式提取采集指标数据 （适用于Windows 系列操作系统） 。 VBS 是一种 Windows 脚本，Visual Basic 的 一个抽象子集， 解释执行器宿主 host 是Windows 操作 系统内置的 。 VBS 源代码文件 无需编译就可以直接执行，便于调试和更新， 使各种各样的任务自动化， 能 极大 地 提高工作效率。 它最 强大 的地方就是提供了对 indows 通用 COM 对象的 支持。 只 要找到包含有 所 需要的功能的模块文件，并在脚本中规范的引用，就可以实现特定的功能 。目前业界提供了众多的 COM 对象 包括操作系统 Build-In 的 组件 可供调用 ，能够 实现 Windows 操作系统上任意指标的数据采集。 下图是 VBS 的概念描述图 以及本地 采集方式 下 的COM 组件的支持 。 20 操 作 系 统 内 核H o s t 宿 主 解 释 器C O M 组 件V B S 脚 本图表 4 VBS 概念描述图 采集接口 COM 对象 服务器操作系统 命令方式 Scripting.Shell Windows 文本文件 Scripting.FileSystemObject,Scripting.File Windows Excel 文件 Excel.Application Windows 图表 5 COM 组件列表 二、 通过 通用 远程通信服务端口 实现远程监控 。 这种方式是 在本地运行 可执行 程序 来模拟 完整的 手工远程访问操作，消息流程如 下图 所示 。 它无需在远程网络设备上安装额外的代理 程序， 从而不占用因此 产生的 软硬件 资源消耗。但 对于难以提取的 复杂的 监控指标 需要进行多次交互，增加了网络流量 。 我 们 可以 尽量多的将多个操作放在一条命令里执行，也可以 将 它们 编写成可执行文件保存在远程主机，在本地发送指令触发 可执行 文件 远程运 行， 通过 这些 方式 来 减少 因频繁 交互 而产生的网络带宽的消耗 。 21 客 户 机服 务 器A u t h e n t i c a t i o n R e q u e s t ( U s e r / P a s s w d )A u t h e n t i c a t i o n S u c c c e s sC o m m a n d o r E v e n t R e q u e s tR e s u l t R e s p o n s eC l o s e C o n n e c t i o n C o n n e c t i o n R e q u e s tC o n n e c t i o n S u c c e s sC l o s e S u c c e s s建 立 连 接认 证执 行 请 求断 开 连 接.E x e c c u t e图表 6 通用网络通信服务交互 消息流程 、 建立连接。 服务器打开远程网络通信服务，如 SSH，Telnet， HTTP， SNMP， ICMP， 数据库 网络服务 等服务。 此时服务对应的侦听端口将被开启，负责接收客户端的请求。客户机发送连接请求给服 务端的主机名和端口号，服务器将返回连接成功响应。 、 认证阶段。认证阶段的行为依据不同服务而有不同的表现。 SHH， Telnet 服务 的认证是 在 成功连接后通过用户名 、 密码的方式进行认证； HTTP 服务本身无需认证，对 Web 应用的访问权限依赖 Web 应用程序是否提供认证功能 而定 ； ICMP 服务则无需认证过程； SNMP 的认证是通过指定服务器端 Community 完成的； 数据库 网 22 络 服务 是通过数据库 实例名 、 用户名 和 密码进行认证的 。 、 执行阶段。 登录完成后客户机 可以通过发送命令和消息请求方式完成和服务器操作的交互，并对命令执行和消息返 回结果进行分析和处理，根据实际需要可能进行多次交互最终实现远程操作目的。 、 客户端在获得处理结果后将主动断开此次连接，双方系统 释放 此次操作 所 占资源 ，并返回连接前状态 。 根据以上 消息流程，依赖各类远程通讯端口， 我们通过 采用以下 不同的 技术手段，可以实现任意消息和命令的发送来获得服务器端的各项指标的提取 ： 、 数据库 方式 。 通过 ODBC 技术实现对数据库的集中访问。微软开发了开放数据互联（ ODBC）中间件，它屏蔽了不同数据库软件的差异，提供统一的数据库访问接口。 用户 在客户端上安装数据库 ODBC 驱动程序， 然后 创建数据源， 即可 对不同数据库服务器进行远程访问 ，再 通过编写不同的 SQL 语句， 就能完成 不同实例下的各库指标的统一接口提取。 ODBC实现参考模型如下图所示： 23 S q l s e r v e rM y s q lO r a c leO D B C 接 接接 接O r a c l e O D B C 接M y s q l O D B C 接S q l s e r v e r O D B C 接接 图表 7 ODBC 实现参考模型 、 命令提取 方式。 这种方式 通常通过远程登录服务SSH,Telnet 执行服务器可执行命令完成的， COM 组件WeOnlyDo.wodSSHCom.1提供了对象供 VBS调用实现远程登录，命令发送，命令接收，退出登录等一系列的步骤，可以完成任何命令 形式的数据采集功能 。 、 文件方式。 这种方式一部分是通过 向 服务器 发送 命令的方式实现的，但对于复杂的文件格式和数据的提取，我们是通过将文件 FTP 到客户端，然后执行文件读取操作实现的。 FTP可以通过 Window 提供的内置的 COM组件 Wscript.shell 来实现。 、 WEB 方式。 这种方式是通过客户端打开浏览器，进行Web 应用访问实现指标数据的提取，对于这种方式，Windows 提供了内置的 COM 组件 24 Internetexplorer.application实现网页打开 和 关闭操作 ；对象 document 则 实现对网页任意内容 的提取。 、 WQL 方式。是 Windows 管理技术 （ WMI）查询语言 ，WMI 提供 访问、配置、管理和监视几乎所有的 Windows资源 的功能 ，包括驱动器，文件系统，进程，服务，共享，注册表，网络模块，事件日志，用户等对象。通过编写 WMI 查询语言（ WQL）语句完成对 Windows资源对象的状态的提取。 Windows 提供了内置的 COM对象 Winmgmt:服务器名 实现对 远程 WMI 服务的接入。 、 SNMP 方式。 Cisco 网络设备提供对外开放的 指标 MIB OID 列表，通过在服务器上开启 SNMP 服务并定义 身份验证 字段 Community 字段值，客户端提供服务器主机名， Community 值和 MIBOID 就可以实现对应指标的提取。 从以上 采集 实现 方式 可以看出， 不同的 主机和网 络 设备 可以根据实际情况 的 需要 采取 不同的 方式 ， 详细采集 命令 和采集实现 方式 见 附件一：系统硬件运行状态指标 .xls， 附件二 ：系统 软件 运行状态指标 .xls， 附件三：日报表业务指标 .xls。 25 第 三 节 密码管理 模块 VBS 脚本在实现远程登陆方式采集时都需要远程主机的主机名或 IP 地址，用户名和密码信息。这种情况下密码就需通过明文方式多处存放，为了提高操作的安全性，通过密 码管理功能模块将密码加密后统一存储到数据库表中供采集模块的可执行程序调用。同时，我们开发了动态链接库 PrjEncryptionDB.DLL 提供了 PrjEncryptionDB.ClsEncryptionDB 对象 供 各 VB 脚本和可执行程序调用来获取主机名或 IP 地址和用户名对应的访问密码 , 从而达到了一处保存，多处使用的安全的密码管理功能。该功能模块加密算法采用了支持反解密的二进制异或算法，用于在采集模块程序提取后的远程登录操作。 第 四 节 实时告警模块 此模块负责超过阀值的监控任务采集数据的异常告警。当采集模块执 行返回后， 如 返回数值满足告警阀值，此模块将被触发执行，告警流程如下所示。 接 收 输入 参 数并 处 理告 警 发 送并 返 回 状态析 构 通信 对 象创 建 通信 对 象图表 8 告警 处理 流程 告警模块选择加载预定义的告警方式程序 ， 接收输入参数并作相应处理 ， 创建发送通信对象 ， 设置发送内容和发送接受对象 ，发送告警信息并返回 发送状态，最后 析构通信对象。 为有效保证 26 实时告警， 根据系统网络部署的需求，我们 还 实现了通过数据业务的企信通平台 实时 下发异常告警功能，它是通过 VBS 调用企信通提供的外部开发接口对象 empp.Emptcl 完成的。输入参数为：接收者，告警指标名称，告警时间，采集结果，采集结果状态等信息。 下图为通过企信通平台实现的告警下发短信样式。 监 控 告 警 通 知指 标 名 ： 根 目 录 监 控 主 机 数 据 库 性 能 表 空 间 利 用 率状 态 ： B a d返 回 值 ： 9 1 . 2 7时 间 ： 2 0 0 9 - 3 - 1 1 1 9 ： 2 0 ： 4 1 维 护 图表 9 下发短信 样式 第 五 节 存储模块 此模块提供了系统数据的集中存储功能， 便于该平台配置数据和采集数据的 统一 存储 和 备份。 对定时采集的数据可以选择忽略，文件存储，数据库存储三种存储方式。对存储内容可以选择所有调度均存储，状态改变时存储和告警时存储等多种方式 ， 其中 对于数据量较小和不经常变化的信息，通常采用文件存储的方式 ,主要存放在文件系统内。包括， 指标任务列表：用于对各指标配置数据的存储。 采集方法列表：用于记录已支持的各种采集方式信息。 告警方式列表：用于记录已支持的不同的告警方式。 日志文件：用于记录该平台运行状态信息。 27 对于经常变化和数据量比较大的信息， 我们将它们同于存储到Oracle 数据库 。 包括 : 采集数据列表：用于实时记录各指标的采集数据信息。 密码存储列表：用于记录远程访问的主机登陆密码信息。 其它各模块可以通过上述列表对相应数据进行读写操作。各列表存 储内容和关系结构图如图所示。 指 标 任 务 列 表P K T e s t I dT i t l eF K 1 T e s t M e t h o dS c h e d u l e M o d eI n t e r v a lA l e r t M e t h o dA l e r t C o n d i t i o nA l e r t V a l u eF K 2 A l t e r M e t h o d采 集 方 法 列 表P K T e s t M e t h o dM e t h o d N a m eP a r a m e t e r 1P a r a m e t e r 2P a r a m e t e r 3. . . . . .告 警 方 式 列 表P K A l t e r M e t h o dA l t e r N a m eP a r a m e t e r 1P a r a m e t e r 2P a r a m e t e r 3. . . .采 集 数 据 列 表F K 2 T e s t i dD a t e t i m eR e p l yF K 1 S t a t u s I D采 集 状 态 列 表P K S t a t u s I DS t a t u s密 码 存 储 列 表P K H o s t O r D N SP K U s e r N a m eP a s s w o r d图表 10 存储列表关系结构图 所有采集到信息都可通过系统监控开发包所提供的开放式采集指标数据存储接口加以存储 ,当然 ,考虑到 系统软 、硬 件运行状态指标 的采集间隔比较短（ 10 分钟），采集数据比较大；业务日报表指标采集周期相对来讲较长（天），为便于不同类型数据的统计分析和报表生成，通过编写存储过程将这两类数据分别存放到 Oracle 数据库的 2 张数据表中。 28 考虑到每天会有大量的采集数 据入库，我们定义了 Linux 定时任务，对采集数据列表中的采集记录进行每天旧数据 定时清理 ，确保数据库数据表空间被循环利用。旧数据清理策略为，对设备性能 和业务运行功能 数据在数据库中只 保留 1 个月的记录，而 对于日报表指标 采集数据设置保留 1 年的记录 。 另外，为了防止所有数据的丢失，我们对所有的数据列表进行备份，将 Windows 文件系统和 Linux Oracle 数据库系统接入了钦州统一存储备份平台。在 Windows 数据库服务器上安装了VeritasWindows 客户端，备份策略为所有的文件列表每天下午18： 00 进行文件 备份。在 Linux 上安装了 Veritas Linux 客户端和 Oracle 备份代理软件，备份策略为每天下午 18： 00 整执行数据库日增备，每周五下午 22： 00 整执行数据库周全备。 第 六 节 报表模块 报表模块实现定时从数据库中提取最新指标数据 ， 并生成业务报表的功能 。 业务报表包括质量考核指标 、 用户数 、 系统流量 、设备性能等指标类型共 100 多个指标数据 。 考虑到指标数据的可配置和可扩展性 ， 该模块在 设计上 采用了 将 报表程序与报表 内容分离 的 设计思路 ， 通过 配置文件将数据库中指标数据与报表模板中的数据单元一一对应起来 ,供报表程 序读取并执行。 该配置文件是 XML 文件格式 ,具有很强的结构性 ， 方便更新和维护 。 该模块结构如图所示 。 29 M I S C M O 批 价 鉴 权 请 求 数 质 量 考 核 指 标 7 C I N T M O 批 价 鉴 权 请 求 数 V A R M I S C M O 批 价 鉴 权 请 求 数 . . .R o w : 7 C o l : C : 2 0 1 9 0报 表 程 序统 一 存 储数 据 库报 表 模 板E x c e lM I S C : M O 批 价 鉴 权 请 求数 : 2 0 1 9 0定 时 任 务 触 发 器报 表运 行l o g配 置 文 件 X M L图表 11 报表模块结构图 报表程序被定时任务触发器触发执行 ,后者首先 读取配置文件信息 ,遍历指标项形成指标列表 ,然后通过数据库接口调用提取对应的指标采集数据 ,根据配置文件指定的指标项所在报表模板中的行和列 ,将采集数据写入指标列表的指定位置 ,然后加载报表模板 ,生成业务报表 .并将运行过程中产生的数据和运行结果做为日志 保存在日志文件中供查询和分析使用 。 第 七 节 配置模块 配置模块化是提高通用性，高可用性和可维护性的重要手段之一，也是提高系统扩展性的必要条件， 下面对各配置模块功能进行描述。 一、 采集方法配置模块。 该模块提供一组可供选择的个性化的可执行程序和通用采集方式的集合，并根据业务特性配置相应的采集方法。 30 1）对于有代理方式的外部程序调用，所支持的脚本或可执行程序的代码需要根据操作系统类型（版本）和监控指标类型进行分类。结合现网监控的现状和需求，对有代理的方式，目前支持如下指标的采集功能 : C P U : W i n d o w s , A I X , L i n u x , H P U n i x , S u n O S S W A P U s a g e : W i n d o w s , A I X , L i n u x , H P U n i x , S u n O S M e m o r y U s a g e : W i n d o w s , A I X , L i n u x , H P U n i x , S u n O S F S U s a g e : W i n d o w s , A I X , L i n u x , H P U n i x , S u n O S D i s k I O R a t i o : W i n d o w s , A I X , L i n u x , H P U n i x , S u n O S S e r v i c e S t a t u s : W i n d o w s , A I X , L i n u x , H P U n i x , S u n O S P r o c e s s S t a t u s : W i n d o w s , A I X , L i n u x , H P U n i x , S u n O S 硬 件 运 行状 态软 件 运 行状 态图表 12 有代理方式下的外部程序列表 可