光大银行监控平台项目工作说明书v1.3

光大银行监控平台项目工作说明书起草人：chenbin起草日期：2014-11光大银行监控平台项目DOCPROPERTY"Tool_Name"工作内容说明FocusPMDOCPROPERTY"ToggleDesignation"HPRestrictedPage起草人:起草日期:复审人:复审日期:分发名单来自From日期电话/传真给To行动*截止日期电话/传真*行动类别:批准,复审,通知,存档,所需行动,参加会议,其它(请指明)版本记录版本编号版本日期修改者说明文件名V0.12014-11Chenbin创建文档V1.02014-11Yuan,Yunfei修订文档

目录1. 前言 51.1. 文档目的 51.2. 缩略词与术语说明 51.3. 项目背景 51.4. 建设思路 61.5. 需求理解 61.6. 建设目标 102. 总的前题条件和假设 102.1. 工作环境的要求 112.2. 软硬件资源及要求 113. 实施和服务内容 123.1. 硬件监控 123.1.1. 服务内容 123.1.2. 主要交付物 153.1.3. 验收标准 153.1.4. 用户职责 163.2. 综合展现 163.2.1. 服务内容 163.2.2. 主要交付物 183.2.3. 验收标准 183.2.4. 用户职责 184. 文档、知识转移及验收测试 184.1. 服务内容 184.2. 主要交付物 194.3. 验收标准 194.4. 用户职责 195. 试运行及支持 195.1. 服务内容 195.2. 主要交付物 195.3. 验收标准 205.4. 用户职责 206. 售后技术支持 206.1. 服务内容 206.2. 主要交付物 206.3. 验收标准 206.4. 用户职责 207. 项目管理 217.1. 服务内容 217.2. 主要交付物 217.3. 验收标准 217.4. 用户职责 228. 项目组织架构 229. 项目进度计划 2410. 项目验收计划 2511. 项目变更程序 2612. 本期项目涉及监控软件功能介绍 2612.1. HPAVMON介绍 27

前言文档目的本工作说明书用于定义在光大银行监控平台项目中，光大银行（甲方）与中国惠普有限公司（乙方）之间的有关光大银行监控平台专业服务之工作范围和职责。缩略词与术语说明在本工作说明书及其附件中，以下缩略语与术语有其特定含义：项目：本文中提到的项目是指“光大银行监控平台项目”合同：指光大银行（甲方）与中国惠普有限公司（乙方）之间的有关光大银行监控平台专业服务合同HP：指中国惠普有限公司惠普：指中国惠普有限公司客户：指光大银行项目背景随着光大银行网络建设和系统建设的不断发展，各种业务系统越来越多越来越复杂。目前数据管理中心对各个系统服务器的硬件维护管理缺乏有效的监控工具，没有一个统一的、全面的硬件监控管理平台，这就难以保证服务器系统的运行质量和业务应用的正常稳定运行。面对数量众多的业务系统，为了提高工作效率，做到对业务系统的故障防患于未然，需要建立一套能够对整个光大银行的IT系统服务器硬件进行集中监控、集中维护、集中管理的监控管理平台。光大银行IT系统运维管理担负着各种网络、服务器、数据库、存储等多个关键设备和多项核心业务的规划、建设和维护，日常运维工作非常繁重，如何建设实用有效的IT硬件监控管理系统，从而减少维护人员的日常工作强度、减少重复劳动、迅速发现系统运行异常情况并准确定位故障点、缩短故障处理时长、减少系统不可用时间，同时提高服务器系统高效使用的支持能力，是目前光大银行系统维护面临的重大课题。建设思路夯实基础，打造统一的服务器硬件监控平台，实现对IT服务器的透明化、精细化、全面化管理，满足运行维护管理的要求。结合国内外信息化运维管理平台发展特点，针对光大银行信息化管理现状，管理平台应着眼夯实基础管理，提升业务管理水平，实现全面、透明、精细化的运维管理平台目标，主要从以下两个方面进行建设：覆盖硬件基础设施的自动监控、主动告警、分析定位，提高维护效率；建立全面统一的硬件管理平台，实现IT部门从被动管理转变到主动管理，全面提高运维水平；需求理解服务器是业务系统的基础,一旦出现硬件故障对业务的影响是致命的，经常会导致业务系统中断，造成企业重大损失。服务器的硬件监控如果不是原厂监控系统对于硬件监控能力大多相对较弱，难以对硬件进行全面、准确的监控管理，造成对硬件损坏反应相对比较缓慢。为了确保IT环境正常运行，必须保证服务器所涉及的每个硬件环节都正常工作。这就要求能对环境中的关键设备硬件进行实时管理，及时发现问题、解决问题，向管理员发出警告信息。这些系统管理工作单靠系统维护人员的手工操作是远远不够的，需要一整套全面的系统管理软件帮助系统管理人员监视和维护IT系统。这样才能确保系统具有高度的可靠性，能够及时处理和报告发生的问题，在系统可能出现问题之前就发现事故隐患，及时处理；同时，及时发现性能瓶颈，分析系统性能的变化趋势。光大银行的管理需求是集中、统一管理，因此各业务系统的简单组合并不能真正符合统一管理的需求，整个管理系统应该是集成的、建构在一个统一平台之上的体系。这个管理平台包含两层含义：1、各个监控管理的功能是运行于一个统一的平台之上，具有统一的管理界面。平台为各个管理功能提供公共的服务。对这个管理平台的要求包括：管理平台应具有优秀的集成性和良好的易用性管理平台应采用面向对象技术系统管理软件必须具有良好的安全性管理服务器具有通用性、要求支持多种平台，比如Unix，Linux，Window等部署方案灵活，具有高度的可扩展性管理软件应具有图形化的操作界面，展现具有及时性，界面要求美观2、各个监控管理所产生的事件信息汇总到统一的事件处理平台，来对主机硬件方方面面的事件统一进行处理。事件处理平台的要求包括：包含主机风扇、电源、CPU、内存、硬盘、板卡的管理事件能够减少系统监控对设备的负载压力能够提供管理事件的智能分析，帮助发现关键故障信息能够集中定义事件的自动处理机制和报警机制提供基于规则的分析能力，并提供简单的规则定制工具提供现成可用的处理规则，降低实施难度和工作量提供和第三方管理工具的事件管理集成光大银行IT管理范围大，内容深，这就对管理系统提出了非常高的要求，总体而言包括：管理系统需使用业界成熟、稳定的产品，已取得广泛应用，并可按照ITIL国际标准，建立一套完整、成熟、可靠的管理体系。管理系统具有良好的开放性，支持业界标准，并能通过开放的接口与第三方产品集成。管理系统后台数据库采用开放的关系数据库。管理系统不能影响生产环境业务主机的正常运行。管理系统应提供集中管理功能，可使用户积极地运维和管理主机系统上各项软硬件的信息，对于被管对象有相应的监控、管理功能，形成一套统一的系统管理解决方案。操作和管理功能应集成于一个管理平台，统一于一个管理图形界面，并保证系统的稳定性。管理服务器和被管服务器之间通信必须采用安全的协议进行通信。产品高效易用，提高整体运维效率。具有自身安全性控制，包括用户访问权限、数据安全控制、通信协议安全等，用户必须具有分权管理功能，不同用户管理不同的设备。目前光大银行本次项目的服务器见下表：机型数量BL46026BL460C19BL460cG121BL460CG51BL460CG67BL465CG75BL4801BL560G81BL660C18BL660CG827BL660cGen8128BL68021BL680C12BL680cG5185BL685132BL685G712BL685CG7556C7000305DL3603DL360G52DL360G71DL3806DL380G33DL380G41DL380G515DL380G68DL380G72DL380G810DL380GEN811DL380PG81DL380pGen83DL388G71DL388G84DL5601DL5801DL580G34DL580G417DL580G52DL580G72PE66001ProLiantBL660cGen810IBL860291IBL87061IBL89030RX28005SuperDomeII31Total2004通过以上列表可以知道中心现有PC服务器1281台，UNIX服务器418台，刀笼305个。针对以上服务器，本次监控平台建设主要有以下几方面的需求：对主服务器硬件进行监控；统一展现界面；系统自身的管理。具体来说，为了确保光大银行信息系统安全、高效、稳定地运行，提高管理水平，满足客户日益增长的服务需要，提供最安全最周到的服务保障，树立自己的行业形象，并结合现今行业发展水平，利用先进技术，采用安全可靠的设计方案，将监控管理平台集成化、网络化。监控平台应能够很好的满足光大银行运维管理的基础设施和业务管理需求，具备良好的实用性、开放性和可扩展性，不仅可以满足现阶段光大银行运行维护管理的需要，未来，随着光大银行业务的不断发展，运行维护功能添加，或管理节点数量增加时，监控平台也可以很好满足需求。建设目标监控平台的总体建设内容包括监控现有的所有刀片式PC服务器、刀笼、机架式PC服务器，实现IT基础设施服务器的全面监控管理。监控平台的总体建设目标是为了实现服务器硬件实施统一的管理，并为未来的业务运维预留接口，从而为领导提供更加直观人性的界面展示系统的整体信息，为维护人员提供更加简洁的通道了解系统的异常情况，为平台人员提供更加准确的信息了解平台的支撑情况，减少各级人员获取信息的工作量和工作难度，从而提升运维工作效率和质量。总的前题条件和假设所有参与项目的干系方都应本着项目成功这一共同目标来精诚合作，当有看法上的冲突时应尽量在项目进度允许的范围内通过协商达成一致，若不能在项目组中解决则上报双方项目总监决策。但是，不能以意见不统一为借口拖欠资源和延误工作，所有项目组成员都必须服从项目经理的合理安排。为了确实保证项目成果向用户平稳移交并在实际工作中被正确运用和维护，光大银行必须合理安排本方项目人员的日常工作，保证他们有充分的时间和精力投入项目。为便于管理，监控软件管理服务器必须能够通过企业内部网访问到所有的被管对象。在此我们假设所有的被管设备都是光大银行具有管理权限的。当项目中涉及第三方提供给光大银行的软件和硬件，需要获得第三方的支持时，光大银行负责联络和协调与第三方的合作关系。惠普服务的实施一般在正常的工作时间，即星期一至星期五的9:00AM到6:00PM，节假日除外。工作环境的要求本项目的实施工作主要由中国惠普公司项目组在用户现场进行，项目中所需要的场地、办公用品、电话等设施，还有存放文档的服务器等，由光大银行负责提供。客户应提供工作场地。该工作地点应有至少一门直线电话可以与外界联系。该工作环境必须有畅通的内部网络环境，以便实施和开发团队的工作开展。该工作地点应提供Internet出口以方便实施开发团队收发电子邮件。该工作地点应提供一台文件服务器，作为软件开发源码管理及项目电子文档存放之用。并有一台打印机帮助资料打印，一面白板帮助会议讨论。软硬件资源及要求基于以上原则，在本解决方案中，将采用HP的专业监控软件作为解决方案的基础。系统部署要求如下：硬件：设备名称数量配置说明服务监控服务器14core，500G硬盘，16G内存硬件监控采集器44core，200G硬盘，8G内存软件：硬件监控软件1项目实施实施和服务内容硬件监控服务内容因光大银行数据管理中心核心应用是架构在HP服务器上，基于HP服务器硬件监控在本期项目中就显得尤为重要。硬件监控能够采集服务器的硬件状态指标，包括内存状态、CPU状态、硬盘状态、风扇状态、系统温度、网卡状态等，实现对底层硬件的集中管理，发现问题及时生成报警，保证底层硬件的可用性和可靠性。本期项目计划实现的服务器硬件监控范围为PC服务器1281台，UNIX服务器418台，刀笼305个，服务内容包括：部署监控平台服务器和采集机通过无代理的方式Avmon主动采集纳管监控主机硬件故障和状态信息。(方案一)通过SNMPtrap方式接收主机带外口上报的故障信息。（方案二）配置主机硬件监控的采集策略编写文档，描述主机节点的信息及硬件监控策略部署情况根据硬件监控需要对AVMON展现进行配置（包括告警合并、不同硬件类型告警等级调整等）服务器硬件监控指标包括但不限于（方案一监控指标）：类别名称KPI名称（中文）电源设备pwr(单个)工作状态温度pwr(单个)当前温度温度pwr(单个)温度状态（是否过热）温度CPU（单个）当前温度温度CPU（单个）当前温度状态（温度是否过高）温度memzone当前温度温度memzone当前温度状态（是否过热）温度disk当前温度温度disk当前温度状态（是否过热）温度机箱当前温度温度机箱当前温度状态（是否过热）温度I/OBoard当前温度温度I/OBoard当前温度状态（温度是否过高）风扇fan位置风扇fan单个状态风扇fan实际转速CPU信息CPU系列名称（CPUFamily）电源设备Capacity电源设备firmware_version电源设备hotplug_capableCPU信息CPU状态CPU信息CPU线程数CPU信息CPU位数CPU信息CPU主频内存信息mem大小内存信息mem速度内存信息mem状态网卡网卡类型+port网卡网卡MAC地址主板插槽主板插槽类型主板插槽主板插槽宽度ProcessorProcessor总数量ProcessorPstate数量ProcessorProcessor当前PstateProcessorProcessor当前Pstate占比基本信息主机UID等状态主机通电信息主机电源自启动功能当前设置主机通电信息主机当前通电状态主机通电信息主机电源省电模块当前状态主机通电信息主机电源FirmWare当前版本主机通电信息主机持续工作时间主机通电信息当前功率（watt）主机通电信息主机电源功率上限设置信息基本信息主机硬件变更日志基本信息主机名基本信息IP基本信息bios系列名基本信息bios最后一次更新时间基本信息产品名称基本信息产品序列号基本信息产品cUUID基本信息产品UUID整体状态总体电源允余状态整体状态总体电源状态整体状态vrm当前状态整体状态vrm整体状态整体状态风扇整体状态整体状态风扇整体允余程度整体状态温度整体状态基本信息ILO许可类型基本信息TPM状态基本信息SystemROM基本信息BackupSystemROM基本信息ILO版本号注意：以上监控指标是以G7，Gen8等服务器为例给出，部分老旧设备监控指标可能无法保证完全满足以上指标列表。方案二采集指标主要由SNMPtrap上报的故障信息，指标信息无法提供主要交付物《服务器硬件监控部署情况》：用以描述各个服务器的硬件监控信息及监控策略部署情况。《服务器硬件监控操作维护手册》：用以描述服务器硬件监控的操作步骤和日常维护，并指导运维人员的日常操作。验收标准硬件监控采集机正常采集服务器硬件指标。硬件监控策略成功部署。惠普项目组提交《服务器硬件监控部署情况》并获得用户确认。惠普项目组提交《服务器硬件监控操作维护手册》并获得用户确认。用户职责负责提供正常运行的被管设备。提供被管设备的iLO或OA端口的Admin用户名和密码。指定联络人和惠普工作小组共同配合和确认安装调试，确认和验证服务器硬件监控的效果。综合展现服务内容综合展现是本期IT综合监控平台的一个重要特性，将会作为相关人员的统一门户，对采集处理的不同设备中的数据进行集中分析展示，做到在一个系统中完成对所有接入系统的监控目的。本期综合展现门户采用AVMON界面统一集成，分成了告警监控、实时性能、性能分析、查询与报表、配置管理、部署管理、系统管理等部分。借助这些展示界面，用户可以实时监视告警情况，分析系统性能状况，及对告警等内容做进一步的分析处理。此外，平台可以对上述各类监控平台所采集的实时数据和历史数据进行加工处理，定期提供系统的运行状况、历史统计、预测分析报告。按不同时间梯度对性能数据、故障数据进行汇总报告，为决策和预测分析提供数据依据。展示形式如下图：功能特点：告警集中展现平台展现所有的告警信息，具有基于浏览器的告警浏览器，主动根据各个IT组件的依赖关系区分关键的告警和现象告警。能够对告警进行过滤、关联、排序、优先级设定、分派等处理。告警事件根据业务拓扑关系进行自动的关联处理，对于同一个业务系统下面的数据库、主机等，可以将其告警汇总，通过自动的事件关联，识别故障的根本原因。对故障可以进行分派、确认、添加注释、关闭等操作，也可以根据故障执行相应的操作。对故障可以设定通知机制，可以通过短信、邮件将重要故障直接通知到运维人员，可以按照不同的业务、IT基础设施将告警发送给不同的运维人员。监控集中展现所有服务器硬件监控可以集中展现在平台上。建议针对每个运维人员，在同一个页面中展示自己职责范围内的刀片式PC服务器、刀笼、机架式PC服务器，这些图可以嵌入到一个统一的页面上进行综合展示。主要交付物综合展现相关功能得以实现。验收标准综合展现得到用户肯定，满足要求。用户职责指定联络人和惠普工作小组共同配合和确认安装调试，确认和验证综合展现的效果。文档、知识转移及验收测试为使光大银行有效的使用HP监控产品，必须对运维人员进行知识转移。在项目结束以前，惠普公司项目组将召开知识转移会议，内容包括项目的具体实施内容及操作，维护方法，惠普公司项目组还将完成所有的项目文档并移交给光大银行项目经理。测试验收是项目的最后步骤，所有项目通过测试后用户将签署项目的最终验收报告并结束项目。服务内容举办技术培训现场举办技术培训解释与本次项目有关的产品配置、维护等方面的技术问题，帮助用户接管监控平台推荐进一步的惠普技术培训课程准备《最终用户服务验收报告》主要交付物现场技术培训知识转移材料最终用户服务验收报告验收标准举办过现场技术培训用户职责安排适当人员参加技术培训并确保其参加培训的时间。对在用户现场安排的培训，提供培训教室和必要的培训器材，培训器材包括白板、水笔、投影仪等。试运行及支持服务内容当项目实施结束之后，进入试运行阶段，在该阶段需要完成以下工作：试运行支持试运行期间，当用户对AVMON产品和安装配置有任何疑问时，HP项目组成员负责解答；试运行期间，当出现AVMON产品不能正常工作的情况时，由用户通知HP项目组成员，HP项目组成员负责解决问题；主要交付物试运行报告验收标准在试运行阶段解决了所有与安装、配置相关的问题，AVMON产品能够正常运行。用户职责指派合适的人选开展试运行工作。向HP项目组反馈试运行情况，发现问题及时沟通。售后技术支持服务内容项目实施完成之后，定期到场巡检系统运行健康状态(每季度一次，每次两人天，共计8人天)处理巡检中发现的问题和故障，故障现场响应预留12个机动的人天。在系统运行中出现的问题，提供远程与现场相结合的技术支持主要交付物定期巡检报告。巡检故障处理报告。验收标准定期巡检，保障系统健康运行，巡检报告和巡检故障处理报告满足客户需求。用户职责指定联络人和惠普巡检工程师共同配合和确认，提供巡检中可能用到的各种资源和环境。对巡检报告进行验收和确认。项目管理服务内容惠普公司将派遣资深项目经理参与光大银行监控项目，包括项目的设计、联络、汇报、技术协调管理等方面的工作，以配合本项目能够达到系统功能要求并如期完成。项目管理的主要工作包括：制订项目实施计划，确定项目成员，进行项目动员，组织召开项目启动大会；定期召开项目协调会，控制项目实施进度，及时纠正项目实施过程中发生的各种偏差，保证项目稳定健康的推进；按要求修改实施计划和工作进度时间表：根据计划分步实施；根据实际状况更改进度计划；根据实际状况调整人员安排；进行品质检查和合同管理。分析问题和新的风险。协调HP内部资源如硬件现场工程师、软件实施工程师、响应中心热线工程师等，及时解决项目实施过程中的各种问题；整合用户反馈，检查阶段结果，确保项目实施的质量，能按时保质的完成项目。主要交付物项目实施计划验收计划和标准会议纪要验收标准当系统成功部署后，可以认为本服务已经成功实施。已经提交《项目实施计划》、《验收计划和标准》、《会议纪要》等文档，并得到用户的确认。用户职责光大银行将指派一名项目经理与惠普公司项目经理接口，共同完成项目实施管理工作。项目组织架构惠普公司项目实施团队组织架构职能角色职责范围项目管理委员会由双方项目发起人，双方相关领导组成项目总体控制项目重大问题的协调和解决；项目重大决策项目重大变更批准高层沟通，宏观资源调配控制项目实施最终审核与批准项目实施团队项目经理制定和跟踪实施项目计划负责HP方资源协调，日程安排对项目中出现的变更和风险问题等进行管理与光大银行项目经理及时沟通协调项目各小组的工作配合向管理层定期报告项目状态平台架构师负责项目需求分析、设计和架构工作确保在整个项目中的技术路线的正确性跟踪需求的变更和对技术层面的影响协助进行编码开发和测试平台开发人员负责平台系统子模块设计模块编码和单元测试Bugs修订协助进行编码开发和测试平台测试人员制定测试计划和测试方案编写测试案例和准备测试数据进行项目各阶段的测试准备测试报告光大银行项目组成员构成及职责作为项目管理与配合，光大银行需为项目提供以下人员配备，成员角色和责任定义如下：职能角色职责范围项目管理委员会由双方项目发起人，双方相关领导组成项目总体控制项目重大问题的协调和解决，项目重大决策项目重大变更批准高层沟通，宏观资源调配控制项目实施最终审核与批准项目小组项目经理参与并审核确认规划设计方案参与规划设计质量控制监督并参与各项规划负责协调项目在光大银行内部的协调工作相关部门人员客观及时的提供HP项目成员所要求的本项目相关信息安排适当的人员参加需求调研配合惠普实施人员完成需求梳理和实施上线确认要实施的系统可以被惠普实施人员完全操作和配置指定特定人员负责系统建立后的日常维护工作，并参与相关培训项目实施过程质量审核光大银行应当指定项目经理作为唯一的接口人，负责安排和协调调研人员、地点和时间，负责项目问题的及时反馈、解决和升级。光大银行需根据惠普的要求指派合适的人选参与项目组，合理安排本方项目人员的日常工作，保证他们有充分的时间和精力投入项目，配合相关的实施工作。光大银行为惠普项目组提供工作环境，以保证项目组有效工作。光大银行应该按照惠普项目组的要求，及时提供项目必需的资料和信息、数据。光大银行负责内部的沟通协调。光大银行负责同本项目相关的其他项目组和服务厂商的协调工作。项目进度计划每项服务工作内容已在上面的章节中详细描述，初步时间进度参见下表（项目假设2014年12月1日开始实施）。阶段任务子任务内容负责人计划开始日计划结束日时间/天前期准备环境调研项目团队组建

HP，客户2014/12/12014/12/44项目启动

HP，客户2014/12/52014/5/51环境调研及系统环境开通确认检查

HP，客户2014/12/82014/12/167项目实施AVMON系统建设以及监控纳管配置AVMONserver建设AVMON服务端环境配置HP2014/12/172014/12/224AVMONServer安装和调试HP2014/12/232014/12/306Avmon采集机安装和配置HP2014/12/312015/1/23主机监控设备纳管HP2015/1/52014/1/3045采集配置HP2015/2/22015/2/2045告警测试验证和调试HP2015/2/232015/3/630系统集成和综合测试综合测试采集测试HP2015/3/92015/3/1312综合测试HP2015/3/162015/3/2012项目交付培训、项目交付、汇报等training以及知识transfer

HP2015/3/232015/3/242项目文档准备

HP2015/3/252015/3/273测试、验证和技术验收

HP2015/3/302015/4/24汇报

HP2015/4/32015/4/31项目管理

HP2015/4/12015/4/335项目验收计划本项目按里程碑分两次验收：里程碑1时间：完成AVMON产品的配置和客户化；标志：完成第3章、第4章、第7章定义的服务内容，并且提交验收报告及相关交付物，本验收视为初验。里程碑2时间：试运行完成标志：完成第5章中定义的服务内容，本验收视为终验。项目变更程序所有项目的变更都应当遵循本条约定的变更程序，包括但不限于项目范围，工作计划，项目费用等变更。提出