月4日Tivoli讲师姜岩-IT服务管理的实践与总结.ppt

IT服务管理的实践与总结 光大银行IT服务管理建设的回顾与发展 内容提要 p背景介绍 nIT建设背景、ITSM项目背景、运行资源背景 p初步建设 n项目启动、项目实施、收益与问题 p持续完善 n工具挖潜、流程落实、人员转变、制度配套 p当前状态 nITSM基础、人员专业分工、流程的细化、ITSM成本问题 背景介绍 IT建设背景、ITSM项目背景、运行资源背景 背景介绍 pIT生产系统背景 n2000年-4套，开始集中建设 n2005年-35套 初步形成规模，带来运行管理压力 n2008年-150套 ITSM建设的急迫性 pITSM项目背景 n2003年开始登记整理故障记录等 n2004年开始ITSM理论接触 n2005年6月启动（一次故障启动） p运行资源背景 n2005年前操作员、系统管理员，被动式管理 n2006年开始，人员细分，主动式管理（投产审批及标 准） 初步建设 项目启动、项目实施、收益与问题 IT系统的快速发展与变化 p初期目标： nIT运行信息控制（CMDB）：以运行维护为导向，配置内容：服务器 、网络端口、操作信息、文档、帐户、备份介质、监控体系； n完备监控体系的建设：统筹考虑监控工具、人员、制度及流程，充分 利用监控环节的各类信息； n事件处理的初步控制：对事件进行分类、登记、跟踪，并做事后分析 与评估，促进优化监控、系统管理等工作（无细化的处理流程） ； n变更的管理：对各类变更事件首先以CMDB为核心进行评估与控制， 为后续阶段的质量管理等奠定基础； n操作环节的控制：对56套生产系统的每日300个操作任务进行自动化 控制与调度； p按需建设： n按照当时的需要，只针对配置、事件、控制与监控进行建设，解决当 前矛盾； nITIL的其它部分在初期不加以实施，但做总体考虑（如：SLA）； n实施的计划要充分考虑各类成本以及自身资源（如：人员的内部培养 、外部聘用、专业服务购买） IT系统的快速发展与变化 p简洁实用 n对于各类流程根据实际情况先简单实现，不按照ITIL模型照搬； （如：事故处理流程，人员矩阵式配置） n人员角色采取有重点逐步过渡的方式；（如：一线监控人员） n各类制度是推动ITSM建设的关键，保证制度具有可操作性，具备 ：人员角色、职责、流程、考核等关键要素；（如：作业调度使 用管理规定） n责任到人、考虑与待遇配合，有专人负责流程并提出修改意见； （如：运行主管、交接班管理） p持续演变 n事件、变更与配置等是一个循序渐进的过程，分阶段由简单到复 杂；（一期项目做，二期可能还需要做） n人员、制度、流程与工具都要根据情况不断调整；（如：监控的 四个流程自检、调整、判断、分析及一个报告重点、隐患、 解决） IT服务管理建设的初步目标日常运维有效管理 日常运维管理的核心内容 企业IT基础部件 主机等硬件存储设备各类系统软件 各类应用软件 各类通讯线路 各类文档流程 各类配置参数 日常运维有效管理的目标 保障IT系统的稳定与效率从容应对各类紧急事件合理的IT系统架构设计 流程控制 工作流程控制 操作流程控制 全面的监控体系 IT基础环境监控 应用系统检查 系统性能管理 总体运行情况分析总体运行情况分析 CMDB、事件、配置、变更 CMDB 配置管理 从项目开始的理想设计到实际应用的逐渐过度 CMDB初期的理想化 CMDB的实用化 以系统运行为主导、考虑IT审计等需要； 每类CI都要考虑相关的责任人； CI之间的关系更重要； 每类CI都对应一定的流程 CMDB的实用化 既是软件的架构也是监控信息 监控体系的建设 系统监控在运行管理中的功能 p运行管理架构的建设 建立IT运行的预警机制：提高故障主动发现的比率 建立系统的评估机制：基于数据对系统性能、容量评估 建立IT运行质量控制机制：问题的预先解决、质量把关 p是IT服务管理体系的基础 奠定数据基础：真实的运行数据 奠定控制基础：事故发现、定位、处理的基础 奠定知识基础：监控消息的“消化”，形成知识库（专业服务 ） 奠定人员基础：监控环节不仅仅是一类人员的工作 奠定流程基础：是各类流程的起点，也是监视环节 Page 14 监控在ITSM中的功能 n以OVO为基础的监控工具体系 OVO服务器 LOGLOGIC 对SYSLOG日志的搜集 过滤、报警 SNMP转发 OVO的各类AGENT 各类设备的SNMP 应用自定义的服务 检查流程 ECC、ISEE 加密机 专用设备 各类报警消息 故障工单 OVSD： 1.控制故障解决； 2.控制监控部署； 3.控制监控策略； 4.控制故障判断； 质量控制 安装配置标准 测试的标准 检查的标准 控制的标准 OVSD与OVO的配合（日常工作流程） 与IT服务管理中其他功能的关系 n与事故处理的关系 p对于事故的发现与定位，主要依靠监控体系，同时对于没有在监控体系 发现与定位的事故，必须认真评估，查找原因后不断修补监控体系，提 高OVSD中故障主动发现的比例； n与变更管理的关系 p在变更过程中必须考虑监控和检查手段； p在发现监控体系漏洞后必须通过变更环节协调CMDB中CI修改； n与配置管理的关系 p在配置管理数据库（CMDB）建立应用系统监控信息，针对任何投产的 应用系统，能够明确其构成结构及对应监控手段，建立完整的应用架构 档案（可考虑SN的展现）； n与系统开发的关系 p在应用开发阶段，逐步按照应用系统投产文档建立规范完善架构设 计、容灾、容错、性能等环节，并最终产生移交文档；（质量控制） p将移交文档在监控、配置管理等环节实施； 监控系统有效运行流程_（新系统投产） 开发人员 建立应用可 用检查清单 按照： 1）IT基础环境； 2）应用可用检查； 两个项目形成投产 监控档案 在OVO中部署各节点及层面的 监控模板，设置特定阀值 实施应用可用的： 1）特定检查； 2）服务检查； 系统管理员 建立应用IT 基础环境 检查清单 监控管理员 依照以往经验 建立应用可用 基础检查清单 1）通过OVSD 变更流程登记； 2）变更OVSD 问题库协调一线 监控人员； 3）统一报警到 OVO平台； 一线监控人员 监控OVO 对：1）IT基础环境严重报警； 2）应用可用严重报警； 发起事故工单 协调责任人处理 按授权启动应急流程 监控系统有效运行流程_ （持续维护） OVO监控平台 一线监控人员 监控OVO 对： 1）IT基础环境 严重报警； 2）应用可用 严重报警； 发起事故工单 协调责任人 处理 按授权 启动应急流程 OVSD平台 开发人员 建立应用可 用检查清单 系统管理员 建立应用IT 基础环境 检查清单 监控管理员 依照以往经验 建立应用可用 基础检查清单 按管理规定 监控并发起 报警 用户投诉 检查： 1）所有事故来源为监控体系 的有效性； 2）未被监控体系发现的事故 ，确认监控检查方式； 事故管理 ITSM建设初期目标_事故处理 事故的分类，由值班人员统一跟 踪 ITSM建设初期目标_事故处理 事故来源的详细定义，统计分析 的基础 ITSM建设初期目标_事故处理 提高故障主动发现的比率 变更管理 ITSM建设初期目标_变更管理 CMDB是变更的基础，变更与监 控协调一致 ITSM建设初期目标_操作的控制 操作的变更首先在CMDB实现 ITSM建设初期目标_操作的控制 作业调度的实现 ITSM建设初期目标_操作的控制 作业执行情况的监控 IT服务管理建设的收获与问题 n流程控制、全面监控、主动管理 n人员转化、流程制度、工具支持 IT服务管理建设的收获_初期建设思路 p理论产生的背景 nIT系统故障的危害巨大； n有效维护IT系统超出了纯粹的技术范畴； n基于技术的复杂管理体系； p理论的意义 n总体描述了管理的范畴，细化各个环节； n科学的划分了各个管理控制层次； p利用理论指导的思路 n首先：统计分析企业自身各类IT事故、事件，找出最近、威胁最 大的问题； n其次：分析企业已有的IT参与人员、制度及流程； n再次：参照企业对IT部门的责权利定义； n最后：制定IT服务管理的基础建设方案； IT服务管理建设的收获 主动式系统管 理 通过变更等流程控制 CMDB进而控制IT架构 的关键环节； 根据OVSD的事件、变 更管理，控制IT服务质 量； 根据系统的变更，及时 定义修改对应的各类流 程； 依照各类控制流程、IT 架构设计策略，逐步完 善应用系统设计规范， 保证系统的效率与安全 全面监控体系 完善配置OVO等IT基础环 境监控工具，首先保障IT 基础环境健康，做到及时 排除事故隐患； 积极利用各类系统优化工 具及专业分析排除故障隐 患 制定标准，设计应用检查 规范 充分搜集整理以上三个渠 道的系统运行数据，为系 统管理环节提供系统设计 规范素材 完善的流程控 制 根据系统管理环节的定义 ，在iEAI实现所有操作流程 的控制，对操作的执行过程 保留完整的执行现场数据； 实现项目流程的管理，保 证投入运行系统的质量； 在OVSD实现ITSM的工作 流程控制（人员角色间配合 ） 过渡到完善的IT服务管理架构是一个渐变的过程，借鉴 理论，结合实际，在IT系统日常运营管理工作中，首先 努力做好以下三个方面的工作，为后续ITSM建设打下坚 实的基础 IT服务管理建设的收获主动系统管理 p涵盖范围 n应用系统日常变更、配置、事故处理策略与流程； n应用系统各类检查与应急处理流程； n应用系统的持续优化； n应用系统规范的细化以及与开发环节的衔接； n针对系统运行的各类统计分析报表； p参与人员角色划分 n运行主管、监控管理员、系统管理员、变更管理员、项目开发人员 p关键问题 n能够控制各类CI之间的关联关系； n能否有效的实施各类流程及管理制度； p主要职责 n保证日常变更的完整与准确（与监控，处理流程的关系） n依据运行中的各类事件和要求，调整应用系统规范，做到预先控制 n控制对关键配置信息的更改与维护 IT服务管理建设的收获主动系统管理 数据库主机、服务器 存储 文档组织人员 厂商服务 网络 应用 操作流程 CMDB 纳入范围、专人管理 帐户 IT服务管理建设的收获主动系统管理 通过分析抓住重点，消除故障 根源 IT服务管理建设的收获全面的监控体系 p涵盖范围 n生产系统的IT标准组件监控(OS/DB/MW/硬件/网络)； n关键应用进程及其日志，应用与外部的关联，应用特定配置、特殊设备 ； n应用批作业的特定监控（批处理状态检查等）； p参与人员角色划分 n监控人员、运行主管、监控管理员、系统管理员、变更管理员、应用开 发人员 p监控的不同部分 n监控广泛概念的IT标准工业组件（IT基础环境监控）； n可灵活自定义系统主动检查流程（特定应用监控); n深入分析与优化能力（性能分析）； p主要职责 n通过监控体系主动发现事故，通过分析报告发掘隐患； n通过自检、调整、判断、分析四个流程保证监控系统的不断自我完善 ； n通过监控系统的积累，逐步建立知识库 ； IT服务管理建设的收获全面的监控体系 全面监控体系的概况 应用前端 应用服务进程、专用设备 存储 操作系统 中间件 数据库 主机 网络 应用 外部 连接 专业诊断工具及性能管理 OVO IT组件标准监控 主动检查流程 应用 维护 流程 （批作 业等） 此部分主要监 控构成应用系 统的标准IT组 件，针对标准 的协议、资源 、服务、日志 等进行监控， 考虑各应用系 统的不同特点 ，定义不同的 监控模板，被 动大范围的监 控各类事件发 生，同时搜集 系统运行性能 数据，这类故 障约占系统故 障的3040 此部分主要 是针对应用 系统的特定 配置、维护 操作、应用 的关联、专 用设备等进 行监控，是 一个灵活修 改、主动检 查的体系， 主动发现应 用系统故障 的6070 IT服务管理建设的收获人员的流程化 事件发生：多渠 道 一线登记：分类 ，发起呼叫，跟 踪 二线解决：系统 管理员总负责， 首先定位问题， 其次解决 三线支持：项目 组，系统工程师 ，厂商 监控/问题：确认监 控漏洞、修订标准 IT服务管理建设存在的问题人员转化 p人员分工的细化与流程整体的协调； pITSM人员角色与目前IT部门人员所属部门的协调 ； p人员角色的责权利与企业人力资源部门的协调； p各层次人员的持续培训问题； p发挥各层面人员主动性的问题； IT服务管理建设存在的问题流程制度 p流程修改的成本控制； p流程与管理制度的配套； p流程制定过程中各层面人员的参与； p流程的实现问题（没有好的控制手段就难以深化 、落实）； p流程与部门分工的协调； IT服务管理建设存在的问题工具支持 p对CMDB的修改的有效控制（变更的可操作性） ； p对CMDB的展现问题（在评估中发挥作用）； p对CMDB中数据的报表展现（无法利用CMDB数 据生成各类管理报表）； IT服务管理持续建设 流程驱动、范围扩展、标准建设 质量管理、全面考虑、框架建立 项目之后的持续改进 IT服务管理持续建设（目前以流程控制主） p流程驱动 n完善已有流程（事故、变更、投产等），实现真正控 制； n流程涉及的范围逐步扩展（运行、开发、商务）； n流程既要满足IT安全运行的要求也要考虑IT审计要求 ； n系统运行架构的建立，实现人员间协同配合，有效利 用专业资源； p工具配置 n充分利用已有工具； n基于前期经验引入新工具； p标准建设 n推进应用系统投产标准、系统安装标准等建 设，做到预先解决，防止隐患进入生产环节； 需求设 计 系统 实现 测试 阶段 投产 评估 lIT架构控制 l数据设计 l容灾设计 l资源评估 l安全设计 l审计考评 l代码性能； l压力性能； l承载性能； l破坏测试； l。 l操作控制； l监控评估； l备份协议； lSLM实施； l安装检查； 投入运行 l监控调整； l性能评估； l故障管理； l运行分析； l专业服务； 在IT管理平台实现流程控制_质量控制的流程 立项 阶段 运行项目管理（移交、投产标准）运行管理、监控、评估 运 行 体 系 开 发 体 系 在IT管理平台实现流程控制_流程控制的标准 # 文档代码文档名称内容说明优先程度 1 SFS 应用系统服务说明（Service & Function Summary） 中英文名称： 功能概述： 服务时间说明、交易峰值预测： 用户类型、数量、访问方式： 2ASA 应用系统软件架构（Application Software Architecture ） 客户端、表示层、应用层、数据层、通讯 层等各层、各类软件功能及软件产品说明 3HBC 设备及灾备配置（Hardware & Backup Configuration ） 软件架构各层次对照的硬件配置、容灾方 式及硬件配置 4AIC 应用软件安装配置说明（Application Software Installation& Configuration） 软件架构各层次的应用软件名称、安装方 法、配置说明 5SIC 系统软件安装配置说明（System Software Installation& Configuration） 操作系统、数据库、中间件及其他产品软 件的安装、配置说明 6FSL 文件系统清单（File System List）软件架构各层次文件系统清单、空间大小 、余量要求 7BPG批处理指南（Batch Process Guide） 批处理内容、时间、条件说明、操作方法 8HBA 历史数据/文件备份及清理协议（Historical Data/File Backup & Remove Agreement） 数据库、文件系统、应用程序、报表、日 志等备份、清理要求和方法 9APM 应用进程管理手册（Application Process Management Manual） 软件架构各层次服务进程的清单、功能、 停起方法、监控手段 10AUL 应用/数据库用户清单（Application/Database User List ） 应用和数据库用户名称、功能、权限和口 令变动说明 11UQA常见问题及处理（Usual Question & Answer） 在IT管理平台实现流程控制_流程控制的制度 制度的集中登记与控制 在IT管理平台实现流程控制_流程控制的实现 p标准、制度、人员是流程的基础； p以工具等手段加以控制，实现流程的落实； p流程过程中涉及的标准、资料、配置等是动态的，如何有 效协调是关键； p复杂流程具有计划性，事先计划、设计，然后由系统自动 调度执行，以达到协调多种角色人员完成复杂工作； p流程的执行过程历史必须清晰记录，满足监管与IT审计要 求； 当前状态 ITSM基础、人员专业分工、流程的细化、ITSM成本问题 ITSM的基础础情况 p基础工具平台：监控、ITSM、性能 p人员角色基础：由初期状态实例化的ITIL p制度基础： p管理流程基础：各类控制表格 p报表基础：各类ITSM相关报表 人员员分工的细细化 p工具、人员、流程交替促进 ITSM流程细细化的实实施 p根据人员角色及控制的变化细化流程 p以细化的流程控制推动人员工作专业化 p流程与CMDB的紧密结合 pCMDB在各类决策中发挥真正作用 IT审批管理场景_投产审批流程 根据IT实际环境及自身 人员分工，设计投产安 装检查清单，做为审批 流程的设计依据 以工具实现投产审批流程的控 制，并配属角色、设计界面 在实际投产审批工作中，工具自动 按流