数据中心建设与智能化运维管理

数据中心建设与智能化运维管理 阜外医院 赵韡 2014.5 2014中华医院信息网络大会 2 数据中心基础架构 2014中华医院信息网络大会 3 数据中心的演变史 数据中心的演变史 旧式数据中心（2000之前构建） 旧式数据中心（2000之前构建） 2.5 - 5 kW/机架，闲置的空间容量 PUE 1.9 2.4，非常有限的气流密封 面向大型机建设 更为现代的数据中心(2000 2005) 更为现代的数据中心(2000 2005) 4 8 kW/机架 PUE 1.6 2.0，热通道/冷通道分区 更加高效的UPS/制冷系统 基于不同Tier等级的复杂设计 较为严格的工作环境参数 创新型数据中心（2006 现在） 创新型数据中心（2006 现在） 更高的密度，功率超过7 kW 先进的气流密封 节能/绿色设计 高能效设备 复杂的设计 降低的工作环境参数要求 2014中华医院信息网络大会 4 数据中心生命周期 数据中心生命周期 规划阶段 设计阶段 建设阶段 测试验证 迁移阶段 运维 选址分析 周边环境评估 建设计划 设计任务书 电气专业 防雷 CFD气流模型 图纸绘制 技术规格书 验证计划和操 作顺序 文档控制 相关部门批准 项目摘要 施工图 送审记录 设备清单 变更单 竣工检查单 竣工记录 验收报告 设计产权 质量检查 功能测试计划 综合测试计划 问题清单 验证报告 设计变更 设计澄清 运维手册 供应商清单 备件列表 迁移系统图 控制网络图 迁移计划 操作顺序手册 制作应急计划 保修管理 制作标准操作 流程 培训 培训记录及授 权 维护记录 冲击演练 （黑盒测试） 更新系统操作 顺序 系统变更控制 2014中华医院信息网络大会 5 标准介绍 标准介绍 GB 50174-2008 TIA (Telecommunications Industry Association) The Uptime Institute American Society of Heating, Refrigeration, and Air-Conditioning Engineers (ASHRAE) Technical Committee 9.9 (TC 9.9) The Green Grid 2014中华医院信息网络大会 6 数据中心基础设施概述 数据中心基础设施概述 等级划分 等级划分 GB 50174-2008 C B A ANSI/TIA-942- 2005 TIER 1 TIER 2 TIER 3 TIER 4 建筑类型 合用 合用 独立建筑 独立建筑 主要路由 单路 单路 两路，一路处 于备用 两路，均处于 使用状态 构件冗余 N N+1 N+1 2(N+1)或S+S 年宕机时间 28.8小时 22.0小时 1.6小时 0.8小时 机房可用性 99.67% 99.75% 99.98% 99.99% 供电系统 UPS UPS + Gen UPS + Gen UPS + Gen 2014中华医院信息网络大会 7 数据中心基础设施概述 数据中心基础设施概述 等级划分与投资的关系 等级划分与投资的关系 Uptime Institute 及 TIA-942 Tier 分级 Uptime Institute 及 TIA-942 Tier 分级 无冗余设备 配电制冷系统单路 由 部分冗余设备配电 制冷系统单路由 设备冗余、配电制 冷系统多路由，满 足同时维护。多路 由一路备用。 设备冗余、配电制 冷系统多路由，满 足容错。多路由均 处于使用状态。 冗余要求 满足基本需求 部分构件冗余 可同时维护 容错型系统 投 资 可用性 年宕机时间 （可用性） 28.8小时 （99.671%） 22小时 （99.741%） 1.6小时 （99.982%） 0.4小时 （99.995%） Tier 1 Tier 2 Tier 3 Tier 4 2014中华医院信息网络大会 8 数据中心设计、构建、试运行能力 数据中心设计、构建、试运行能力 从建筑实体数据 中心到MDC 从建筑实体数据 中心到MDC 大规模MDC部署 微模块化 建筑实体数据中心 集装箱化 非标尺寸MDC 2014中华医院信息网络大会 9 能效 热通道遏制解决方案 能效 热通道遏制解决方案 2014中华医院信息网络大会 10 能效 冷通道遏制解决方案 能效 冷通道遏制解决方案 2014中华医院信息网络大会 11 能效 隔离帘 能效 隔离帘 2014中华医院信息网络大会 12 供电系统 供电系统 数据中心供电系统示意图-Tier 2 数据中心供电系统示意图-Tier 2 Redundant Components Utility Bus Critical Load Bus Typically: Redundant UPS modules Redundant Generators Single Bus Equipment 2014中华医院信息网络大会 13 供电系统 供电系统 数据中心供电系统示意图-Tier 3 数据中心供电系统示意图-Tier 3 Redundant Components Redundant Component UPS can be replaced by STS 2014中华医院信息网络大会 14 供电系统 供电系统 数据中心供电系统示意图-Tier 4 数据中心供电系统示意图-Tier 4 Redundant Components 2014中华医院信息网络大会 15 消防系统 消防系统 气体灭火系统 气体灭火系统 Ff200 2014中华医院信息网络大会 16 数据中心硬件平台 2014中华医院信息网络大会 17 传统数据中心的IT资源配置模式 -“烟囱传统数据中心的IT资源配置模式 -“烟囱 式”结构 式”结构 机房设施 数据网络和存储网络 服务器1 服务器2 服务器3 服务器n 应用1 应用2 应用3 应用n 部门A 部门B 部门Z 2014中华医院信息网络大会 18 传统 “烟囱式“式数据中心的缺陷 传统 “烟囱式“式数据中心的缺陷 性能/Performance 性能/Performance 空间/Room Space 空间/Room Space 功耗/Power & Watt 安全/Security 管理/Management 功耗/Power & Watt 安全/Security 管理/Management 部署/Deployment 部署/Deployment 2014中华医院信息网络大会 19 专有的，基于主机的架构 单一供应商的解决方案 专用的技术和技术要求 有限制的连线/网络，扩展性较 差 静态 的生产部署，扩展性敏捷 性较差 竖井状的技术应用 (操作系统/ 架 构) 专用的服务器，或应用 多平台操作系统，多架构的数据 中心环境 通过IT整合或Linux技术，对成本 和复杂性进行优化和改进 模块化重新部署硬件(刀片技术) 自动化的任务管理 重新配置和扩展(不需要重新布线) 提供IT共享服务(例如：共享的测 试/开发环境) 资源的动态分配 传统数据中心传统数据中心 孤岛的应用系统孤岛的应用系统 当前数据中心当前数据中心 竖井状的竖井状的IT基础设施基础设施 NGDC 下一代数据中心下一代数据中心 共享共享IT基础设施基础设施 应用 系统 服务器/ 存储 应用1应用2应用3 服务器 服务器服务器 共享存储资源 应用1应用2应用3 共享存储资源 共享服务器资源 新一代数据中心设计新一代数据中心设计特点特点 规范标准、安全可靠、资源共享、流程优化 、技术先进。 高可靠、可用性：全冗余、无单点故障。 灵活性：池化IT基础设施资源，资源可根据 需要动态部署、分配和调整。 高效性：资源整合和共享，提高系统资源利 用率，建设绿色数据中心；集成化的管理。 专有的，基于主机的架构。 单一供应商的解决方案。 专用的技术和技术要求。 有限制的连接/网络，扩展性较 差。 静态的生产部署，扩展性敏 捷性较差。 竖井状的技术应用(操作系统/架构) 专用的服务器或应用 多平台操作系统，多架构的数据中 心环境 通过IT整合或Linux技术，对成本 和复杂性进行优化和改进 传统数据中心传统数据中心 常规常规数据中心数据中心 新一代数据中心新一代数据中心 2014中华医院信息网络大会 20 数据中心系统介绍资源池 数据中心系统介绍资源池 2014中华医院信息网络大会 21 为了满足业务对系统连续性不间断运行的要求，针对 数据中心核心基础资源系统进行了高可靠、高可用设计： 两套独立的服务器资源、存储资源、网络资源形成两个互 为备份的冗余站点。 即使在灾难场景出现时（服务器、网络、存储损坏），仅 会造成各业务系统的服务级别降低，不会造成业务中断。 站点之间进行容灾设计，底层数据实时进行同步，可以保 证在灾难事故发生时，站点之间的服务器资源快速切换， 从而恢复生产能力。 服务器资源池内的物理刀片间的相互备份及虚拟机实现动 态迁移 应用系统的关键服务器分别部署在不同的站点中，确保服 务器的高可用性。 关键应用系统采用存储虚拟化技术将数据存储在两个独立 的存储体上，确保存储的高可用性。 数据中心高可靠、高可用设计数据中心高可靠、高可用设计 2014中华医院信息网络大会 22 整合提高硬件使用率 整合提高硬件使用率 虚拟化之前 虚拟化之后 虚拟化使得低利用率的服务器负载整合到一台服务器，虚拟化使得低利用率的服务器负载整合到一台服务器， 安全可靠地达到很高的硬件利用率安全可靠地达到很高的硬件利用率 2014中华医院信息网络大会 23 快速统一部署服务器 快速统一部署服务器 整合前整合前 整合后整合后 310天的硬件采购 2040小时，为一台服务器安装操作 系统和应用程序 硬件上架安装 安装操作系统及补丁 配置安全策略，域和用户权限 配置网络（IP，DNS） 配置存储（DAS，SAN，NAS） 安装必要的系统管理代理，备份 代理和其它的必要的系统软件 安装配置应用软件 测试应用 安排宕机时间，数据迁移 1530分钟，用模板和自动部署向导 或拷贝虚拟机，启动即可 把虚拟机拷贝然后重新启动 工具 已经安装 应用已经安装，配置 部署挑战：部署挑战： 依赖硬件可用性 易发生人为错误 标准化困难 审核困难 需要数天，甚至数周 2014中华医院信息网络大会 24 降低服务器投资成本 降低服务器投资成本 将不同应用负载虚拟化使得用户可以大大减 少服务器的数量 典型的平均整合比率在8:1到15:1 应用应用 服务器台数服务器台数 成本成本 A系统 2 ￥60000 B系统 1 ￥20000 C系统 1 ￥20000 D系统 1 ￥20000 E系统 1 ￥20000 其它 40 ￥800000 总计 46 ￥940,000 应用应用 服务器台数服务器台数 成本成本 A系统 7 ￥350,000 B系统 C系统 D系统 E系统 其它 总计 5 ￥350,000 整合前 整合后 硬件投资减少硬件投资减少62% 2014中华医院信息网络大会 25 降低服务器服务器电源开销 降低服务器服务器电源开销 应用应用 服务器台数服务器台数 功耗功耗 A系统 2 1.2kW/h B系统 1 0.5kW/h C系统 1 0.5kW/h D系统 1 0.5kW/h E系统 1 0.5kW/h 其它 40 20kW/h 一年总计 46 23.2kW 应用应用 服务器台数服务器台数 成本成本 A系统 7 4.2kW/h B系统 C系统 D系统 E系统 其它 总计 5 4.2kW 整合前 整合后 电力消耗是按照服务器平稳运行状态下进行计算的。但是还有其它节省： 变压设备、不间 断电源(UPS)、电源线、风扇、空调、加湿器、照明等等。 电量消耗减少电量消耗减少82% 2014中华医院信息网络大会 26 数据库高可用的实现 2014中华医院信息网络大会 27 数据库高可用方案 数据库高可用方案 采用五级措施实现数据高安全性和系统高可用性 设备双路复用 内部备份 Dataguard数据同步 外部备份 灾难备份 2014中华医院信息网络大会 28 设备双路复用 设备双路复用 主机房硬件全部采用双路复用 交换机、防火墙使用冗余配置 所有链接线缆利用端口聚合进行多路复用 2014中华医院信息网络大会 29 内部备份 服务器集群 使用两台DELL R820配置为Oracle RAC集群，在正常工作时两台服 务器实现负载均衡，当其中任意一台的硬件、操作系统、Oracle软件 发生故障时，系统负载会自动转移到另一台服务器，这一转移过程对 于客户端是透明的，正在使用的用户将不会察觉服务器的这一动作。 2014中华医院信息网络大会 30 内部备份 存储链路 使用两台光纤交换机实现多链路复用，在提高数据交换效率的同 时，提高数据链路可靠性。 2014中华医院信息网络大会 31 内部备份 ASM技术 通过Oracle的ASM技术，集群同时使用两台HUS150阵列作为 数据存储，Oracle可同时向两台阵列读写，并保持数据一致性 ，当其中任意一台阵列出现故障，不会影响整个系统的运行 2014中华医院信息网络大会 32 内部备份 内部备份 使用RMAN在存储阵列内部进行数据文件备份，当由于软件故障造成数 据文件损坏时，可在存储内部进行数据库修复，修复时间小于10分钟， 在修复过程中不需要停机，与损坏数据文件无关的应用可继续使用 2014中华医院信息网络大会 33 Dataguard数据同步 Dataguard数据同步 通过Dataguard实现数据到备用服务器的实时同步，避免主机 房发生严重事故时，造成数据损失。当主机房无法工作时， DataGuard服务器可切换工作状态，对外提供数据库服务，切 换时间可控制在小于20分钟。 2014中华医院信息网络大会 34 外部备份 外部备份 通过Symantic Backup进行数据备份，每日全备份，每三小时进 行增量备份。 2014中华医院信息网络大会 35 灾难备份 灾难备份 通过Symantic Backup多目标备份机制，将备份数据传输至 30KM外的灾备机房。 2014中华医院信息网络大会 36 智能化运维管理 2014中华医院信息网络大会 37 ITILIT Infrastructure Library 信息技术基础构架库 20世纪80年代中期，英国政府计算机和电信局CCTA（后并入英国 政府商务部OCG） 2001，BS15000 2005，ISO20000 成为IT服务管理工业标准 是IT服务管理流程的最佳实践 ITIL概述 ITIL概述 2014中华医院信息网络大会 38 A P C D 时间刻度时间刻度 成熟度成熟度 戴明循环 Deming cycle 戴明循环 Deming cycle 业务和业务和IT的整合的整合 Plan, Do, Check, Act (Project plan, Project, Audit, New actions) 增强增强 连续的质量控制 和增强 有效的质量改进有效的质量改进 2014中华医院信息网络大会 39 智能化运维的工作流程 智能化运维的工作流程 服务器 网络 数据库 存储 应用 中间件 异常 告警通知 自动生成事件单 事件管理 快速响应、 解决突发故 障及请求， 在最短时间 内恢复业务 IP呼叫中心 电话受理，自 动识别来电用 户身份 服务台座席 创建事件单 自助服务台 用户WEB登录， 提报服务或故 障请求 生成事件单 技术人员 受理并尝试解决 分派 查询知识 解决，通知用户 获得满意度反馈 升级 问题管理 根源分析， 找出根本原 因，避免故 障再次发生 知识库 服务级别管理 跟踪事件处理时效，达成与客户的服务约定 申请 变更 变更管理 控制变更可 能产生的风 险 问题小组 分析并根源解决 解决方案入知识库 申请变更 变更评审委员会 评估、制定变更计划 受理 指派 技术人员 变更实施及发布 CMDB 资产配置管理员 更新配置信息 通知 配置管理 资产配置全生命周期管理 更新 发现 同步 客户与IT主管 计划任务管理 周期性任务提醒、执行、监督 项目管理 开发及重大实施项目周期管理 长周期变更任务 KPI与报表 管理 报表输出，关 键绩效指标分 析 达成服务 级别协议 大屏幕 项目经理 技术人员 执行计划任务 机房 IT基础架构 监控系统 机房监 控系统 2014中华医院信息网络大会 40 数据中心基础设施运维对象 数据中心基础设施运维对象 门禁控制 感染、探测设备 监控录像 气体灭火设施 精密空调 漏水检测 新风机 UPS 配件设备 高压变压器 发电机 PDU 供电设施 环境设施 安全与消 防 综合布 线 、IT运 行环境、 环境监控 2014中华医院信息网络大会 41 柴机 业务 运行 环境 数据中心运维的主要内容 数据中心运维的主要内容 环境 监控 场地 UPS 空调 安防 例行操作 响应支持 优化改善 咨询评估 IT基础设施 例行操作 监控 预防性检查 常规作业 响应支持 故障及应急处理 优化改善 适应性改进 增强性改进 预防性改进 咨询评估 服 务 对 象 服 务 对 象 活动 活动 2014中华医院信息网络大会 42 数据中心的运维主要内容 数据中心的运维主要内容 例行操作 监控监控 预防性检查 常规作业 响应支持 故障及应急处理 优化改善 适应性改进 增强性改进 预防性改进 咨询评估 服务对象服务对象 监控内容 监控内容 空调系统 环境温度、湿度、出风温度、回风温度，告警情 况等 供配电系统 电流、电压、功率因数、有功功率、无功功率等 发电机 启停情况、电流、电压、负载率、控制系统供电 情况等 UPS系统 输入电流电压、输出电流电压、频率、功率因 数、负载率、温度、报警情况等 消防系统 报警情况等 安全系统 门禁状态、告警情况、监控录像等 IT运行环境 主机、网络设备及应用、存储、虚拟化的各项参 数指标 2014中华医院信息网络大会 43 数据中心的运维主要内容 数据中心的运维主要内容 例行操作 监控 预防性检查预防性检查 常规作业 响应支持 故障及应急处理 优化改善 适应性改进 增强性改进 预防性改进 咨询评估 服务对象服务对象 性能检查内容性能检查内容 脆弱性检查内容脆弱性检查内容 空调系统 高压压力、低压压力（风冷系 统），冷冻水压力、温度，冷却 水压力、温度（水冷系统），风 机运行情况，灰尘情况等 机房热点情况、室内机漏水 检查、室外风机运转情况、 加湿罐阳极棒检查、过滤网 检查等 供配电系统 接地电阻、零序电流、器件发热 情况等 导线、器件发热情况，防浪 涌器件情况等 发电机 转速、发热情况等 油位，吸气、排烟通道等 UPS系统 器件发热情况、电池情况（外 观、液位、接线柱）等 器件、导线发热情况，电池 放电时间等 消防系统 钢瓶压力、有效期、探头污染等 启动瓶、管道开关、气体压 力等 安全系统 器件灵敏度、画面清晰度（不同 照度情况下）、平台运行等 器件灵敏度、监控死角问题 等 IT运行环境 服务器、网络、存储、虚拟化资 源运行状态、使用率等 资源使用情况、业务提供效 率等 2014中华医院信息网络大会 44 数据中心的运维主要内容 数据中心的运维主要内容 例行操作 监控 预防性检查 常规作业常规作业 响应支持 故障及应急处理 优化改善 适应性改进 增强性改进 预防性改进 咨询评估 服务对象服务对象 基础类操作基础类操作 测试类操作测试类操作 数据类操作数据类操作 空调系统 启停机、开清洗更换 滤网、清洗更换加湿 系统、清洁冷凝器等 漏水报警测试等 运行日志备份，报 警记录备份、清除 等 供配电系统 除尘、合闸、分闸等 互投测试等 发电机 更换三滤、清洁等 空载测试、带载测 试、切换演练等 运行日志备份，报 警记录备份、清除 等 UPS系统 旁路、清洁等 旁路测试、电池放电 测试等 运行日志备份，报 警记录备份、清除 等 消防系统 探头清洗等 启动测试、探头测试 等 报警记录备份、清 除 安全系统 门禁授权等 器件灵敏度、画面清 晰度（不同照度情况 下）、云台运行等 出入记录导出、备 份，监控图像记录 备份、清除，报警 记录备份、清除等 IT运行环境 服务器、网络、存 储、虚拟化物理设备 的启停、 各设备的联通性测 试、业务测试、 各种运行日志备 份、数据备份 2014中华医院信息网络大会 45 数据中心的运维主要内容 数据中心的运维主要内容 例行操作 监控 预防性检查 常规作业 响应支持 故障及应急处理故障及应急处理 优化改善 适应性改进 增强性改进 预防性改进 咨询评估 服务对象服务对象 处理内容处理内容 空调系统 故障排查、关闭部分机组以维持机房最低温湿度指标、 关闭新风系统等； 供配电系统 故障排查、投入备用电源回路、关闭非重要回路等 发电机 故障排查、启动发电机、油料补充； UPS系统 故障排查、旁路系统、关闭非重要输出等； 消防系统 故障排查、系统启动、报警联动、疏散警示等； 安全系统 故障排查、手动开启或关闭门禁系统、检查告警或监控 记录等 IT运行环境 故障排查、应用系统切换、检查告警纪录、 2014中华医院信息网络大会 46 数据中心的运维主要内容 数据中心的运维主要内容 例行操作 监控 预防性检查 常规作业 响应支持 故障及应急处理 优化改善 适应性改进适应性改进 增强性改进 预防性改进 咨询评估 服务对象服务对象 处理内容处理内容 空调系统 调整温湿度参数等、调整机组位置等； 供配电系统 更换开关、导线以适配负载容量等； 发电机 调整启动方式等； 安全系统 调整授权模式、报警模式、调整云台运转周期等。 IT运行环境 调整报警模式、调整资源使用模式等。 2014中华医院信息网络大会 47 数据中心的运维主要内容 数据中心的运维主要内容 例行操作 监控 预防性检查 常规作业 响应支持 故障及应急处理 优化改善 适应性改进 增强性改进增强性改进 预防性改进 咨询评估 服务对象服务对象 处理内容处理内容 空调系统 增减机组 供配电系统 增加回路、增加配电柜等 发电机 增加主机数量、增加电池数量 安全系统 增加报警联动、增加终端数量、增加存储容量等 IT运行环境 增加设备和资源的数量 2014中华医院信息网络大会 48 数据中心的运维主要内容 数据中心的运维主要内容 例行操作 监控 预防性检查 常规作业 响应支持 故障及应急处理 优化改善 适应性改进 增强性改进 预防性改进预防性改进 咨询评估 服务对象服务对象 处理内容处理内容 空调系统 调整机组位置，调整出回风方式等 供配电系统 更换开关、更换导线、调整回路等 IT运行环境 根据使用生命周期更换设备 2014中华医院信息网络大会 49 数据中心的运维主要内容 数据中心的运维主要内容 例行操作 监控 预防性检查 常规作业 响应支持 故障及应急处理 优化改善 适应性改进 增强性改进 预防性改进 咨询评估 咨询评估 服务对象服务对象 处理内容处理内容 空调系统 机房环境指标分析及改进建议、机房热点分析及布置改进建 议、机房送风、回风方式改进建议，辅助制冷单元配置建议 等； 供配电系统 机柜供电分析及改进建议、机房回路调整分析调整建议、机 房扩容建议等； 发电机 发电机负荷分析及调整建议等 安全系统 UPS运行分析及扩容建议等 安全系统 图像监控系统分析及改进建议（如增加存储、增加摄像头 等）、报警系统运行分析及改进建议等。 IT运行环境 主机、网络、存储等指标分析即改进建议、提高使用率、以 及安全措施建议 2014中华医院信息网络大会 50 智能化运维管理示例 2014中华医院信息网络大会 51 运维管理示例 运维管理示例 数据采集 告警阈值 告警平台 事件、问 题、变更 配置管理 2014中华医院信息网络大会 52 机房监控 机房监控 监控内容监控内容 实现效果实现效果 红外监控 非正常时间有人进入会进行告警 门禁监控 未正确刷卡或门未关好会进行告警 漏水监控 上下水、空调漏水会进行告警 温湿度监控 环境温湿度异常会告警 视频监控 记录人员进出情况 2014中华医院信息网络大会 53 机房监控-空调监控 机房监控-空调监控 监控内容监控内容 实现效果实现效果 回风温度 环境温湿度异常会进行告警 风机运行情况 风机皮带断裂、风机过载运行会告 警 地板漏水情况 空调下