重庆移动网管支撑系统云平台构架与建设应用

网络质量是通信企业生命线 中国移动通信集团重庆有限公司 网络管理中心 2010年 1月 重庆移动网管支撑系统云平台构架与建设应用 中国移动通信集团重庆有限公司 网络管理中心 第 2页 目录 建设背景及目标 虚拟主机应用案例 虚拟存储应用案例 中国移动通信集团重庆有限公司 网络管理中心 第 3页 建设背景 根据集团公司领导专题办公会议纪要“南方基地项目及云计算应用研究专题会议 ”：先期积极探索支撑云的建设。，逐步让云计算成为支撑系统建设的核心力量，在新的支撑系统建设时，要考虑云计算的比例 集团节能减排工作：将 IT系统虚拟化建设纳入了 2009年考核办法，要求重点推动 建设依据 中国移动通信集团重庆有限公司 网络管理中心 第 4页 建设背景 资源的“无限”扩张正面临“硬底”，缺乏有效的管理工具 存储服务受限于同构系统的粘性，控制力和技术选择能力弱化 资源使用效率的不一致，有些系统存储一再扩容，而一些系统可能还有闲置的空间，但不能实现资源共享 网络建设需求紧急，而现有建设周期长，建设需经过规划、设计、设备购置、安装等多个环节无法满足需求快速部署的要求 网管存储现状分析 中国移动通信集团重庆有限公司 网络管理中心 第 5页 建设背景 话务、数据、传输、动环、信令监测等各专业 OMC网管和专业综合网管，系统超过 50多套，近三年 PC主机采购86台，现状为 PC应用专有服务器独占（服务器孤岛），PC主机存在某些利用率不高或某些使用频繁的情况，并且随着网管支撑系统的不断新建和扩容，资源利用将会更加不均衡 网络建设需求紧急，而现有建设周期长，建设需经过规划、设计、设备购置、安装等多个环节无法满足需求快速部署的要求 网管主机现状分析 中国移动通信集团重庆有限公司 网络管理中心 第 6页 建设目标 1 2 4 建立多层智能化存储网络 ， 实现数据访 问隔离与数据共享，支持复杂的多协议网 络平台 按中心或者机房复用网络和安全等 IT设备 统筹考虑安全 实现存储网络、服务器网络访问多路径冗 余 购建异购模式的存储池，服务器池和网络 池 集中统一管理基础设施资源 建立视图管理 在线回收，在线迁移、在线扩展资源 建立灾备中心 制定存储安全级别， 分级存储，提高数据保障能力 根据存储安全级别划分，分级备份 建立横跨各应用系统的统一备份系统 按需规划，高资源利用率，统一扩容； 虚拟服务器 集中统一管理、建立灾备中心 虚拟存储 3 虚拟网络 制定系统 /子功能重要级别，按需分配资源 n+1,1+1的集群模式 关注系统生命周期，合理利用资源 按需规划，高利用率，按需申请 网管支撑云平台 整合存储及服务器是一阶段目标 虚拟池及灾备中心是二阶段目标 中国移动通信集团重庆有限公司 网络管理中心 第 7页 目录 建设背景及目标 虚拟主机应用案例 虚拟存储应用案例 中国移动通信集团重庆有限公司 网络管理中心 第 8页 虚拟存储的建设步骤 统筹规划、分步实施 构建综合网管支撑系统的虚拟存储池，扩容现有存储空间，按需分配，并为后期 IT虚拟化平台提供存储空间，支持多协议存储网络，设备异构 实施阶段一 厂家 OMC存储纳入存储池管理，实现 X86的存储与小型机的存储的互通，构建统一的网络支撑系统的基础设施平台，标准化 IT网管支撑体系，提升平台服务支撑能力，业务保障能力。 实施阶段二 云平台 中国移动通信集团重庆有限公司 网络管理中心 第 9页 网管集中存储平台相关系统介绍 系统名称 主机型号数量 主机数 量 主机操作系 统名称以及版本 集群 软 件和版本 数据 库 版本 &数据 库 安装类 型 存 储类 型和配置 交换机类型数量 信令监测 TD改造系统 HP RX6600 1 HP-UX B.11.23 N/A Sybase IQ(Raw Device) EMC CX3-20F N/A 信令监测 2.5与 3期系统 HP DL580G5 3 Redhat Linux5AS N/A oracle EMC CX3-20F Sun Fire V890 3 Solaris10 N/A oracle EMC CX300 EMC DS200B x1 Sun Fire V880 1 Solaris10 N/A oracle EMC CX300 数据业务综合网管系统 HP RX3600 2 HP-UX B.11.23 MC/SG oracle9ilvm IBM DS4700 IBMMDS9124 HP RX6600 2 HP-UX B.11.23 MC/SG sybase IBMMDS9124 传输网管系统 HP 7420 2 HP-UX B.11.23 MC/SG informix HP EVA4400 HP StorageWorks x2 话务网管 4期 HP RX6600 2 HP-UX B.11.31 MC/SG Oracle10g (Raw Device on lvm) HP EVA4400 HP StorageWorks x2 网络支撑客服系统 HPDL585 2 RedHat Linux Redhat Cluster Suit Oracle10g (raw device on clvm) HP EVA4100 HP StorageWorks x2 HPDL385 2 RedHat Linux Redhat Cluster Suit HP EVA4100 HP StorageWorks x2 信令监测 2期系统 Sun Fire V880 3 Solaris8 N/A Sybase ASE Sun StorEdge 3510 N/A Sybase IQ(Raw Device) 电子运行维护系统 SUN V440 2 Solaris 9 Sun Cluster oracle9i Sun StorEdge 3510 N/A 中国移动通信集团重庆有限公司 网络管理中心 第 10页 一期整合存储容量（ 30T),扩容（ T) 项目名称 存储类型和配置 存储容量 数据恢复时 长需求 话务网管 4期 HP EVA4400/RAID1+0 24 x 300G (15k/rpm， FC) 2小时 数据业务综 合网管系统 IBM DS4700 12 x 146G (10Krpm,FC) 0小时 网络支撑客 服系统 HP EVA4100/RAID1+0 12 x 300G (15k/rpm， FC) 12小时 电子运行维 护系统 Sun StorEdge 3510 10 x 146G (10k/rpm， FC) 1小时 信令监 TD 改造系统 EMC CX3-20F/RAID5 磁盘柜 1： 15 x 300（ 10K/rpm,FC） 磁盘柜 2： 15 x 300（ 10K/rpm,FC） 磁盘柜 3： 15 x 300（ 10K/rpm,FC） 磁盘柜 4： 5 x 300（ 10K/rpm,FC） 磁盘柜 5： 15 x 300（ 10K/rpm,FC） 12小时 信令监测 2期系统 Sun StorEdge 3510/RAID5 控制框： 12 x 146G (10Krpm， FC) 扩展框 1： 12 x 146G (10Krpm， FC) 扩展框 2： 12 x 146G (10Krpm， FC) 12小时 信令监测 2.5与 3期系统 EMC CX20F/RAID5 EMC CX300/RAID5 阵列 1(CX0F)： 磁盘柜 1： 14 x 300G (10Krpm， FC) 磁盘柜 2： 5 x 300G (10Krpm， FC) 阵列 2(CX300)： 磁盘柜 1： 15 x 300G (10Krpm， FC) 磁盘柜 2： 15 x 300G (10Krpm， FC) 12小时 传输网管系统 HP EVA4400/RAID5 阵列 2(EVA4400)： 13 x 146G (10Krpm,FC) 2小时以内 中国移动通信集团重庆有限公司 网络管理中心 第 11页 二期计划整合存储容量 数据安全级别 高 SUN SE3310 华为 M2000 高 SUN 6140 华为 M2000 中 SUN SE 3300 预警分析系统 中 SUN ST2450 爱立信 TD OMC 中 SUN ST2450 爱立信 TD OMC 高 SUN 6140 华为 TD OMC 高 SUN SE3310 华为 M2000 中 SUN 3510 阿尔卡特 OMCR 中 SUN 3510 阿尔卡特 OMCR 高 SUN 3510 爱立信网管系统 高 SUN 3510 爱立信网管系统 数据恢复时长需求 存储容量 存储类型和配置 项目名称 高 中 低 中国移动通信集团重庆有限公司 网络管理中心 第 12页 图例 ： 光纤链路 话务网管四期 EOMS 信令监测 2 期系统 网络支撑客服系统 数据综合网管 2 信令监测 2 .5 、 3 期系统 信令监测 TD 服 务 器 SW1 服务器 SW2 HP EVA 4400 SUN 3510 EVA 4400 SUN 3510 IBM DS 4 7 00 HP EVA 4000 HP rx 6600 HP rx 6600 SUN V 440 SUN V 440 HP rx 3 600 HP rx 6600 SUNV 880 SUN V 890 SUN V 890 SUNV 8 90 虚拟存储 控制设备 HP rx 3 600 HP rx 6600 传输综合网管 SUN V 890 SUN V 890 SUN V 890 EMC 3 20 - F EMC CX 3 00 EMC CX 3- 20 存 储 光 纤 SW2 存 储 光 纤 SW1 重庆移动虚拟存储平台网络拓扑图（新） 中国移动通信集团重庆有限公司 网络管理中心 第 13页 目录 建设背景及目标 虚拟主机应用案例 虚拟存储应用案例 中国移动通信集团重庆有限公司 网络管理中心 第 14页 虚拟主机的建设步骤 统筹规划、分步实施 构建网管支撑系统的虚拟主机池，为新建支撑项目提供基于X86的计算能力，依靠自然法则，遵循资产管理规定逐步替换年久设备 实施阶段一 建立分布式计算模式 实施阶段二 云平台 中国移动通信集团重庆有限公司 网络管理中心 第 15页 一阶段实施目标 将近期新增网管支撑系统和部分能力不足需扩容系统的PC主机纳入该项目实施管理，采购大处理能力的 PC主机5台划分虚拟机（若按常规方式建设需购买 20台 PC SERVER）和 2台管理机以满足网管支撑系统 PC主机发展需要到 2010年 6月 中国移动通信集团重庆有限公司 网络管理中心 第 16页 网管主机虚拟化平台一期效益分析 效益分析： 主机虚拟化特性 优势 物理服务器转换成虚拟机，虚拟机被动态部署，物理服务器数量被缩减 减少服务器的维护量，减少物理服务器的快速增长，简化和加快应用服务器配置速度 高级虚拟化管理系统同时管理虚拟的和物理的资产；实现服务器配置安装和变更控制的集中化管理 减少用于管理的资源和时间 不需要为每套系统每个应用单独配置计算资源 提高设备利用率 节能减排：虚拟化前 20台 PC能耗 11000瓦 /小时（ 550 瓦 /台 .小时 )，虚拟化后 5台 PC能耗 3750瓦 /小时（ 750瓦 /台 .小时），减少 7250瓦 /小时 主设备功耗降低 63510度，空调能耗降低 114318度，一年可节约能耗 177828度，年节约 17.78万元左右电费 节约空间：虚拟化前 20台 PC需要 4个机架，虚拟化后 5台机器需要 1个机架 机房面积节约约 4平方米（服务器机架和维护面积之和） 中国移动通信集团重庆有限公司 网络管理中心 第 17页 一期系统应用情况 网管支撑系统 操作系统名称 CPU型号、数量（主频、核数量） 网卡接入局域网交换机的数量、型号 转固使用年限 CPU平均利用率 方式 业通达动环网管维护终端 windows2000 P4 2.6 G 1个，处理能力为 15万 TPMC Realtek TL8139 网卡 1个 2003-7-20 15% 系统迁移 数据迁移 业通达动环短信服务器 windows2000 P4 2.6 G 1个，处理能力为 15万 TPMC Realtek TL8139网卡 1个 2003-7-20 15% 系统迁移 数据迁移 电子运维系统（短信网关 ) Windows2003 Server Xeon 3.0，处理能力为 20万TPMC Realtek TL8139网卡 1个 2004-10-1 80% 系统迁移 数据迁移 电子运维系统（论坛 ) Windows2003 Server Xeon 3.0，处理能力为 20万TPMC Realtek TL8139网卡 1个 2004-10-1 50% 系统迁移 数据迁移 电子运维系统（ Web跳转 ) Windows2003 Server Xeon 3.0，处理能力为 20万TPMC Realtek TL8139网卡 1个 2004-10-1 60% 系统迁移 数据迁移 一期迁移至主机虚拟化平台的系统设备 中国移动通信集团重庆有限公司 网络管理中心 第 18页 一期系统应用情况 系统名称 虚机部署数量 CPU型号、数量（主频、核数量） 存储可用容量需求 宽需求（ MB/s） 综合监控系统 综合监控和应急指挥管理的采集服务器： 2台； 应用服务器： 2台； 数据库服务器： 1台。 合计： 5台 每台处理能力至少为 20万TPMC 3TB 内网： 10M 外网： 1M 网管安全管控平台 日志采集服务器： 6台； 审计及数据库服务器： 2台； 集中认证服务器： 2台； 核心服务器： 2台； 应急服务器： 1台。 合计： 13台 因方案未完全确定，需求不明确 3.5TB 内网： 20M 外网： 0M 网络预警分析系统 数据仓库服务器： 2台 分析服务器： 2台 合计： 4台 内存 32G Intel 至强 E7440 四颗 4*4核，主频 2.4GHz内存： 12G CPU： Intel Xeon X5560 二颗（ 2*4核，主频 2.8GHz）档次 10T 内网： 100M 外网： 0M 一期新建至主机虚拟化平台的系统设备 中国移动通信集团重庆有限公司 网络管理中心 第 19页 H P l e f t H a n d P 4 5 0 0 磁 盘 阵 列虚 拟 机 承 载 层虚 拟 中 心 管 理 服 务 器( 2 片 刀 片 )网 络 设 备 层集 中 存 储 层（ 核 心 网 集 中 备 份 ）网 管 核 心 交 换 机S 8 5 0 5 （ 2 台 ）新 增 设 备三 层 交 换 机（ 2 台 ）千 兆 以 太 网 线 缆中 兴 5 2 2 4 交 换 机利 旧 设 备刀 片 1虚 拟 中 心 管 理 层3 * G E3 * G E2 * G E2 * G E2 * G E1 * G E1 * G E刀 片 2 刀 片 3 刀 片 4 刀 片 5内 部 D M Z 交 换 机（ 2 台 ）外 部 D M Z 交 换 机（ 2 台 ）2 * G E2 * G E2 * G E2 * G E 2 * G E网管主机虚拟化平台一期网络结构 中国移动通信集团重庆有限公司 网络管理中心 第 20页 H P l e f t H a n d P 4 5 0 0 磁 盘 阵 列虚 拟 机 承 载 层虚 拟 中 心 管 理 服 务 器( 2 片 刀 片 )网 络 设 备 层集 中 存 储 层（ 核 心 网 集 中 备 份 ）网 管 核 心 交 换 机S 8 5 0 5 （ 2 台 ）新 增 设 备三 层 交 换 机（ 2 台 ）千 兆 以 太 网 线 缆中 兴 5 2 2 4 交 换 机利 旧 设 备刀 片 1虚 拟 中 心 管 理 层3 * G E3 * G E2 * G E2 * G E2 * G E1 * G E1 * G E刀 片 2 刀 片 3 刀 片 4 刀 片 5内 部 D M Z 交 换 机（ 2 台 ）外 部 D M Z 交 换 机（ 2 台