云计算平台设计方案

1、国家质检中心郑州综合检测基地云计算平台建设项目（招标编号：豫财招标采购-2015-112）云计算平台设计方案二。一五年二月第一章项目概述与背景第二章现状与需求分析2.1 各业务系统现状2.2 .本期项目主要需求2.2.1 整体需求分析2.2.2 云计算平台需求分析2.2.3 备份需求分析2.2.4 绿色数据中心需求分析2.2.5 质保需求第三章设计原则与目标3.1 设计原则3.2 建设目标第四章质监云计算平台设计4.1 总体设计思想4.2 总体架构设计4.3 计算虚拟化4.4 网络虚拟化4.5 存储虚拟化4.5.1 应用存储系统4.5.2 数据存储系统4.6 云资源自动调度设计4.7 河南省质

2、监局云计算平台架构图第五章质监政务云安全设计5.1 云安全需求分析5.2 云安全架构设计5.3 云计算物理层安全5.4 虚拟化资源层安全5.51 aaS服务层安全5.52 层安全隔离技术5.53 用层数据安全5.54 全运维体系设计第六章云业务管理平台设计6.1 云主机服务6.2 云存储服务6.3 云数据库服务6.4 云防火墙服务第七章综合运维管理平台设计7.1 定制首页7.2 三维机房7.3 大屏幕展示7.4 大屏展示（可按需定制）7.5 手机/PAD桌面管理7.6 远程手机/PAD客户管理7.7 与第三方机房环境系统联动7.8 虚拟网络管理第八章业务系统迁移方案设计8.1 业务系统上线迁移

3、方案8.1.1 虚拟化迁移信息调研8.1.2 迁移方式选择8.1.3 迁移工具选择资源规划8.1.5 内存资源规划8.1.6 存储资源规划8.1.7 迁移实施计划8.1.8 业务迁移流程8.1.9 业务迁移详细步骤迁移实施注意事项8.2 业务系统上线后迁移方案8.2.1 虚拟机的动态迁移8.2.2 虚拟网络的策略及安全配置8.2.3 基于IEEE802.1Qbg国际标准的迁移方案8.3 虚拟机迁移模式分析及注意事项8.3.1 动态迁移8.3.2 手工迁移第九章统一基础架构方案优势9.1 全虚拟化、统一管理9.2 高度集成、化繁为简9.3 基础架构深度融合9.4 一站式运维9.5 加速部署及整体

4、交付第十章主要设备清单第十一章主要设备介绍11.1 应用服务器（刀片式）11.2 应用存储系统11.3 数据库服务器11.4 虚拟化管理平台11.5 云业务管理平台11.6 自动资源调度网关11.7 综合运维管理平台11.8 数据存储系统第一章项目概述与背景河南省质量技术监督局（以下简称“省局”），为省政府主管标准化、计量、质量工作并行使执法监督职能的直属机构（正厅级）。截止2013年底，全省共有18个省辖市、10个省直管县（市）、98个县（市）、50个市辖区、15个经济技术开发区、4个高新技术产业开发区及黄泛区、郑州航空港区设置了质量技术监督局。各省辖市设有质量技术监督稽查大队、质量技术监督

5、检验测试中心，除郑州市外，其他省辖市还设有特种设备安全检测中心、纤维检验所。各县（市、区）设有质量技术监督稽查队。各县（市）设有质量技术监督检验测试中心。为满足省局各类业务系统及应用的不断扩展及延伸，规划并新建了河南省质监局云数据中心平台，为省局各类应用业务系统的正常运行打造一个稳定、可靠、安全的基础承载平台。传统云计算数据中心建设往往采用多厂商设备硬件堆砌的方式组网，各厂商及各类型的设备之间通过繁杂的线缆连接，成本较高且维护困难。同时传统情况下服务器的利用率长期保持在20%以下，各设备间分开供电与散热，带来了大量的空间、电力、能耗等方面的浪费。为了降低云计算数据中心的硬件成本和管理难度，对大

6、量的IT硬件基础资源进行整合成了必然的趋势。基于此，河南省质监局拟建设一个功能完备、可扩展、可管理的融合基础架构（或称为“统一基础架构”）云数据中心。统一基础架构系统通过在一个机箱中集成了服务器、存储、网络、虚拟化软件等设备，大大提高了服务器的利用率，减少了空间、电力、能耗等方面的消费。经测试统计得出，采用融合基础架构设备，可以提升至少3倍的服务器利用率，降低至少75%的空间占用，减少至少27%的电力消耗，降低初始购买和后期运维成本。第二章现状与需求分析河南省质监局业务系统目前有省局各处室业务系统、12个二级机构检验检测平台等业务系统，已经建设的业务系统约30余类。河南省质监局在此阶段取得了非

7、常可喜的成果。在基础设施和应用系统建设方面取得了较大的成绩，但是目前仍然存在各部门数据分散建设的问题，资源的部署方式也是按照应用进行物理的切分，各业务系统独立建设。2.1 各业务系统现状序号单位业务系统硬件支撑平台数据库环境目前己购买空间（GB）己使用硬盘空间（GB）预计每年增加量（GB）购买日期备注一目前正常运行系统1省局协同办公系统2台应用服务器（2.0GHzCPU、32GB内存）；2台数据库服务器；1台存储设备Oracle300GB*230GB10GB2009内网2省局财务直报系统1台服务器Oracle300GB*25GB1GB2009内网3省局12365系统2台应用服务器，2台数据库服

8、务器（小机）Oracle300GB*250GB10GB2009外网4省局特种设备安全监察系统4台服务器Oracle300GB*210GB5GB2009外网5省局河南省认证认可监管系统2台服务器（1台16G内存；1台32G内存）SQLServer300GB*1300GB*1500M100M2008外网6省局行政许可网上审批6台服务器（暂不部署，等待总局安排）Oracle300GB*210GB5GB2009外网7省局网站后台管理系统2台应用服务器；2台数据库服务器；2台存储设备Oracle300GB*6500GB*71TB*1160GB40GB2009外网8标准院河南标准信息服务网2台服务器（1台

9、2.5GHzCPU、4G内存；1台2.13GHzCPU、1台16G内存）Oracle1TB100GB5GB2009外网9标准院河南标准信息动态管理系统2台服务器（1台2.5GHzCPU、4G内存；1台2.13GHzCPU、1台16G内存）Oracle1TB70GB3GB2009外网10标准院车载气瓶监督、管理1台服务器（16G内存）SQLServer300GB*320GB10GB2009外网11计量科综合管理系1台服务器SQL300GB*6300GB30GB2006外学院统（16G内存）Server网12计量科学院计量科技创新平台1台服务器（16G内存）MySQL300GB*6300GB30G

10、B2013外网13特检院特种设备动态监管系统2台服务器（均为双核2.2GHzCPU、32G内存）MySQL1.5TB50GB10GB2008外网14特检院从业人员考试系统1台服务器MySQL120GB30GB2GB2008外网15特检院奥索软件系统1台服务器MySQL120GB30GB1GB2008外网16特检院特种设备从业人员管理系统1台服务器MySQL1.5TB50GB2GB2008外网17特检院私有云存储系统1台服务器MySQL1.5TB10GB100GB2008外网18纤维检验局统领LIMS系统1台服务器(2.4GHzCPU)SQLServer500GB*430GB10GB2008外网

11、19产品质量监督检验院标准资料管理系统1台服务器（2.0GHzCPU、8G内存）SQLServer300GB1GB200MB2007外网20产品质量监督检验院信息共享平台系统1台服务器（1.6GHzCPU、4G内存）SQLServer150GB1GB200MB2007外网21稽查总队指挥平台系统3台服务器-1.5TB-2005外网22组织机构代码中心代码BS业务系统1台服务器（两路CPU、32G内存）SQLServer300GB*45GB1GB2008外网23组织机构代码中心代码数字档案系统1台服务器（四路CPU、32G内存）SQLServer300GB*410TB存储3TB600MB2008

12、外网24组织机构代码中心代码信息扩展库系统1台服务器（四路CPU、16G内存）SQLServer300GB*310GB2GB2008外网25组织机构代码中心河南组织机构信息网1台服务器（16G内存）SQLServer300GB*410GB2GB2008外网26组织机构代码中心河南法人网1台服务器（16G内存）SQLServer300GB*420GB4GB2008外网27锅检院检测报告统计管理系统2台服务器（8核CPU）SQLServer300GB*330GB30GB2008外网28锅检院检测报告出2台服务器（4SQL140GB20GB20GB2008外具系统核CPU、4GB内存）Server网

13、29锅检院办公自动化系统2台服务器MySQL300GB*350GB50GB2008外网二未来3-5年计划开发系统30产品质量监督检验院工业品生产企业动态监管系统2台服务器（8核CPU、16G内存）Oracle-200GB外网31产品质量监督检验院工业品生产许可证企业审核及审查员管理系统1台服务器（16G内存）SQLServer-2GB外网32特检院办公自动化系统1台服务器（16G内存）MySQL-30GB外网33特检院公众服务平台1台服务器（16G内存）MySQL-10GB外网34纤维检验局检测业务远程受理及查询系统1台服务器（16G内存）SQLServer-50GB外网35稽查总队办公自动化

14、系统2台服务器（16G内存）MySQL-20GB外网36组织机构代码中心民用气瓶监管系统2台服务器（16G内存）SQLServer-10GB外网这种部署方式存在以下风险和挑战:数据部署分散河南省质监局目前各应用系统均采用物理硬件独立部署，增加了管理的复杂度，导致各系统成为信息孤岛，不能即时共享信息。同时由于历史原因，应用系统采用的数据库系统包括ORACLE、SQLSERVERMYSQL等，且涵盖各数据库不同时期的版本，数据无法集中管理，综合利用率不高，同时维护人员工作强度加大。硬件设备老化河南省质监局目前各应用系统物理设备投入使用年限过长，多数服务器存储设备已在线达5年之久，部分设备已在线3年

15、，设备老化已经影响了业务系统的处理能力且无法满足现有业务的发展资源利用率低由于应用与资源绑定，每个应用都需要按照其峰值业务量进行资源的配置，这导致在大部分时间许多资源都处于闲置状态，再考虑资源是分布在多个部门的多个软硬件平台中，资源闲置水平可能更高，这对资源的共享、后期数据的整合与挖掘造成了天然的障碍。运维成本高由于每个部门都建立自己的应用系统，采用专用的服务器、网络、操作系统、数据库、存储等软硬件系统，这必然导致某种程度的重复建设，都需要一定的场地投入、机柜投入、制冷设备投入、硬件投入、运营人员投入，不利于进行规模化的运维，无法通过提高运维效率降低成本。安全配套不足现有的安全防御系统主要实现

16、在物理服务器的场景，无法满足业务系统虚拟化后的场景，即各业务系统（虚拟机）之间、虚拟化管理平台以及云管理平台的安全防御需求，无法实现应用层安全防御。运行风险高从政策法规的角度看，政府对于每个单位的数据中心、每个电子政务应用的安全性与合规性都有着明确的要求。为了满足这些要求，运维人员需要进行大量的工作以保证符合要求，但对于数量和业务众多的各部门来说，这一目标很难实现。运维人员在技术水平、工作效率上都存在差异，硬件条件也有很大区别，因此，每个部门的业务系统都需要单独进行安全性上的设计、备份策略的准备、灾备的考虑等等。这不仅造成重复的工作，还可能导致最终的实施结果存在很大差别，从而带来了各种的风险业

17、务部署流程环节多、上线周期长随着企业的发展，不断需要上线新的业务，就需要购置新的服务器；购置服务器和部署业务系统需要计划部门和采购部门、维护部门等相关部门的参与，各个部门的进度和流程不一致，经常导致业务部署流程环节多、上线周期长。另外，随着业务规模的不断扩展和延伸，目前的数据中心承载着各类关键业务、核心应用，信息数据的完整性、业务运行的可靠性、网络系统的可用性越来越重要。目前虽然已采取了存储备份、硬盘备份、双机热备、光盘刻录等措施，预防数据受损或丢失，但是由于尚未开展异地容灾备份，如果数据中心因误操作或设备故障等原因会造成数据丢失、系统瘫痪，将会影响正常的运转秩序，更为严重的是，一旦遇有机房断

18、电、火灾等灾难性事件，将有可能丢失全部业务数据。突发灾难事件对信息系统造成的破坏，不仅会造成无可挽回的经济损失，还将严重影响全省经济的快速发展和社会的和谐稳定。2.2 .本期项目主要需求2.2.1 整体需求分析针对河南质监局IT现状、新业务的发展需求以及未来的业务建设规划，需要新建云数据中心，把目前的业务系统整合迁移到云平台上，新规划的业务直接部署到云平台上，同时根据省质检业务的发展，预计年业务增长率为5%,预留3年规划所需15%的资源。需要把适合云化的现有业务系统迁移到云平台上，业务服务器采用虚拟机部署。业务系统迁移时，需要提供专业的业务迁移服务，尽可能保证业务的连续性，减少业务中断时间。对

19、于计划新上线的业务系统，优先选择在云平台上部署。要求虚拟化组网，组成虚拟企业数据中心，需要对内外网划分DMZ区域。建立从防火墙到病毒防护、数据备份的端到端安全机制2.2.2 云计算平台需求分析虚拟化管理平台：目前河南省质监局大部分业务系统部署在独立的硬件设备，物理服务器出现故障会影响业务系统的运行，此次采用虚拟化平台将会对计算资源、存储资源进行池化，业务系统按需从资源池获取所需的计算及存储资源的同时，也通过虚拟化平台的HA、DRS、热迁移等特性，保障业务系统的持续性运行。对于已经在在物理服务器部署的业务系统，通过P2V转换工具，实现将现有业务系统无损迁移到虚拟化平台。云业务管理平台：河南省质监

20、局每个部门对于IT资源有不同的需求，若各部门的IT系统都由质监局信息中心手工干预下完成则大幅度增加了维护人员的难度，采用云业务管理平台可以实现云服务自动化、服务/网络/存储自动化，各部门负责人可以通过WEB页面独立完成所需IT资源部署。2.2.3 备份需求分析在业务系统整合完毕后，所有业务系统已经实现高可靠以及自动化部署，由于数据的集中，单一的存储设备已经成为影响云计算平台稳定性的因素，对于存储的备份变的尤为迫切。本次采用快照+同步远程复制将业务系统数据实时同步到备用存储。本次存储设备配置两台相同存储，采用主备方式运行，一旦主用存储出现故障，由人工进行存储主备切换，切换时间小于10分钟。2.2

21、.4 绿色数据中心需求分析通过数据中心虚拟化，明显提高资源复用率，控制和减少物理设备的数量；云平台易扩展、设备易替换，根据应用系统的负荷自动进行服务器上电重载分离、服务器下电轻载合并改善IT资源利用率，能够有效地实现节能减排。从而降低硬件成本，有效降低总体拥有成本（TCO）、提高投资回报率（RODo2.2.5 质保需求云计算平台建设整体免费质保时间三年以上。第三章设计原则与目标3.1 设计原则先进性广泛采用虚拟化、自动化调配等先进技术与模式，确保先进技术与应用模式的有效与适用。数据中心云平台的建设与业界流行的虚拟化理念是一致的。应将虚拟化的技术先进性和理念先进性体现在云数据中心这一具体的项目上

22、，突出虚拟化带来的价值。可扩展性数据中心云平台支持资源应能根据业务应用工作负荷需求进行伸缩，这样性能及与服务水平的符合性就保持适当。应用程序及其数据松散耦合，以使可扩展性最大化。在系统进行容量扩展时，只需增加相应数量的硬件设备，并在其上部署相应的资源调度管理软件和业务应用软件，即可实现系统扩展。成熟性整个数据中心云平台建设，要充分体现系统的成熟性。要考虑采用成熟的各种技术手段，实现各种功能，满足相关部门的业务要求。开放性与兼容性数据中心云平台采用兼容业界通用的服务器，并能够兼容主流的操作系统，虚拟化软件，以及应用程序，降低使用、管理、维护等成本。可靠性数据中心平台作为承载未来我厅信息系统的重要

23、IT基础设施，承担着稳定运行和业务创新的重任。因此平台的建设从基础资源池（计算、存储、网络）、虚拟化平台、云平台等多个层面充分考虑业务的高可用，基础单元出现故障后业务应用能够迅速进行切换与迁移，用户无感知，保证业务的连续性。安全性云数据中心与省电子政务内网、国土资源部分别连接，必须防范网络入侵攻击、病毒感染。因此，数据中心云平台应该在各个层面进行完善的安全防护，确保信息的安全和私密性。统一管理与自动化虚拟化数据中心平台的最终目标是要实现系统的按需运营，多种服务的开通，而这依赖于对计算、存储、网络资源的调度和分配，同时提供用户管理、组织管理、工作流管理等。从业务部门IT资源的申请、审批到分配部署

24、的智能化。管理系统不仅要实现对传统的物理资源和新的虚拟资源进行管理，还要从全局而非割裂地管理资源，因此统一管理与自动化将成为必然趋势。标准规范化原则标准化、规范化建设虚拟化数据中心平台，是应用系统实现互联互通、信息共享、业务协同、安全可靠的前提。标准化就是要建立相关的标准规范，标准规范地建设国土厅云数据中心的全过程，在整个平台建设、运维过程中，将依据国际、国内相关标准，避免采用私有的协议与标准而导致厂商锁定以及互通困难。同时通过遵循统一的标准、实现资源共享、业务协同、安全可靠运转奠定坚实的基础。开放接口传统的管理系统与上层系统对接，注重故障的上报和信息的查询。而虚拟化的管理系统更关注如何实现自

25、动化的部署，在接口方面更关注资源调度和分配，这就需要管理系统在业务调度方面实现开放。为保证服务器、存储、网络等资源能够被虚拟化运营平台良好的调度与管理，要求系统提供开放的API接口，虚拟化运营管理平台能够通过API接口、命令行脚本实现对设备的配置与策略下发联动。同时云平台也提供开放的API接口，未来可以在这些接口的基础上进行二次定制开放，实现面向虚拟化的数据中心管理平台。3.2 建设目标河南省质监局云计算平台建设采取逐步整合、分期建设的思路：资源整合：针对河南省质监局目前IT现状，投入新的IT设备，建立计算资源池、存储资源池，将原有业务、新业务系统逐步整合、迁移到新的虚拟化平台。所有业务系统按

26、需动态从计算资源池中获取所需的资源，保障业务系统的运行。预计在2015年实现将所有业务迁移到虚拟化平台，并将老设备逐步替换、淘汰完毕实现所有资源的整合。自动化运维：所有资源整合到虚拟化平台以后，在虚拟化平台之上建立云计算平台，实现IT资源的自动化运维、简化IT人员管理维护难度（业务部署自动化）、简化IT部署流程、缩短IT业务的部署时间。数据分析平台：在一系列资源整合，业务、数据实现集中部署之后，建设数据分析平台，对现有数据进行挖掘、分析、预测，即时发现有问题的数据并采取相关手段防范。第四章质监云计算平台设计4.1 总体设计思想传统云计算数据中心建设往往采用多厂商设备硬件堆砌的方式组网，各厂商及

27、各类型的设备之间通过繁杂的线缆连接，成本较高且维护困难。同时传统情况下服务器的利用率长期保持在20%以下，各设备间分开供电与散热，带来了大量的空间、电力、能耗等方面的浪费。本次将采用H3CUIS8000统一基础架构系统构建省质监局一体化云计算平台，通过将计算、网络、存储访问和虚拟化统一到一个综合的系统中，进行集中管理，并采用具有国内自主研发的H3CCAS虚拟化管理平台、H3CCSM云业务管理平台中等进行资源调度和分配，提升信息化管理水平。示意图如下：图4-1传统架构与云计算架构对比示意图H3CUIS8000统一基础架构机框内融合了多款刀片服务器、大容量存储、高性能网络设备、FC/FCOE协议交

28、换机等组件，通过计算虚拟化、网络虚拟化、存储虚拟化技术进行基础资源整合，同时利用自动调度网关和统一的云管理平台，实现资源的按需扩展和自动调度，提供统一融合架构的大规模云计算数据中心，加快业务部署、提升管理能力。另外，在硬件配置上，机箱系统应采用双管理模块、冗余电源、冗余风扇及冗余的网络交换模块，采用智能阵列控制器，支持写高速缓存FBWC,采用智能硬盘托架，并支持多种热插拔SAS、SATASSD和SATASSD硬盘选择；同时内置智能供应功能，满足系统快速实现所有固件、驱动程序的部署和升级，无需CD或DVD,提高管理效率。4.2 总体架构设计河南省质监局目前仍采用传统的IT部署架构，即“烟囱式”的

29、，或者叫做“专机专用”系统架构。图4-2传统IT架构示意图在这种架构中，新的应用系统上线的时候需要分析该应用系统的资源需求，确定基础架构所需的计算、存储、网络等设备规格和数量，这种部署模式主要存在的问题有以下两点：硬件高配低用：考虑到应用系统未来35年的业务发展，以及业务突发的需求，为满足应用系统的性能、容量承载需求，往往在选择计算、存储和网络等硬件设备的配置时会留有一定比例的余量。但硬件资源上线后，应用系统在一定时间内的负载并不会太高，使得较高配置的硬件设备利用率不高。整合困难：用户在实际使用中也注意到了资源利用率不高的情形，当需要上线新的应用系统时，会优先考虑部署在既有的基础架构上。但因为

30、不同的应用系统所需的运行环境、对资源的抢占会有很大的差异，更重要的是考虑到可靠性、稳定性、运维管理问题，将新、旧应用系统整合在一套基础架构上的难度非常大，更多的用户往往选择新增与应用系统配套的计算、存储和网络等硬件设备。这种部署模式，造成了每套硬件与所承载应用系统的“专机专用”，多套硬件和应用系统构成了“烟囱式”部署架构，使得整体资源利用率不高，占用过多的机房空间和能源，随着应用系统的增多，IT资源的效率、扩展性、可管理性都面临很大的挑战。统一基础架构的引入有效解决了传统基础架构的问题。能够改善数据中心环境，令管理人员可以专注于管理和创新，使科技成为改变业务的关键所在。共享服务池可在运行中随时

31、调用，提高业务环境的灵活性，加速实现应用程序的价值。融合基础设施充分利用现有的技术投资，消除数据中心的技术设备冗积问题，化繁为简。通过统一的管理，所有资产都成为资源池的一部分，能够分割、组合、变化，动态适应任何业务、负载或应用的需求。这些资源的使用也经过优化，能够提高利用率，降低使用能耗和成本。从而更好的为应用系统的上线、部署和运维提供支撑,提升效率，降低TCOo统一基础架构在传统基础架构计算、存储、网络硬件层的基础上，增加了虚拟化层、云层：图4-3云计算架构示意图虚拟化层：大多数统一基础架构都广泛采用虚拟化技术，包括计算虚拟化、存储虚拟化、网络虚拟化等。通过虚拟化层，屏蔽了硬件层自身的差异和

32、复杂度，向上呈现为标准化、可灵活扩展和收缩、弹性的虚拟化资源池；云层：对资源池进行调配、组合，根据应用系统的需要自动生成、扩展所需的硬件资源，将更多的应用系统通过流程化、自动化部署和管理，提升IT效率。相对于传统基础架构，统一基础架构通过虚拟化整合与自动化，应用系统共享基础架构资源池，实现高利用率、高可用性、低成本、低能耗，并且通过云平台层的自动化管理，实现快速部署、易于扩展、智能管理，帮助用户构建基础架构即服务的云服务平台。云业务管理平台是整个河南省质监政务云后台的管理、调度、运维中心。基于Openstack平台的商业化云服务平台，在继承原有架构灵活、扩展性强、开放性和兼容度高的基础上，产品

33、稳定性和可靠性大大增强。基于租户到应用的端到端的云服务配置和管理，将用户申请的服务组装成服务链，统一管理和配置。通过对租户的分级管理，实现了云多级资源分配的要求，通过定制个性化的审批流程，使得服务的申请更符合某些特殊业务的多级审批要求。通过对服务链的健康状态的整体监控和评分，对每个租户的总体服务质量有全面的把握和管理。下面将从计算虚拟化、网络虚拟化、存储虚拟化以及基础资源自动调度、云安全和云业务管理平台层面，进行详细的规划设计，实现如下图的业务逻辑：图4-4河南省质监云业务流程逻辑示意图4.3 计算虚拟化业界主流的四类计算资源虚拟化平台，其中Vmware公司的ESX/ESXi平台和微软公司的H

34、yper-V平台属于私有技术，开放性较差。图4-5业界虚拟化平台对比示意图XEN和KVM同属于开源平台，更加符合目前软件行业趋于开源的整体发展方向，在云数据中心建设部署时被选用的也相对更多。本次统一基础架构中配置的虚拟化软件H3CCAS虚拟化管理平台，同样是基于KVM平台并具有国内自主知识产权，在投标文件商务部分提供了加盖H3C公章的国家版权局的计算软件着作权证书。4.4 网络虚拟化根据本次业务系统的需求，在性能及安全上有非常高的要求，因此需要在统一基础架构系统前端配置汇聚交换机，为保证系统可靠性，建议采用虚拟化组网，其技术原理是将多台物理设备虚拟为一台逻辑设备，多台设备之间互为备份、负载分担

35、，与其它设备之间采用跨设备链路聚合互联，并且共用一个管理IP、一张转发表和路由表，设备/链路/接口带宽利用率达到100%,不仅消除了单点故障、避免了业务中断，同时提高了资源利用率、简化了管理、提升了运营效率。如下图所示：图4-6传统组网与虚拟化组网对比示意图在传统的数据中心网络安全部署时，往往是网络与安全各自为战，在网络边界或关键节点串接安全设备（如FW防火墙、IPS入侵防御、LB负载均衡等）。随着数据中心部署的安全设备的种类和数量也越来越多，这将导致数据中心机房布线、空间、能耗、运维管理等成本越来越高。可以采用在汇聚交换机的业务槽位中安装安全插卡的方式，实现各安全功能的叠加，其通过交换机背板

36、互连实现流量转发，共用交换机电源、风扇等基础部件。融合部署除了简化机房布线、节省机架空间、简化管理之外，还具备以下优点：?互连带宽高。安全插卡采用背板总线与交换机进行互连，背板总线带宽一般可超过40Gbps,相比传统的独立安全设备采用普通千兆以太网接口进行互连，在互连带宽上有了很大的提升，而且无需增加布线、光纤和光模块成本。?业务接口灵活。安全插卡上不对外提供业务接口（仅提供配置管理接口），当交换机上插有安全插卡时，交换机上原有的所有业务接口均可配置为安全业务接口。此时再也无需担心安全业务接口不够而带来网络安全部署的局限性。?性能平滑扩展。当一台交换机上的一块安全插卡的性能不够时，可以再插入一

37、块或多块插卡实现性能的平滑叠加。而且所有插卡均支持热插拔，在进行扩展时无需停机中断现有的业务。因此，建议在核心交换机（本次项目不涉及）上增加硬件防火墙业务模块，以实现安全防御的需求另外，由于统一基础架构系统中的计算资源模块需要通过刀片交换机与汇聚交换机互联，因此刀片交换机的性能及可靠性尤为重要，建议配置两片并通过虚拟化技术组网，与两台核心交换机之间进行万兆双链路跨设备链路聚合组网。图4-7刀片交换机虚拟化组网示意图计算虚拟化技术的出现使得计算服务提供不再以主机为基础，而是以虚拟机为单位来提供，同时为了满足同一物理服务器内虚拟机之间的数据交换需求，服务器内部引入了网络功能部件虚拟交换机vSwit

38、ch(VirtualSwitch),如下图所示，虚拟交换机提供了虚拟机之间、虚拟机与外部网络之间的通讯能力。IEEE的802.1标准中，正式将“虚拟交换机”命名为“VirtualEthernetBridge"，简称VEB,或称vSwitch。图4-8vSwitch逻辑架构示意图vSwitch的引入，给云计算数据中心的运行带来了以下两大问题：网络界面的模糊主机内分布着大量的网络功能部件vSwitch,这些vSwitch的运行、部署为主机操作与维护人员增加了巨大的额外工作量，在云计算数据中心通常由主机操作人员执行，这形成了专业技能支撑的不足，而网络操作人员一般只能管理物理网络设备、无法操

39、作主机内vSwitch,这就使得大量vSwicth具备的网络功能并不能发挥作用。止匕外，对于服务器内部虚拟机之间的数据交换，在vSwitch内有限执行，外部网络不可见，不论在流量监管、策略控制还是安全等级都无法依赖完备的外部硬件功能实现，这就使得数据交换界面进入主机后因为vSwitch的功能、性能、管理弱化而造成了高级网络特性与服务的缺失。虚拟机的不可感知性物理服务器与网络的连接是通过链路状态来体现的，但是当服务器被虚拟化后，一个主机内同时运行大量的虚拟机，而此前的网络面对这些虚拟机的创建与迁移、故障与恢复等运行状态完全不感知，同时对虚拟机也无法进行实时网络定位，当虚拟机迁移时网络配置也无法进

40、行实时地跟随，虽然有些数据镜像、分析侦测技术可以局部感知虚拟机的变化，但总体而言目前的虚拟机交换网络架构无法满足虚拟化技术对网络服务提出的要求。图4-9传统DC与云计算DC运维示意图为了解决上述问题，业界的解决思路是将虚拟机的所有流量都引至外部接入交换机，此时因为所有的流量均经过物理交换机，因此与虚拟机相关的流量监控、访问控制策略和网络配置迁移问题均可以得到很好的解决，此方案最典型的代表是802.1Qbg标准。802.1Qbg是由IEEE802.1工作组制定一个新标准，也称为VEPA。主要用于解决vSwtich的上述局限性，其核心思想是：将虚拟机产生的网络流量全部交给与服务器相连的物理交换机进

41、行处理，即使同一台物理服务器虚拟机间的流量，也将发往外部物理交换机进行查表处理，之后再180度调头返回到物理服务器。VEPA标准具有如下的技术特点：?借助发卡弯转发机制将外网交换机上的众多网络控制策略和流量监管特性引入到虚拟机网络接入层，不但简化了网卡的设计，而且充分利用了外部交换机专用ASIC芯片的处理能力、减少了虚拟网络转发对CPU的开销；?充分利用外部交换机既有的控制策略特性（ACL、QOS、端口安全等）实现整网端到端的策略统一部署；?充分利用外部交换机的既有特性增强了虚拟机流量监管能力，如各种端口流量统计，Netstream、端口镜像等。VEPA标准中定义了虚拟机与网络之间的关联标准协

42、议，使得虚拟机在变更与迁移时通告网络及网管系统，从而可以借助此标准实现数据中心全网范围的网络配置变更自动化工作，使得大规模的虚拟机云计算服务运营部署自动化能够实现。4.5 存储虚拟化建议将应用存储系统（主要用于存放虚拟化文件、应用系统文件等）与数据存储系统（主要用于存放数据库）物理分离设计。因为数据存储系统为结构化数据，应用存储系统为非结构化数据，而结构化数据一般采用FC协议并以块存储的方式集中存储，非结构化数据一般采用iSCSI协议并以文件的方式分布式存储，以满足安全性、系统I/O、扩展性的要求。4.5.1 应用存储系统本次应用存储系统采用H3CvStor零存储技术（或称为云存储、分布式存储

43、技术），其技术原理是利用存储虚拟化软件H3CvStor,采用标准X86服务器（本次采用H3CR390系列服务器），通过将服务器上的磁盘空间组织起来，虚拟成一个统一的大容量存储空间，提供给应用系统存放虚拟机文件、应用软件镜像、备份等,并且具备高可用、高可靠、性价比高等特点，组网示意图如下：图4-10存储虚拟化组网示意图存储虚拟化技术的原理：全部存储空间被分成许多大小一致的块（大小可设置，8-64M,称为chunk）,虚拟磁盘的chunk均匀分布到集群中所有磁盘上。数据采用伪随机算法均衡分布在整个集群上以利用全部节点的性能，整体性能是传统RAID盘2倍以上。每个卷上支持数据25副本（本次设计2个副

44、本），以满足应用业务数据存储的需求。其原理图如下：图4-11存储虚拟化技术的原理示意图不同于传统RAID以空闲的硬盘作为热备，存储虚拟化在集群全部磁盘中均匀分配热备空间。任意一块磁盘故障，剩余全部磁盘都参与重构，将重构时间由10小时/TB缩短为20分钟/TB。图4-12存储虚拟化与传统陈列对比示意图另外，为提高系统性能，建议采用SSD硬盘做缓存，热点数据读性能可提升20倍以上。其中写操作默认采用writearound的cache模式，写透HDD以确保安全。可设置为writeback模式提升写性能。从整体应用考虑，本次配置2套存储系统，每套采用三节点集群部署，每节点均配置双控制器、内置冗余电源、

45、冗余风扇、2GB控制器缓存和16GB内存，1块240GSSD硬盘和11块600GSAS10K硬盘。为了保证数据不丢失，本次采用2份数据副本镜像进行存储（最大可支持5份），以保证数据的安全性。支持数据分层技术，能够将1块240GSSD做为高速数据交换缓存，其余11块600GBSAS10K硬盘作为数据存储，统一整合为大容量存储空间，提供给应用业务存储系统使用。并且支持平滑升级和扩展，以满足现在及未来的需求。图4-13存储虚拟化透写技术示意图H3CvStor零存储技术采用了MPP架构，该架构是目前互联网普遍采用的计算、存储一体化架构，具有很强的可扩展性。另外，针对高可靠性、可用性应用的要求，H3Cv

46、Stor零存储技术进一步改进了元数据管理方案，采用无中心节点的分布式元数据管理，不仅消除了元数据服务器存在的单点故障，而且实现高度自动化管理，减少了维护复杂性。其采用的存储虚拟化技术，如分布式LUN、分布式热备空间、多副本设计等，是目前高端存储普遍采用的技术，如EMCVMAX、IBMXIV、HP3PAR等都采用相同或者类似的技术，这些技术都是提供存储高可用性和稳定一致的存储性能的关键技术。当系统扩容时（比如增加物理磁盘或者增加服务器节点），用户只需几条简单命令（通过命令行或者图形化管理界面）将物理部件加入集群，系统上原有的数据将自动重新均衡，原有LUN将自动扩展到新的物理设备上。同时系统具备强

47、大的自愈能力，一般硬件故障无需人工干预。物理磁盘或者服务器节点故障后，系统可在数秒内自愈，自动恢复业务。4.5.2 数据存储系统采用基于FC协议的集中式存储系统宏杉MS3100,本次配置10.8TB裸容量（采用12块900GBSAS10K硬盘），配置4个8GbFC接口及光模块，配备相关管理软件，为数据库服务器提供块存储服务，以提高系统性能及可靠性。另外，配置配套的光纤交换机光模块、线缆等，以满足系统组网需要。4.6 云资源自动调度设计随着本次项目的进行，各业务系统会逐步迁移及应用，并且后期其它各业务也会源源不断的上线，用户会大量涌入，并且会有不定时的业务量突发。为了满足这种业务特性的需求，并考

48、虑未来3-5年的需求，人为的估计一些软硬件资源需求，并且按些需求进行招标采购，结果造成多种问题，如硬件高配低用、设备众多运维困难等，并且当用户大量超过了当初的估计值时，造成整个系统瘫痪，虽然事后可以紧急采购、添加设备，但系统己经瘫痪，己经造成了停机事件，严重情况下会造成数据不一致或丢失。通过配置自动资源调度网关与统一基础架构系统中虚拟化平台的配合，可实时感知用户及业务状态，并根据用户及业务系统的状态随时调整策略，实现资源的动态调度及在线扩展。?假如1个虚拟机可以服务100个客户，当客户数增加到500人时，系统会自动再克隆出4个虚拟机，以满足业务并发需求。?当客户数减少到300人时，系统会自动删

49、除2个虚拟机，以释放资源，达到自动资源调度的功能。图4-14基础资源自动调度示意图在实际部署方式上，只需要在核心交换机或数据中心交换机上旁挂自动资源调度系统网关设备即可，不改变网络架构。为保证系统可靠性及可用性，建议配置两台进行双机热备4.7 河南省质监局云计算平台架构图图4-15质监云计算平台架构示意图-第五章质监政务云安全设计5.1 云安全需求分析在河南省质监政务云的建设过程中，安全是必不可少的要素。用户选择云服务，意味着其核心数据将保存在云服务商的资源池中，此时云服务商是否具备先进的安全防护技术，其内部是否有严格的规章制度和可靠性机制来保障用户的数据不被泄露，都是用户非常关心的问题。本次

50、河南省质监政务云的安全建设，一方面需要考虑河南省质监政务云和周边系统的安全隔离和访问控制，另一方面也需要考虑河南省质监政务云内部的安全体系架构的建设，为后续的云安全服务的提供打下坚实的基础。河南省质监政务云边界安全防护需求从河南省质监政务云的边界安全角度考虑，需要预先进行流量模型的分析并针对不同的业务流量制定合理的安全规则，并通过河南省质监政务云出口的安全缓冲区建设进行具体的实施：?针对互联网用户直接访问河南省质监政务云内部的公众服务专区的流量，考虑到互联网出口的安全风险较多，如用户访问的安全隔离和控制、网络本身对DDOS等恶意流量的攻击防护、病毒蠕虫、恶意代码和钓鱼网站等安全威胁的检测等，为

51、此需要建设安全缓冲区，实现基础的状态监测防火墙、深度报文入侵检测、以及异常流量监测和清洗等步骤；?对于数据中心之间的流量交互，典型如可信公有云访问河南省质监政务云的资源共享专区、以及河南省质监政务云内的公众服务专区访问资源共享专区等流量，合理的安全防护方法是基于数据交互的模型定义合理的访问控制规则，并对这部分合法访问的流量进行监控审计，对于不在访问控制策略范围内的其他情况则直接拒绝访问资源共享专区；?对于出方向的流量，一般情况下，严格禁止河南省质监政务云内部的服务器主动发起对互联网的访问，对部分特殊的访问需求，如进行系统升级或补丁升级等配置针对性的NAT和安全控制策略。对于河南省质监政务云内部

52、的资源共享区和公众服务区的流量，可以通过定制相应的安全规则进行隔离和访问控制。河南省质监政务云内部安全防护需求在考虑河南省质监政务云的边界安全防护需求时，更多的需要结合河南省质监政务云内部的安全体系架构来进行落实。河南省质监政务云内部建立云内的网络安全防护机制，在未经过授权允许的情况下，河南省质监政务云内各系统间默认情况下不能相互访问，将不同应用系统加入到不同的安全区域，不同安全区域之间的云主机网络默认隔离。当需要互通时，通过修改域间规则，来打开互访通道。针对不同安全区域之间服务器的互访需求，可以通过自定义防火墙规则实现。通过上述方式，实现河南省质监政务云各系统间的完全隔离，并在需要互通的各业

53、务系统间利用防火墙域间策略控制。河南省质监政务云内部的安全建设需要考虑在互联网出口部署安全缓冲区，来对这部分网间交互的流量进行访问控制，同时需要借助这个缓冲区创建不同的安全域，实现河南省质监政务云内部的资源共享区和公众服务区的安全隔离和访问控制。除了这些业务系统之间的访问控制需求之外，对于互联网的应用层安全风险和针对关键服务器的DDOS大流量冲击防护也是不可缺少的一部分。同时，考虑到河南省质监政务云的云计算多租户的属性要求，安全作为服务提供给租户也有利于云计算服务商提供差异化的服务能力。5.2 云安全架构设计综合上述河南省质监云平台对于安全的需求，可以从物理层、虚拟化控制层以及安全服务层的角度

54、进行安全体系的建设，详细的体系框架如下面所示：图5-1云安全体系统架构示意图在河南省质监政务云安全体系框架图中，整个的安全体系可以从以下几个方面来考虑：5.3 云计算物理层安全云计算物理层面临着对计算机网络与计算机系统的物理装备的威胁，是指由于周边系统环境和物理特性导致的网络安全设备和线路的不可用，从而造成所承载的网络应用不可用。主要表现在自然灾害、电磁辐射、三防（防火、防水、防尘）及恶劣的工作环境方面，而相应的防范措施包括抗干扰系统、物理隔离、防辐射系统、供电系统的冗余设计和可靠性备份,采取前后上下等多种通风方式。基于本次机房环境在基本物理层安全防护上面的高水平，这部分内容不做赘述。5.4

55、虚拟化资源层安全虚拟化层是云计算代表性的属性之一，也是现阶段云计算数据中心实施最为广泛的技术，基于服务器的虚拟化技术，可以将单台物理服务器虚拟出多台虚拟机并独立安装各自的操作系统和应用程序，从而有效提升服务器本身的利用效率。但是这种虚拟化技术也带来了一些安全风险，比较典型的有基于虚拟化所衍生的一些安全漏洞，以及针对VM-VM虚拟机流量交换的安全问题。虚拟化软件导致的安全漏洞风险：这个问题可以从2个方面来看，一方面，以虚拟化应用程序本身可能存在的安全漏洞将影响到整个物理主机的安全。黑客在利用漏洞入侵到主机系统之后，可以对整个主机上的虚拟机进行任意的配置破坏，从而导致系统不能业务，或者是将相关数据进行窃取，如果黑客侵入了虚拟机配置管理程序，则会直接影响到其管理的全部虚拟机的