XX政府政务云建设方案V1.0---赵铭远.docx

浦东新区政府政务云平台建设方案杭州华三通信技术有限公司2019年4月第1章 项目建设概况1.1 项目建设意义电子政务云平台的搭建将有助于浦东新区政府电子政务从粗放式、离散化的建设模式向集约化、整体化的可持续发展模式转变，使政府管理服务从各自为政、相互封闭的运作方式向跨部门跨区域的协同互动和资源共享转变。1、云计算能够降低电子政务成本在电子政务云环境下，可以将信息技术资源交给专业的第三方云服务商管理，由云服务商提供需要的信息技术基础架构、软硬件资源和信息服务等，政府根据按需付费的原则定制需要的信息服务。这为政府带来了两大好处：一是政府不需要投资建立数据中心和大型机房，购买服务器和存储设备等，从而节省建设费用；二是信息软硬件资源交给专业的云服务商管理，政府不再负担信息系统维护和升级，节省了运维费用。2、云计算提高电子政务部署效率电子政务云具有较高的灵活性，政府实施新的电子政务工程时，不必购买额外的软硬件，而是利用已有云基础设施，快速部署系统，提高电子政务应用部署速度。开发者在一个平台上构建和部署应用程序，大大提高了信息系统部署效率。3、云计算降低信息共享和业务协同难度长期以来，我国电子政务普遍存在各自为政、资源分散等问题。尽管信息难以共享的根源在于电子政务机制问题，但云计算能从技术上降低信息共享和业务协同的难度。通过电子政务云平台，多个政府部门可以共用相应的基础架构，实现各政务系统之间的软硬件共享，提高电子政务信息共享的效率，扩大信息共享范围；软硬件资源和信息资源的共享将有利于促进各部门内部与部门之间的业务系统的整合，为政府部门业务协同创造条件。4、云计算有助于提高政府服务效率电子政务云实现政府委办局部门软硬件资源所有权与使用权的分离，政府各委办局将在不拥有软硬件资源的情况下享受信息服务。因此，政府各委办局部门能够集中人力物力进行本部门的业务运转，从而减轻行政负担，使政府能有更多的精力专注于面向公众的公共服务，提高政府效率。同时，在部署了以云计算为技术支撑的电子政务云以后，后台信息的烟囱式部署方式的壁垒将被打破，从而实现电子数据的统一共享，这对前台服务界面的统一打通有着重要意义，将使得电子政务统一化不再停留在前台展示层面，而切切实实的实现电子政务服务的高效与统一。1.2 项目建设原则浦东新区政府政务专有云的总体建设原则如下： 一、统一规范由于云计算是一个复杂的体系，应在统一的框架体系下，参考国际国内各方面的标准与规范，严格遵从各项技术规定，做好系统的标准化设计与施工。二、成熟稳定由于云计算的发展变化很快，而本项目建设时间紧，涉及面广，应用性强，在设计过程中，应选成熟稳定的技术和产品，确保建成的政务云平台适应各方的需求，同时节约项目施工时间。三、实用先进为避免投资浪费，政务云平台体系的设计不仅要求能够满足目前业务使用的需求，还必须具备一定的先进性和发展潜力，使系统具有容量的扩充与升级换代的可能，以便该项目在尽可能的时间内与业务发展和信息技术进步相适应。四、开放适用由于云计算平台为各业务应用系统提供支撑，必须充分考虑系统的开放性，提供开放标准接口，供开发者、用户使用。五、安全可靠本项目涉及用户范围广，数量大，实时性强，设计时应加强系统安全防护能力，确保系统运行可靠，业务不中断，数据不丢失。1.3 总体建设目标与分期建设目标本项目的总体目标是建设统一的政务云平台和云网络，为网上政务大厅和其他业务系统提供安全可靠的云基础设施和云软件服务。本项目共分两期，第一期目标是新建一套云计算平台和云网络，满足50个机柜的部署容量；第二期目标是完善一期架构，增加健壮性和可靠性，扩容到100个机柜的部署容量。第2章 需求分析2.1 项目需求的理解浦东新区市政府目前下属所在委办局的信息化投入建设均是各自规划，信息独立，资源投入巨大。目通过前期对网络的了解，本次市政府信息中心新建一个政务云计算数据中心机房，建设一个大的浦东新区政务云平台，为各个委办局提供云服务，降低下属委办局的重复资源建设投入。主要针对后续新上线的业务系统会承载在新建的云平台上，原有的业务系统暂不迁移。在为委办局提供云服务的同时，还需考虑安全、网络的互联、虚拟机的备份，特别是虚拟机故障后的恢复机制，新建政务云的先进性、稳定性、可操作性。2.2 浦东新区政府电子政务现状调研根据前期调研，了解到浦东新区政府机构内部管理领域信息化现状。浦东新区政府多个直属部门的电子政务投入资金很大。总体来看，浦东新区政府政府机构内部管理领域的信息化现状可以总结为以下三个特点，一是资源整合需求迫切；二是服务对象众多；三是系统建设和维护成本较高。该领域信息化建设与云计算的结合解决方案就是电子政务云。可以利用电子政务云，依托政务专网，为政府各个部门搭建一个底层的基础架构平台，把现有的政务应用迁移到平台上并且在统一的基础设施上开发定制未来的新应用平台和系统，去共享给各个政府部门，提高它的服务效率和服务的能力。目前，浦东新区政府电子政务主要面临以下问题：一是网上政务大厅的建设。市级政府部门未设立集中办事的实体大厅，迫切需要统一的政务云平台，为审批业务系统提供云主机、云存储、云开发平台、共性应用软件等，从“基础施设即服务”、“平台即服务”、“软件即服务”等多个层面来支撑网上政务大厅有效运行。同时，各市也迫切需要建设市级政务云平台，以承担市级业务应用。二是政务云计算标准不统一。目前，工业和信息化部尚在制定电子政务云相关标准，我市的地方标准尚未发布。由于缺少对电子政务云的建设和运维的指导性意见，各地、各部门对电子政务云总体框架理解不一，“低标准、小规模、建设散、弱运维”的现象突出，反而造成不必要的资源浪费。三是云安全意识相对薄弱。目前，大多数在建和已建政务云的政务部门对云安全认识不足，尚未系统开展云安全建设工作。由于云计算的复杂性，对其安全运维管理也带来新的要求，如果没有统一的云安全防范措施，将不利于政务云的建设和管理，用户也将面临更大的安全风险。2.3 浦东新区政府政务专有云建设关键需求针对浦东新区政府电子政务存在的问题，结合其实际情况和不同部门顶层设计调研结果，我们提出利用云计算技术构建浦东新区政府电子政务专有云，为电子政务的集约化建设模式提供有效的实现手段，通过云服务的模式支撑政务网的业务需求。浦东新区政府电子政务专有云提供如下类型的云服务：1、政务云资源型类服务：其目标是向所有政务网内的部门提供基础设施资源服务：云主机资源，云网络资源、云安全资源、云存储资源。2、政务云平台支撑类服务：其目标是向市级各政务部门提供平台型的支撑功能。可以提供包括开发测试环境、数据库服务、应用服务引擎、Web应用环境等。3、政务云运维咨询类服务：其目标是市级各政务部门提供系统运维与规划咨询服务，包括系统规划咨询、系统运维、应用性能监控与报表、应用安装部署、系统与数据迁移、数据备份等。对于上述三种类型的云服务，需要满足如下要求：安全可靠政务云平台集中承载了支撑网上政务大厅运行的核心业务和数据，承担着稳定运行和业务创新的重任。伴随着数据与业务的集中，云计算平台的高可用保证是政务业务应用高可靠的基石，因此平台的建设从基础资源池（计算、存储、网络）、虚拟化平台、云平台等多个层面充分考虑业务的安全可靠，基础单元出现故障后业务应用能够迅速进行切换与迁移，用户无感知，保证业务的连续性。需要要充分保障物理资源层、资源抽象与控制层和云服务层稳定性与安全性，并提供云安全基础服务，并提供异地容灾备份服务。统一平台，自助交付云计算的最终目标是要实现系统的按需运营，多种服务的开通，而这依赖于对计算、存储、网络资源的调度和分配，同时提供用户管理、组织管理、工作流管理、自助Portal界面等。从用户资源的申请、审批到分配部署的智能化。管理系统不仅要实现对传统的物理资源和新的虚拟资源进行管理，还要从全局而非割裂地管理资源，因此统一管理平台与自动化服务交付是提升服务效率的重要因素。市-区县两级云资源互通根据市政府的规划，云平台的建设可预先规划采用市-区县二级模式，本次主要新建市级政务云主要为市级单位服务，将来也可为有需要的区县提供云计算服务；市级政务云为本地（市区）单位提供云计算服务，为有效利用云资源。未来可在两级平台网络互通的基础上，需要实现上下级云之间的计算、存储资源互通，当区县云资源不够时，可以快速借用市政务云内的资源实现备份与扩展，并在区县云业务突发时可以将业务应用云爆发到市级政务云中运行。第3章 总体方案设计3.1 政务云总体架构政务云总体架构，如下图所示：图表1 政务云总体架构图具体描述如下：1市政务云采用市、区县两级架构。市级政务云主要为市级单位服务，也可为有需要的地方提供云计算服务；区县级政务云为本地（含县、市区）单位提供云计算服务。2根据市政务外网标准，市政务云分为资源共享专区和公众服务专区，资源共享专区主要承载数据交换、资源共享、行政审批等服务，公众服务专区主要承载公众服务类业务。3政务云资源共享专区通过安全隔离措施访问公有云（互联网）、公众服务专区；各单位政务外网的业务系统应根据服务对象逐步迁移至市级政务云，实现集中集约部署。3.2 政务云逻辑架构市政务专有云平台整体架构设计如下图：图表2政务专有云平台整体逻辑架构设计图整体分为六大部分：1、物理层物理层包括运行政务专有云所需的云数据中心机房运行环境，以及计算、存储、网络、安全等设备。云中心机房的部署按照分区设计，主要分为数据库区、业务应用区、存储区、系统管理区、网络出口区和安全缓冲区等区域。2、资源抽象与控制层资源抽象与控制层通过虚拟化技术，负责对底层硬件资源进行抽象，对底层硬件故障进行屏蔽，统一调度计算、存储、网络、安全资源池。其核心是虚拟化内核，该内核提供主机CPU、内存、IO的虚拟化 ，通过共享文件系统保证云主机的迁移、HA集群和动态资源调度。同时通过分布式交换机实现多租户的虚拟化层的网络隔离。在存储资源池的构建上，采用分布式存储技术，实现对服务硬盘的虚拟化整合，并通过多副本（35份）技术保证存储数据的高可靠。3、云服务层云服务层提供IaaS、PaaS和SaaS三层云服务：IaaS服务：包括云主机、云存储（云数据盘、对象存储）、云数据库服务、云防火墙、云负载均衡和云网络（租户子网/IP/域名等）。IaaS层服务向PaaS层提供开放API接口调用。PaaS服务：包括消息处理队列、通用中间件（请求代理、事物处理、地理信息）、数据交换平台、开发测试平台，为上层政务应用提供标准统一的平台层服务，并提供API接口和SDK开发包，供SaaS层软件开发与部署调用。SaaS服务：包括本期需要上线的电子监察、行政审批、协同办公业务应用，以及政务网站群等，本层服务的提供由应用软件开发商完成。上述云服务通过自助服务门户，向各局委办用户提供自助的线上全流程自动化交付。用户可以在自助服务门户上进行服务的申请，完成审批后相应的云资源将会交付给用户远程控制使用。4、云安全防护云安全防护为物理层、资源抽象与控制层、云服务层提供全方位的安全防护，包括防DDoS攻击、漏洞扫描、主机防御、网站防御、租户隔离、认证与审计、数据安全等模块。满足国家安全等级保护3级的部署要求。5、运行监控与维护管理此模块为云平台运维管理员提供设备管理、配置管理、镜像管理、备份管理、日志管理、监控与报表等，满足云平台的日常运营维护需求。6、云服务管理此模块主要面向政务云管理员，对云平台提供给局委办用户的云服务进行配置与管理，包括服务目录的发布，组织架构的定义，市局委办用户管理、云业务流程定制设计以及资源的配额与计费策略定义等，此部分的功能实现根据市政务专有运要求进行定制。3.3 云管理平台整体架构云管理是整个政务云后台的管理、调度、运维中心。基于Openstack平台的商业化云服务平台，在继承原有架构灵活、扩展性强、开放性和兼容度高的基础上，产品稳定性和可靠性大大增强。基于租户到应用的端到端的云服务配置和管理，将用户申请的服务组装成服务链，统一管理和配置。通过对租户的分级管理，实现了私有云多级资源分配的要求，通过定制个性化的审批流程，使得服务的申请更符合某些特殊业务的多级审批要求。通过对服务链的健康状态的整体监控和评分，对每个租户的总体服务质量有全面的把握和管理。H3C 云管理平台是云业务的管理中心，可以融合资源池化、生命周期管理、业务中间件管理、租户管理、身份认证、安全管理、计费与账务、服务运营、服务水平管理、业务流程自动化等内容，是调度、管理云资源必不可少的手段，是云时代ITSM/BSM的新的业务形式。第4章 详细方案设计4.1 详细拓扑架构设计本次浦东新区政务云建设主干采用华三的高端万兆核心交换机S12510-X，配置高密万兆接口板卡，S12510-X与负载均衡、M9006安全网关、服务器等应用区接入交换机均是采用万兆互联。安全网关M9006与作为政务云中心与现电子政务网的出口互联，通过大云平台管理可实现对下属委办局提供云安全服务，旁挂的负载均衡L5000提供云负载均衡服务。管理服务器区主要承载Overlay网络中的VCF控制器、虚拟交换机、以及云服务平台，作为一个综合的管理区部署了两台管理服务器及VCF和Vswitch相关软件授权，以及云服务平台；云数据库区分为两个部分，一是新建的云数据库区，包含DB服务器及FC交换机及FC存储。4.2 设备选型原则根据行业最佳案例以及实际业务需求，综合上述配置原则，物理设备选型遵循以下要求：4.2.1 计算资源设备选型依据运算处理能力满足当前需求的处理器性能。处理器的GHz级别是衡量处理器计算速度的关键指标。满足未来需求的处理器可扩展性。增强系统故障承受能力的多处理器特性。多个处理器一起使用可以增强系统的可用性及性能。 磁盘驱动器的性能指标主轴转速。主轴转速是决定硬盘内部传输速度和持续传输速度的第一决定因素。硬盘的转速多为7200rpm，10000rpm和15000rpm。从目前的情况来看，10000rpm及以上的SCSI硬盘具有性价比高的优势，是目前硬盘的主流。单碟容量：除了对于容量增长的贡献之外，单碟容量的另一个重要意义在于提升硬盘的数据传输速度。单碟容量的提高得益于磁道数的增加和磁道内线性磁密度的增加。 平均寻道时间：平均寻道时间是指磁头移动到数据所在磁道需要的时间，这是衡量硬盘机械性能的重要指标，一般在3ms13ms之间。建议平均寻道时间大于8ms的SCSI硬盘不要考虑。缓存:提高硬盘高速缓存的容量也是一条提高硬盘整体性能的捷径。因为硬盘内部数据传输速度和外部传输速度不同。因此需要缓存来做一个速度适配器缓存的大小对于硬盘的持续数据传输速度有着极大的影响，它的容量有512KB、2MB、4MB，甚至8MB或16MB。对于视频捕捉、影像编辑等要求大量磁盘输入、输出的工作，大的硬盘缓存是非常理想的选择。 服务器硬件的冗余在系统设计中对关键部件进行冗余设计，可以大大提高系统的可用性。冗余技术的基础是合理有效地对系统的运行状态进行监控，在及时发现故障的前提下启动冗余部件。 磁盘冗余。 电源冗余。 网卡冗余。 冷却冗余。 双机冗余。数据吞吐能力服务器对I/O的要求表现在总线带宽、I/O插槽数量等几个方面。总线带宽是指系统事务处理的快慢，而I/O插槽数量则表现在其扩展能力上。PC服务器的I/O标准主要有两种：一是Future I/O技术，一是NGIO技术，现在两者已统一成SYSTEM I/O。这种I/O技术的宗旨是提高服务器CPU向网卡或存储磁盘阵列传输数据的速度和可靠性，一般采用SF（Switched Fabric）方法，就像微型网络一样交换信息，其最大优点是系统内单一部件失效不会导致整台计算机瘫痪。 可管理性良好的可管理性主要包括人性化的管理界面，硬盘、内存、电源、处理器等主要部件便于拆装、维护和升级；具有方便的远程管理和监控功能和具有较强的安全保护措施等。可扩展性 可扩展性主要包括处理器和内存的扩展能力。易用性主要表现在是否包括详细、全面而又易于查阅的各类文档；是否具有在线查询的用户导航软件；是否容易获得系统运行状态的各种信息；是否预装有可以对整个系统运行状况进行监控和报警的管理软件；是否具有可使用户易于对系统进行维护的详细指导资料等。UIS统一基础架构优势UIS统一基础架构系统融合了刀箱FlexServer UIS8000，高度为10U，支持16个半高槽位或8个全高槽位、2个冗余管理模块和8个网络模块，UIS8000具有密度高、带宽高、集成度高、管理简单和绿色节能等优点。UIS8000最大可支持16个半高服务器B390或8个全高服务器B590，B390和B590为UIS提供统一的计算能力。UIS统一基础架构系统融合了多款FlexNetwork系列交换机，包含有千兆交换机和万兆交换机。FlexNetwork交换机支持IRF、VCF、VEPA（802.1Qgb）、FCOE等特性，丰富的网络特性满足了用户的不同组网需求，同时也极大地简化了用户组网规划。UIS统一基础架构系统融合了H3C CAS虚拟化平台，其包含了虚拟化内核CVK、虚拟化管理系统CVM和云管理中心CIC 三个组件，通过该平台可以实现服务器、网络和存储的统一虚拟化和管理。CAS支持业界的VEPA（802.1Qbg）标准，实现了虚拟机流量的可视化，满足了用户对于虚拟机流量监控和虚拟机迁移时网络策略自动跟随的需求。虚拟化内核CVK可以将所有服务器的本地硬盘和直连存储组成一个高速共享IP SAN，避免了用户购置单独的存储设备。云管理中心CIC实现了对于物理服务器、物理存储、物理网络、虚拟机、虚拟交换机等统一管理，避免用户购置多套管理系统。H3C B390V2两路刀片式服务器VC-FSR-B390-Z-H3H3C FlexServer B390,2*E5-2650v2,2*8GB,1*2端口10GE FlexFabric FLB网卡,刀片服务器H3C B590V2四路刀片服务器VC-FSR-B590-Z-S1H3CFlexServerB590,4*E5-4620v2,2*8GB,1*2端口10GE FlexFabric FLB网卡,刀片服务器常规大内存型应用，主要用于承载业务系统的云主机服务，采用2路CPU服务器，CPU核数8核，配置E5-2620V2及以上的CPU；内存96G；高计算型应用，主要用于数据库服务等，采用4路CPU服务器，CPU核数8核，配置E5-4620V2及以上的CPU；内存64G；4.2.2 存储资源设备选型依据容量可扩展性：在不干扰系统正常运行的情况下，接入新的磁盘阵列，扩大系统的存储容量系统可扩展性：随着系统容量的不断扩大，支持的主机服务器数量不断增加，系统整体的性能也应该有相应的提升，否则很难维持正常运作。高可用性：冗余的存储组件和透明化的容灾回复操作，可确保备份数据的高可用性。可管理性：系统升级、数据容灾恢复、存储资源管理，都应该进可能的实现自动化操作。H3C FlexStorage P5000存储是一款横向扩展存储平台，专为满足虚拟化环境不断变化的需求而设计。它提供了完美的解决方案：可满足高可用性、数据移动性、灾难恢复、可管理性及升级等方面的需求。FlexStorage许多丰富的特性能够满足业务需求，并支持按需对存储进行经济地扩展。借助本身的企业级存储软件功能和领先的虚拟化软件集成，FlexStorage可为各个阶段的虚拟化增长提供支持。直观、普遍的管理方式简化了存储管理。此外，FlexStorage还支持数据跨不同层、位置以及在物理和虚拟存储之间移动，为用户的虚拟化环境提供了完美的应用。存储设备支持：FC光纤通道存储设备支持数据分层存储，可以在SSD、15K、10K、7.2K硬盘之间动态迁移数据；单台阵列要求配置2个SAN存储节点或控制器；实际配置前端口4个；后端口速率6Gb SAS接口；配置10k rpm 900 SAS硬盘，容量21TB4.2.3 网络资源设备选型依据适用性与先进性相结合的原则不同品牌的交换机产品价格差异较大，功能也不一样，因此选择时不能只看品牌或追求高价，也不能只看价钱低的，应该根据应用的实际情况，选择性能价格比高，既能满足目前需要，又能适应未来几年网络发展的交换机。选择市场主流产品的原则选择交换机时，应选择在国内市场上有相当的份额，具有高性能、高可靠性、高安全性、高可扩展性、高可维护性的产品，如中兴、H3C、华为的产品市场份额较大。安全可靠的原则交换机的安全决定了网络系统的安全，选择交换机时这一点是非常重要的，交换机的安全主要表现在VLAN的划分、交换机的过滤技术。产品与服务相结合的原则选择交换机时，既要看产品的品牌又要看生产厂商和销售商品是否有强大的技术支持、良好的售后服务。与实际业务相结合原则要分析各种产品的性能指标，然而面对诸如交换容量（Gbps）、背板带宽（Gbps）、处理能力（Mpps）、吞吐量（Mpps）等众多技术指标，用户必须紧紧抓住“满配置时的吞吐量”这个指标，因为其他技术指标用户一般没有能力进行测量，惟有吞吐量是用户可以使用Smart Bits和IXIA等测试仪表直接测量和验证的指标。关注延时与延时抖动指标 企业网、校园网几乎都是高速局域网，其目的之一就是为了音频和视频等大容量多媒体数据的传输，而这些大容量多媒体数据包最忌因延时较长和数据包丢失使信息传输产生抖动。有些传统集中式交换机的延时高达2s，而某些现代分布式交换机的延时只有10ms左右，两者相差上百倍。导致延时过高的原因通常包括阻塞设计的交换结构和过量使用缓冲等，所以，关注延时实际上需要关注产品的模块结构。性能稳定原则三层交换机多用于骨干和汇聚层，如果性能不稳定，则会波及网络系统的大部分主机，甚至整个网络系统。所以，只有性能稳定的第三层交换机才是网络系统连续、可靠、安全和正常运行的保证。当然，性能稳定看似抽象，似乎需要历史检测才能有说服力。其实不然，由于设备性能实际上是通过多项基本技术指标和市场声誉来实现的。所以，用户可以通过吞吐量、延迟、丢帧率、地址表深度、线端阻塞和多对一功能等多项指标以及市场应用调查来确定。安全可靠原则作为网络核心设备的第三层交换机，是被攻击的重要对象，要求必须将第三层交换机纳入网络安全防护的范围。功能齐全原则产品不但要满足现有需求，还应满足未来一段时间内的需求，从而给用户一个增值空间。核心交换机：交换容量30Tbps，包转发率15000Mpps；采用主控引擎、交换引擎、接口单元硬件槽位分离的全分布式架构；支持1:N、N:1、纵向虚拟化；支持云中心大二层互联技术。服务器千兆接入交换机，交换容量300Gbps，转发性能160Mpps。服务器万兆接入交换机，交换容量1200Gbps，转发性能700Mpps；支持802.1Qbg标准协议；支持全万兆线速转发，40GE上连。负载均衡，支持全面的四至七层负载均衡和链路负载均衡功能，支持IPv6 基础特性及IPv6的负载均衡。防火墙，采用核心交换机相同的架构，支持N:1安全集群来统一配置管理；支持虚拟防火墙功能，支持IPv6基础特性。云节点设备，支持MPLS VPN、OSPF、IPsec、NAT，遵循市级政务云和市电子政务外网技术标准，具有网络、计算、存储、云主机的功能，纳入市级政务云平台进行统一监控与管理。4.3 云硬件资源设计4.3.1 机房设计需求物理资源层应包括运行政务云所需的机房运行环境，以及计算、存储和网络等设备。数据中心机房满足GB 50174-2008 电子信息系统机房设计规范中的A级要求，满足国际公认的ANSI-TIA-942-2005数据中心通信基础设施标准里的Tier 3级以上主要指标。确保电子信息系统安全、稳定、可靠地运行，做到技术先进、经济合理、安全适用、节能环保，制定本规范。足GB 50174-2008 电子信息系统机房设计规范中的A级要求，通过采用创新的供电方案和制冷方案，使PUE值全年平均达到1.8以下,达到了国内先进水平。机房的各项要求如下：详细技术标l 机房设计、施工及验收必须符合国家标准及行业规范。 l GB 50174-93电子计算机机房设计规范l GB/T 2887-2000电子计算机场地通用规范 l GB 6650-86计算机机房活动地板技术条件 l GB 9361-88计算机站场地安全要求 l SJ/T 30003-93电子计算机机房施工及验收规范 l JGJ/T16-92民用建筑电气设计规范 l GB50054-95低压配电设计规范 l GB50057-94建筑防雷设计规范 l 中国证监会信息化工作管理制度（证监信息字20041号） l 国际电工委 IEC 1024-1 防雷保护装置规范 l 国际电工委 IEC 1312 防止雷电波侵入保护规范 l 机房建设符合GB 50174-2008建设标准。l 机房设计为二类建筑，二级耐火等级，六级人防，建筑耐久年限为50年。一楼机房承重为1600公斤/平方米，二楼机房承重为1000公斤/平方米。4.3.2 业务系统区设计主要用于部署承载业务应用的物理刀箱服务器，通过提供大内存性物理刀箱服务器，单台刀箱配置为8台半高2路8核的服务器，128G内存，2块600G 10K硬盘，4台全刀4路8核，256G内存，2块600G 10K硬盘，作为计算单元。物理组网示意图如下图所示：图表3 业务系统区如图所示组网，单台物理刀箱服务器分别连接三个不同的网络：1、业务网络：刀箱上的VC模块万兆互联核心交换机，提供业务数据访问网络；2、存储网络：通过FC连接存储FC汇聚交换机以及通过核心交换机连接IP SAN的汇聚交换机能够同时提供IP SAN的存储和FC SAN的存储。3、管理网络：通过VC模块互联管理区域核心，提供管理数据的交互。4.3.3 云管理区设计部署云管理平台、网络管理平台、虚拟化管理平台等管理服务器，硬件同样采用大内存性2路物理服务器，通过对云管理平台、网络管理平台、虚拟化管理平台等软件的部署，实现对底层资源的合理管控，保障业务运行的可靠性、可用性，合理的分配资源，通过自动化的运维管理，提升客户IT人员的运维管理效率，物理组网如下图所示：图表4物理组网图从业务管理可靠性来分析，系统管理区各管理平台部署分为两大类，硬件支撑系统和虚拟支撑系统。硬件支撑系统主要是考虑到业务管理平台的重要性和可靠性，故直接采用物理服务器作为支撑平台，包括：1、H3C CVM双机集群：通过CVM主机实现对虚机的管理运维，采用双机热备的形式，保证CVM管理平台的可靠性2、H3C CSM双机集群：通过CSM主机实现对大云平台的管理运维，采用双机热备的形式，保证CSM管理平台的可靠性虚机支撑系统是指在虚拟化环境下，直接将管理平台部署在虚机上，建立统一的云服务管理集群，通过虚拟化软件来保证各管理平台的可靠性，在这个集群内主要运行以下几个系统： 数据库管理：主要内容包括数据库的建立、调整、重构、安全控制、完整性控制和对用户提供技术支持。 H3C iMC管理平台：实现网络拓扑、故障、性能、配置、安全等管理功能。 OpenStack计算管理节点：对下层虚拟化计算资源进行管理调度。 对象存储管理：静态数据的存储、检索、预览，数据的持久性和可扩展性管理。本次项目部署云服务管理平台，相关资源部署规划如下：部署部署组件部署环境操作系统冗余方式需要资源云管理平台iMC PLAT+SQL+CSM2台B590Windows Server 2008 R2集群环境集群4路64G内存OpenstackController控制节点2台B390Ubuntu 12.04集群2路16G内存Compute计算节点1台虚拟机Ubuntu 12.04CAS HA2核8G内存VCFCController2台B390Ubuntu 12.04集群2路16G内存CAS平台（管理平台）CVM、CVK2台B390Ubuntu 12.04CAS HA2路16G内存ADAD服务器2台虚拟机Windows Server 2008主备域2核8G内存NTPNTP服务器1台虚拟机Windows Server 20082核8G内存说明：共配置6台B390服务器和2台B590服务器作为整个电子政务服务平台的管理服务器，1、在两套UIS8000上各拿出一台B590服务器安装iMC PLAT+SQL+CSM集群做云管理平台。2、在两套UIS8000上各拿出一台B390服务器安装VCFC集群做Controller服务器。3、在两套UIS8000上各拿出一台B390服务器安装Openstack集群做Controller服务器。4、在两套UIS8000上各拿出一台B390服务器安装CAS平台部署虚拟机Compute和CVM等。4.3.4 数据库系统区设计部署承载数据库服务的物理刀箱服务器，对于部分高性能数据库可直接使用部署在刀片上，通过4路8核，96G内存，2*300GB 10K硬盘的高性能物理服务器，来满足客户对于数据库系统的承载需求。对于性能要求不高的数据库服务，以虚拟机方式部署交付。数据库服务区通过部署高性能的FC存储，来满足客户关键业务的数据存储以及对数据。本次数据库区，分为以上描述的新建的一套，还有原先网络业务迁移后可利旧的一套，数据库区上联配置一台全万兆的服务器接入交换机作为互联，物理组网如下图所示：图表5云数据库区如图所示组网，单台物理刀箱服务器分别连接三个不同的网络：1、业务网络：刀箱上的VC模块万兆互联核心交换机，提供业务数据访问网络；2、存储网络：通过FC互联接口连接存储汇聚交换机来提供FC SAN的存储。3、管理网络：通过VC模块互联管理区域核心，提供管理数据的交互。4.3.5 核心交换区通过物理网络设备N:1虚拟化技术，简化生成树协议的部署，实现云数据中心内的大二层网络互通，为云主机的自动化迁移与调度提供环境支撑。同时在核心层旁挂LB，对各分区进行安全访问控制,物理组网如下图所示，图表6 核心交换区核心交换区的主要功能是完成各服务器功能分区、广域网、互联网之间数据流量的高速交换，是广域/局域纵向流量与服务功能分区间横向流量的交汇点。核心交换区必须具备高速转发的能力，同时还需要有很强的扩展能力，以便应对未来业务的快速增长。如图所示，核心区由H3C S12510-X组成，核心区交换机连接到所有其他区的边缘设备，既可以是一对HA方式的交换机，也可以是一对HA方式的防火墙。有两类连接到核心，一类是来自交换机（比如业务系统服务器区）的连接，另一类是用防火墙连接（互联网接入区）。每个区边缘交换机都上行连接到Core-SW。每个区交换机将使用单独的VLAN，VLAN跨越两个交换机，上行连接到核心。成对且以高可用性方式部署的防火墙将有一个VLAN，这个VLAN跨越核心交换机上行连接，并每个都连接到一个核心。每个上行连接VLAN都在交换机中配置。同时，在核心接入交换机旁挂LB负载均衡设备，支持全面的四至七层负载均衡和链路负载均衡功能，支持IPv6 基础特性及IPv6的负载均衡，并配合云数据中心实现虚拟化环境下针对关键业务的动态资源扩展，动态应对突发业务访问量所带来的资源瓶颈，提高业务运维的效率。4.3.6 互联接入区设计互联接入区会主要是提供外网、专网以及internent链路的访问需求，对安全性有着较高的要求。采用H3C M9K系列防火墙做为该区域的安全设备，部署俩套M9K防火墙，通过物理网络设备N:1虚拟化技术，简化网络部署，提高网络系统的可靠性。并且支持丰富的攻击防范功能包括：Land、Smurf、UDP Snork attack、UDP Chargen DoS attack (Fraggle)、Large ICMP Traffic 、Ping of Death、Tiny Fragment 、Tear Drop、IP Spoofing、IP分片报文、ARP欺骗、ARP主动反向查询、TCP报文标志位不合法、超大ICMP报文、地址扫描、端口扫描等攻击防范，还包括针对SYN Flood、UPD Flood、ICMP Flood、DNS Flood、CC等常见DDoS攻击的检测防御，为整个云平台系统提供强大的安全防护功能。物理组网如下图所示：如图所示：互联接入区由M9K防火墙组成，防火墙支持安全集群框架（SCF）。全面突破机框的限制，在简化管理和部署的基础上同时实现了安全业务和安全性能的弹性扩展。支持异构集群，集群系统更灵活和多样化。4.4 云资源池与控制层设计4.4.1 计算资源池构建4.4.1.1 计算资源池的功能架构服务器是云计算平台的核心，其承担着云计算平台的“计算”功能。对于云计算平台上的服务器，通常都是将相同或者相似类型的服务器组合在一起，作为资源分配的母体，即所谓的服务器资源池。在这个服务器资源池上，再通过安装虚拟化软件，使得其计算资源能以一种云主机的方式被不同的应用和不同用户使用。在x86系列的服务器上，其主要是以H3Cloud云主机的形式存在。后续的方案描述中，都以云主机进行描述，如下为H3C虚拟化软件的构成。 CVK：Cloud Virtualization Kernel，虚拟化内核平台运行在基础设施层和上层操作系统之间的“元”操作系统，用于协调上层操作系统对底层硬件资源的访问，减轻软件对硬件设备以及驱动的依赖性，同时对虚拟化运行环境中的硬件兼容性、高可靠性、高可用性、可扩展性、性能优化等问题进行加固处理。 CVM：Cloud Virtualization Manager，虚拟化管理系统主要实现对数据中心内的计算、网络和存储等硬件资源的软件虚拟化，形成虚拟资源池，对上层应用提供自动化服务。其业务范围包括：虚拟计算、虚拟网络、虚拟存储、高可靠性（HA）、动态资源调度（DRS）、云主机容灾与备份、云主机模板管理、集群文件系统、虚拟交换机策略等。采用H3C的CAS虚拟化平台对多台服务器虚拟化后，连接到共享存储，构建成计算资源池，通过网络按需为用户提供计算资源服务。同一个资源池内的云主机可在资源池内的物理服务器上动态漂移，实现资源的动态调配。CAS产品逻辑架构图如下所示：图表7 CAS产品逻辑架构计算资源池的构建可以采用以下四个步骤完成：计算资源池分类设计、主机池设计、集群设计、云主机设计四个部分完成。1) 计算资源池分类设计在搭建服务器资源池之前，首先确定资源池的数量和种类，并对服务器进行归类。归类的标准通常是根据服务器的CPU类型、型号、配置、物理位置和用途来决定。对云计算平台而言，属于同一个资源池的服务器，通常就会将其视为一组可互相替代的资源。所以，一般都是将相同处理器、相近型号系列并且配置与物理位置接近的服务器比如相近型号、物理距离不远的机架式服务器。在做资源池规划的时候，也需要考虑其规模和功用。如果单个资源池的规模越大，可以给云计算平台提供更大的灵活性和容错性：更多的应用可以部署在上面，并且单个物理服务器的宕机对整个资源池的影响会更小些。但是同时，太大的规模也会给出口网络吞吐带来更大的压力，各个不同应用之间的干扰也会更大。初期的资源池规划应该涵盖所有可能被纳管到云计算平台的所有服务器资源，包括那些为搭建云计算平台新购置的服务器、单位内部那些目前闲置着的服务器以及那些现有的并正在运行着业务应用的服务器。在云计算平台搭建的初期，那些目前正在为业务系统服务的服务器并不会直接被纳入云计算平台的管辖。但是随着云计算平台的上线和业务系统的逐渐迁移，这些服务器也将逐渐地被并入云计算平台的资源池中。针对浦东新区政府政务专有云的需要，我们按照用途将云计算资源池划分为云主机&云存储区资源池、管理和服务区资源池，以便云计算平台项目实施过程以及平台上线以后运维过程中使用。在云计算平台搭建完毕以后，服务器资源池可以如下图所示：图表8浦东新区政府政务专有云计算资源池H3C CVM虚拟化管理平台体系将云计算资源池的物理服务器资源以树形结构进行组织管理，云资源中的被管理对象之间的关系可以用下图描述：图表9云资源对象关系2) 主机池设计完成在云计算软件体系架构中，主机池是一系列主机和集群的集合体，主机可纳入群集中，也可单独存在。没有加入集群的主机全部在主机池中进行管理。3) 集群设计集群目的是使用户可以像管理单个实体一样轻松地管理多个主机和云主机，从而降低管理的复杂度，同时，通过定时对集群内的主机和云主机状态进行监测，如果一台服务器主机出现故障，运行于这台主机上的所有云主机都可以在集群中的其它主机上重新启动，保证了数据中心业务的连续性。4) 云主机设计每台云主机都是一个完整的系统，它具有CPU、内存、网络设备、存储设备和 BIOS，因此操作系统和应用程序在云主机中的运行方式与它们在物理服务器上的运行方式没有任何区别。与物理服务器相比，云主机具有如下优势： 在标准的 x86 物理服务器上运行。 可访问物理服务器的所有资源（如 CPU、内存、磁盘、网络设备和外围设备），任何应用程序都可以在云主机中运行。 默认情况，云主机之间完全隔离，从而实现安全的数据处理、网络连接和数据存储。 可与其它云主机共存于同一台物理服务器，从而达到充分利用硬件资源的目的。 云主机镜像文件与应用程序都可以封装于文件之中，通过简单的文件复制便可实现云主机的部署、备份以及还原。 具有可移动的灵巧特点，可以便捷地将整个云主机系统（包括虚拟硬件、操作系统和配置好的应用程序）在不同的物理服务器之间进行迁移，甚至还可以在云主机正在运行的情况下进行迁移。 可将分布式资源管理与高可用性结合到一起，从而为应用程序提供比静态物理基础架构更高的服务优先级别。 可作为即插即用的虚拟工具（包含整套虚拟硬件、操作系统和配置好的应用程序）进行构建和分发，从而实现快速部署。在计算资源池中，一般物理服务器与云主机的整合比平均不超过1:8、单台物理服务器上所有云主机vCPU之和不超过物理机总内核的1.5倍、单台物理服务器上所有云主机内存之和不超过物理内存的120%。在构建完计算资源池后，软件本身还需要保证整个计算资源池及应用的易用性和可靠性，H3CCAS虚拟化软件通过以下技术实现可用性和可靠性的要求：1) 云主机模板设计云主机模板包括云主机的vCPU、内存等参数，主机根据主要应用系统负载量的不同提供不同的规格。在采用云计算来向用户交付服务时，用户通过云门户自助申请的IT服务资源就是业务应用模板，因此需要提前设计好相应的IT服务模板向云门户发布，当用户申请该服务时，云平台根据模板进行资源编排，快速生成云主机相关资源交付给用户使用。2) 高可用性设计高可用性包括两个方面：1.云主机之间的隔离：每个云主机之间可以做到隔离保护，其中一个云主机发生故障不会影响同一个物理机上的其他云主机；2.物理机发生故障不会影响应用：故障物理机上运行的云主机可被自动迁移接管，即云主机可以在同一集群内的多台服务器之间进行迁移，从而实现多台物理服务器的之间的相互热备，实现当其中一个物理服务器发生故障时，自动将其上面的云主机切换到其他的服务器，应用在物理机宕机情况下保证零停机。H3C CAS虚拟化平台 HA功能会监控该集群下所有的主机和物理主机内运行的虚拟主机。当物理主机发生故障，出现宕机时，HA功能组件会立即响应并在集群内另一台主机上重启该物理主机内运行的云主机。当某一发生故障时，HA功能也会自动的将该云主机重新启动来恢复中断的业务。3) 动态资源调度动态资源调度功能可以持续不断地监控计算资源池的各物理主机的利用率，并能够根据用户业务的实际需要，智能地在计算资源池各物理主机间给虚拟机分配所需的计算资源。通过自动的动态分配和平衡计算资源，动态资源调整特性能够：整合服务器，降低IT成本，增强灵活性；减少停机时间，保持业务的持续性和稳定性；减少需要运行服务器的数量，提高能源的利用率。动态资源调度功能组件可以自动并持续地平衡计算资源池中的容量，可以动态的将云主机迁移到有更多可用计算资源的主机上，以满足虚拟机对计算资源的需求。即便大量运行SQL Server的虚拟机，只要开启了动态资源调整功能，就不必再对CPU和内存的瓶颈进行一一监测。全自动化的资源分配和负载平衡功能，也可以显著地提升数据中心内计算资源的利用效率，降低数据中心的成本与运营费用。如上图所示，动态资源调整功能通过心跳机制，定时监测集群内主机的CPU利用率，并根据用户自定义的规则来判断是否需要为该主机在集群内寻找有更多可用资源的主机，以将该主机上的云主机迁移到另外一台具有更多合适资源的服务器上。4) 动态资源扩展特性计算虚拟化简化了部署业务服务器的流程和具体工作，极大的缩短了新业务服务器的部署周期，使得通过快速增减业务服务器来应对业务访问量的突发性变化成为可能。因此，部署了云业务环境的用户开始考虑采用动态部署方式来应对业务访问的突发性需求。但采用动态资源部署方式的一个不能忽略的前提是：IT管理人员能够对业务访问量的突发性变化具备很强的敏感性，并且能够迅速采取应对措施。但当前的IT基础架构中，业务负载监控平台、虚拟服务器管理平台和业务分发的系统之间往往是割裂的，没有整合形成统一方案。IT管理人员在感知到业务访问变化时，只能通过手工进行虚拟服务器的增减和在业务分发系统的相应配置。这无疑缺乏灵活性且效率低下。针对这些需求，H3C CAS虚拟化平台可以实现面向应用的云动态资源扩展解决方案DRX，如下图所示。H3C 虚拟化管理系统能够监测到业务所在云主机性能不足，并将云主机进行快速复制，配合负载均衡设备对外提供服务，当访问高峰过后，虚拟化管理系统能够动态的收缩，删除过剩的云主机，从而实