中国移动私有云资源池系统技术要求v1.0.4.2.doc

QB-中国移动通信企业标准QB-私有云资源池系统技术要求Resource Pool System of Private Cloud Service Technology Specification版本号：-实施-发布中国移动通信集团公司 发布88目录前 言V1.范围12.规范性引用文件13.术语、定义和缩略语23.1.术语、定义23.2.缩略语44.概述44.1.背景介绍44.2.规范目标和体系说明55.系统架构55.1.私有云整体架构55.2.私有云资源池内部架构76.组网要求86.1.资源池组网需求86.2.数据中心间的互联96.3.数据中心内部组网要求106.3.1.数据中心网络设计原则106.3.2.数据中心安全域设计116.3.3.数据中心网络架构设计136.3.4.选路和路由216.3.5.服务器端口和连接需求226.4.资源管理接口的承载227.资源服务实现流程237.1.资源模板管理流程237.1.1.创建资源模板237.1.2.设置资源模板状态可用237.1.3.设置资源模板状态不可用247.1.4.删除资源模板247.2.资源状况上报流程257.3.资源监控及资源状态查询257.3.1.资源监控257.3.2.计算资源状态查询267.4.资源计量上报流程277.5.操作维护流程297.6.X86物理机资源307.6.1.X86物理机分配307.6.2.X86物理机操作317.6.3.X86物理机访问327.6.4.X86物理机回收327.7.虚拟机资源337.7.1.虚拟机创建337.7.2.虚拟机修改357.7.3.虚拟机操作357.7.4.虚拟机访问367.7.5.虚拟机删除367.7.6.虚拟机备份与恢复377.8.小型机资源377.8.1.小型机分区分配377.8.2.小型机分区修改387.8.3.小型机分区操作397.8.4.小型机分区访问407.8.5.小型机分区回收407.9.分布式文件存储资源407.9.1.分布式文件存储创建407.9.2.变更访问范围417.9.3.变更配额417.9.4.分布式文件存储删除427.10.块存储资源437.10.1.块存储创建437.10.2.块存储修改437.10.3.块存储挂载447.10.4.块存储卸载467.10.5.块存储删除477.11.日志详单类存储资源487.11.1.日志详单类数据存储创建487.11.2.日志详单类数据存储修改497.11.3.日志详单类数据库删除517.12.NoSQL存储资源527.12.1.申请NoSQL存储527.12.2.取消NoSQL存储527.12.3.查询NoSQL存储537.12.4.变更NoSQL存储537.13.对象存储资源547.13.1.申请对象存储547.13.2.取消对象存储557.13.3.查询对象存储557.13.4.变更对象存储567.13.5.增加用户认证信息577.13.6.删除用户认证信息577.14.IP服务577.14.1.IP分配577.14.2.公网IP绑定587.14.3.公网IP解绑定597.14.4.IP回收607.15.带宽服务607.15.1.带宽分配607.15.2.带宽更改617.15.3.带宽回收627.16.虚拟防火墙服务627.16.1.虚拟防火墙分配627.16.2.虚拟防火墙状态查询637.16.3.回收虚拟防火墙647.17.负载均衡服务647.17.1.负载均衡创建647.17.2.负载均衡更改657.17.3.负载均衡删除657.18.网络配置服务667.18.1.网络配置操作667.19.数据备份服务667.19.1.数据备份资源分配667.19.2.数据备份变更677.19.3.数据备份与恢复687.19.4.数据备份资源删除688.资源池管理平台功能要求688.1.接口功能698.1.1.资源管理接口6A及其它接口698.1.3.子资源系统管理接口698.1.4.设备管理接口698.2.用户访问私有云服务708.2.1.用户资源监控页面708.2.2.虚拟机访问页面708.3.系统管理708.3.1.权限管理708.3.2.系统配置管理708.3.3.日志管理728.4.资源管理728.4.1.安全域管理728.4.2.资源模板管理728.4.3.资源状况管理738.4.4.资源计量管理738.4.5.资源监控738.4.6.资源统计分析748.4.7.资源分配748.4.8.资源部署748.4.9.资源操作748.4.10.资源回收748.5.设备管理758.5.1.设备资产管理758.5.2.配置管理758.5.3.告警和故障管理758.5.4.设备操作768.5.5.性能监控768.5.6.设备统计分析768.6.管理员访问769.接口要求779.1.资源池系统对外接口779.1.1.资源池系统与私有云管理平台之间的接口IF1-1779.1.2.资源池系统与网管系统之间的接口IF1-2779.1.3.资源池系统与4A系统之间的接口IF1-3779.1.4.资源池系统与ISMG之间的接口IF1-4789.2.资源池系统内部主要接口789.2.1.资源池管理平台与虚拟机系统的管理接口IF2-1789.2.2.资源池管理平台与块存储设备的管理接口IF2-2799.2.3.资源池管理平台与分布式文件系统的管理接口IF2-3799.2.4.资源池管理平台与X86物理机的管理接口IF2-4799.2.5.资源池管理平台与网络设备的管理接口IF2-5799.2.6.资源池管理平台与小型机的管理接口IF2-6809.2.7.资源池管理平台与日志详单类存储资源的管理接口IF2-7809.2.8.资源池管理平台与NoSQL存储资源的管理接口IF2-8809.2.9.资源池管理平台与对象存储资源的管理接口IF2-9819.2.10.资源池管理平台与备份设备的管理接口IF2-108110.编码要求8110.1.资源池内部资源及设备类型编码8110.2.资源池内部资源及设备编码8211.可用性及可靠性要求8311.1.资源池管理平台8312.性能要求8412.1.资源池管理平台8413.可扩展性要求8413.1.资源池管理平台8414.安全要求8514.1.物理安全8514.2.网络安全8514.3.系统安全8614.4.数据安全874.编制历史87前言本标准对中国移动私有云平台中私有云资源池系统技术要求中需要规范的内容提出全面要求，用于指导中国移动私有云资源池系统建设。本标准主要包括以下几方面内容：私有云资源池系统架构、组网要求、资源服务实现流程、资源池管理平台功能要求、接口要求、编码要求、可用性及可靠性要求、性能要求、可扩展性要求、网管要求、安全要求等要求。本标准是中国移动私有云技术规范系列标准之一，该系列标准的结构、名称或预计的名称如下：序号标准编号标准名称1中国移动私有云总体技术要求2中国移动私有云管理平台设备规范3中国移动私有云资源池系统技术要求4中国移动私有云资源管理接口本标准由中移号文件印发。本标准由中国移动通信集团计划部提出，集团公司技术部归口。本标准起草单位：中国移动通信研究院本标准主要起草人：。QB-1. 范围本规范规定了中国移动私有云资源池系统架构、组网要求、资源服务实现流程、资源池管理平台功能要求、接口要求、编码要求、可用性及可靠性要求、性能要求、可扩展性要求、网管要求、安全要求，供中国移动内部和厂商共同使用；适用于中国移动开展私有云建设。2. 规范性引用文件下列文件中的条款通过本规范的引用而成为本规范的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本规范，然而，鼓励根据本规范达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本规范。表2-1 引用文件序号标准编号标准名称发布单位1保200910号关于进一步加强电信市场准入和年检环节信息安全专项审查的通知工业与信息化部2第292号令互联网信息服务管理办法国务院3中国移动私有云总体技术要求中国移动通信集团公司4中国移动私有云资源管理接口规范中国移动通信集团公司5中国移动私有云管理平台设备规范中国移动通信集团公司6中国移动PC服务器虚拟化设备规范中国移动通信集团公司7中国移动数据业务系统通用网管接口技术规范中国移动通信集团公司8中国移动数据业务系统安全域划分边界整合及安全防护技术要求中国移动通信集团公司9中国移动网络设备安全规范中国移动通信集团公司10中国移动数据库设备安全功能规范中国移动通信集团公司11中国移动集团应用资源与安全管控系统（4A）集成接口技术规范中国移动通信集团公司12中国移动通信互联网短信网关接口协议中国移动通信集团公司13中国移动云存储系统设备规范日志详单类存储中国移动通信集团公司14中国移动云存储系统接口规范日志详单类存储中国移动通信集团公司15中国移动云存储系统设备规范-NoSQL数据存储 中国移动通信集团公司16中国移动云存储系统接口规范-NoSQL数据存储 中国移动通信集团公司17中国移动云存储系统设备规范分布式文件存储中国移动通信集团公司18中国移动云存储系统接口规范-分布式文件存储中国移动通信集团公司19中国移动云存储系统设备规范对象数据存储中国移动通信集团公司20中国移动云存储系统接口规范对象数据存储中国移动通信集团公司3. 术语、定义和缩略语 “必须”、“推荐”/“建议”、和“可选”等词语在本规范中的使用需遵循以下指导。- “必选”/“必须”项是指业务、业务和设备所必须提供的功能或性能要求；对应于RFC2119 MUST，REQUIRED，SHALL。- “推荐”/“建议”/“应”项是指在标准中未作强制要求，若业务、业务和设备提供的功能或性能要求被认为更佳；对应于RFC2119 RECOMMENDED，SHOULD。- “可选”/“可”项指参考性要求，是业务、业务和设备在目前阶段可不提供的功能或性能要求；对应于RFC2119 MAY，OPTIONAL。- 必不能，不能，不得：表示绝对的禁止；对应于RFC2119 MUST NOT，SHALL NOT。- 不推荐，不建议：表示若业务、业务和设备按照所述内容制作，被认为略次；对应于RFC2119 SHOULD NOT，NOT RECOMMENDED。- 规范中除了明确指明为 “推荐”/“建议”、“可选”外，均为必须要求。3.1. 术语、定义表3-1 术语/定义术语/定义解释私有云平台针对私有云服务的运营和相关云计算资源的管理要求，在全国范围内集中建设、集中运营的，为内部各类应用系统提供云计算资源和管理功能的云计算系统，简称私有云平台。私有云服务私有云服务承载于全网统一建设的私有云平台，由集团公司统一规划。私有云服务主要向各类应用系统提供以资源和能力出租为主的云服务，通过硬件虚拟化、安全隔离、集中管理、灵活计费和弹性资源调度等技术，将原本静态分配、长期租赁的物理设备（如服务器、存储和网络设备）抽象为可管理、易于调度、按需分配的虚拟资源池。私有云管理平台私有云管理平台是私有云平台的核心，负责私有云各种服务的管理，并对各私有云资源池以及其中的各类资源进行集中管理。资源在资源池系统中，资源是可以服务的形式提供给用户使用的IT元素，包括但不限于PC服务器或虚拟机资源、各类存储资源、IP地址资源、物理或虚拟网络资源、防火墙资源、负载均衡资源等。资源池系统资源池系统是一个能够对各种云计算IT资源进行管理、部署、调度的资源池管理平台及包括计算、存储及网络等各种资源相关系统或设备组成的实体集群。资源池系统接收来自私有云管理平台的指令并执行。分布式文件系统一种由多个服务器节点组成的分布式文件存储集群，每个节点都是一个离散的处理单元，所有的节点都通过一个可扩展的网络进行连接，使用者通过多种接口访问其中的存储资源。虚拟机系统虚拟机系统可以提供虚拟机服务，包括假设虚拟机所必须的PC服务器、虚拟主机系统、虚拟客机以及对虚拟主机系统进行管理和维护的管理系统。资源模板资源模板是在业务订购过程中，用于初始化相关资源所必需的信息和数据。资源模板是业务与资源之间的纽带，每一个业务都必须有相应的一个或多个资源模板。虚拟机镜像虚拟机镜像用于保存虚拟机操作系统及其应用软件相关信息和数据，并可用于虚拟机系统生成或运行虚拟机的信息实体。虚拟机模板虚拟机模板是一组用于初始化虚拟机的元数据或数据结构，其中包含虚拟机配置及虚拟机镜像。X86物理机X86物理机是指通用X86架构的物理服务器。知识库知识库是广泛定义的IT库，运维人员在处理故障时可以查询知识库里已分类并明确入库的各类知识条目3.2. 缩略语表3-2 缩略语缩略语英文全称中文含义VLANVirtual LAN虚拟局域网IPMIIntelligent Platform Management Interface智能平台管理接口SNMPSimple Network Management Protocol简单网络管理协议SOAPSimple Object Access Protocol简单对象访问协议RDPRemote Desktop Protocol远程桌面协议HTTPHypertext Transfer Protocol超文本传输协议SSHSecure SHell一个用来替代TELNET、FTP以及R命令的工具包，主要是想解决口令在网上明文传输的问题。VPNVirtual Private Network虚拟专用网络NATNetwork Address Translation网络地址转换SLAService Level Agreement服务等级协议IDSIntrusion Detection Systems入侵检测系统4A或AAAAAccount Password Management，Authentication，Authorization，Accounting帐号口令管理、认证、授权、审计的首字母合在一起的缩写4. 概述4.1. 背景介绍为满足中国移动各类应用系统集中部署的需求，中国移动开展私有云建设。在此背景下，为了更好地指导和规范私有云的建设，特编制私有云系列规范。私有云资源池系统是私有云平台的一部分。私有云平台由一个私有云管理平台以及一个或多个私有云资源池系统（下文简称：资源池系统）组成。私有云管理平台提供私有云的全网统一运营，并对资源池系统中的资源进行管理。资源池系统提供基础IT资源，可根据需要动态改变资源分配的规模，快速适应不同应用的扩容需求，实现“弹性”资源分配能力。基于资源池系统能够获得以下好处：n 资源的统一管理、调度和维护通过引入自动化管理等技术手段，实现对各类IT资源的集中统一管理、调度和维护，提升IT运营维护质量，缩短用户应用系统上线时间。n 提高资源利用率，降低能耗通过引入虚拟化等技术手段，细化物理资源分配单元，提高系统分布密度，提高系统使用效率，降低对物理设备的需求，进一步降低IT设备投入，降低能耗。n 提高系统可靠性在基础设施层面提高系统可靠性，为用户应用系统提供高可用、连续服务的基础设施平台。4.2. 规范目标和体系说明私有云资源池系统技术要求属于私有云技术规范系列的一部分，该规范的目标是将私有云资源池系统的定位和实施原则要求明确化、具体化、规范化，以指导私有云资源池系统的快速、高质量的建设。私有云技术规范系列的定义和描述如下：1) 私有云总体技术要求：针对中国移动私有云平台的定位、总体架构、功能、组网、流程、数据、接口、安全、备份等提出总体要求；2) 私有云资源池系统技术要求：针对中国移动私有云资源池的定位、总体架构、组网、流程、功能、接口、安全、备份等提出系统技术要求；3) 私有云管理平台设备规范：对中国移动私有云管理平台的功能要求和非功能要求等进行详细定义和描述；4) 私有云资源管理接口规范：对私有云管理平台与私有云资源池系统之间的接口进行详细定义和描述。5. 系统架构5.1. 私有云整体架构 图5-1 私有云平台整体架构私有云平台由一个私有云管理平台和一个或多个资源池系统组成。基于私有云管理平台和资源池系统，私有云平台可以为各类应用系统提供不同的资源服务，包括：X86物理机服务、虚拟机服务、虚拟机备份服务、小型机服务、分布式文件存储服务、块存储服务、日志详单类数据存储服务、IP服务、带宽服务、虚拟防火墙服务、负载均衡服务、网络配置服务、资源监控服务。私有云管理平台负责私有云各种服务的运营，以及对全网私有云计算的各类资源进行管理。私有云管理平台由门户应用、服务运营、资源管理、系统管理、以及接口等组成。用户能够通过自服务门户Portal进行用户注册、用户注销、服务订购、服务变更、服务退订、资源使用等服务操作。私有云管理人员能够通过运营管理门户Portal进行用户管理、资源模板管理以及系统管理等运营操作。私有云管理平台与ISMG及4A系统相连接。资源池系统提供私有云所需的各类的资源，包括计算资源、存储资源、网络资源。计算资源主要包括X86物理机、虚拟机、小型机，存储资源主要包括分布式文件存储、块存储、日志详单类数据存储，网络资源主要包括公网IP、带宽、虚拟防火墙、负载均衡等资源。资源池除提供各类资源服务外，还提供数据备份服务、资源监控服务以及网络配置服务。应用系统可以在资源池中申请各类资源和服务实现部署和运行。资源池系统与网管系统、ISMG及4A系统相连接。私有云管理平台通过资源管理接口实现对资源池系统的资源管理，私有云管理平台通过该接口下发各种资源管理指令，资源池系统中的资源池管理平台接收指令并进行相应的资源管理操作。同时，私有云管理平台中需要记录资源池系统的资源状况及资源告警信息。如果资源池系统资源状况发生变化，则资源池系统主动上报资源变动情况至私有云管理平台。为保证私有云管理平台与资源池系统之间连接的安全性，私有云管理平台与各资源池系统通过IP专网连接。5.2. 私有云资源池内部架构资源池系统由资源池管理平台和各种资源相关系统或设备以及连接上述设备的网络组成。资源池系统内部架构如下图所示。图5-2 资源池系统架构资源池系统对外提供各类IT资源，包括计算资源、网络资源、存储资源以及本地备份资源。计算资源由虚拟机系统、X86物理机、小型机提供，包括虚拟机资源、X86物理机资源和小型机资源；存储资源由分布式文件系统、设备、日志详单类数据存储系统、对象存储系统和NoSQL数据存储系统提供，其中分布式文件存储、日志详单类数据存储和NoSQL数据存储系统基于X86物理机实现，块存储基于磁盘阵列实现；网络资源包括公网IP资源、带宽资源、虚拟防火墙资源、负载均衡资源等，由NAT设备、路由器/交换机、防火墙、负载均衡器等设备提供；本地备份服务由备份服务器和分布式文件系统等备份介质提供。计算资源、存储资源、网络资源、本地备份资源之间相互协作对外提供完整的资源使用环境。一个资源池可根据上层应用系统对不同安全等级的需求，将其的IT基础设施资源划分为不同的子集合，并在安全、网络等方面进行必要的物理或逻辑隔离，形成安全域。安全域仅针对计算资源，不跨数据中心部署，不同安全域间资源可灵活调整。同一安全域内安全等级一致，不同安全域间的网络需经过防火墙互通。根据以上定义，将资源池划分为四个安全域：DMZ区、核心生产区、测试区、接入维护区。各类存储资源可被所有安全域访问，同时支持数据访问控制和数据隔离，保证数据安全。资源池管理平台是资源池系统的核心，主要功能包括资源管理、资源监控、资源计量和操作维护功能。l 资源管理：资源池管理平台通过各类设备管理接口实现对资源池系统中的各类设备资源的集成管理。例如资源池管理平台通过虚拟机系统接口实现对虚拟机资源的管理，通过分布式文件系统接口实现对分布式文件存储资源的管理，通过日志详单类数据存储系统接口实现对日志详单类数据存储资源的管理，资源池管理平台通过各类设备管理接口直接对X86物理机、小型机、块存储、公网IP、带宽、防火墙、负载均衡、备份服务器等资源进行管理。资源池管理平台接收并执行私有云管理平台通过资源管理接口发送的资源管理指令，代理资源访问操作，对资源池系统内部的各类资源系统和各类设备进行分配、修改、删除、查询等操作。l 资源监控：对于各类资源的监控，用户通过资源池管理平台中的资源监控功能查看资源监控信息。资源池管理平台可通过资源状况监控及查询接口向网管系统或运营管理平台提供资源池系统内各类设备的管理和监控信息。故障告警等事件信息资源池管理平台可通过ISMG接口对资源池管理员进行短信通知。l 资源计量：资源池管理平台维护各类资源模板信息，并以资源模板为粒度统计资源已用和可用资源用量，以资源实例为粒度对资源使用时长、使用量等信息进行统计，上报运营管理平台。 l 操作维护：资源池管理员可以通过资源池管理平台中的管理员门户对资源池系统进行相关维护，如确认、删除、合并、重定义告警信息；新增、删除、查询、修改资源池系统中软硬件的配置信息；在知识库中新增、删除、查询、修改知识条目。同时在故障处理完成后根据完成情况更新知识库。管理员可通过资源池管理平台中的计算资源访问功能实现对X86物理机、虚拟机、小型机的访问。6. 组网要求6.1. 资源池组网需求由于容灾备份的需求，一个资源池的各种IT基础设施资源通常分布于一个物理地区内的多个（大于1，一般2-3个）数据中心中。资源池组网需求包括数据中心间的互联、数据中心内部的组网以及资源管理接口的承载三个方面。资源池由一个资源池管理平台和提供IT基础资源的各类系统或设备组成。私有云管理平台通过资源管理接口对各资源池中的IT基础资源进行统一管理，包括申请、使用、释放等；对上层各类应用提供IaaS资源服务。图6-1 云计算数据中心组网架构针对数据中心的互联，根据国际已有经验，综合考虑数据中心的各类灾难影响范围和服务质量要求，一个资源池所分布的多个数据中心间距离应在约30公里至150公里之间。资源池中各数据中心间的业务流量主要用于实现多数据中心之间的容灾备份，以及资源池管理平台对多数据中心资源的统一管理和调度。 每个数据中心内部组网主要考虑大规模服务器、存储设备的接入需求，并提供安全、可靠的网络连接，包括业务网络、存储网络和管理网络。为了保证高可靠性和安全性，数据中心内部的业务网络和管理网络通过网络物理设备隔离。管理网络根据需求可连接至IP专网，存储网络为内部网络，业务网络与IP专网和外部互联网互联。数据中心内的终端设备包括三类： 弹性计算设备，虚拟机系统/x86物理机/小型机； 存储设备，设备/分布式文件存储设备/日志详单类数据存储设备； 资源池管理平台。资源池管理平台集中建设，通过IP专网与私有云管理平台互联，通过IP专网或管理专线管理和调度其他数据中心的资源。 图6-2 资源池逻辑架构6.2. 数据中心间的互联多个数据中心之间采用传输专线互联，多个数据中心之间交互的流量主要为用于容灾备份的业务流量和管理流量。数据同步专线用于交互数据中心间用于容灾备份的业务流量，根据业务需求，可通过业务网络/存储网络的汇聚/核心交换机互联。管理专线用于交互数据中心间的管理流量，通过管理网络的汇聚交换机互联。当所有的数据中心都和IP专网连接时，也可以通过IP专网承载管理流量。6.3. 数据中心内部组网要求6.3.1. 数据中心网络设计原则云计算数据中心应具备丰富的互联网带宽资源、安全可靠的机房基础设施及网络设施、全方位的内部网络管理机制及完备的增值服务选择。总体网络系统的设计原则如下：l 可运营数据中心需要实现业务运营自动化，从而达到低成本、高效率运营的效果。l 可靠性可靠性设计包括：网络链路冗余、关键网络设备冗余、重要网络业务模块冗余、协议可靠性、数据容灾备份。在数据中心网络系统设计中，关键网络设备冗余指所有关键设备均采用电信级的全冗余设计，如冗余的控制模块设计、冗余电源等等。网络链路冗余指：采用冗余网络设计，层次与层次之间采用全冗余连接。重要网络业务模块冗余指对重要业务模块如防火墙、交换设备、流量清洗设备等，采用负载均衡、双机备份等多种冗余技术。协议可靠性指在物理设备故障时，可通过网络协议的收敛来保证业务的持续可用性。数据容灾备份指当数据存储网络或存储介质故障时，可通过备份的数据恢复业务对数据的访问，保障数据的可靠性和业务可持续性。l 可扩展性数据中心网络系统方案设计应遵循TCP/IP标准层次化设计方案，采用多层次设计方式。每个层次，应采用具有可扩展性的模块化设计，可根据数据中心业务未来的发展方向和实际特殊需求，进行灵活的扩展。每个层次所选用的网络设备，应具有较高的端口密度，为数据中心内部规模扩充提供平滑过渡的平台。l 灵活性数据中心网络系统应尽可能灵活的实现安全域的划分。l 可管理性数据中心应提供多种优化的可管理信息，具备完整的QoS保障功能、多层次的服务等级分级和管理体系、多厂家网络设备统一管理能力等等。 l 安全性安全性包括物理设备的安全控制和业务数据的安全控制。数据中心应有完整的安全策略控制体系，通过流量监控、防火墙、内容审计等多种手段实现全方位、多层次的监控、防护，保障数据中心数据传输的可靠、安全、高效和事件行为的可回溯性。l 节能环保数据中心整体网络系统设计中，应从机房供电、散热、机房布局、设备选型等多个方面考虑降低能耗。l 弹性网络网络设备作为云计算的资源之一，需要能够被运营管理系统统一进行读取，配置，调度，以满足云计算的资源弹性扩展要求。l 虚拟化应充分利用网络资源的虚拟化提高资源的利用效率，同时做到虚拟资源之间的有效隔离，保障其安全、可靠。6.3.2. 数据中心安全域设计为满足不同应用系统对网络接入的不同安全隔离要求，对资源池内的资源划分安全域，安全域不跨数据中心部署。资源池的同一数据中心内的资源划分为DMZ区、多个核心生产区（含内部互联区）、测试区、管理维护区等安全域，如图6-3所示。. 安全域定义安全域为同一资源池内一组资源的集合，通过安全域内的防火墙实现不同的安全等级；安全域仅针对计算资源。图6-3 数据中心安全域划分示意图1. DMZ区DMZ区主要放置外部用户可以直接访问的服务器，包括Portal服务器、远程维护接入服务器等。2. 核心生产区（含内部互联接口区）核心生产区（含内部互联接口区），主要放置业务系统内核心应用和数据库服务器。核心内通过VLAN隔离业务,不同专业系统(网管、业务支撑、业务平台等)之间通过防火墙隔离.3. 测试区测试区主要放置业务系统的开发测试设备。4. 接入维护区接入维护区主要放置各个系统用于管理维护的终端。. 安全域网络隔离方案安全域间通过防火墙隔离三层流量，通过VLAN隔离二层流量，按需部署互访策略。建议网关部署在防火墙上，实现缺省的三层流量隔离。为管理维护的方便，安全域初期阶段建议可以以接入交换机为最小单位进行划分，共用汇聚层交换机和核心层交换机。如图6-4所示。1、防火墙策略设计配置双层异构防火墙，内层防火墙主要保证各业务系统核心生产区的安全，并对核心生产区与DMZ、内部互联接口区、测试区、管理维护区的访问策略进行控制；外层防火墙主要对DMZ接口区访问Internet的访问进行策略控制；内层和外层配置异构防火墙确保外层防火墙被攻击后，只有DMZ区域服务器受到安全威胁，其他区域设备仍受内层防火墙的保护。内层防火墙根据各个业务系统的需求配置不同的安全等级。为了提高防火墙的可维护性，建议内层防火墙根据运营单位划分虚拟防火墙，每个运营单位在分配好的虚拟防火墙上配置系统相关的安全策略。为了降低防火墙之间互联的复杂性，提高可扩展性，建议采用模块化防火墙实现。2、VLAN规划VLAN按照不同安全域成段分配，不同安全域使用不同的VLAN段，每个安全域内不同的业务系统使用不同的VLAN，所有VLAN之间缺省是互相隔离的，如果有互访需求需要在防火墙上做策略允许其互访，包括同一业务系统内部不同安全域的互访，也包括不同业务系统之间的互访。图6-4 安全域和VLAN隔离示意图6.3.3. 数据中心网络架构设计. 数据中心网络层次划分整个数据中心网络在架构设计上采用层次化、模块化的设计方式，整个网络分成五层：(1) 网络出口层负责与外部网络的互联，保证数据中心内部网络高速访问互联网，并对数据中心内网和外网的路由信息进行转换和维护。(2) 核心层向下负责汇聚网络内的汇聚层交换设备，保证网络内汇聚层交换设备之间的高速交换，向上与出口路由设备进行互联。在核心层部署防火墙，用于NAT转换并提供安全防护。(3) 汇聚层向下负责汇聚多个业务接入层交换设备，向上与核心交换设备进行互联。(4) 业务接入层包括网络接入设备和终端设备。对于业务网络来说，终端设备为弹性计算设备（包括日志详单类数据存储设备）。对于存储网络来说，终端设备为块存储设备。对于管理网络来说，终端设备包括所有需要管理的网元设备。业务接入层与汇聚层之间为二层网络，为了避免广播风暴的影响，系统必须具备消除二层环路的技术。当网络发生故障时，系统应具备快速的故障检测和保护倒换机制。汇聚层与核心层之间可采用增强二层（堆叠/集群、跨机箱链路捆绑）或三层组网。在有跨汇聚设备的二层连接需求时，汇聚层和核心层之间可根据需求建立二层连接。二层组网时，系统必须具备消除二层环路的技术。当网络发生故障时，系统应具备快速的故障检测和保护倒换机制。具体的数据中心整体网络系统架构图如下：图6-5 数据中心网络拓扑图 为了网络的高可靠性，业务网络、管理网络和存储网络分开组网，业务核心交换机、DMZ交换机、存储核心交换机通过不同物理设备隔离或同一设备硬件资源的虚拟化方式隔离。业务内层防火墙可通过硬件资源虚拟化的方式和存储网络的防火墙共用一台物理设备。网络出口层网络出口层（含DMZ区）拓扑结构如下图所示： 图6-4 网络出口层网络拓扑网络出口层作为数据中心和外部网络互联互通的纽带，对外完成与外网设备高速互联，对内负责与数据中心的核心层交换设备互联。网络出口层负责网络内部路由信息和外部路由信息转发和维护。接入CMNET时，由于资源池为全网服务，建议优先考虑接入CMNET骨干网，不具备骨干网接入条件的数据中心节点可接入省网核心/汇聚层。根据业务需求，通过CE设备接入IP专网。在核心层和网络出口层之间部署外部防火墙，用于内部网络和外部互联网的隔离。为保证网络的可靠性，建议一个资源池内的多个数据中心单独设置网络出口，分别通过不同地市/局房的CMNET骨干出口互联。网络出口层应采用双机冗余结构，双机之间采用单链路/多链路互连。设备之间的路由信息共享宜采用动态路由方式。出口路由设备在进行设备选型时应考虑以下性能指标：a) 所选设备应提供关键部件如主控板、交换板、路由板、电源等的冗余配置，防止单一部件故障导致整个数据中心网络的不可访问；同时应满足设备间的快速切换，避免单一设备故障造成的网络瘫痪。b) 支持多条互联网出口链路，根据特定的策略将IDC数据分布到各条互联网出口链路上进行传输，防止单条链路的失效造成IDC网络的不可访问；c) 所选设备应支持多种形式的链路接口类型，常用的骨干网边缘链路接口类型有POS接口和以太网接口，IDC节点根据业务发展需要及建设成本要求，选择不同的接口类型；d) 所选设备应支持OSPF、ISIS、BGP等路由协议，以便进行内外网络的互联互通；e) 所选设备应支持MPLS VPN和VRF，以满足业务的访问隔离需求。f) 所选设备应支持多个业务槽位，具备高扩展性，以满足IDC业务日益增长的需求。g) 所选设备应支持网络自动配置功能，如VLAN创建和删除、带宽限速等，并保证指令集的快速可靠执行。在接口类型的选择上，网络出口层出口路由设备上联接口应采用高速接口，采用10G以太网接口或10G POS接口，建议优先选择10GE接口。网络出口层和CMNET边界路由器之间的互联链路宜优先采用全网状互联，增加网络链路的健壮性。由于全网状结构需要较多的互联网链路和网络出口层出口路由设备接口数量，因此也可采用双链路冗余互联方式。图6-6 网络出口设备冗余互联拓扑DMZ区 DMZ区用于放置主要放置外部用户可以直接访问的服务器，如Portal服务器、远程维护接入服务器等。DMZ区从安全的角度来看，位于内部网络和外部网络之间，均通过防火墙隔离。核心层核心层拓扑结构如下图所示：图6-7 核心层网络拓扑核心层是汇聚层交换设备的汇聚点，并上联到网络出口层路由设备。对于业务网络，在该层部署内层防火墙和负载均衡设备等。内层防火墙作为三层网关终结所有二层流量并提供三层的安全隔离，根据业务需要实现NAT转换。核心层采用双机冗余结构，双机之间采用单链路/多链路互连。设备之间的路由信息共享宜采用动态路由方式。核心交换设备在进行设备选型时应考虑以下性能指标：a) 应采用三层高端交换设备。b) 所选设备应具备高可靠性，提供冗余引擎、电源和风扇。c) 所选设备应是插槽式设计，提供较多的业务插槽，以便根据需要灵活的增加接口。d) 所选设备应具备QoS保障，包括QOS功能和高性能的转发能力。e) 所选设备应支持OSPF、ISIS等多种动态路由协议，以满足与出口路由设备和汇聚层交换设备的路由连接。f) 所选设备应支持VRF，以满足业务的访问隔离需求。g) 所选设备应支持VLAN等链路层协议，以满足数据中心内部的二层连接需求。h) 所选设备应支持完善的安全隔离和控制能力，能够对接入区各主机在逻辑上实现隔离、控制。i) 所选设备应支持网络自动配置功能，如VLAN创建和删除、带宽限速等，并保证指令集的快速可靠执行。j) 考虑到未来的可扩展性，所选设备应支持跨广域IP网络（如CMNET）构建二层虚拟数据中心的能力。核心交换设备与出口路由设备之间宜采用双链路冗余的互连方式，实现较高的冗余能力。在对网络的可靠性要求高的数据中心节点，可采用全网状互连的方式。核心层与出口路由设备之间互联链路宜使用10G以太网链路。汇聚层图6-8 汇聚层网络拓扑汇聚层是业务接入层交换设备的汇聚点，并上联到核心层交换设备。汇聚层采用双机冗余结构，双机之间采用单链路/多链路互连。汇聚交换设备在进行设备选型时应考虑以下性能指标：a) 应采用三层中高端交换设备。b) 所选设备应是插槽式设计，提供可扩展的业务插槽，以便根据需要灵活的增加接口。c) 所选设备应具备QoS保障，包括完整的QOS功能和高性能的转发能力。d) 所选设备应支持VLAN等链路层协议，以满足数据中心内部的二层连接需求。e) 所选设备应支持完善的安全隔离和控制能力，能够对安全域的各主机在逻辑上实现隔离、控制。f) 所选设备应支持网络自动配置功能，如VLAN创建和删除、带宽限速等，并保证指令集的快速可靠执行。汇聚层与核心层之间宜采用双链路冗余的互连方式，实现较高的冗余能力。在对网络的可靠性要求高的IDC节点，可采用全网状互连的方式。汇聚层与核心层之间互联链路宜使用10G以太网链路。图6-9 核心层与汇聚层的拓扑图业务接入层业务接入层由网络接入设备和终端设备组成，它的网络拓扑如下图所示：图6-10业务接入层网络拓扑图业务接入层对数据中心的各类终端设备提供网络接入，并对不同用户和系统进行隔离及实施QOS、VPN等业务接入层策略。接入交换设备应采用以下设备选型原则：a) 所选设备可采用二层或三层交换设备，主要采用二层交换设备。b) 所选设备应支持VLAN等链路层协议，以满足数据中心内部的二层连接需求。c) 所选设备应支持各种用户隔离和策略控制功能，如PVLAN、ACL、CAR等技术，为不同的用户提供高级别的安全隔离和网络QoS服务。d) 所选设备应支持网络自动配置功能，如VLAN创建和删除、带宽限速等，并保证指令集的快速可靠执行。业务接入层根据业务或用户的需求，采用VLAN划分网络。业务接入层和汇聚层之间链路宜使用10G以太网链路。业务接入层与汇聚层交换设备之间采用双星型连接方式，如图所示：图6-11双星型连接拓扑图. 业务网络业务网络用于承载系统内的业务流量。 安全域隔离：针对不同的VLAN和IP地址段，在防火墙上配置相应的安全策略。 业务或用户隔离：通过VLAN隔离不同的业务或用户。. 存储网络（含SAN网络）存储网络负责提供FC SAN设备和云存储（含分布式文件存储和日志详单类存储等业务）接口的接入。FC SAN网络单独组网，提供对块存储数据的高速访问和数据的容灾备份。为了提高安全可靠性，SAN存储网络应支持VSAN和Zone的划分，根据业务需求划分VSAN和Zone。SAN设备应支持对数据传输进行加密，以保障数据传输中的安全性。SAN存储网络应支持VSAN间路由，以提供灵活的数据共享和数据存储路径控制。云存储（含分布式文件存储和日志详单类存储等业务）网络单独组网，核心交换机采用物理隔离，或通过硬件资源划分虚拟交换机的方式隔离，使得业务网络和存储网络互不影响，提高网络可靠性。当多数据中心的存储网络需要连接时，建议通过数据同步专线实现数据中心间的存储流量交互。. 管理网络数据中心资源池管理系统提供网络管理、资源管理、业务管理、运营管理等数据中心管理功能。资源池管理平台应具备资源管理，业务管理和运营管理的相关功能。管理网络应采用和业务网络、存储网络物理隔离的设计方法，减少相互影响：第一，即使业务网络遭受攻击，可以正常通过管理网络对设备进行管理、提供服务，快速诊断问题，减少业务损失；第二，管理网络的网管、防病毒、漏洞扫描等应用和管理人员的操作均独立于业务网络，对业务网络不产生影响；第三，维护人员和客户可通过VPN远程接入管理网络，通过互联网随时随地实现对数据中心内网设备的管理。数据中心管理网络设备分为接入交换设备和汇聚交换设备。管理网络接入交换设备向下连接资源池管理平台和各终端设备，向上连接管理网络汇聚交换设备。汇聚交换设备根据需要可上联到IP专网，并通过IP专网或管理专线实现多数据中心间的管理流量交互。维护人员通过资源池管理平台管理数据中心内部设备，主要负责对各管理域进行划分和配置。当资源池管理