智慧城市云计算中心总体设计机房方案

1、目 录 1. 智慧城市云计算中心总体设计 . 1 1.1 总体设计方案 . 1 1.1.1 设计原则 . 1 1.1.2 支撑平台技术架构设计 .2 1.1.3 支撑平台网络拓扑设计 . 3 1.1.4 通过云操作系统实现云计算中心运营管理 . 4 1.1.5 层次清晰的云计算中心部署架构设计 . 5 1.2 项目技术路线 . 6 1.2.1 X86系统架构 .6 1.2.2 资源池化 . 8 1.2.3 弹性扩展 .10 1.2.4 智能化云管理 .12 1.2.5 充分考虑利旧 .13 2. 统一存储平台建设方案 . 14 2.1 数据类型分析 .14 2.1.1 结构化数据 .14 2.

2、1.2 非结构化数据 .14 2.2 存储网络设计 .15 2.2.1 存储网络种类 .16 2.2.2 存储网络选择 .18 2.3 统一存储平台设计 . 20 2.3.1 统一存储平台定位 .20 2.3.2 统一存储平台架构 . 24 2.4 结构化数据存储资源池建设 .31 2.4.1 GNC区建设 . 32 2.4.2 CEGN区建设 .34 2.4.3 详细功能实现 .35 2.5 非结构化数据存储资源池建设 . 57 2.5.1 系统定位 .57 2.5.2 总体架构设计 . 58 2.5.3 GNC区建设 . 61 2.5.4 CEGN区建设 . 63 2.5.5 详细功能实现

3、 . 64 3. 信息资源共享与交换平台 . 69 3.1.1 数据资源规划 .69 3.1.2 数据库子系统建设 . 74 4. 大数据平台建设方案 .79 4.1.1 大数据平台总体设计 .79 4.1.2 大数据平台惠民示范应用 . 100 1. 智慧城市云计算中心总体设计 1.1 总体设计方案 1.1.1 设计原则 先进性 智慧城市云计算中心的建设采用业界主流的云计算理念，广泛采用虚拟化、分布式存储、分布式计算等先进技术与应用模式，并与电子政务业务相结合，确保先进技术与模式应用的有效与适用。 可扩展性 政务云计算中心的计算、存储、网络等基础资源需要根据业务应用工作负荷的需求进行伸缩。在

4、系统进行容量扩展时，只需增加相应数量的硬件设备，并在其上部署、配置相应的资源调度管理软件和业务应用软件，即可实现系统扩展。 成熟性 智慧城市云计算中心建设，要考虑采用成熟各种技术手段，实现各种功能，保证云计算中心的良好运行，满足业务需要。 开放性与兼容性 智慧城市云计算中心采用开放性架构体系，能够兼容业界通用的设备及主流的操作系统、虚拟化软件、应用程序，从而使得政务云计算中心大大降低开发、运营、维护等成本。 可靠性 智慧城市云计算中心需提供可靠的计算、存储、网络等资源。系统需要在硬件、网络、软件等方面考虑适当冗余，避免单点故障，保证政务云计算中心可靠运行。 安全性 智慧城市云计算中心与省政务外

5、网、区县政务外网及互联网分别连接，必须防范网络入侵攻击、病毒感染；同时，政务云计算中心的资源共享给不同的系统使用，必须保证它们之间不会发生数据泄漏。因此，政务云计算中心应该在各个层面进行完善的安全防护，确保信息的安全和私密性。 多业务性 智慧城市云计算中心的规划设计中，充分考虑了需要支撑多用户、多业务的特征，保证基础资源在不同的应用和用户间根据需求自动动态调度的同时，使得不同的业务能够彼此隔离，保证多种业务的同时良好运行。 自主可控 智慧城市云计算中心的建设在产品选型中，优先选择自主可控的软硬件产品，一方面保证整个云计算中心的安全，另一方面也能够促进本地信息化产业链的发展。 1.1.2 支撑平

6、台技术架构设计 图 支撑平台技术架构 支撑平台总体技术架构设计如上，整个架构从下往上包括云计算基础设施层、云计算平台资源层、云计算业务数据层、云计算管理层和云计算服务层。其中： 云计算基础设施层：主要包括云计算中心的物理机房环境； 云计算平台资源层：在云计算中心安全的物理环境基础上，采用虚拟化、分布式存储等云计算技术，实现服务器、网络、存储的虚拟化，构建计算资源池、存储资源池和网络资源池，实现基础设施即服务。 云计算业务数据层：主要为实现业务数据的安全存储，同时针对云平台的各个虚拟机镜像数据和模板数据进行共享存储，支持虚拟机的动态迁移和数据的迁移；实现部门间数据共享与交换；实现业务应用接入。

7、云计算管理层：通过自主可控的云计算操作系统，实现云计算中心的服务管理及业务管理的协调统一，提高运维及运营的效率。 云计算服务层：是云计算中心与最终用于交互的接口和平台，通过该平台能够实现云计算中心统一对外提供服务，为客户人员提供整体的云应用和服务。支撑平台通过统一的云服务平台对外提供服务。 1.1.3 支撑平台网络拓扑设计 图 云计算中心拓扑架构图 支撑平台建设基于以物理分区为基本单元的设计理念，整个云计算中心可分为： 核心交换区、管理区、DMZ区、业务应用区以及云存储区。其中： 核心交换区：负责核心网络交换； 管理区：对云计算平台进行整体管理，单独建设一套管理网络； DMZ区：考虑云计算中心

8、整体安全性，设置专门的DMZ区，承载各业务部门的业务应用系统的WEB发布，同时支撑云计算中心互联网的接入，该区可采用全虚拟机进行支撑或者采用虚拟机和物理服务器共同支撑； 业务应用区包括两部分：数据库逻辑分区和应用系统逻辑分区。其中：数据库逻辑分区用高端八路物理机支撑；应用系统逻辑分区采用虚拟化和物理服务器支撑，根据具体的业务应用特点决定支撑平台选用虚拟机还是物理服务器。 数据库分区：主要建设支撑各应用系统的结构化数据数据库，考虑到数据库数据量的庞大和系统对数据的访问I/O吞吐，该区建议采用高端物理机进行支撑； 业务应用逻辑分区：主要根据业务部门的不同业务需求及业务部门对平台安全级别要求的不同，

9、采用虚拟机和物理服务器共同支撑。 未来，随着云计算中心业务量的增加和复杂度的增加，可以按照相同的架构进行节点的扩展，达到整个云计算平台的可扩展性和很好的伸缩性。 1.1.4 通过云操作系统实现云计算中心运营管理 图 云计算中心逻辑架构图 整个云计算中心设计采用业务区域的理念。业务区域（即以服务器集群为核心的物理资源区域，不同的业务区域设备配置可以不同）是系统的基本硬件组成单元，整个系统共包括若干个业务区域。系统规模的扩大可以通过增加业务区域方式，使得整个系统具有很好的可扩展性。业务区域的业务网络交换机通过万兆方式上联到核心交换区，通过核心交换区与其他业务区域和域外系统互联。 在每个业务区域内，

10、通过云资源管理平台的云计算运营中心节点实现在X86业务节点上部署Hypervisor，并形成一个或多个独立的逻辑资源池，提供给应用使用；通过云计算虚拟化管理中心在逻辑资源池内可实现资源的共享和动态分配。 每个业务区域包括：云计算虚拟化管理中心节点、业务节点、业务网络、管理网络、心跳网络、本地镜像存储；业务区域根据各自的业务需要访问FC存储或并行存储等业务数据存储区域。 云计算平台配置多台云计算服务门户节点，为最终用户的系统管理员提供自助门户服务。 采用以上设计理念，使得整个系统具有超高的可扩展性，可使整个系统扩展到上千台物理服务器规模。 1.1.5 层次清晰的云计算中心部署架构设计 图 云计算

11、中心部署架构图 依据云计算中心建设的总体需求，勾画整个项目的部署架构，指导项目整体建设。 云计算中心部署主要包括几个层面：计算资源池的构建、业务数据的分区规划、共享存储的设计等。从整个部署架构来看： 计算资源池的构建主要采用高端多核心X86服务器作为服务器基础支撑，通过虚拟化技术实现底层物理资源的虚拟化，通过云资源管理平台进行虚拟机的创建、动态分配、迁移及管理，形成统一的计算资源池。 考虑到云计算的安全性、可靠性及重要性，在本方案中数据库分区采用物理机支撑，以够保证整个数据库的稳定、高I/O吞吐和访问，主要通过高端X86高性能服务器通过集群技术进行部署，支撑相关业务数据的存储和管理。 共享存储

12、设计的存储数据主要包括重要业务数据和虚拟机镜像数据，其中：重要业务数据主要通过Oracle/DB2/SQL Server/MySQL等数据库进行数据管理，结构化数据存储利用高端私有云存储设备来支撑，在未来需要对存储容量进行扩展时可方便的横向纵向扩展；虚拟机镜像数据主要存放在共享存储部分，通过共享存储设备来支撑虚拟机镜像数据的存放，共享存储建议使用并行存储系统来支撑。 1.2 项目技术路线 本项目建设云计算中心的基本技术路线主要包括： X86系统架构、资源池化、弹性扩展、智能化云管理以及充分考虑利旧。 1.2.1 X86系统架构 基于X86平台的服务器使用Intel Xeon或者AMD Opte

13、ron作为处理器，也就是通常所说的PC服务器。近年来，Intel Xeon和AMD Opteron的性能获得巨大的提高，大量的先进技术和工艺先后被Intel/AMD引人其处理器的设计和制造中，比如，64位计算、直连结构、内嵌内存控制器、多核（目前，Intel Xeon最多可以做到10核；AMD Opteron可以做到16核）、硬件辅助虚拟化技术（Intel VT、AMD-V）、32nm等等。在国际权威测试机构TPC组织发布的结果中，采用X86架构服务器价格/性能比最佳。 X86服务器主要优势表现在界面友好，系统安装、网络装置、客户机设置简易，设置、管理系统直观、方便，系统扩展灵活等优点，对构建

14、大型应用集群具有较好的优势。同时，基于X86架构的服务器因为其开放的架构，开放的生态系统，使其具有较低的运维成本，这也是传统小型机等封闭系统所不能比拟的。此外，从可靠性的角度，在云计算环境下，通常大量采用虚拟化、分布式、并行计算等模式，有力的保证了计算系统的可靠性。 同时，基于X86架构的服务器因为其开放的架构，开放的生态系统，使其具有较低的运维成本，这也是传统小型机等封闭系统所不能比拟的。此外，从可靠性的角度，在云计算环境下，通常大量采用虚拟化、分布式、并行计算等模式，有力的保证了计算系统的可靠性。国内外几大互联网巨头，Google、Amazon、百度、阿里巴巴等，无不大量采用X86架构的设

15、备，支撑海量的互联网检索和访问。X86架构的服务器已经成为构建云计算中心虚拟化平台的最佳选择。 X86服务器相对于小型机的优势如下表所示： 表 X86服务器与RISC架构小型机的区别 特性 小型机 X86服务器 软件层 操作系统 Unix为主 Unix、Linux、windows全部支持 支持应用的数量 较少 很多 操作数大小 64位 32位、64位全部支持 可管理性 管理成本 很高 较低 是否支持易购买的零部件 否 是 故障排除难度 高 低 是否有国产厂商提供 很少 很多 可靠性 是否能够提供冗余 是 是 性能价格比和可扩展性 性能 高 高 价格 很高 较低 可扩展性 低 高 top500中

16、的数量 很少 绝大多数 总之，X86服务器相对于RISC架构的小型机其优势如下： 性能价格比高 X86服务器目前已经成为高性能计算机的发展方向，世界上top500排行榜的高性能计算机系统绝大多数是由性价比更好的X86服务器组成的集群系统，小型机系统则很少。 可扩展性好 X86服务器可以通过原有预留的扩展接口进行无缝的扩展，且相关扩展接口都是业界通用的，非专用接口，这是小型机系统所无法做到的。 X86服务器组成的集群系统扩展成本更低，可以实现按需扩展。 可管理性好 X86服务器复杂度小于小型机，通常管理一个X86服务器组成的集群系统要比管理一个小型机系统要简单得多，这也同时意味着培养一个小型机的

17、管理人才将耗费大量的费用和支出。 维护与升级更容易 X86服务器都是采用了标准的硬件设备，那就意味着这些设备可以轻松地拿到，在关键时候客户即使没有硬件厂商的提供也可以自行配置出临时的解决办法，使用通用的X86架构服务器不会轻易受制于服务器制造商；然而，小型机的每个配件都是专用的，那就意味着用户在一些关键的业务上需要等待小型机厂商的服务响应时间，受制于小型机设备制造商，将自己的工作带向了被动。 对应用系统的更多的支持 小型机系统只能支持相对较少的操作系统和64位软件，而X86服务器可以支持大部分主流操作系统并且可以支持同时存在多种操作系统，也支持32位和64位的软件系统，在X86服务器上可运行的

18、软件是小型机系统的成百上千倍。 1.2.2 资源池化 资源池化就是将计算资源、存储资源、网络资源通过虚拟化技术，将构成相应资源的众多物理设备组合成一个整体，形成相应的计算资源池、存储资源池、网络资源池，提供给上层应用软件。 资源虚拟化是对上层应用屏蔽底层设备或架构的资源封装手段，是实现云计算资源池化的重要技术基础。 虚拟化技术由来已久，所谓虚拟化是相对于物理实体而言的，即将真实存在的物理实体，通过切分或（和）聚合的封装手段形成新的表现形态。 聚合封装是将多个物理实体通过技术手段封装为单一虚拟映像/实例，可用于完成某个业务。例如SMP、计算集群（Cluster）、负载均衡集群（Load Bala

19、nce）、RAID技术、虚拟存储、端口汇聚（port trunk）、交换机堆叠（stack）等。 切分封装是将单个物理实体通过技术手段封装为多个虚拟映像/实例，可用于执行不同业务。例如主机虚拟化、存储分区、虚拟局域网（VLAN）等。其中： SMP、计算集群、负载均衡、主机虚拟化等属于计算虚拟化的范畴； 存储分区、RAID技术、虚拟存储等属于存储虚拟化的范畴； 虚拟局域网（VLAN）、交换机堆叠、端口汇聚等则属于网络虚拟化的范畴。 对于虚拟化技术也可以组合使用，以灵活地满足各种应用环境。例如： 存储分区可以是对单个磁盘，也可以是针对RAID磁盘组； 虚拟化主机通过负载均衡又可以实现应用单一映像。

20、 虚拟化技术的一个重要结果是降低IT架构中部件之间的依赖关系，以计算虚拟化为例，集群、主机虚拟化等计算虚拟化技术实现了应用软件与物理基础设施解耦合，这个过程类似与从C/S架构到B/S架构，继而发展为多层体系结构的发展，都是由于原有的体系发展出现瓶颈或问题而出现的。 C/S架构到B/S架构是通过应用计算与客户端的解耦合，在客户端与数据库之间增加了web server这样的中间层，减少了客户端和数据库的处理压力。 图 C/S架构到B/S架构转化图 B/S结构到多层体系结构是通过数据处理与web server的解耦，在web server之间增加application server，减少了web s

21、erver的处理压力。 图 B/S结构到多层体系结构转化图 C/S结构到B/S多层体系结构的发展，优化了应用处理的过程，提高了应用系统的处理能力，而且也解决了应用系统的扩展能力，使大规模应用处理成为可能。 云计算平台的计算虚拟化技术形式众多，所要解决的问题也各不相同。例如： 集群技术使得应用处理获得了更大的处理能力； 主机虚拟化技术则是提高服务器处理能力的利用率。 图 集群技术及主机虚拟技术优势图 但是从最终的效果而言都是分离了应用软件与物理基础设施，解除或弱化了它们之间的耦合，从而也就削弱了各自的技术发展所受到的相互限制，拓展了技术发展的空间和灵活性。 图 传统数据中心向云计算中心迁移示意图

22、 1.2.3 弹性扩展 云计算中心要实现所提供服务的质量，动态的资源调度是必不可少的。 现有数据中心的IT基础架构采用固态配置，灵活性很差，当业务发展超出预期时，无法及时根据业务需求调整资源供给，难以满足业务快速增长的需求。而且系统资源扩展需要一定的周期，在此过程中，业务系统将处于高危运行状态，造成服务质量下降。而为了应用峰值而扩展的资源在正常情况下，将处于低负荷状态，造成资源浪费。 而云计算中心要避免这样的情况出现，就必须要实现动态的资源调度，实现业务系统资源配备的按需调整，结合管理系统的资源监控，根据业务负载等情况，调整业务资源配给，保障业务系统的资源供给，满足其运行需要，也就保障了业务的

23、服务质量。 云计算中心弱化了应用软件与底层物理资源依赖关系，使得物理资源能够更加灵活地向优化系统性能、提高可靠性、提高易用性、提高运维效率等方面发展，使得动态资源调度成为可能，从而为上层的应用软件提供更好的服务质量。而提高底层的计算、存储、网络等物理资源的耦合性，对于解决上述问题具有关键作用。 首先通过对计算资源、存储资源、网络资源进行优化配给，提高资源能力的耦合性，则可以更好地提高云计算平台的整体性能。 然后智能化地根据用户需要封装、分配资源，形成虚拟应用平台，用户在简单地部署自己的应用或数据后，应用系统即可投入使用。 利用整合了计算、存储、网络等方面资源的运维专家系统，只需基于虚拟应用平台

24、对物理资源的使用分析，即可动态地对其所用物理资源进行优化调整，以提高用户应用的运行效率和服务质量。 在云计算中心，运维人员无需过分关心上层应用的情况，只需基于虚拟应用平台对物理资源的使用分析，进行资源优化调整，保证云计算中心的稳定高效即可。 图 云计算中心弹性扩展示例图 1.2.4 智能化云管理 云计算中心具有IaaS、PaaS、SaaS等众多的服务模型，提供计算服务、存储服务、乃至整合各种资源的综合性服务，其资源的构成更加复杂、规模更加庞大。为了提高易用性和可维护性，各种资源构成之间的关系复杂。为了保证云计算中心的服务质量，对于众多用户资源配给的调整也要求更精准的、更及时。 这些要求已经不是

25、依靠运维人员的能力所能满足的，需要采用更加智能化的自适应运维管理。 云计算中心运维管理要适应云服务对资源管理所提出的新需求： 紧耦合的资源管理 云计算中心采用资源综合管理，即将系统中的计算、存储、网络等资源视为整体系统，实施统一管理，这有利于优化整体性能、精确定位问题、是实现动态资源调度的重要因素。 多维度的资源管理 云计算中心的资源具有多种视图，例如物理资源视图、虚拟资源视图、虚拟组织视图，因此，云管理也应该是多维的。 1.2.5 充分考虑利旧 项目建设应充分考虑利旧，建设新系统并将业务系统迁移至新系统之后，先前采购的设备应继续利用，避免浪费已有投资。主要包括以下几个方面： 服务器设备：经过

26、性能和稳定性衡量之后，可以用来做对性能要求较低的前置机或者在云计算分区中添加一个利旧服务器组成的云区域，承担重要性稍差的业务系统； 存储设备：可以用来做容灾，以充实存储空间； 网络设备：经过性能和稳定性衡量之后，可以用来和新购网络设备一起组成云计算中心的网络体系。 2. 统一存储平台建设方案 2.1 数据类型分析 存储资源池主要用于*政府云计算中心各委办局所有相关的业务数据、统计数据等重要数据存储于存储。各委办局的数据按照数据类型主要可以分为两类，即结构化数据和非结构化数据。 2.1.1 结构化数据 结构化数据即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。 2.1.2 非结构

27、化数据 相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等。 非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图像、声音、影视、超媒体等信息）。 非结构化WEB数据库主要是针对非结构化数据而产生的，与以往流行的关系数据库相比，其最大区别在于它突破了关系数据库结构定义不易改变和数据定长的限制，支持重复字段、子字段以及变长字段并实现了对变长数据和重复字

28、段进行处理和数据项的变长存储管理，在处理连续信息（包括全文信息）和非结构化信息（包括各种多媒体信息）中有着传统关系型数据库所无法比拟的优势。 统一存储平台具备如下特性： 必须具有高性能、高可靠性和足够的容错特性，提供多种信息保护、共享、管理方案，以保证信息的高可用性； 必须拥有足够的系统扩充性，以支持目前的数据容量，同时还要考虑未来业务的发展； 具备多平台、企业级连接能力，便于主机的选型和系统的整合； 满足作数据远程镜像备份（容灾）的要求。 2.2 存储网络设计 随着计算机网络技术的飞速发展，网络存储方式也随之发展，但由于商业企业规模不同，对网络存储的需求也应有所不同，选择不当的网络存储技术，

29、往往会使得企业在网络建设中盲目投资不需要的设备，或者造成企业的网络性能低下，影响企业信息化发展，因此了解相关网络存储知识，选择适当网络存储方式是非常重要的。 2.2.1 存储网络种类目前高端服务器所使用的专业存储方案有DAS、NAS、SAN几种，下面介绍其相关网络存储知识。 1、直接附加存储 直接附加存储（DAS）是指将存储设备通过SCSI接口直接连接到一台服务器上使用。DAS购置成本低，配置简单，使用过程和使用本机硬盘并无太大差别，对于服务器的要求仅仅是一个外接的SCSI口，因此对于小型企业很有吸引力。但是DAS也存在诸多问题： 服务器本身容易成为系统瓶颈; 服务器发生故障，数据不可访问;

30、对于存在多个服务器的系统来说，设备分散，不便管理。同时多台服务器使用DAS时，存储空间不能在服务器之间动态分配，可能造成相当的资源浪费； 数据备份操作复杂。 2、网络附加存储 网络附加存储（NAS）是一种带有瘦服务器的存储设备。这个瘦服务器实际是一台网络文件服务器。NAS设备直接连接到TCP/IP网络上，网络服务器通过TCP/IP网络存取管理数据。NAS作为一种瘦服务器系统，易于安装和部署，管理使用也很方便。同时由于可以允许客户机不通过服务器直接在NAS中存取数据，因此对服务器来说可以减少系统开销。NAS为异构平台使用统一存储系统提供了解决方案。由于NAS只需要在一个基本的磁盘阵列柜外增加一套

31、瘦服务器系统，对硬件要求很低，软件成本也不高，甚至可以使用免费的LINUX解决方案，成本只比直接附加存储略高。NAS存在的主要问题是： 由于存储数据通过普通数据网络传输，因此易受网络上其它流量的影响。当网络上有其它大数据流量时会严重影响系统性能; 由于存储数据通过普通数据网络传输，因此容易产生数据泄漏等安全问题; 存储只能以文件方式访问，而不能像普通文件系统一样直接访问物理数据块，因此会在某些情况下严重影响系统效率，比如大型数据库就不能使用NAS。 3、存储区域网 存储区域网（SAN）是一种专门为存储建立的独立于TCP/IP网络之外的专用网络。目前一般的SAN提供4Gb/S到16Gb/S的传输

32、数率，同时SAN网络独立于数据网络存在，因此存取速度很快，另外SAN一般采用高端的RAID阵列，使SAN的性能在几种专业存储方案中傲视群雄。SAN由于其基础是一个专用网络，因此扩展性很强，不管是在一个SAN系统中增加一定的存储空间还是增加几台使用存储空间的服务器都非常方便。通过SAN接口的磁带机，SAN系统可以方便高效的实现数据的集中备份。SAN作为一种新兴的存储方式，是未来存储技术的发展方向，但是，它也存在一些缺点： 价格昂贵，不论是SAN阵列柜还是SAN必须的光纤通道交换机价格都是十分昂贵的，就连服务器上使用的光通道卡的价格也是不容易被小型商业企业所接受的; 需要单独建立光纤网络，异地扩展

33、比较困难。 2.2.2 存储网络选择 *政府云计算中心的数据主要包括结构化数据和非结构化数据，在本项目存储系统设计时采用两种存储网络模式来对不同数据提供高效的数据存储。 FC存储网络：所有服务器通过FC网络连接到FC存储系统，FC存储系统向所有服务器提供块设备级共享存储系统。同时为了保证系统的可靠性，存储网（FC网络）采用双路径设计。如下图所示： 图 4-48 采用FC存储模式的业务区域 目前，业界的FC SAN存储网络通常有两种组网方案： 采用大型的FC SAN交换设备，可提供8Gps的全双工光纤端口的线速互联，但是价格较高。 采用业务区域的方法，根据业务特点划分物理资源池。业务区域内配置2

34、台SAN交换机，实现服务器与SAN存储设备的8Gbps端到端互联；业务区域之间采用级联的方式实现弱连接（非线速互联），业务资源池之间实现松耦合。这样可以大大降低云平台构建成本。 海量存储模式：采用存储服务器，通过海量存储区的汇聚交换机万兆上链至核心交换机，实现与业务网段的互联互通，供各个业务分区访问。海量存储系统对外提供万兆以太网接口，用于存储访问。海量存储系统可以通过万兆上联的方式连接到业务网核心交换机，服务器通过业务网络，以NFS、CIFS、私有协议的方式访问海量存储系统。 海量存储系统向所有服务器提供文件级高性能共享存储系统。如下图所示： 图 4-49 采用海量存储模式的业务区域 根据存

35、储对象的不同特性，将存储系统集中并分离为结构化数据存储和非结构化数据（包括照片、视频等数据）存储两大模块，每个模块采用高性能、虚拟化、扩展性能强的独立存储系统进行支持。 2.3 统一存储平台设计 2.3.1 统一存储平台定位 现有数据中心采用的存储设备种类繁多： 存储介质包括磁盘、磁带、SSD（固态硬盘）、光盘等，其接口类型包括FC、SAS、SATA、SCSI、IDE/ATA等； 海量存储设备包括磁盘阵列、磁带库、光盘塔等，其接口类型又包括FC、IP、IB、SAS、SCSI等； 磁盘存储设备按照使用模式又可以分为块设备、网络文件系统（NAS）等； 存储网络类型则包括FC-SAN、IP-SAN、

36、IB-SAN等。 然而，随着存储系统容量需求从GB、TB发展到现在的PB级，磁盘从MB、GB发展到TB级，传统存储系统由于先天的技术限制，在发展上产生诸多问题，建设统一存储平台，可以解决如下问题： 1、 解决数据安全性恶化的问题 传统存储设备保护数据最常用的手段就是引入RAID技术，尤其是RAID 5，可以在数据安全性和容量利用率之间获得较好的平衡，并且具有良好的性能。RAID的数据安全性的基础是数据异或（XOR）校验运算，因此数据恢复过程要产生较高的存储I/O，会对系统性能产生一定影响，然而RAID技术产生时磁盘容量较小（MB、GB级），因此RAID尤其是RAID 5的数据恢复过程较短，对数

37、据校验所带来的数据安全性产生的影响很小，对于性能的影响也在可接受的范围，因此被广泛使用。 然而，现在磁盘容量已经达到TB级别，因此RAID 5的数据恢复过程大幅提高，从而大幅度提高了数据恢复过程产生次生破坏的可能性，进而使数据安全性恶化。 因而，传统存储的安全性和性能都面临巨大的挑战。 2、解决单系统纵向扩展能力有限的问题 传统存储设备只具有局部的纵向扩展（scale-in）能力，即通过增加磁盘扩展存储设备的容量，通过增加控制器的cache扩展存储设备的性能。 这种纵向扩展是有局限性的，受存储设备的扩展能力的制约，而且性能扩展的影响很小，并不足以满足高速发展的应用系统对存储性能的需求。 而且这

38、种性能扩展对应用系统有较大影响，因为扩展过程是需要存储设备离线的，在扩展过程中，应用系统不能使用存储设备。 3、解决负载不平衡造成性能瓶颈的问题 为了获得更好的存储性能，可以通过增加存储设备（如另一台磁盘阵列）的方式来扩展汇聚带宽。但是在存储设备中，特定数据被存放在指定的LUN中，且只能通过指定的控制器访问到，因此即使扩展了存储设备，并不能提高特定数据的访问速度。 4、解决存储空间利用率低的问题 据统计，在实际使用中，存储设备的空间利用率不到50%。因为： 首先，在选择存储设备的容量，或者从现有存储设备中申请存储空间时，其容量需求都是来自于对应用系统的预估，因此存在着较大误差，而存储设备所提供

39、的存储空间（LUNs）一旦分配给某个应用系统或用户，就处于独占状态，未来即使该存储空间有空闲容量，其它的应用系统或用户不能使用，造成较大的浪费。 其次，由于存储系统多采用RAID 5技术，为了获得最佳的读写性能，RAID卷组的配置为7D + 1P，即每个RAID卷组有相当于1块磁盘的空间用于存储XOR校验数据，则实际容量利用率只有7/8，同样会造成一定的浪费。 总之，统一存储平台要达到存储的数据管理目标，其特性如下： 可靠性 数据集中到统一存储平台中，必然对系统设备的可靠性提出更高的要求。同时需要建立数据备份、容灾系统进行配合，提高数据安全性。 可扩展性 网络时代业务发展的不确定性和数据的高速

40、膨胀，对独立于计算资源池之外的统一存储平台，必然提出高可扩展性的要求。这种扩展性并非是简单的容量扩展，同时还必须包括数据处理能力、数据交换带宽和数据管理功能的扩展。 兼容性 虽然统一存储平台已分离于计算资源池之外，但今天主机系统对数据的使用方式，仍旧以文件系统，数据库系统为主要手段。统一存储平台要适应各种主机系统的数据I/O要求，就必须要能够兼容各种操作系统、文件系统、数据库系统等各种传统数据管理手段。 可管理性 支持各种主流的管理协议和管理架构，能够与网络、计算机等各种设备统一管理和集中管理，能够在各种复杂的环境中实现方便统一的设备和数据管理功能。 性能 能够根据不同应用类型要求提供带宽、I

41、OPS（IO Per Second，每秒IO操作数）、OPS（Operations Per Second，每秒并发操作数）、ORT（Overall Response Time，总响应时间）等不同指标侧重点的性能服务。高端系统还应能够对系统性能进行动态的扩展和调整。 功能 各种数据迁移、数据分发、数据版本管理、数据复制、在线扩容等数据管理功能。 2.3.2 统一存储平台架构 1、整体架构 统一存储平台主要由结构化数据存储资源池和非结构化数据存储资源池组成，整体架构如下图所示： 图 4-50 统一存储平台架构 GNC区和CEGN区各自的统一存储平台如上图。针对于不同的数据类型，每个区使用的存储网络

42、和架构是类似的，不同的是数量配置存在差异。下面统一描述统一存储各子系统架构如下： 2、 结构化存储系统 结构化数据存储系统建设应基于64位高性能多核存储专用处理器，通过多协议支持实现FC SAN与IP SAN和NAS的完美融合，有效整合使用者现有存储网络架构，实现高性能SAN网络的统一部署和集中管理。借助智能模块化端口、缓存永久备份、向导式配置管理等多项创新技术，并结合自动精简配置，重复数据删除，数据压缩等高级功能实现最高性能和最低运营管理成本，最大限度提高投资回报。 3、分布式存储系统 为保证高可用、高可靠和经济性，“云”采用分布式存储的方式来存储数据，分布式存储系统本身采用数据冗余的方式来

43、保证存储数据的安全性，即为同一份数据存储多个副本。 云存储与传统的存储设备相比不仅仅是一个硬件，而是一个存储设备、网络设备、文件系统和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。“云”存储系统的结构模型由4层组成。 图 4-51 分布式存储系统示意图 存储设备层包括多种存储设备，例如磁盘阵列、存储服务器等，是云存储的基础。 存储网络层采用万兆以太网连接存储设备和计算设备，是统一存储平台的通讯子系统。 分布式文件系统包括控制单元、存储单元、管理单元，是统一存储平台实现存储虚拟化、存储共享、高性能、数据安全性的关键环节。 用户层通过文件

44、系统用户接口实现应用软件对云存储的访问。 4、云存储管理系统 云存储服务管理是保证云存储服务能够正常提供给用户的核心，可以管理整个云计算数据中心的所有云存储资源，包括所有的软硬件、云存储的相关服务、平台上的所有用户、用户对服务的购买，以及所有业务流程。 一个优秀的云存储支撑管理平台可以让少数几个人去维护上万台设备组成的庞大数据中心，其核心在于它可以提升统一存储平台的管理效率，可以大大改善服务质量。我们需要一个成熟、易用、面向云存储服务的管理平台。 5、统一存储平台的优势 统一存储平台为了满足众多云端应用的需求，要求采用可大规模扩展、海量的高性能存储，并且能够实现弹性调整不同应用系统或用户的存储

45、空间，提高存储系统的利用率、获得最佳的存储性能、优秀的数据安全性、和简单有效的运维管理能力。 传统存储技术越来越难满足云存储对性能、数据安全性、使用灵活性的需要。统一存储平台应该在性能、数据安全性、使用灵活性、易维护性、经济性等方面寻求新的平衡点。 （1）存储虚拟化 存储虚拟化实际上是一种存储管理技术，通过将底层存储设备抽象化统一管理，向服务器屏蔽存储设备的硬件特性，而只保留其统一的逻辑特性，展现单一存储视图，从而实现存储系统集中、统一、便捷的管理。 存储虚拟化技术并非是唯一的、也非最早的存储虚拟化技术。其实诸如磁盘分区、RAID技术、卷管理等都是存储虚拟化技术，其特点就是将多个具有不同硬件特

46、性的存储设备形成具有相同物理特性的统一的存储池，实现存储容量的灵活、动态地分配。 虚拟存储是将多种、多个存储设备统一管理起来，为使用者提供大容量、高数据传输性能的存储系统。具体的说就是把多个存储介质（如硬盘、RAID）通过一定的手段集中管理起来，所有的存储介质在一个存储池（Storage Pool）中得到统一管理，从服务器和工作站的角度，看到就不是多个硬盘或存储卷，而是一个分区或者卷，就像是一个超大容量的硬盘。 存储虚拟化技术简化了统一存储平台的管理、提高了统一存储平台的空间利用率，方便应用系统或用户使用。 （2）二维扩展技术 在海量存储环境下，容量的大幅增加已经开始带来性能扩展的需求，而通过

47、扩展多个相互独立的存储设备，可以提高存储系统的汇聚带宽，但对特定数据的访问性能并无帮助，而且增加了存储使用和管理的复杂性。 在云存储环境下，单纯在存储设备内进行纵向扩展（Scale-in），无论是对于存储容量，还是存储性能都是有限的，已经不能满足云计算中心的存储需求。 统一存储平台应该使用具有二维扩展能力的存储系统，即在原有纵向扩展的基础上，在保持存储系统单一映像的条件下，能够通过扩展存储设备（如磁盘阵列）实现横向扩展（Scale-in），实现对存储系统的容量和性能的同步扩展。 （3）多副本数据保护技术 数据是云计算中心的关键，如果数据被损坏，那么云中的应用将无法正常工作，影响云服务的质量，有

48、时数据损坏对于云计算中心来说甚至是致命的。因此云计算中心应该具有更优秀的数据安全性。 传统数据保护多采用RAID等数据校验手段来保证数据的安全性，允许存储部件的部分损坏，但是对于云计算中心所需的PB级的海量存储系统而言，由于容量的大幅提高，使得传统数据保护手段的有效性大幅下降，已经不能满足云计算中心对存储的需求。 统一存储平台应该采用更好的数据保护技术。数据多副本技术建立在允许任何部件出现问题的基础上，将数据的多个副本存放在不同的存储设备上，在整个存储系统中，任何一个或多个部件出现损坏，都不会影响到存储系统的正常使用，也不会出现数据不可访问的现象，使统一存储平台获得前所未有的数据安全性。 （4

49、）高性能的海量存储 云计算中心具有更高的存储访问密度，并且具有更高的发展速度，因此对于统一存储平台的性能提出了更高的要求。 高性能的海量存储系统性能超越了所有SAN存储，面向大数据量进行了I/O优化，带宽可达几十GB/s甚至几百GB/s。 海量存储系统的体系结构类似于SAN，每个节点都可以直接访问它的存储设备，又不同于SAN，没有SAN结构中RAID控制器的瓶颈问题，当客户端（计算节点）的规模增大时，该优势非常明显。 此外，海量存储系统可以自动优化数据的分布，并允许客户端（计算节点）向多个I/O节点并行读写，最大化单个客户端（计算节点）的吞吐率。 海量存储系统专门针对大数据量的传输做了优化，可

50、以为云计算中心提供高性能的吞吐率和全局数据共享环境，特别是在网络带宽足够的情况下，多进程和多客户端更有利于体现海量存储系统超强的聚合I/O能力。 （1）共享存储 云计算中心所要面对的应用和用户的规模将远大于现有数据中心，由此所带来的问题就是存储的规模也是十分巨大的，如果采用磁盘阵列这样的传统存储设备，那么设备的数量也是极其庞大的，而且不同的应用系统或用户需要使用不同的LUNs，面对数量庞大的LUNs，将极大地增加存储运维管理的难度，因此在云计算中心，这种LUNs独占模式是不可取的。 云计算中心应该采用能够实现多应用系统或用户共享海量数据的存储系统，更有效地提高存储的利用率、易用性和易管理性。 （2）数据挖掘一体化支持 统一存储系统除提供文件存储外，还支持mapreduce大数据分析挖掘。MapReduce 是一种并行编程模式，这种模式使得软件开发者可以轻松地编写出分布式并行程序。在大数据平台的体系结构中，MapReduce 是一个简单易用的软件框架，基于它可以将任务分发到由上千台商用机器组成的集群上，并以一种高容错的方式并行处理大量的数据集，实现大数据平台的并行任务处理功能。MapReduce 框架是