存储方案选择

1、第三章存储方案选择3.1存储架构选择目前主流的存储架构包括DAS NAS、SAN,下面针对3种主流应用系统做架构分析。直连方式存储(Direct Attached Storage - DAS )。顾名思义，在这种方式中，存储设备是通过电缆(通常是SCSI接口电缆)直接到服务器。I/O请求直接发送到存储设备。存储区域网络(Storage Area Network - SAN )。存储设备组成单独的网络，大多利用光纤连接，服务器和存储设备间可以任意连接。I/O请求也是直接发送到存储设备。如果SAN是基于TCP/IP的网络，则通过iSCSI技术，实现IP-SAN网络。网络连接存储(Network A

2、ttached Storage - NAS )。NAS设备通 常是集成了处理器和磁盘/磁盘柜，连接到TCP/IP网络上(可以 通过LAN或WAN,通过文件存取协议(例如 NFS CIFS等)存取 数据。NAS将文件存取请求转换为内部I/O请求。图：二种主高的存储架枸上述几和子储方贰的优劣势分'析:王机的扩展性受到卩瞬主机和存伯的连J>AS箜荊匕适宫于单独的腹奔器淫磯按距蛊壹到限制，只館卖观网垮看份j对I业劳瀏蜡的斥幷汰SAN高性能，高扩矗性！光纤连接距离远1可 i车椎皋个磁盘阵列或磅带屋冃成存臂淞， 易于管理；通过备怕软件，可以做到Eerg 扎1 LAX-Fre?备吩,咸碎鞭务

3、器和网路员凰成本较鬲NAS静过程简旦.易干養理F利用现有的囲 纟滾加文件共辜；言扩不支持数抿11应用通过以二对比可叹看出SANS有如下优点:关褪任务数据库应用，算中可预计的响应时间、可用性和可扩展性是基本要亲：SAN 具有出色的可扩展性，&AN克服了椿统上与£0相雀的线缆限亂 极大地拓展了服务器和 件储之间的世离，从厨増加f宙劣连鞋的口I能性；战进的扩展咗述崗优r服务器的部署和尸 级，保护了原有硬件设«的投资。集中的存储备份，其中性能、数据一致性和可靠性可以确保关键 数据的安全；高可用性和故障切换环境可以确保更低的成本、更 高的应用水平；可扩展的存储虚拟化，可使存储

4、与直接主机连接 相分离，并确保动态存储分区；改进的灾难容错特性，在主机服 务器及其连接设备之间提供光纤通道高性能和扩展的距离。目前的SAN勺实现方式主要有 FC-SAN和IP-SAN两种，其中FC-SAN采用光纤交换机构建存储区域网，其传输速度可达8 Gb/s和4Gb/s ,而IP-SAN采用传统的以太网交换机作为连接设备，其传输速度最高为1Gb/s。考虑到贵中心数据中心的具体应用，我们推荐使用FC-SAN存储架构，选择8Gb/s的存储设备。3.2数据备份方案数据中心对数据的安全性要求非常高，一旦丢失将会带了很大的损失，因此建议对关键数据进行备份，当前主流的备份方式有本机备份、网络备份和 LA

5、N-Free备份，每种备份各有优缺点，下面分别对这几种备份方式进行介绍和对比：3.2.1本机备份在本机备份模式中，磁带库直接接在服务器上，而且只为该服务器提供数据备份服务。在多数情况下，这种备份大多是采用服务器上自带的磁带机，而备份操作往往也是通过手工操作的方式进行的。优点是数据传输速度快，备份管理简单；缺点是不利于备份系统的共享，不适合于现在大型的数据备份要求。3.2.2 网络备份网络备份中，数据的传输是以网络为基础的。其中配置一台服务 器作为备份服务器，由它负责整个系统的备份操作。磁带库则接 在备份服务器上，在数据备份时备份对象把数据通过网络传输到 磁带库中实现备份的。网络备份的优点是节省

6、投资、磁带库共享、集中备份管理，缺点 是网络传输压力较大。323 LAN-Free 备份SANLAN-Free备份是在SAN环境中进行的，是指数据不经过局域网直 接进行备份，即用户只需将磁带机或磁带库等备份设备连接到 中，各服务器就可把需要备份的数据直接发送到共享的备份设备 上，不必再经过局域网链路。由于服务器到共享存储设备的大量 数据传输是通过 SAN网络进行的，局域网只承担各服务器之间的 通信任务，而不是数据传输。LAN-Free备份不仅可以使网络流量得以转移，而且它的运转所需 的系统资源低于网络备份方式，这是因为光纤通道连接不需要经 过服务器的TCP/IP栈，而且某些层的错误检查可以由光

7、纤通道 内部的硬件完成。因此，LAN-Free备份具有备份速度快、网络传输压力小的优点， 而且具有LAN备份所拥有的数据备份统一管理和磁带库资源共享 的优点，LAN-Free备份的缺点是成本高。备饴方式对比,备份方式缺点I本机籥份备份S唐傑备檢番源不脅律享.不合狂琴丰杠的环I境集屮备饴，允分利用说帶性的资源备份过桂占用咅吩网络諧霊LAN-Free 备谢备份速虔快，不占用网貉带寃，集卫备份，遊蒂偉资派扶享"成本高 综合以上对各种备份方式的对比分析，结合贵单位本次数据中心 建设的应用及对数据安全性的考虑，浪潮建议采用LAN-Free的备份方式对数据进行备份，当计算机的软硬件发生故障时，利

8、用备 份进行数据库恢复，以恢复破坏的数据库文件、控制文件或其他 文件，保证用户业务的连续性。324光纤SAN存储的优势存储局域网络 SAN( Storage Area Network )以其突出的优势，逐 渐为大家所了解并采用。所谓SAN是在以太网之外建立一个存储的网络，服务器和存储设备均连接到该网络中，架构如下图：存酹癥SAN具有如下优点:SCSI关键任务数据库应用，其中可预计的响应时间、可用性和可扩展 性是基本要素；SANM有出色的可扩展性；SAN克服了传统上与 相连的线缆限制，极大地拓展了服务器和存储之间的距离，从而 增加了更多连接的可能性；改进的扩展性还简化了服务器的部署 和升级，保护

9、了原有硬件设备的投资。集中的存储备份，其中性能、数据一致性和可靠性可以确保关键 数据的安全；高可用性和故障切换环境可以确保更低的成本、更 高的应用水平；可扩展的存储虚拟化，可使存储与直接主机连接 相分离，并确保动态存储分区；改进的灾难容错特性，在主机服 务器及其连接设备之间提供光纤通道高性能和扩展的距离。目前的SAN的实现方式主要有 FC SAN和IP SAN两种，其中FC SAN采用光纤交换机构建存储区域网，其传输速度理论值最高可达8Gb/s，而IP SAN采用传统的以太网交换机作为连接设备，其传 输速度理论值可达1Gb/s。FC SAN的优势很明显，在对数据的传 输速度和可靠性要求较高的应

10、用环境，有着IP SAN无法比拟的优势。第四章某部云计算解决方案4J贵单位云计算建设方案4.L1整休解抉方案物理拓扑图中血r -IttltA小曲MJ-1!£）；.啊n5purm代肛；胆坦4丄2方案说明整个方索采用云计算核心技术虚拟化+四路四核服务器，酉己合后端FC-SAN存储实理。系 托云计算操作系统戟件，将两台四路四核服务器组建HA集群，井配合DRS及VMotiDn等高 级功能.实现业务的曲性，碱少计划內宕机时间，提高资源利用率本方案釆用两个企业级四路服务誥作为贵单位核心数拯幸平台°満足数SB康应用的高可 用性，消徐单点故障，蹲强可喩复惟，同时，具有笹误检测的功能口采用数

11、据库取机方素也 増彌了应用的可扩麻件不断満昂如务不新壇长的需曹*浪嘲苑传服务器NW560定仿干中 高端四路服务器市炀，釆用全新的因特尔QPI快速互联通道互联架构配合因特尔志强7500 系列处理器及SAS 6Gbps高性能磁盘控制器，使系统联机处理性 能提升2.5倍以上，数据库性能提升 3倍以上，更加适用于基础 架构、数据库核心应用。本方案中云计算平台管理服务器即安装云计算平台管理软件的服 务器，主要功能是建立各个云计算计算节点服务器之间的联系的 功能服务器；用户通过云计算平台管理客户端来管理云计算平台， 同时也实现远程管理，可通过笔记本等设备实现远程管理。为了保障业务运行的高性能和可持续性、可

12、扩展性，我们选择了 FC-SA N的模式。首先，云计算计算节点服务器通过两块HBA卡全冗余8Gb光纤交换机连接全光纤存储产品，实现从服务器到存储 设备路径完全冗余，数据链路的咼品质性能保障；其次，在保证 物理链路连通的同时通过存储链路冗余软件来保证逻辑的冗余性； 第三，在基于FC SAN存储的guest os (客户应用)可通过云计算 平台架构实现HA(Fail Over),DRS(Distributed Resource Scheduler) 和 vmotion(Live Migrati on)功能来保证业务的可连续性和可扩展性。在保障了客户应用的情况下，我们可以注意到存储成为一个核心 的关

13、键点，如果存储出现问题也将导致整体业务的不可运行，为 此我们在存储的选择上双控制器，多处理器，高可靠光纤8Gb存储成为首选。基于此我们对业务的物理特性有了保障。处于对于 客户业务系统的安全性考虑，建议对所有客户应用数据做统一备 份处理。在数据的统一备份处理上，基于我们的虚拟机文件驻留在共享 SAN存储上，可以使用存储区的映像来备份虚拟机文件，这样做不 会在运行虚拟机的云计算计算节点主机上引起任何额外的负载。 而统一备份功能可以满足缩短虚拟机的备份时间，移除客户应用 服务器上的备份工作负载，以及从中央服务器中执行备份的工作。 而统一备份工作流程是从运作中的主机剥离磁盘，将磁盘链接到 专用的统一备

14、份服务器上，然后备份磁盘中适当的文件，只不过 原始主机仍能看到该磁盘并能正常工作。通过此方法可以对整个 虚拟机可封装在一组离散文件中特性加以更好利用；同时我们原 有的IPSAN存储也得到很好的使用，保障客户的投资是健康有益 的。光纤 FC- SAN优势分析般来说IP-SAN存储设备的磁盘控制器不是采用FC-SA存储设备中的硬件RAID芯片+中央处理器的结构，而是采用每个磁盘柜中 分为多个磁盘组，而每个磁盘组由一个微处理芯片控制所有的磁 盘RD操作（采用软件计算，效率较低）和RD组的管理操作。这样一 来，每一次磁盘I/ O操作都将经过IP-SAN存储内置的一个类似交换机的设备从前端众多的主机端口

15、中读取或者写入数据，而这些操作都是基于I P交换协议，其协议本身就要求每一个微处理芯片工作时需要大容量的缓存来支持数据包队 列的排队操作，所以一般我们看到的IP-SA存储都具有几十个 GB的缓存。利用这个大的缓存区，IP-SAN存储在测试Cache的最大读带宽时可以获得600Q00IOPS甚至以上这样高的值，但是这 个值并不能真正说明在实际应用中就能够获得好的性能。因为在具有海量存储的时候，不可能所有的数据均载入到系统缓存中，这个时候就需要大量的磁盘I/O操作来查找数据，而IP-SAN存储所采用的SATA 磁盘在这一块切切性能非常弱，而且还涉及到一个在IP网络上流动的iSCSI数据向ATA格式

16、数据转化的效率损失问题。也就是说IP-SAN 存储存在一个缓存Cache到磁盘的数据I/O和数据处理瓶颈。而采用FC磁盘的FC-SAN存储设备就不存在这样的问题。通过2条甚 至4条冗余的后端光纤磁盘通道，可以获得一个非常高的磁盘读写带 宽，而且FC的磁盘读写协议不存在一个数据格式转换的问题，因为 他们内部采用的都是SCSI协议传输，避免了效率的损失。而且FC-SAN 存储设备由于光纤交换和数据传输的高效性，并不需要很大的缓存就 能够获得一个好的数据命中率和读写性能， 一般2Gb或者4Gb即可满 足要求。另外由于具备专门的硬件 RAID校验控制芯片，所以磁盘RAID 性能将比软件RAID性能好很

17、多，并且可靠性更好。从连接拓扑结构来看在FC-SAN中存在着其灵活的连接方式，可根据不通的应用需求而选择不同的连接拓扑，其主要连接方式有如下三种： 点对点：首先各个组成设备通过登陆建立初始连接， 然后即采用全带 宽进行工作，其实际的链路利用率为每个终端的光纤通道控制器以及 发送与接收数据可获得缓冲区大小来决定。 但其只适用于小规模存储 设备的方案，不具备共享功能。仲裁环：允许两台以上的设备通过一个共享带宽进行通信与交流， 在 此拓扑结构中， 任意一个进程的创建者在发送一段报文之前， 都将首 先与传输介质就如何存取信息达成协议， 因此所有设备均能通过仲裁 协议实现对通信介质的有序访问。全交换：通

18、过链路层交换提供及时、 多路的点对点的连接。 通过专用、 高性能的光纤通道交换机进行连接， 同时可进行多对设备之间点对点 的通信，从而使整个系统的总带宽随设备的增多而相应增大， 在增多 的同时丝毫不影响这个系统的性能。在 IP-SAN 中基于以太网的数据传输与存取中，虽然在物理上可体现 为总线或者星型连接， 但其实质为带冲突检测多路载波侦听 （CSMA/C）D 方式进行广播式数据传输的总线拓扑， 因此随着负载以及网络中通信 客户端的增加，其实际效率会随着相应的降低。从网络设备及传输介质来看FC-SAN使用专用光纤通道设备在链路中使用光纤介质， 不仅完全可 以避免因传输过程中各种电磁干扰，而且可

19、以有效达到远距离的 I/O 通道连接在FC-SAN中所使用的核心交换设备-光纤交换机均带具有高可靠性 及高性能的ASIC芯片设计，使整个处理过程完全基于硬件级别的高 效处理。同样在连接至主机的HBA设计中，绝大多数操作独立处理，完全不耗 费主机处理资源。IP-SAN ：使用通用的 IP 网络及设备在传输介质中使用铜缆、双绞线、光纤等介质进行信号的传输，但在 普通的廉价介质存在信号衰减严重等缺点， 而使用光纤也同样需要特 有的光电转换设备等。在 IP 网络中，可借助 IP 路由器进行传输 , 但 根据其距离远近，会产生相应的传输延迟。核心使用各种性能的网络交换机， 受传输协议本身的限制， 其实际

20、 处理效率不高。在主机端通常使用廉价的各种速率的网卡，大量耗费主机的应用处 理资源。可得出如下光纤通道（FC）与网络（IP ）的对比表，该对比表可清晰表明使用光纤通道进行大数据量的信息存储传输与处理中在其性能有着网络在现阶段无法比拟的优势。魏捕1這咎号传愉校验方 式特点传淞迟UID万云耀通道连接业劳捌埋电曙可宰的碑件传谕Sit基于时网络（IP）无皱谴辑电路高邊搂更融细基于较件在链路中使用光纤介质，不仅完全可以避免因传输过程中各种电磁干 扰，而且可以有效达到远距离的I/O通道连接在FC-SAN中所使用的核心交换设备-光纤交换机均带具有高可靠性 及高性能的ASIC芯片设计，使整个处理过程完全基于硬

21、件级别的高 效处理。同样在连接至主机的HBA设计中，绝大多数操作独立处理，完全不耗 费主机处理资源。IP-SAN :使用通用的IP网络及设备在传输介质中使用铜缆、双绞线、光纤等介质进行信号的传输，但在普通的廉价介质存在信号衰减严重等缺点，而使用光纤也同样需要特有的光电转换设备等。在IP网络中，可借助IP路由器进行传输，但 根据其距离远近，会产生相应的传输延迟。核心使用各种性能的网络交换机，受传输协议本身的限制，其实际 处理效率不高。在主机端通常使用廉价的各种速率的网卡，大量耗费主机的应用处理资源。 可得出如下光纤通道（FC与网络（IP）的对比表，该对比表可清晰表明使用光纤通道进行大数据量的信息

22、存储传输与处理 中在其性能有着网络在现阶段无法比拟的优势。从存储能够响应的并发操作能力来看从应用上来说，相对于IP-SAN, FC-SAN可以承接更多的并发访问用 户数。当并发访问 Storage的用户数不多的情况时，FC-SAN对比 IP-SAN 二者性能相差无几。但一旦当外接用户数呈大规模增长趋势 时，FC-SAN就显示出其在稳定、安全、以及高性能传输率等方面的 优势,不会像 IP-SAN 由于自身传输带宽的瓶颈而导致整个系统的被 拖垮。面对大规模并发访问, 无论是从外接用户数规模来说还是从传 输性能和稳定性来说，FC-SAN都有着IP-SAN不可比拟的优势。存储区域网中设备稳定性比较FC

23、-SAN由于使用高效的光纤通道协议，因此大部分功能都基于硬件 来实现的,如后端存储子系统的存储虚拟通过带有高性能处理器的专 用 RAID 控制器来实现,中间的数据交换层通过专用的高性能 ASIC 来进行基于硬件级的交换处理,在主机端通过带有 ASIC 芯片的专用 HBA 来进行数据信息的处理。因此在大量减少主机处理开销的同时, 也大大提高了整个FC-SAN的稳定性IP-SAN 使用通用的 IP 协议,而所有的协议转换及处理时,绝大部分依赖于软件来实现， 而软件的不稳定性因素也随软件的复杂度的增加而呈指数级增加， 从而在大型的网络中， 整个系统的稳定性也会随 之降低。存储区域网的可扩展性比较在全

24、交换(FC-SW Fibre Channel switch fabric)的 FC-SAN 中，各通信终端通过FC端口登陆后来进行数据的传输与处理，而每个端 口会提供专用的24位的FC端口地址(WW)来进行数据通信，根据 其地址分配策略，在FC-SW中实FC-SAN与 IP-SAN比较际可用的地址 值达到 1550 万，因此在实际的企业级应用中，完全可以满足任何规 模的存储网络的建立。同时在 FC 网络中，由于所有的介质均选用光媒质来进行传输，所以 其设备均具有热插拔的能力，因此不管在已有的或者新建立的FC-SAN网络里可在线完全非中断应用的情况下对现有的FC-SAN网络进行扩展，如增加新的服务器、增加新的存储空间等等，并且完全 不影响已有系统的性能。在IP-SAN中由于借助原有的IP网络，因此在其网络连接拓扑也同样 具有好的可扩展性。但在使用 IP 存储时，由于通常使用了专有的存 储虚拟软件， 所有的存储分配与虚拟均通过软件来实现， 所以在进行 存储的扩展时， 很大程度取决于存储虚拟软件的设计性能以及架构等存储区域网的可靠性比较FC-SAN的设计初衷是基于企业级的核心数据以及应用而设计的，因 此在其兴起、发展直至成熟，对整个系统的可靠性均有着很高的要求。 在整个系统中， 除了本身系统即基于高靠的环境中外， 所有设备均采 用