IPSAN系统设计

第九章 IP SAN 系统设计 9.1 iSCSI 技术与应用 九十年代以前，存储产品大多作为服务器的组成部分之一，这种形式的存储被称为SAS（Server Attached Storage，服务器附属存储）或DAS（Direct Attached Storage，直接附属存储）。随着技术发展，进入九十年代以后，人们逐渐意识到IT 系统的数据集中和共享成为一个亟待解决的问题。于是，网络化存储的概念被提出并得到了迅速发展。从架构上来分，今天的网络化存储系统主要包括SAN（Storage Area Network，存储区域网）和NAS（Network Attached Storage，网络附加存储）两大类。 目前，许多网络存储提供商致力于将SAN 中使用的光纤通道（FC）设定为一种实用标准，但是其架构需要高昂的建设成本，远非一般企业所能够承受。与之相比，NAS 技术虽然成本低廉，但是却受到带宽消耗的限制，无法完成大容量存储的应用，而且系统难以满足开放性的要求。iSCSI 在避开了传统NAS/SAN 差别之后的以网络为中心的新存储方案（开放存储网络）中同时享受到NAS 和SAN 拓扑结构的优势。“iSCSI”（互联网小型计算机接口）标准把存储设备和服务器与应用普通互联网协议建立起来的网络结合在了一起，而不是使用速度更快但是价格更昂贵、更复杂的光纤通道技术，为众多中小企业对经济合理和便于管理的存储设备提供了直接访问的能力。 9.1.1 iSCSI 的概念 iSCSI（互联网小型计算机系统接口）是一种在Internet 协议网络上，特别是以太网上进行数据块传输的标准。它是由Cisco 和IBM 两家发起的，并且得到了IP 存储技术拥护者的大力支持。是一个供硬件设备使用的可以在IP 协议上层运行的SCSI 指令集。简单地说，iSCSI 可以实现在IP 网络上运行SCSI 协议，使其能够在诸如高速千兆以太网上进行路由选择。 SCSI（小型计算机系统接口）是以一种广泛使用的连接硬盘和计算机的技术标准，iSCSI 这种技术则是将该技术应用到网络连接上，对于中小企业的存储网络而言，iSCSI 技术的性价比要高于基于光纤的产品。iSCSI 是基于IP 协议的技术标准，是允许网络在TCP/IP 协议上传输SCSI 命令的新协议，实现了SCSI 和TCP/IP 协议的连接，该技术允许用户通过TCP/IP 网络来构建存储区域网（SAN）。而在iSCSI 技术出现之前，构建存储区域网的唯一技术是利用光纤通道（Fiber Channel），该标准制定于20 世纪90 年代初期，但是其架构需要高昂的建设成本，远非一般企业所能够承受。iSCSI 技术的出现对于以局域网为网络环境的用户来说，它只需要不多的投资，就可以方便、快捷地对信息和数据进行交互式传输和管理。相对于以往的网络接入存储，iSCSI 的出现解决了开放性、容量、传输速度、兼容性、安全性等问题，其优越的性能使其自发布之日始便受到市场的关注与青睐。 9.1.2 iSCSI 的工作流程 iSCSI 协议就是一个在网络上封包和解包的过程，在网络的一端，数据包被封装成包括TCP/IP 头、iSCSI 识别包和SCSI 数据三部分内容，传输到网络另一端时，这三部分内容分别被顺序地解开。 iSCSI 系统由一块SCSI 卡发出一个SCSI 命令，命令被封装到第四层的信息包中并发送。接收方从信息包中抽取SCSI 命令并执行，然后把返回的SCSI 命令和数据封装到IP 信息包中，并将它们发回到发送方。系统抽取数据或命令，并把它们传回SCSI 子系统。所有这一切的完成都无需用户干预，而且对终端用户是完全透明的。 为了保证安全，iSCSI 有自己的上网登录操作顺序。在它们首次运行的时候，启动器（initiator）设备将登录到目标设备中。任何一个接收到没有执行登录过程的启动器的iSCSI PDU （iSCSI Protocol Data Units，iSCSI 协议数据单元）目标设备都将生成一个协议错误，而且目标设备也会关闭连接。在关闭会话之前，目标设备可能发送回一个被驳回的iSCSI PDU。这种安全性是基本的，因为它只保护了通信的启动，却没有在每个信息包的基础上提供安全性。还有其他的安全方法，包括利用IPsec。在控制和数据两种信息包中，IPsec 可以提供整体性，实施再次（replay）保护和确认证明，它也为各个信息包提供加密。 9.1.3 iSCSI 标准的制定情况 建立符合行业标准的通过IP 网络传输存储信息的需求和机会同时存在，但问题是如何建立这个标准并且使之成为行业的统一标准。 Bechtolsheim 及其小组和IBM 建立了合作伙伴关系，共同为新协议起草了一个标准，称为iSCSI（互联网SCSI），该标准允许在TCP/IP 协议上传输SCSI 命令。2000 年2 月，该小组将此草案作为互联网标准草案提交给互联网工程任务组（IETF）。同年3 月，IETF 会议对该草案进行了讨论，并决定成立一个IETF 工作组，负责制订通过IP 传输存储信息的技术。截至2000 年8 月，IETF 小组的成员已增加到500 人，代表着200 家公司或组织，几乎包括了所有的存储器、网络部件及系统供应商。 目前，关于iSCSI 的标准制订已经进入最后阶段，估计明年初正式标准就将推出。IETF 日前宣布，它已完成了iSCSI 协议的工作，现在将为它分配征求意见编号。这项规范规定了软件在内联网上传送SCSI 包和在长距离上管理存储时，如何处理SCSI 数据包以及如何在TCP/IP 命令中封装它们。 9.1.4 iSCSI 与FC(光纤通道)的比较 网络存储主要由三大部分组成：服务器（host）、交换（switch）和存储设备（target）。在这三者中，交换是很关键的。网络存储的交换方式有两种，一种是光纤通道（FC），另外一种就是iSCSI。 从数据传输的角度来看，光纤通道和iSCSI 有很大的不同：光纤通道的传输采用其FCP 协议，而iSCSI 采用Internet 上现有的TCP 协议。FCP 协议最初是按照光纤通道网络的高级协议设计的，它紧密地与低级网络功能集成在一起工作。而iSCSI 在开发时采用现有的由TCP 所提供的受保护的传输机制。所以由于采用不同的机制，iSCSI 和光纤通道之间是不可能兼容的。 与光纤通道相比，iSCSI 有其自身的诸多优势，主要表现在iSCSI 更加经济。成本的节约可体现在以下几个方面：（1）在一般的数据和SAN 网络之间存在的公用技术可使培训费用降低，而且也不必设立单独的岗位职员，这两者都可使成本降低；而且以太网大量的安装基础也可使价格降低。（2）iSCSI 可利用现有的、容易理解的TCP/IP 基础设施来构筑SAN，随着在QoS 和安全方面的进步，在存储与现有的基础设施之间的共享表明，在硬件、培训、实施等几个方面都有机会实现可观的成本节约。(3)随着千兆以太网的实现，用户将可得到传输速率为1Gbps 的存储网络，而不需改变现有的基础设施。 FC（Fibre Channel）的安装基础很少，理解其技术的人也不多，而且它很昂贵。FC 在同等速度下可提供稍好一些的性能，但是这一点并不能弥补其在实现时所需的高额费用和额外的培训费用所构成的高成本。近期，在以太网的速度超过FC 以前，FC 可以暂时保持其在SAN 技术领域的优势地位，但这也仅限于在iSCSI 成气候之前的一段时间内。 但是，iSCSI 在三到五年内不会取代Fibre Channel。首先，TCP/IP 网络虽说有许多值得称道的地方，但它在传输数据块时的致命问题至今在技术上还没有突破性进展。虽然Fibre Channel在标准、远距离连接、成本等方面有待进一步改进和提高，但它在区域性SAN 领域已经取得了显著成效。其产品和技术正逐步成熟。所以，就目前来看，如果用户需要大容量、高速块级数据存取，Fibre Channel 还是唯一的选择。但随着iSCSI 的成熟，它将为Fibre Channel 分担存储市场，加之，Brocade、Intel、Cisco 等各领域厂商的努力，也必将促进Fibre Channel 和iSCSI 技术的融合，取长补短，共同发展 9.1.5 iSCSI 的优势与局限性 iSCSI 技术具有如下优势： 1. iSCSI 的基础是传统的以太网和Internet，近20 年来，网络技术的迅猛发展使传统网络无处不在，iSCSI 有很好的基础，同时能大大减少总体拥有成本。 2. 随着技术的进步，IP 网络的带宽发展相当迅速，1Gbps 以太网早已大量占据市场，10Gbps 以太网也已整装待发。而且，该协议由包括IBM、Cisco、Intel、Brocade、Adaptec 等业界巨头的支持，同时，一批新型厂商也竞相参与，如Nishan System、SAN Valley、CNT、Pirus、3Ware 等。 3. 在技术实施方面，iSCSI 以稳健、有效的IP 及以太网架构为骨干，使忍受性大大增加。另外，简单的管理和布署也是iSCSI 让业界心动的一个原因，因为传统网络厂商已经培养了很多的专业网络人才，不需要投入培训，就可以轻松拥有专业的iSCSI 人才。 4. iSCSI 是基于IP 协议的技术标准，它实现了SCSI 和TCP/IP 协议的连接，对于以局域网为网络环境的用户，只需要不多的投资，就可以方便、快捷地对信息和数据进行交互式传输及管理。 5. 完全解决数据远程复制（Data Replication）及灾难恢复（Disaster Recover）的难题。安全性方面，以往的FC-SAN 及DAS 大都是在管制的环境内，安全要求相对较低。iSCSI 却将这种概念颠倒过来，把存储的数据在互联网内流通，令用户感到需要提升安全要求。所以，iSCSI 已内建支持IPSEL 的机制，并且在芯片层面执行有关指令，确保安全性。但是，存储工程师在畅谈iSCSI 前景的时候，也需要实事求是地分析目前的形势和发展方向。实际上，到目前为止，还没有一个成熟的产品来展示iSCSI 的魅力，它还没有大面积商业化应用。而存储网络面临的诸多问题，iSCSI 并非都能迎刃而解，如距离和带宽之间的矛盾。虽然，iSCSI 满足了长距离连接的需求，方便了广域存储的连接，但是，IP 的带宽仍然是其无法解决的问题。虽然IP 网络发展迅速，1Gbps 的网络逐渐普及，但从广域网来说，带宽仍然相当昂贵。即便可以利用1Gbps 的带宽进行iSCSI 数据传输，速度仍不理想。而且，IP 网络的效率和延迟都是存储数据传输的巨大障碍。9.1.6 iSCSI 技术的应用 当多数企业由于Fiber Channel 的高成本而对SAN 敬而远之时，iSCSI 技术的出现，一下子拉近了企业与SAN 之间的距离。目前，大多数中小企业都以TCP/IP 协议为基础建立了网络环境。对于他们来说，投入巨资利用FC 建设SAN 系统既不现实，也无必要。但在信息时代，信息的采集与处理将成为决定企业生存与发展的关键，面对海量数据，许多企业已感到力不从心。iSCSI 的实现可以在IP 网络上应用SCSI 的功能，充分利用了现有IP 网络的成熟性和普及性等优势，允许用户通过TCP/IP 网络来构建存储区域网（SAN），为众多中小企业对经济合理和便于管理的存储设备提供了直接访问的能力。除此之外，iSCSI 技术主要用于解决远程存储问题，具体如下： 9.1.6.1 实现异地间的数据交换 许多公司利用光纤交换技术实施了自己的本地存储区域网（SAN），但如果企业有异地存储要求时，如何完成异地间的数据交换则成为问题。设想一下，一家公司在相隔很远的地方有分公司，而且两地各有自己的基于光纤的存储网络，那么，如何将两个网络连接起来？用光纤吗？工程巨大，就是采取租用形式，其费用也相当高昂。存储工程师知道，iSCSI 是基于IP 协议的，它能容纳所有IP 协议网中的部件，如果将FC 转换成IP 协议下的数据，这些数据就可以通过传统IP 协议网传输，解决了远程传输的问题，而到达另一端时再将IP 协议的数据转换到当地的基于FC 的存储网络，这样通过iSCSI 使两个光纤网络能够在低成本投入的前提下连接起来，实现异地间的数据交换。 9.1.6.2 实现异地间的数据备份及容灾 通过iSCSI，用户可以穿越标准的以太网线缆在任何地方创建实际的SAN 网络，而不再必须要求专门的光纤通道网络在服务器和存储设备之间传送数据。iSCSI 让远程镜像和备份成为可能，因为没有了光纤通道的距离限制，使用标准的TCP/IP 协议，数据可以在以太网上进行传输。而从数据传输的角度看，目前多数iSCSI 的网络传输带宽为千兆即1Gbit，如果实现全双工能够达到2Gbit，第二代产品能够达到2Gbit 带宽，在未来第三代通用iSCSI标准中，带宽将达到10Gb，也就是说，采用iSCSI 构建远程异地容灾系统已不存在任何问题。 9.1.7 iSCSI 的发展概况 iSCSI 是由Cisco 和IBM 两家发起的，目前IETF（Internet Engineering Task Force）正在制订的标准规格。 IBM 以及美国思科系统公司等部分供应商正在供货对应iSCSI 的路由器和存贮设备。去年IBM 发布了IP Storage 200I 型存储设备，将其标榜为在市场上出现的第一种成熟的iSCSI硬件。iSCSI 能使现有的以太网在数据存储方面更加有用，而且IBM 也因首先推出符合该标准的产品而赢得了赞扬。 Cisco 对iSCSI 的支持至关重要。iSCSI 要想成为沟通FC 存储网和IP 网的桥梁，必须依赖在传统IP 网中占据霸主地位的Cisco 支持。在具体产品方面，去年10 月，他们就推出了SN 5420 存储路由器。今年5 月，Cisco 公司又宣布推出了iSCSI/光纤通道存储路由器Cisco SN 5428。这一存储路由器配置两个千兆以太网端口、八个光纤通道端口和三个管理端口。由于支持IP 网络上的光纤通道、千兆以太网和iSCSI 协议，中小企业可方便利用现有设施建立SAN。 另外，美国Adaptec 和美国Emulex 等目前正在开发配备面向iSCSI 的卸载引擎的以太网适配器。 英特尔于2 月5 日面向iSCSI（SCSI over IP）推出配备专用处理器的千兆位以太网用适配器“PRO/1000 T IP Storage Adapter”，能够实现iSCSI 包卸载，并通过基于Intel Xscale 微架构的板上处理器获得较低的CPU 利用率，并已开始批量生产。Intel 提出了iSCSI 发展的三个阶段。第一个阶段是在2002 年第一季度实现TTM（Time To Market），也就是要大范围地推动厂商尤其是OEM 合作伙伴对iSCSI 的接受过程；第二个阶段是在2003 年第一季度之前，实现高性能和全功能的iSCSI /LAN 解决方案，提供iSCSI 卸载（offload）或TCP/IP 卸载；第三阶段，在2004 年，通过技术研发不断降低iSCSI 成本，提高性能以推动产量，同时，通过硅技术允许嵌入式的解决方案，把iSCSI 技术浓缩成一个晶片。 尽管iSCSI 的相关产品已经上市，但iSCSI 规范还没有得到IETF 的批准，在规范批准之前，还要进行相关的修改，因此不可能保证上市产品完全遵从标准。然而，如果厂商正在开发的iSCSI 卡能保证兼容，不管最后的规范如何，还是可以安全使用的。存储工程师相信，随着新技术标准的制定，iSCSI 必将成为存储领域内的核心技术，其低廉、便捷、开放、安全、标准等众多优异品质在未来必将得到充分的完善与发展，从而成为一个充满生机与活力的发展方向，为广大的用户提供最为完善的网络存储服务。9.2 IP SAN 存储方案举例 9.2.1 用户现状与需求分析 9.2.1.1 用户现状 用户主要开发针对用户各种彩色打印机、传真机、复合机和各种数码影像设备产品的系统软件，目前有10 台不同种类的服务器，每台服务器上都配置有硬盘，操作系统有Linux（RedHat 9.0）、Windows2000、Windows2003，每台服务器都承担着各自不同的应用，Linux 服务器是一台邮件服务器，Windows2000 服务器运行的是SQL Server2000 数据库，用户目前的网络拓朴结构如图所示： 图 9-1 用户现状 9.2.1.2 需求分析 用户的环境复杂，应用数据量大，应用数据增长速度也快，必须利用先进的IP SAN 网络存储系统来解决目前存在的问题。因此系统要求： 系统需要集中管理、简单操作用户目前有多种产品的系统软件代码，而且是多服务器、多操作系统、多数据库的复杂应用环境，因此要求为这些应用提供存储资源的存储系统必须集中管理，而且操作要简单方便。 必须满足日益增长的存储需求 用户目前大约有10 台服务器，每台服务器都承担着各自不同的应用，每个应用每时每刻都会产生大批量的数据，因此如何解决这些数据的海量存储是系统首先要考虑的问题。 系统必须提供块级服务 用户目前主要是数据库的应用，比如SQL Server2000,Oracle 数据库等，而且服务器操作系统有Unix、Windows2000、Windows2003 等，这就要求存储系统必须提供块级服务，以满足不用操作系统及数据库数据的存储需求。 系统扩展性比较好 用户随着业务的扩大，存储资源需求会越来越多，因此要求系统必须有很好的扩展性，以适应未来5-10 年的业务需求。 系统有数据备份功能 用户目前有邮件和数据库应用，所有的应用数据需要做定时的自动备份，因些需要系统必须能对Active Directory、SQL Server 数据库、Email 数据进行自动的全备份和增值备份，数据出错时能快速方便的恢复数据。 系统有容灾功能 用户的数据十分重要，而且在以后的时间里可能会对两个办公区域间做异地容灾，因此需要系统必须有容灾功能，以满足系统日后新的需求。9.2.2 系统设计原则 鉴于IP SAN 的发展趋势，对构建IP SAN 系统应遵循以下原则： 先进性 系统必须采用的是先进的技术，先进的产品，遵循国际标准和国内外有关的规范要求；符合计算机、网络通讯技术和网络存储技术的最新发展潮流，并且是应用成熟的系统。 实用性 系统设计必须符合实际要求，针对实际应用的特点，选择相应用的软、硬件系统；系统配置既要强调先进性也要注重实用性，还应注意系统配置的经济效益，以达到综合平衡。 集成性 系统选择的产品必须高度集成，体积小，重量轻，移动方便，功耗低；而且在高度集成小型化前提下，应具有多种功能。 可扩展性 系统设计要考虑今后发展，留有充分的扩充余地；系统要能满足不同协议的网络扩充和不同厂家不同产品的扩充；系统既应用于海量存储还提供本地和异地数据容灾。 灵活性 系统要根据实际需要灵活定制不同的网络接口（比如FC 或IP）和不同的存储资源模块（比如SCSI、iSCSI Target、FCP）； 安全性 系统具有高度的安全性，比如访问存储资源的身份认证，系统管理员的操作认证，系统本身数据的备份等等； 可靠性 系统具备在规定条件和时间内完成用户所要求的功能的能力，能长期稳定的工作；结构简单，连接点少，可靠性高；对工作条件和工作环境要求较低；系统启动快，系统掉电后再来电或网络传输中断后再恢复正常，系统恢复工作迅速；故障率低，维护维修方便； 经济性 综合考虑系统的性能和价格，性价比在同类系统和条件下达到最优，经济性应包括：系统本身的价格（包括系统、技术服务和培训）；系统运行后经济效益预算的可能收益；对系统实施现场的特殊要求所需的费用；对系统集成所需的有关软件和硬件等的开发费用；系统的易扩展升级等。9.2.3 技术方案 9.2.3.1 方案描述 本方案将采用IP SAN 存储服务管理器做为整个系统的核心部件，其后直接接到磁盘阵柜和磁带机，然后通过千兆交换机为所有的服务器提供高速、可靠的存储服务；备份系统本方案将采用IP SAN 存储备份系统软件做D-D、D-T 或D-D-T 数据备份，将其中的一台服务器安装CommServer做为备份服务器，其它要备份的服务器安装DataAgent，系统将根据用户的备份策略自动的将各服务器的应用数据备份到IP SAN 中。 9.2.3.2 拓朴结构图 图 9-2 IP SAN 拓扑结构图 在本方案中，所用设备的主要功能描述如下： IP SAN 存储管理服务器是实现存储子系统功能的主要设备，它实现对存储资源的整合与优化、数据保护等功能。IP SAN存储服务器集中管理磁盘阵列，把磁盘阵列中的所有单个磁盘整合并虚拟成多个逻辑卷，供服务器使用，并通过IP SAN 存储服务器的管理软件对这些卷进行直观化分配、管理：允许哪个服务器使用哪个卷、具有怎样的使用权限等。 备份服务器统一集中管理备份及恢复操作的各项策略。 磁盘阵列柜和磁带机为整个存储网络提供存储资源。 千兆交换机为IP SAN 存储服务器和服务器之间提供千千兆高速网络传输带宽。 9.2.3.3 方案的特点 对异构存储资源进行虚拟化和集中化管理：IP SAN 存储管理服务器集成了数据存储系统，实现存储资源的整合与虚拟化，实现资源共享；它能对不同厂商的存储产品、不同存储协议（SCSI,iSCSI Target,FCP）的产品进行异构整合管理，并可虚拟为逻辑上的存储池，将支持不同存储协议的存储资源整合在一起，可确保用户的所有重要数据获得统一的管理，以此为企业营造出一个安全的、集中的、易于管理的存储环境，在一个传统的以服务器基础架构下，存储内容和存储设备均是联接本地服务器之上；在新模式下，存储内容和存储设备被集中管理，存储空间被整个企业共享，使其不局限在某个应用程序或服务器上，更有利于用户对存储资源进行统一的、专业化的管理和维护，使得存储资源的可用性大大提高。 动态卷扩容：系统可以通过IP SAN 存储服务器将分配给某台服务器的卷做动态扩容，而卷上原有的数据将不改变。 简单化了系统管理：由于采用基于IE 的用户管理界面，使存储网络实现智能化、简单化和集中化的管理，同时，由于基于IP 技术，客户不需要专门培训?D?D本系统从安装到正式上线，客户在20 分钟内即掌握了本系统维护技术。 可扩展性：用户可根据需求来逐渐增加存储的容量（Storage Concentrator 的存储容量可以从1TB 增加到10.5T B），大量减少企业前期对存储资源的投资；另外IP SAN 存储管理服务器最大限度地优化企业已有的存储资源和网络资源，扩展了客户未来对存储系统的升级改造的可选择性。 先进的IP SAN 结构：系统从网络结构上是一个典型的SAN 存储架构，它是在传统的SAN结构中，以IP 协议替代光纤通道协议，来构建结构上与LAN 隔离，而技术上与LAN 一致的新型SAN 系统-IP SAN。 合成全备份技术：支持OnePath Restor 恢复和数据合并模式（将增量备份和全备份合并成全备份），减少了全备份的时间，加快了恢复的速度（不必恢复多次，比其他应用恢复速度快1 倍以上）这是本系统特有的功能。 备份任务的断点续传技术：支持备份任务的断点续传，这就保证了即使备份期间发生故障，也能从该故障点继续备份，而不必重新备份。 SnapShot 备份和QR 快速恢复：SnapShot 备份和QR 快速恢复可以不必重新安装应用，就可重启应用，加快应用恢复速度。 AD 和Exchange 的记录级备份：AD 和Exchange 的记录级备份，这样能对单个属性和信息进行备份和恢复，这样如果某些内容不对，只要恢复部分数据即可，而不必进行所有数据的恢复，加快了恢复速度这也是本系统特有的功能。 D-D、D-T 或D-D-T 技术：IP SAN 存储服务器将通常不间断的备份数据流分成两个阶段：第一阶段是将数据从需要备份的服务器备份到IP SAN 存储服务器的逻辑卷中；第二阶段是将数据从IP SAN 存储服务器的逻辑卷备份到磁带库中。多个需要数据备份的服务器可以同时启动第一阶段的备份过程，然后备份服务器在第二阶段中将数据逐一从IP SAN 存储服务器的逻辑卷备份到指定的磁带库中。因此，第一阶段是一个并行的进程，第二阶段是一个顺序的进程，它将极大地缩短数据全备份所需时间。 9.2.4 方案的优势 经过对客户的实际需求的分析，并从用户的实际情况出发，同时考虑到今后系统的升级问题，决定采用以上解决方案。该方案具有以下优势： 一举三得的解决方案 与基于FC SAN 备份的比较，智能化的高速海量存储系统为用户提供了足够可管理的数据存储空间：较高的外部共享磁盘容量最大可达到几十个TB，根据存储数据量的需求，可配置可用容量,供数据存储使用，随着数据量增大，将来可以扩充磁盘数目以增加容量。 数据安全性得到了充分的保障：IP SAN 数据访问的安全性 。IP SAN 存储服务器存储管理服务器提供了二级数据存取安全（CHAP），一是访问主机的安全，二是主机访问卷的安全，这就从根本上保证了SAN 中数据访问的安全性。 数据本身的安全。磁盘阵列柜支持多种RAID 等级：0、1、0+1、3、5，在多数情况下，Arena 公司推荐使用RAID5，因为RAID5 的硬盘使用率较高，是安全性较高的RAID 等级。除了RAID 等级上的保护之外，还可以提供多个全局热备份磁盘，一旦阵列中的任何一块磁盘出现问题，全局热备份磁盘都会立即工作，达到保护数据的目的。 阵列控制信息的存储。一般的阵列其阵列配置信息（包括硬盘分组、RAID 划分等信息），都存放在阵列控制器上，一旦控制器出现问题，那么存放在控制器上的配置信息就会完全丢失，即使更换新的控制器控制信息也无法挽回，那么硬盘上的数据就会丢失，给用户造成无法估量的损失。Arena BT1115 磁盘阵列的配置信息可以存放在硬盘上，这样即使控制器出现问题也不会影响硬盘上的数据，而且当RAID 组中的一块硬盘出现问题，更换新的硬盘后配置信息会自动复制在新硬盘上，确保了数据的完整性和安全性。一但控制器有问题，可以更换新的控制器而数据不会丢失。 系统具有高输入/输出性能 ：在普通的数据库、邮件系统和文件应用中，磁盘阵列的输入/输出性能一般是8-10MB/s ，而IP SAN 存储服务器可以将整个系统的输入/输出性能提高6 倍以上。 系统具有高可靠性：系统可以用两台IP SAN 存储服务器做双机备份，当其中一台IP SAN存储服务器出故障时，另一台就会自动承担故障服务器的工作负载，而无须操作人员介入。 系统支持磁盘-磁盘-磁带库的备份：IP SAN 存储服务器将通常不间断的备份数据流分成两个阶段：第一阶段是将数据从需要备份的服务器备份到IP SAN 存储服务器的逻辑卷中；第二阶段是将数据从IP SAN 存储服务器的逻辑卷备份到磁带库中。多个需要数据备份的服务器可以同时启动第一阶段的备份过程，然后备份服务器在第二阶段中将数据逐一从IP SAN存储服务器的逻辑卷备份到指定的磁带库中。因此，第一阶段是一个并行的进程，第二阶段是一个顺序的进程，它将极大地缩短数据全备份所需时间。 降低了分布应用数据处理的管理成本：由于目前需要将每个业务子系统都使用SAN 中的集中存储设备，因此可减少每个系统都需要工程师进行管理，从而减少了管理成本和管理工作量。 图 9-3 容灾系统示意图 系统可以实现本地、异地数据容灾：IP SAN 存储服务器存储管理服务器提供了卷拷贝、卷复制、卷镜像以及快照等数据容灾手段，不需要第三方软件就能为系统数据构建高可靠性的数据容灾系统。系统建设的下一步设想 一个好的系统设计，往往体现在它能否适应客户将来新的需求，在不久的将来，用户 可能会在两个办公区域之间做数据容灾，拓朴结构图如图9-3所示： 图9-3 容灾系统示意图 从上图不难看出，办公区一就是现在的系统，办公区二是现有系统的扩展，这就保证了系统的升级是在原有系统不变的情况的下进行的，不仅操作十分方便而且节省了成本。 9.2.6 解决方案介绍 IP SAN 存储管理服务器 本方案使用的IP SAN 存储管理服务器它是一个企业级的、完全基于行业标准的IP 网络存储系统(IP SAN)。它为企业建立集中化存贮网络系统提供了一种优秀的、高效率的手段。 表 9-1 IP SAN 存储管理器 IP SAN 备份系统本方案的IP SAN 备份系统采用了一种全新的体系结构，专为操作简单、无缝连接和可伸缩性的存储方案而设计，以应对21 世纪数据存储和管理需求。通过对传统数据管理中分离功能的紧密整合，利用完整的存储栈，从应用到设备，进行完整的、透明的管理，以自动操作的方式提供应用数据的存取和可用性。数据的索引、管理和传送都是建立公共技术引擎CTE 上的（CommVault Common Technology Engine），该IP SAN 存储备份系统平台是统一进行数据保护、高可用性、迁移、归档、存储资源管理/SAN 管理的基础，能用单一的、自动的平台来管理全局的数据、目录和索引。CTE 是个底层的软件，奠定了CommVault 所有产品能执行元策略（Meta-Policy）的独特能力，通过CTE 能把操作命令的特点转化成可控制的软件级或模块级的策略。 该IP SAN 存储备份系统平台包含了一系列可配置的软件模块，用来组织和实施真正的数据集中策略，来管理企业的信息存取，该IP SAN 存储备份系统软件模块包括： 数据备份和恢复(Backup & Recovery)； 数据迁移或分级存储（HSM）(DataMigrator)； 依法归档(Data Archiver)； 应用的高可用性/灾难恢复(Quick Recovery)； 存储资源管理(Storage Resource Management)； SAN、网络和介质管理(SAN Management)； 集中统一管理以上所有模块。IP SAN 备份系统能创建基于数据特性和优先级的智能策略，在NAS、SAN、DAS 以及LAN/WAN 环境中对存储进行统一的管理和使用。该IP SAN 存储备份系统能让IT 管理员创建用于保护和存储数据的策略，这些策略是基于存储模式、数据恢复和保留的优先级，利用统一的易于使用和管理的功能组件，直接控制存储设备每天的价值和保护数据的费用，从而改进公司的成本底线。该IP SAN 存储备份系统的优势在于： 灵活性、可扩充性、可靠性和易用性：提供了智能的、模块化的方法，让用户能实施单个的解决方案，或在需要时继续添加所需的模块，能在时间、效果、培训和费用方面来分步实施。 图 9-4 IP SAN存储管理软件构造 用逻辑的图视来对应所有存储资源的物理图视：用该IP SAN 存储备份系统，管理员能在统一的浏览控制台上快速、方便的进行操作和数据存取，而不需要知道数据具体所在的物理位置。 多种级别的策略驱动或用户直接管理数据：利用自动的关键功能进行数据传送和数据管理间的交互，该IP SAN 存储备份系统神奇地减少了必须的管理员数量，其灵活度可由场地和特殊的数据需求来定。 与应用高度集成：客户端的模块提供了无与伦比的数据管理功能，针对关键的文件系统和应用数据，如：UNIX、Windows、Linux、NetWare、Oracle、Exchange、Lotus Notes/Domino、Informix、SharePoint Portal、SQL、Sybase。 可移动的、完整的“点击”界面：系统管理员能方便的、完全控制所有数据，不管他是在当地还是在异地。 自动的交互过程：能方便到只要用一个系统客户端就能进行数据管理，功能十分强大，能轻松应对其部门广泛分布在不同地方的企业的备份需求。 能对磁盘、磁带和光盘构成的虚拟存储池进行管理：包括磁盘阵列（具有或不具有快照功能），具有机械手的带库，磁带驱动器分配，磁带介质生命周期的管理。 可配置的软件模块：能满足企业在发展中的不断需求。 该IP SAN 存储备份系统平台基本架构包括了建立在单一的CTE 上可交互的多个软件模块，并能用统一的控制台进行管理。它包括了五个独立的软件产品：备份/恢复、数据迁移、合法的归档、快速恢复和存储资源管理/SAN 管理，这些软件都共享公共的底层软件。 CTE 使这一切成为可能，CTE 是一个能执行“元策略”算法的底层软件，利用这个公共的底层软件，软件服务的品质能变成可控制的软件产品级/模块级的策略。 该IP SAN 存储备份系统包括了下面软件模块： QBR (CommVault Galaxy Backup & Recovery) 完善的数据保护模块。 QDM (该IP SAN 存储备份系统 DataMigrator) 数据迁移/分级存储模块。 QDA (该IP SAN 存储备份系统 DataArchiver) 合法的归档模块。 QR (该IP SAN 存储备份系统 Quick Recovery) 快照管理和应用级的高可用，快速恢复模块，包括两个配置： QR-HA 高可用模块用来快速恢复应用。QR-DR 灾难恢复模块用来创建远程快速恢复卷。 QSM (该IP SAN 存储备份系统 Storage Manager) 存储管理模块包括了存储资源管理(SRM)和SAN 网下的存储设备和网络部件的管理。 Q-Net 能用单一的界面对本地和异地的多个CommCell 进行管理，并提供策略管理、分析和跟踪二级存储、并提供统一的监控和报表等功能。技术服务及培训 技术服务 作为专业数据存储与保护方案提供商，整个项目实施过程中，建设者必须向用户提供全方位的技术支持服务，让用户没有后顾之忧，真正的让用户用的放心、踏实。一般来讲，具体包括如下内容： 技术支持队伍状况 实施队伍中拥有经验丰富的数据存储专家，与技术支持团队一起为用户解决问题。 服务内容及模式 现场的技术服务：在项目实施的时候，派遣优秀的工程师到现场进行技术问题的处理。在以后的维护合同期内，如果出现产品的问题，即派工程师到现场进行问题的查看和解决。 必要的技术培训：为了保障用户能很好的使用产品，在软件运行后进行必要的操作和维护，给用户的工程师提供原厂的技术培训，在平时的时候，如果软件有什么变化，及时的给用户进行随时的必要的培训。 图 9-5 数据路径及模块结构 产品和各种与相关的技术问题的24 小时的咨询：用户可以通过电话、传真、电子邮件的方式找工程师进行相关的咨询，工程师必将在最快的时间里对问题做出明确的答复。 项目实施过程中的技术支持 在项目实施工程中，项目实施方进行现场的安装、调试、移交测试、开通、验收。安装工程开始前，存储工程师将提供安装技术资料和相关的技术规范。在开始进行安装工程的时候，公司都会派出最优秀的工程师到现场进行操作。 安装：该项目的主要负责人将带领最好的工程师到现场进行安装。 调试：在软件安装以后，工程师将对软件的运行在该项目的环境中进行调试，使软件能和好的用户的硬件和其他的软件进行很好的兼容。 移交测试：软件安装、调试完以后，交给用户的工程师，让用户的工程师在实施方工程师的指导下进行相关的测试。如果测试没有达到要求的结果，可以再次让存储工程师的工程师进行必要的调试，然后再进行测试。如果测试达到相应的要求，就是移交成功。 开通：实施方工程师在移交测试完以后，就要在用户的环境下，根据用户的需求，对软件要达到的几项功能进行全部的开通，使用户能进行正常的工作。 验收：由项目的主要负责人对产品进行验收。验收完以后，签署验收合格书。此时产品正式由用户开始使用。 软件质保期内提供的免费服务内容 对于免费服务，在这个期间，实施方的服务内容应该包括： 定时的产品培训：在产品安装前，对用户的工程师进行 产品的初级培训。在安装和验收后，对用户的工程师进行原厂的以实验为基础的技术培训。此后一年的服务期内，定时对用户的工程师进行产品方面的培训。 故障的及时解决：实施人员在接到用户的故障的信息后，会派遣相关的工程师以最短的时间内进行解决。如果问题不大，通过电话、传真或者电子邮件的方式指导用户的工程师自行解决，如果用户的工程师没有办法解决，存储工程师会马上到达现场，对问题进行分析和解决。 质保期之后的提供的技术服务 在软件的质保期后，也就是说在一年的保修期后，即第二年后如果继续需要技术服务，则需要签订维护合同。项目方有三级维护合同可以供选择： 按时收费 标准级维护合同：周一至周五，每天8 小时 企业级维护合同：7*24 全年无休 所以存储工程师将根据所签订的维护合同的不同，提供不同的服务标准。 技术培训 为使项目能正常安装、调试、运行、维护，项目实施方应该对用户提供相应的技术培训，使用户的技术人员对系统的原理和结构、功能、性能、安装配置调试运行、故障诊断和排除等各个方面有一定程度的了解，使用户的技术人员能对系统进行日常维护和处理出现的简单问题。9.3 IP SAN 容灾及备份方案 9.3.1 需求分析 用户现有的环境拓朴图如下： 图9-6用户现状 用户现有的系统不具备数据保护功能，在大楼内部任一台服务器或网络系统出现故障，都会造成数据丢失，而且某一大楼出现自然灾害（火灾、水灾等），该大楼内的服务器数据必然丢失，整个大楼的业务全部中断，这将会造成很大的损失。因此用户要求在大楼与大楼之间做数据容灾，大楼内部做本地备份，大楼之间做异地备份，这样就从根本上保证了用户业务数据的安全性和高可靠性。 9.3.2 方案描述 本方案的设计思想是围绕提高用户整个系统的数据安全性和高可靠性为中心，其目标是当网络中的任意一台服务器发生故障时，系统都可以将原有数据和文件系统快速地恢复，以保证系统的正常运行。存储工程师向用户提供三套建议方案来保护用户的数据： 方案一、区域网数据容灾 + 集中式数据备份： 本方案有两部分组成：其一，两幢大楼相互做为容灾点，以保证某一服务器或某一大楼出现故障或自然灾害时容灾点数据接替其任务继续工作，从而保证业务的不间断进行；其二，系统还将采用集中式数据备份，即将采用一台备份服务器来集中管理两个大楼内部及大楼之间的数据备份。 方案二、区域网数据容灾 + 交互式数据备份： 两幢大楼相互做为容灾点，并且采用相互式数据备份，就是在两幢大楼各设立一台备份服务器来管理两个大楼内部及大楼之间的数据备份并且两台备份服务器相互备份，以保证当一台备份服务器出现故障，另一台备份服务器能接管其所有的备份任务。 方案三、远程交互式数据备份或远程集中式数据备份： 在本方案中，两个容灾点之间是通过广域网来连接的。只要容灾点每秒种的数据变化量不超过两个容灾点间的网络带宽，就可以通过远程交互式数据备份或远程集中式数据备份来达到数据容灾的目的。这样，当一个容灾点的数据出现问题时，可以通过另一个容灾点的数据来恢复。 9.3.2.1 区域网数据容灾 区域网数据容灾是两个方案的基本模块：利用两台IP SAN 网络存储服务器，在两幢大楼中分别构建IP SAN 存储网，每台IP SAN 网络存储服务器分别配置1T 的的存储资源并虚拟成多个卷分配给每台服务器使用，然后利用IP SAN 网络存储服务器自带的数据同步复制功能将一台IP SAN 网络存储服务器的虚拟卷与另一台IP SAN 网络存储服务器的虚拟卷做实时同步复制，以实现两幢楼间的数据容灾。这样当其中一台IP SAN 网络存储服务器的虚拟卷出现问题时，用于同步的另一台IP SAN 网络存储服务器上的容灾卷可以接替故障的卷继续工作。 拓朴结构 拓朴结构图如下（图9-7）所示： 图 9-7 容灾实施拓扑图 在本方案中，所用设备的主要功能描述如下： 存储管理服务器 IP SAN 网络存储服务器是实现存储与容灾系统的主要设备，它实现对存储资源的整合与优化、数据同步复制等功能。IP SAN 网络存储服务器集中管理磁盘阵列，把磁盘阵列中的所有单个磁盘整合并虚拟成多个逻辑卷，供服务器使用，并通过IP SAN网络存储服务器的管理软件对这些卷进行直观化分配、管理?D?D允许哪个服务器使用哪个卷、具有怎样的使用权限等；IP SAN 网络存储服务器同步复制功能，可以将一台IP SAN 网络存储服务器的虚拟卷与另一台IP SAN 网络存储服务器的虚拟卷做实时同步复制，当主卷失败时，镜像卷能自动接替主卷继续工作。 SCSI 磁盘阵列柜为整个存储网络提供存储资源：首先将分布于各个服务器内部的SCSI磁盘集中插入该磁盘柜；其次，将它直接联接到IP SAN 网络存储服务器，通过IP SAN 网络存储服务器将集中的存储介质虚拟成一个个的卷分配给每一台服务器使用。系统在设计时将磁盘阵列中1T 的 SCSI 硬盘做RAID 5，以保护数据的可靠性。