税务信息化常用技术指南--存储技术

税务信息化常用技术指南存储技术篇2009-9-22目 录第一章 存储基础知识1 磁盘存储系统的种类随着信息化时代的到来，我们所要接触到的信息也就是数据越来越多；越来越多的人们也开始认识到信息的重要性。信息的重要性，不言而喻，它的影响可以大到整个世界，小到某一个人，它关系着当今世界的文明发展程度、一个国家的发达程度以及企业的竞争力等。而随着数据高速的增长以及人们对数据的重要性的认识，这时，如何储备庞大重要数据的问题，就摆在了我们的面前。继续采用以前的传统的存储方法（使用服务器自身连接的存储设备，其扩展能力十分有限，而且会带来宕机的问题）显然是不可行的，这就需要我们去考虑是否可以外接一个磁盘的存储设备，从而能对数据存储的需求做快速的配置响应，而且这些外接的存储系统要有自带的独立的电源、冷却系统、存储以及外部接口总线连接器等特征，此时，磁盘的存储系统就应运而生了。目前，磁盘的存储系统可以分为两大类：一类是JBOD存储系统，另外一类是RAID存储系统。1.1 JBOD存储系统JBOD是Just a Bunch of Disk的缩写，即一组存储磁盘的组合。JBOD将两个或更多磁盘组合在同一个盘柜内，并与系统或服务器相连。以前，JBOD指通过控制软件控制一组磁盘的功能；目前，JBOD指一组没有RAID功能的盘柜。通常典型的内部连接可以采用SCSI总线或FCAL（光纤通道仲裁环）。从系统的角度来看，JBOD仅仅是一些磁盘驱动器，尽管整个盘阵可以提供监控和管理的设备。高端的JBOD支持热切换以及电源、风扇、控制器和双端口磁盘的冗余配置，如下图所示。1.2 RAID存储系统RAID全称为Redundant Array of Independent Disks，是“独立磁盘冗余阵列”（最初为“廉价磁盘冗余阵列”）的缩略语。1987年由Patterson，Gibson和Katz在加州大学伯克利分院的一篇文章中定义。RAID阵列技术允许将一系列磁盘分组，以实现为数据保护而必需的数据冗余，以及为提高读写性能而形成的数据条带分布。我们注意到，其实在RAID存储系统中，它整合了专有的RAID控制器。这个专有的硬RAID控制器其实也是由RAID算法软件来实现的，只不过，这个软件是在控制器中的Firmware上执行的，以此来实现RAID功能。你完全有理由把RAID控制器理解成为一台专用的主机，因为它包含有内存、CPU、I/O接口等元件以及在此硬件的基础上跑特定的OS。相对于JBOD存储系统，要是想实现RAID的一些特性，此时，它必然要消耗它所连接的主机的资源。而RAID存储系统之所以这么流行，是有以下的三个原因的：RAID在容量和管理上的优势。RAID技术提供了设备虚拟化，即几个单个的磁盘设备或分区能够形成一个符合的虚拟磁盘设备。这样，一个RAID系统可以组合10个单独的磁盘驱动器，而在存储总线或网络上却以一个单一的地址或LUN出现。当机构在努力管理快速增长的数据时，虚拟存储子系统就能够提供足够的存储能力。并且，由于RAID这种设备虚拟化的能力，可以将几个小的驱动器合而为一，形成一个大的虚拟驱动器，因此，就能在这样的虚拟驱动器上建立单一的文件系统，而无需去管理多个小的实际驱动器以及考虑如何在多个驱动器间平衡容量和应用负载。RAID的性能优势。磁盘镜像技术提供了极好的数据可靠性，而且价格相对适中。假如可靠性是RAID的唯一的优越性，那么，大部分的IT专业人员可能并不购买它。因此，要想RAID成为更为实用的工具，就必须赋予它超过单个和镜像磁盘驱动器的性能优势。一般而言，需要解决的主要性能问题是转动延迟和寻道时间，它们都是由磁盘驱动器的机电部分引起的。为此，RAID可以通过磁盘分条来提高性能。所谓的磁盘分条就是通过将操作分散到各个不同的磁盘驱动器，使主机I/O控制器能够处理更多的操作，这是在单个磁盘驱动器下所不能达到的。RAID的可靠性和可用性优势。为了支持247这种类型的服务，存储在设备子系统上的数据必须一直保持可用。然而，当多个磁盘驱动器组合在一起使用时，失败的潜在危险驱动器的增加而线性的增长。例如，当阵列中有三个驱动器，那么其失败的可能是单个驱动器的三倍。因此，对于RAID来说，很重要的一点就是提供比单个驱动器更优越的可靠性。RAID是通过冗余来提高数据的可靠性。这样，通过使用冗余算法来保证了：虽然个别的驱动器坏了，但数据仍然能维持一致性，一般的情况下，可以使用两类冗余的技术：l 镜像的冗余l 校验的冗余另外，对于RAID存储子系统的可用性可以通过对一些关键的部件保护和冗余来实现。比如，电源的保护，可以通过冗余的电源和电池后备UPS系统；另外，通过对存储子系统的控制器和缓存等这些关键部件进行冗余。RAID有多种级别，划分如下： l 0Data Striping 数据分条l 1Mirroring 镜像l 5Data Striping with Parity 数据奇偶分条l 0+1Striped Mirrors分条的数据镜像还有其他一些RAID级别，但上述的划分为目前大多数人都采用的几种。2 磁盘连接技术磁盘连接指的就是计算机的I/O总线和存储设备（磁盘和磁带机）之间的物理链路，用来实现计算机与存储设备的数据交换。磁盘连接协议包括：SCSI， FCP， iSCSI， 和FCIP等。2.1 SCSI技术SCSI是Small Computer System Interface(小型计算机系统接口)的英文缩写。SCSI最早是一种并行连接，使用SCISI命令的计算机硬件接口。SCSI在单个接口上可增加多个设备，如硬盘驱动器、Zip、Jaz、CD-RW、DVD驱动器及扫描器，其接口传输率可达40MB/s80 MB/s。Ultra-160m可达160MB/sec，并且在同时处理多个设备方面有很强的能力，适合于从高档台式机到最先进的高性能服务器的每一种应用。因此被广泛用于网络服务器及高档桌面系统中。 SCSI几经变革，传输率、支持设备等功能都有大幅度的改进，而这些变化都以近似的名词来表示，例如SCSI、Fast SCSI、Ultra SCSI、Ultra Wide SCSI等。原来SCSI目前仅有2.5代，而且名词简单易懂好记，分别是SCSI-1、SCSI-2、SCSI-3。除此之外，Ultra2、Ultra Wide、Ultra2 Wide、Ultra-160m（Ultra3）也都属于SCSI-3；其中Ultra2传输速率为40MB/sec，也称为Fast-40 SCSI。而Ultra Wide、Ultra2 Wide、Ultra3则是采用16bits数据宽度，因此可串接的设备数为15部之外，传输率也提高为2倍，分别为40MB/sec、80MB/sec与160MB/sec。 由于有效电平的不同，S/E与DIFF的最大传送距离也不同。一般说来，S/E传送距离为3米或更短，LVD（Ultra2 SCSI）为12米，普通DIFF为20米左右。有效电平越高，信号衰减也越慢，所以传送距离也就越远。传统的SCSI排线在传输速度上会与串接设备数、串接距离产生牵制关系，通常速度愈高，设备愈多，可串接的距离愈短；因此从Ultra2之后，全部改用全新的LVD串接模块，LVD的特性为（Low Voltage Differential，低电压差动法）低电压、信号干扰少、并兼容于传统排线，可以有较长的串接距离、也可以兼顾传输速度与设备数。 SCSI接口的演变过程 发展过程传输频率（MHz）数据频宽（bits）传输率（MB/sec）可接设备数总线长度-米SCSI-158576SCSI-2Fast1081073Wide101620153SCSI-3Ultra（Fast-20）20820715Ultra Wide2016401515Ultra（Fast-40）40840712Ultra2 Wide4016801512Ultra380161601512并行SCSI最初采用带状电缆连接内部磁盘和磁带。多年以后产生了各种各样的并行SCSI，采用大量不同连接头和电缆。它的速率很快，很可靠，但传送距离较短。如图所示为主/从关系的主机系统适配器和存储设备的物理连接。SCSI的特性包括I/O通道，网络和SCSI总线。I/O信道是用于计算机和存储设备之间的传输通道，可以在计算机内部，或延伸到外部存储设备。通过HBA（主机总线适配器）可以接入存储设备。并行SCSI的协议栈与网络协议栈并存，如下图所示：并行SCSI 总线是共享总线结构，没有集线器或交换机连接，设备之间通过链状总线连接起来，由SCSI仲裁技术采用寻址方式来确定接入总线的优先级别。也许会由多个发起者（initiator），但这种情况不常见。通常为一个主机适配器控制多个SCSI设备到SCSI总线的连接。HBA卡与目标之间是主/从关系，SCSI作为它们的指令/回应协议。SCSI 寻址包括3个组成部分：l 主机 (控制器在主机内)： 确定采用哪个HBA卡l 目标 (SCSI总线上的设备控制器)： 驱动SCSI总线的地址（最大为16）l LUN (目标的存储设备)： 确定存储设备或源数据通过一个目标控制器进行通讯。这种层次结构目前在SAN网络中仍然采用。如图所示：SCSI的运行采用半双工方式工作。SAN网络中的主机/目标对也采用半双工通讯，但在主机和目标盘之间可以允许由多个进程同时与不同节点通讯。2.2 光纤通道技术随着计算机技术的发展，计算机系统不再是小型系统了，SCSI协议假设的小型系统的基础不存在了。事实上产生了一整套新的企业级的计算机系统，要求更远的距离，网络中更多的设备已经实现了串行传送的标准化。新的体系仍然保留了对速度的要求，并且还在不断的增长。更高的传送速度当然总是好的，因此开发了新的SCSI协议，尽管速率更高了，但仍然采用并行传送的方式。FC（Fibre Channel）光纤通道协议正好能够满足企业级计算系统的需求。FC提供了的一个很明显的优势就是对距离的延伸。根据传送媒介的不同，FC可传送的距离也有所不同。可以从几十米延伸到10公里左右。FC光纤通道已经成为目前SAN存储网络的默认选择。光纤通道是第一个在SAN中广泛实现的网络技术。和其他的网络技术，如以太网、ATM和令牌环网一样，这项技术的出现具有自己的特点。对于大多数网络技术来说，一个通用的衡量标准是速度，或者叫传输速率。光纤通道也定义了好几种速度，包括25MB/s、100MB/s、200MB/s、400MB/s和1GB/s。2.2.1 光纤通道传输协议/层次化结构在FC上采用串行SCSI的协议称作FCP。有很多种协议在光纤通道提取层被采用，但FCP是到目前为止用得最多的协议。l FC-0 定义了物理接口，包括电缆的类型和接头，可以是光接口或者电接口。l FC-1 提供低层的链路控制和千兆数据传送的编码l FC-2 定义了数据帧、流控和服务等级的分割和重新组合。l FC-3 用于公共业务，例如数据加密和压缩l FC-4 提供FC和IP、SCSI-3和其他协议之间的上次协议接口光纤通道的FC-0层是光纤通道千兆位速度传输的物理层基础。它后来也被用于千兆位以太网。它既包括铜线部件，又包括光纤部件。FC-1与FC-0紧密相连，FC-0在物理层为FC-1提供初始化检查和数据发送和接收约定。实质上，光纤通道是按超级可靠性和完整性来设计的。它的错误率不足10E-12。这几乎相当于每几个TB的数据传输才发生一个可校正的错误。FC-2层包含了关于数据传输结构的重要信息。这和其他网络技术的MAC层类似。端口定义、服务等级、流量控制和通信语法是光纤通道中最有趣的几个方面。工业界在FC-3层做的工作还不多。在该层所作的研究和开发包括一些如何同时在多个链路和节点进行工作的方法。光纤通道的最高层，FC-4层，提供在光纤通道上实现的各种高层协议的映射。其中的光纤通道协议（FCP），是SCSI-3标准的实现，它将为并行SCSI开发的命令和操作转换成串行的，以在网络上使用。2.2.2 光纤通道拓扑方式光纤通道技术支持3种基本的拓扑结构：点对点连接，仲裁环（Arbitrated Loop）和交换式的Fabric。点对点连接是最简单的拓扑结构允许两节点之间直接通讯。在这里一般是一个存储设备和一台服务器。这种拓扑结构与SCSI直接连接极为相似只是速度更快连接距离更长而已。 点对点连接与其他SAN拓扑结构一样可以从光学连接的距离优势上获得收益。当然，点对点连接也存在限制，虽然可以在服务器与存储设备间提供快速而强大的连接手段，用户却难以在点对点配置环境下追加任何设备 只能分别建立连接。这就需要为多台存储设备增加多块主机接口卡。仲裁环是一种环路拓扑结构， 这里每一节点均将数据传输至下一节点。与IBM令牌环网络结构相似，SAN集线器决定数据传输请求以最佳利用带宽。 在仲裁环配置环境下， 每一节点的发送器将数据传输到下一节点的接收器， 设备必须根据仲裁访问环路。 开始设备作为环路的控制节点。 当任意节点获得许可后， 可以发起一个包含目标通讯进程并传输数据， 初始节点对目标节点建立一个点对点连接。 在一个环路上同时只能建立一个连接。 当数据传输完成后， 初始节点关闭进程并释放对环路的控制， 允许其他节点接受环路授权， 目前仲裁环的带宽为100MB/S。技术限制在于：对于小型SAN的实施， 共享带宽 低性能(所有设备共享100MB/s带宽)， 有限的错误隔绝能力， 环路初始化进程可能影响正常应用的进行， 仲裁环网络内部缺乏智能。交换式Fabric 是一个SAN的术语， 用以描述连接服务器和存储设备之间广为使用的光纤通道交换机的拓扑结构。交换机可以级联并与环路网络连接构成具有高度混合网络系统，我们称之为Fabric。幸运的是，这一复杂的解决方案可以在软件的控制之下获得Fabric内的所有SAN管理功能的先进特性。2.3 常见主机存储连接方式信息需求的增长使其成为大部分部门组织的主要资产所在。部门组织需要采用一种可以最好的使用应用、网络结构和服务器系统的技术。网络化存储提供了这样的方案来满足存储的需求。同时，网络化存储还提供了可以根据具体需求部署存储的基础架构。数据的存储变得越来越重要，需要提供更高的可靠性、灵活性。存储网络有三种不同的网络架构：DAS连接、SAN连接和NAS连接。2.3.1 DAS连接DAS 是存储与计算机直接相连，因此称作“直连存储”。只有与存储直接相连的服务器才能访问DAS设备，该DAS设备只为这台服务器工作。DAS 方案提供了一种家庭计算机和小型商业的低成本、中低速存储应用。它也可以提供用于需要高速接入的高成本、高性能存储方案。在存储环境中，DAS相当普遍，DAS连接在服务器的后端。服务器的CPU必须处理用户的I/O请求，以及：l 用户数据库查询 l 用户文件/打印服务 l 数据完整性检查 l 与其他设备通讯数据接入是与文件系统和平台相关的，扩展成本高，管理复杂。下图是DAS的典型连接示意：DAS 是最基本的存储解决方案。顾名思义，存储设备是与计算机系统直接相连的。DAS的基本概念是存储设备以及将存储设备与计算机系统相连的输入/输出（I/O）接口。DAS 使用I/O通道将主机与存储设备相连。DAS连接可以在计算机机箱的里边，也可以在外边。由于存储设备只能由与之相连的主机计算机访问，因此也称为“限定存储”。在DAS中，存储与每台服务器相连，每台服务器上的文件系统只与和它直接相连的存储通信。DAS不直接共享存储资源或数据。DAS 包括多种形式：SCSI、ATA/IDE、FC、ESCON/FICON和串行存储体系结构（SSA）。多数DAS产品的构建以以下通用存储协议为基础：l ATA (IDE)l SCSIl 光纤通道l ESCON/FICONDAS的优点包括：l 实施简单l IT人员熟悉DASl 属于成熟技术，装机量大l 性能稳定（访问延迟固定，带宽有保证）DAS的主要缺点包括：l 只限于中、短距离l 灵活性不够l 设备数量，即可以连接的设备的数量有限。l 容量利用率（限定容量）。限定存储是DAS的主要缺点。DAS存储只能服务于与之相连的计算机。如果其它用户需要增加存储（或容量），他们不能访问其它计算机上的DAS。l DAS 难以升级。l 可管理性。需要离散管理。随着DAS系统的扩展，整个系统将变得越来越难以管理和维护，可靠性越来越低，最终难以满足机构的要求。l 备份（与整合存储不同，如果有100台服务器使用了DAS，则每台服务器都必须分别备份）。如果DAS系统在LAN上，则必须停机备份。对247运行的机构来讲，这几乎是不可能的。实际上，备份不仅会使网络停机，还需要人的介入。在较小的单用户系统上，通常不作或极少作备份。l 投资回报随着成本的不断增加，公司越来越难以收回投资。由于DAS需要计算机，因此，与每台DAS设备相关的管理成本还包括管理计算机本身的成本。l 系统停机可靠性、可用性和可维护性（RAS）降低 l 带DAS的单计算机系统可能带来许多单故障点。无论是CPU、内存还是设备出现故障，都可能让系统陷于“瘫痪”。不仅如此，在进行维护时，还需要让系统彻底停机。执行备份操作时，所有应用软件都将停止运行。l 添加和重新配置存储时，需要使系统停机才能安装新的存储设备和设备驱动程序。2.3.2 SAN连接SAN的关键特性SAN作为网络基础设施，是为了提供灵活、高性能和高扩展性的存储环境而设计的。SAN通过在服务器和存储设备（例如磁盘存储系统和磁带库）之间实现连接来达到这一目的。 高性能的光纤通道交换机和光纤通道网络协议可以确保设备连接既可靠且有效。这些连接以本地光纤或SCSI（通过SCSI-to-Fibre Channel转换器或网关）为基础。一个或多个光纤通道交换机以网络拓扑（SAN架构）形式为主机服务器和存储设备提供互联。 由于SAN是为在服务器和存储设备之间传输大块数据而进行优化的，因此SAN对于以下应用来说是理想的选择： l 关键任务数据库应用，其中可预计的响应时间、可用性和可扩展性是基本要素。 l 集中的存储备份，其中性能、数据一致性和可靠性可以确保企业关键数据的安全。 l 高可用性和故障切换环境可以确保更低的成本、更高的应用水平。l 可扩展的存储虚拟化，可使存储与直接主机连接相分离，并确保动态存储分区。 l 改进的灾难容错特性，在主机服务器及其连接设备之间提供光纤通道高性能和扩展的距离（达到150公里）。 SAN的主要长处 面对迅速增长的数据存储需求，大型企业和服务提供商渐渐开始选择SAN作为网络基础设施，因为SAN具有出色的可扩展性。事实上，SAN比传统的存储架构具有更多显著的优势。例如，传统的服务器连接存储通常难于更新或集中管理。每台服务器必须关闭才能增加和配置新的存储。相比较而言，SAN不必宕机和中断与服务器的连接即可增加存储。SAN 还可以集中管理数据，从而降低了总体拥有成本。 利用光纤通道技术，SAN可以有效地传输数据块。通过支持在存储和服务器之间传输海量数据块，SAN提供了数据备份的有效方式。因此，传统上用于数据备份的网络带宽可以节约下来用于其他应用。 开放的、业界标准的光纤通道技术还使得SAN非常灵活。SAN克服了传统上与SCSI相连的线缆限制，极大地拓展了服务器和存储之间的距离，从而增加了更多连接的可能性。改进的扩展性还简化了服务器的部署和升级，保护了原有硬件设备的投资。 此外，SAN可以更好地控制存储网络环境，适合那些基于交易的系统在性能和可用性方面的需求。SAN利用高可靠和高性能的光纤通道协议来满足这种需要。 SAN的另一个长处是传送数据块到企业级数据密集型应用的能力。在数据传送过程中，SAN在通信结点（尤其是服务器）上的处理费用开销更少，因为数据在传送时被分成更小的数据块。因此，光纤通道SAN在传送大数据块时非常有效，这使得光纤通道协议非常适用于存储密集型环境。 今天，SAN已经渐渐与NAS环境相结合，以提供用于NAS设备的高性能海量存储。事实上，许多SAN目前都用于NAS设备的后台，满足存储扩展性和备份的需要。 SAN带来的好处 SAN的一个好处是极大地提高了企业数据备份和恢复操作的可靠性和可扩展性。基于SAN的操作能显著减少备份和恢复的时间，同时减少企业网络上的信息流量。 通过将SAN拓展到城域网基础设施上，SAN还可以与远程设备无缝地连接，从而提高容灾的能力。SAN部署城域网基础设施以增加SAN设备间的距离，可达到150公里，而且几乎不会降低性能。企业可以利用这一点，通过部署关键任务应用和用于关键应用服务器的远程数据复制来提高容灾能力。备份和恢复设备是实现远程管理的需要。 另外，基于交易的数据库应用从SAN部署中获益颇多。其无缝增加存储的能力可以减少数据备份的时间。 SAN存在的问题 近两年来，SAN这一概念已经渐入人心。SAN可以取代基于服务器的存储模式，性能更加优越。然而，时至今日，互操作性仍是实施过程中存在的主要问题。SAN本身缺乏标准，尤其是在管理上更是如此。虽然光纤通道（Fibre Channel）技术标准的确存在，但各家厂商却有不同的解释。于是，一些SAN厂商通过SNIA等组织来制定标准。还有一些厂商则着手大力投资兴建互操作性实验室，在推出SAN之前进行测试。2.3.3 NAS连接NAS指将存储设备与局域网（LAN）基础设施相连。每台NAS设备都是带内部或外部存储设备的文件服务器。与DAS和SAN不同，对于通用互联网文件系统（CIFS）或网络文件系统（NFS），客户机与NAS设备之间的通信发生在文件级别。 一台专用的NAS文件服务器可以为多个用户和应用提供存储。如果所有文件都存储在一个地方，很快就将无法找到文件的位置；无法提供私密性和安全保护，防止非法访问；无法通过数据管理和备份提供安全性。将文件放置在同一个磁盘驱动器的不同文件夹中可能无法提供足够的私密性和安全保护。文件服务器能够将一个物理磁盘驱动器划分为多个逻辑驱动器，这称为存储分区。由于逻辑磁盘驱动器分区只能被某些客户机访问，所有其它客户机无权访问，因而提高了数据安全性和私密性。NAS设备指与网络相连的设备：它适合以文件方式通过网络访问共享存储。下面举一个将各种客户机和存储设备与网络相连的例子。注意，客户机的现有网络可以是LAN、企业内部网或者互联网。多数情况下，网络均为以太网，但也可以采用任何其它网络技术（例如令牌环、FDDI、无线等）。NAS设备是真正的专用文件服务器，它们可以安装在通用计算机平台上，例如PC，也可以安装在专用平台上。开发NAS的主要原因是使许多用户或客户机能够共同访问相同的存储设备和数据，从而有利于工作组、部门或机构内的数据共享和共享数据统一存储。NAS适合需要文件服务/共享的应用，可以提供高性能访问、数据保护和故障恢复。利用访问控制表（ACL）或其它机制，NAS还可以实现存储分区。NAS配置包括：l 利用网络接口卡（NIC）与LAN相连的客户机系统或服务器l LANl NAS存储设备NAS解决方案的优点：l 整合NAS允许多台客户机访问NAS设备上的共享数据。它不但有利于合作性数据共享，还有利于集中存储共享文件。另外，统一存储还可以提高存储的利用率。将存储整合到一台文件服务器上之后，可以消除冗余、重复的应用软件和公司数据文件，而且每台PC上也不再需要太多的未来扩展预留空间。随着企业中计算机数量的不断增加，企业必须配备越来越多的人员，才能保持程序的更新，为每个用户的计算机加载最新的公司数据文件，并通过定期备份保护这些文件的安全。由于NAS将程序文件和数据文件存储在中央存储位置，因而可以集中管理和保护文件。利用NAS，可以按照需要为服务器分配空间；但对于DAS：空间由物理存储设备确定，某些服务器可能有大量空闲空间，某些则空间严重不足，如果不物理移动磁盘驱动器，就无法将空间从一台服务器重新分配到另一台。l 利用率 NAS解决方案的主要优点是能够利用现有的网络组件、基础设施和经验。NAS可以利用现有的LAN。LAN和NAS技术已发展成熟，管理员很容易理解和接受。l 距离 - LAN 距离长于DAS接口支持的距离存储可以与客户机系统或服务器分离。l 连接 LAN提供的连接方式比DAS接口多能够与LAN连接的设备的数量多于DAS连接。l 数据共享 NAS支持数据共享。LAN上的客户机可以按照管理设置的访问权限访问NAS设备上的文件和存储空间。NFS和CIFS都支持NAS文件共享。l 没有单故障点 - NAS 设备可以配置多条网络路径，以消除LAN中的单故障点。3 RAID数据保护技术RAID是由美国加州大学伯克利分校的D.A. Patterson教授在1988年提出的。RAID是Redundent Array of Inexpensive Disks的缩写，直译为“廉价冗余磁盘阵列”，也简称为“磁盘阵列”。后来RAID中的字母I被改作了Independent，RAID就成了“独立冗余磁盘阵列”，但这只是名称的变化，实质性的内容并没有改变。简单地讲，RAID技术就是利用多个硬盘的组合提供高效率及冗余的功能。RAID 的优点传输速率高。在RAID中，可以让很多磁盘驱动器同时传输数据，而这些磁盘驱动器在逻辑上又是一个磁盘驱动器，所以使用RAID可以达到单个磁盘驱动器几倍、几十倍甚至上百倍的速率。这也是RAID最初想要解决的问题。因为当时CPU的速度增长很快，而磁盘驱动器的数据传输速率无法大幅提高，所以需要有一种方案解决二者之间的矛盾。RAID最后成功了。 可以提供容错功能。这是使用RAID的第二个原因，因为普通磁盘驱动器无法提供容错功能，如果不包括写在磁盘上的CRC(循环冗余校验)码的话。RAID容错是建立在每个磁盘驱动器的硬件容错功能之上的，所以它提供更高的安全性。RAID比起传统的大直径磁盘驱动器来，在同样的容量下，价格要低很多。RAID 的级别具体实现起来，RAID的级别很多，各级别有着各自的优缺点，用户可以根据不同的需求来选择合适的级别。RAID的工作原理RAID如何实现数据存储的高稳定性呢？我们不妨来看一下它的工作原理。RAID按照实现原理的不同分为不同的级别，不同的级别之间工作模式是有区别的。整个的RAID结构是一些磁盘结构，通过对磁盘进行组合达到提高效率，减少错误的目的。3.1 RAID 0RAID0是简单的、不带有校验的磁盘分条。本质上它并不是一个真正的RAID，因为它并不提供任何形式的冗余。假如RAID0的磁盘失败，那么，数据将彻底丢失。典型的RAID0是使用独立访问的方法将数据分条，然后发送给成员磁盘，而不是使用联锁访问方法。它能实现多个I/O操作的同时并行处理。因为RAID0不需要计算校验，因而，它是所有类型的阵列中吞吐量最快的。对于一些性能为第一要求、而数据保护不重要的应用，使用RAID0是一个很好的选择。多媒体制作应用可以使用RAID0存储数据，如电影制作和视频制作等，因为这些应用总是在处理存储的数据。其他的应用还有高速的数据获取系统，在这里系统如果不能完全地捕获数据，数据就毫无用处，所以，最好的方法是保证性能以获取数据，然后再将它们转存到其他介质或设备，进而保护数据。RAID0数据映射：下图显示了RAID0阵列的虚拟设备是如何映射到单个的成员磁盘的，一般情况下，虚拟设备的容量是成员磁盘容量的总和。RAID 0的优点包括：l I/O性能大大提高l 设计非常简单l 易于实施RAID 0的缺点包括：l 不提供容错性l 单个驱动器的故障会使整个阵列中的数据丢失可以适用于RAID 0的应用数据分条（RAID 0）可以支持具有高带宽要求的解决方案，例如：l 视频制作和编辑l 图像编辑3.2 RAID 1RAID 1也被称为镜象，因为一个磁盘上的数据被完全复制到另一个磁盘上。如果一个磁盘的数据发生错误，或者硬盘出现了坏道，那么另一个硬盘可以补救回磁盘故障而造成的数据损失和系统中断。另外，RAID 1还可以实现双工即可以复制整个控制器，这样在磁盘故障或控制器故障发生时，您的数据都可以得到保护。镜象和双工的缺点是需要多出一倍数量的驱动器来复制数据，但系统的读写性能并不会由此而提高，这可能是一笔不小的开支。RAID l可以由软件或硬件方式实现。RAID1数据映射：RAID1的数据映射相当简单：一个磁盘发生什么操作，另一个磁盘也会发生同样的操作。虚拟磁盘直接映射到镜像磁盘对的块。如下图：RAID 1的优点包括：l 每个镜像对可以执行一次写和两次读操作l 提供100的冗余性，磁盘出现故障后完全不需要重新构建数据。数据全盘复制到备用驱动器上。l 简单RAID 1的缺点是，在所有RAID等级中（100%），磁盘需要量最大。可以适用于RAID 1的应用许多应用都适用于RAID 1，尤其是需要冗余但不需要最高读性能的应用。包括：l 计费或其它财务数据l 小数据库应用数据l 企业服务器3.3 RAID 0+1RAID 10，也被称为镜象阵列条带，现在我们一般称它为RAID 0+1。RAID 10（RAID 0+1）提供100%的数据冗余，支持更大的卷尺寸。组建RAID 10（RAID 0+1）需要4个磁盘，其中两个为条带数据分布，提供了RAID 0的读写性能，而另外两个则为前面两个硬盘的镜像，保证了数据的完整备份。RAID0+1/RAID10的数据映射：下图中显示了RAID0+1/RAID10阵列的较理想的数据映射：RAID 0+1的优点包括：l 提供容错性l 高I/O速率RAID 0+1的缺点包括：l 价格较高l 需要的磁盘量大l 扩展能力有限可以适用于RAID 0+1的应用RAID 0+1可以使既需要高带宽又需要高可靠性的应用受益。可以受益于RAID 0+1的应用类型包括：l 需要高性能和容错性的数据库服务器3.4 RAID 5RAID5是一个独立访问的RAID阵列，校验数据被分布在阵列中的所有磁盘。换句话说，即没有一个专有校验磁盘，因而，就没有“写瓶颈”。当RAID5阵列的磁盘数量增加时，重叠操作量的潜能也增长。实际上，RAID5支持更多的磁盘，可以拥有更高的容量和更多的磁盘臂，因而，也具有更高的性能。然而，需要注意的是：当磁盘阵列中的磁盘数量增加时，由于在失败磁盘修理好之前，第二块磁盘失败的概率很高，所以数据丢失的平均时间（MTDL）更短。同时，性能优势也与数据在成员磁盘上的分布、应用的访问模式密切相关。RAID5的数据映射：RAID5数据映射包含校验数据的位置，其数据的映射关系具体如下：RAID 5的优点包括：l 读事务处理速率非常高l 奇偶磁盘/数据磁盘的比例低l 总传输率高RAID 5的缺点包括；l 写性能中等l 磁盘发生故障时难以重建数据且效率低l 单块传输率等于一个磁盘的传输率可以适用于RAID 5的应用许多应用都适用于RAID 5，尤其是事务处理量大的应用，或者关系数据库应用。包括：l Web 服务器l 电子邮件服务器l 新闻服务器l 文件和应用服务器l 数据库服务器3.5 其它数据保护技术RAID 2：并行访问，使用加权平均代码的数据条纹化从概念上看，RAID 2和RAID 3是一样的。RAID 2和RAID 3都是通过条纹化，以位或字节/多字节为单位将数据分散到多个磁盘上。通过所有访问臂的一次并行移动来写入或检索数据。不过，RAID 2使用一种被称为加权错误纠正代码的编码技术来提供错误检测和纠正功能。这一编码技术要求通过多个磁盘来提供错误检测和纠正信息，所以就一般使用而言，RAID 2奇偶实现要比RAID 3设计更加复杂和昂贵。因此，商业环境对RAID 2一直兴趣不大。RAID 3：并行访问，使用奇偶信息的数据条纹化与RAID 2不同，RAID 3使用一个专用磁盘来存储奇偶信息。但是与RAID 2一样，RAID 3以条纹化的方式或顺序的方式将数据分散存储到多个磁盘上。通过所有访问臂的一次并行移动来写入或检索数据。下图所示的例子是一个由4个磁盘组成的阵列，其中的3个磁盘用于存储数据，第4个磁盘用于存储这3个数据磁盘的奇偶信息。如果一个数据磁盘发生故障，可以使用奇偶磁盘和余下的数据磁盘来重新生成数据。如果奇偶磁盘发生故障，数据访问将不会受到影响。因为所有访问臂采用单一并行移动的方式，所以在任何时刻只有一个I/O操作能够处于活动状态。另外，因为数据按顺序以条纹化的方式存放在多个磁盘上，所以访问臂的并行移动可以为大型顺序数据块的读写提供出色的数据传输速率，但却使RAID 3不适合用于需要对数据进行随机访问的事务处理应用或其它大吞吐量应用。当进行随机处理时，奇偶磁盘将成为写操作的瓶颈。RAID 4：独立访问，使用专用奇偶信息的数据条纹化与RAID 2和RAID 3一样，RAID 4和RAID 5以条纹化的方式将数据分散到多个磁盘上，但条纹的增量单位是数据块或数据记录。RAID 4设计中只有一个奇偶磁盘；在其它所有方面RAID 4都与RAID 5相同。因为每次写操作都会涉及到奇偶磁盘，所以奇偶磁盘会成为事务处理吞吐的瓶颈。因此，商业应用不会考虑使用RAID 4。RAID 6：带有两种分布存储的奇偶校验码的独立磁盘结构。它使用了分配在不同的磁盘上的第二种奇偶校验来实现增强型的RAID 5。它能承受多个驱动器同时出现故障，但是，用于计算奇偶校验值和验证数据正确性所花费的时间比较多，造成了系统的负载较重，大大降低整体磁盘性能，而且，系统需要一个极为复杂的控制器。当然，由于引入了第二种奇偶校验值，我们所以需要的是N+2个磁盘。RAID 6数据映射：RAID 7：RAID 7自身带有智能化实时操作系统和用于存储管理的软件工具，可完全独立于主机运行，不占用主机CPU资源。RAID 7存储计算机操作系统（Storage Computer Operating System）是一套实时事件驱动操作系统，主要用来进行系统初始化和安排RAID 7磁盘阵列的所有数据传输，并把它们转换到相应的物理存储驱动器上。通过Storage Computer Operating System来设定和控制读写速度，可使主机I/O传递性能达到最佳。如果一个磁盘出现故障，还可自动执行恢复操作，并可管理备份磁盘的重建过程。RAID 7采用的是非同步访问方式，极大地减轻了数据写瓶颈，提高了I/O速度。（所谓非同步访问，即RAID 7的每个I/O接口都有一条专用的高速通道，作为数据或控制信息的流通路径，因此可独立地控制自身系统中每个磁盘的数据存取。）如果RAID 7有N个磁盘，那么除去一个校验盘（用作冗余计算）外，可同时处理N1个主机系统随机发出的读/写指令，从而显著地改善了I/O应用。RAID 7系统内置实时操作系统还可自动对主机发送过来的读/写指令进行优化处理，以智能化方式将可能被读取的数据预先读入快速缓存中，从而大大减少了磁头的转动次数，提高了I/O速度。RAID 7可帮助用户有效地管理日益庞大的数据存储系统，并使系统的运行效率提高至少一倍以上，满足了各类用户的不同需求。RAID 7数据映射：RAID发展趋势很多供应商将缩略语RAID包括在自己的产品名称或描述之中。RAID 5+、RAID 6+、RAID 7、RAID 10、RAID 53、RAID-S、AutoRAID和Database RAID这样的名称都曾经出现过。通常，这些产品或者将多个Berkeley RAID级别混合在一起，或者在实现了一种或更多Berkeley RAID级别的存储系统中添加了更多的功能。RAID顾问理事会（RAB）是由RAID产品的相关供应商和消费者以及对RAID技术感兴趣的其它组织组成的一个学会性质的组织，该组织根据大量的标准制订了一个存储系统分类计划（Storage System Classification Program）。RAB相信，对于购买存储系统的终端用户来说，了解存储系统的分类信息（根据存储系统所表现出来的扩展数据可用性和保护EDAP属性对存储系统进行分类）比了解一种产品支持哪些RAID级别更为有用。各种RAID级别基本上描述的是数据和冗余数据在阵列中不同磁盘之间的映射方式对更需了解一个磁盘系统提供了多少EDAP属性的终端用户来说，这些信息并不那么重要。RAID总结为确定在某种情况下应该使用哪种RAID级别，您需要了解客户的存储环境和应用特征。下表可以帮助您了解和比较每种RAID级别的各种属性。RAID级别0、1、3、5和10之间的对比RAID 0RAID 1RAID 3RAID 5RAID 10方法磁盘条纹化磁盘级镜像并行传输磁盘（使用奇偶信息）独立数据访问镜像要求磁盘数量N2nn+1N+12n数据保护无很高高高很高数据速率极高读操作：单一磁盘的2倍写操作：与单一磁盘类似与单一磁盘类似与单一磁盘类似读操作：单一磁盘的2倍写操作：与单一磁盘类似性能高高（读密集型应用）中等（写密集型应用）中等中等（在写密集型环境中可能存在写惩罚）高成本低高（成本最高为RAID 0的2倍）中等中等高其他数据保护技术还包括：多路径技术和高速缓存技术。多路径技术多路径是一种通信路径控制方式，为存储阵列（LUN）提供了多条动态硬件路径。目前的多路径存储解决方案由存储子系统供应商、存储软件供应商和OS平台供应商提供。多路径存储产品具有很多特性和功能，能够影响存储子系统和系统I/O的性能、可用性、可访问性、可配置性和可维护性。总体而言，存储硬件供应商提供的高级多路径存储管理解决方案适合自身的子系统，以服务器设备驱动程序的方式实施，目的是对发送给存储设备的I/O提供高度精细的控制。对子系统中立、基于主机的解决方案通常比较简单，价格也比较低，主要提供动态故障恢复和负载平衡。多路径软件提供了实施负载平衡、错误检测、路径故障恢复和路径恢复所需要的智能和监控功能。在主动/主动式多路径配置中，负载平衡将I/O请求分布在多个主动I/O通道上，因而能提高吞吐量。自动错误检测、路径故障恢复和动态恢复功能有利于减少因数据通信中断而引起的业务停机。先进的多路径实施能够减轻管理员的负担，因为它能够自动探测并配置新设备。多路径对服务器上运行的应用是透明的。高速缓存技术高速缓存技术可以将经常使用的数据保存在内存中，从而提高磁盘子系统的性能。收到读数据的请求后，高速缓存功能将检查被请求的数据当前是否在高速缓存中。如果在，则直接从高速缓存中读取数据，从而避免了从物理磁盘中访问数据所带来的麻烦。如果数据不在高速缓存中，则高速缓存功能从磁盘中读取数据。这个过程比从高速缓存中读数据花费的时间长，因而性能较低。因为内存成本明显高于磁盘存储成本，因此高速缓存内存量非常有限。一般情况下，高速缓存占磁盘空间的1-2%。人们的很多努力都集中在了开发和调整新算法，以提高高速缓存击中次数上。高速缓存可以由主机或服务器中的操作系统执行，也可以由存储子系统中的阵列控制器执行。虽然多数磁盘驱动器都为数据传输提供缓冲，但这部分内存并没有用作高速缓存，而是用作了速度匹配缓冲器。执行高速缓存时，主机或服务器中的操作系统将分配内存缓冲器，以存放最近用过的数据。在试图从存储设备读取数据之前，将先检查本地缓冲器高速缓存。另外，存储子系统还执行高速缓存。一般情况下，这项任务由配有硬件RAID控制器的存储子系统完成。4 存储基础技术内容小结存储基础技术部分的内容，从磁盘存储系统的形式（JBOD/RAID）开篇，而后详细介绍了基于RAID数据保护技术的细节，又简单介绍了DAS/SAN/NAS等主机与存储的连接方式，再论述了数据复制技术（本地/异地，同步/异步）。最后，对存储技术的最新趋势虚拟存储技术进行了介绍。这些内容对于一个希望初步了解存储技术的人来说，是需要深刻理解的。另外，目前存储技术的核心是SAN，有兴趣进一步了解SAN技术的技术人员，可以继续关注以下章节。第二章 SAN存储网络5 SAN网络发展在整个二十世纪八十年代，连接主机和存储设备的标准方法是通过像IDE或并行SCSI（图1.1）这样的接口实现的点对点的DAS(直接连接存储)方式。并行SCSI提供了相对快速（5或10Mb/s）的访问SCSI硬盘的速度，并且几个硬盘可以通过同一个接口连接到计算机上。在当时这个系统工作的很好，相对可靠、快速的连接允许系统管理员使用扁平线缆或复合线缆来连接内部或外部的存储设备。但是，随着存储子系统变得越来越大，计算机变得越来越快，一个新问题出现了：外部存储（曾经只是放在桌面上靠近计算机摆放的一个简单的磁盘驱动器）开始变的庞大起来。磁带库、RAID(廉价冗余磁盘阵列)和其他SCSI设备开始需要越来越多的空间，这就要求并行SCSI连接从主机延伸出来的越来越远。同时，I/O（输入/输出）速率也在不断增长，那么如何在一大捆线（32或64位 数据总线宽）中保持信号的一致性也就成为了一个需要在物理学上解决的问题。简单的并行SCSI改良版被设计了出来，目的就在于增加数据传输的距离和解决信号一致性问题。但是，它们最终都难以克服高速信号在并行SCSI总线架构下传输这一技术难题。图1.1并行SCSI总线连接所有这些解决方案都处于一种缓慢的进展中，最终存储界决定采用具有高速传输能力的串行协议，它具有良好抗干扰性、易于连接性以及充足的带宽。不同的串行规范（如串行存储架