网络系统集成技术.ppt_第1页
网络系统集成技术.ppt_第2页
网络系统集成技术.ppt_第3页
网络系统集成技术.ppt_第4页
网络系统集成技术.ppt_第5页
已阅读5页,还剩52页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

网络系统集成技术 Networks System Integrating,第八章 网络存储备份技术,本章主要内容,RAID存储技术 网络存储方案 DAS存储技术 SAN存储技术 NAS存储技术 网络备份技术(自学),8.1 RAID 存储技术,RAID Redundant Array of Independent Disks,廉价硬盘冗余阵列 基本概念来自於集结多个容量小、又不贵的硬磁盘组成一个磁盘阵列,产生比一个容量大但是较贵的硬磁盘还要好的效能。 通常说的“磁盘阵列”则是指由自带CPU的阵列控制器控制的一个硬盘阵列柜一种海量存储设备,磁盘阵列产品的分类,IDE磁盘阵列 低端产品, 按使用硬盘可分为ATA和S-ATA ATA产品 使用普通ATA硬盘,成本低,但P-ATA的硬盘最高传输率的理论值为133MB/s,所以I/O性能是其弱项。 SATA产品 第一代SATA接口的标准为150MB,接近于SCSI Ultra160 I/O速率,价格却明显低于SCSI硬盘,性价比最突出。 SCSI磁盘阵列 中端产品,丰富的产品系列(如双控制器、冗余电源、风扇,避免系统的单点故障的SCSI存储产品)将业务的不停顿服务变为可能。容量可按需求扩容也是SCSI主要的性能之一。 FC磁盘阵列 高端产品,所有的先进技术都在FC磁盘阵列系统中体现-完善的硬件冗余、Cableless无线缆模块化设计、涡轮散热系统、LES监控模块、GUI的管理软件等等。其中全光纤产品内部使用FC硬盘,无论是外部主机通道还是内部磁盘通道都是2Gb/s带宽。 半光纤产品 内部使用SATA或SCSI硬盘,外部主机通道是2G Fibre。,FC-RAID,磁盘阵列的实现方式,基本原理 一个“阵列控制器”(Array controller)来控制多个硬盘的相互连接、使多个硬盘的读写同步以减少错误、提高效率和可靠性的存储控制技术。 软阵列(Software RAID) 通过软件(如操作系统)实现,占用CPU时间,可靠性较差,一般不用 1.整体拥有成本较低 2.需要服务器主机进行全部的RAID 运算 3.会大幅降低服务器整体效能 4.操作系统异常时无法提供任何保护 5.可靠性较低 硬阵列(Hardware RAID Adapter) 通过专门的阵列控制器实现,阵列控制器,磁盘阵列系统,建邦科技(Tekram)公司 Intelligent RAID DC-922 磁盘阵列卡,微处理器: Intel i960RM 100MHz 64Bit RISC I/O Processor SCSI 控制芯片: LSI SYMBIOS 53C896 SCSI Chipset,Tekram DC-922 的心脏Intel i960RM I/O Processor,为什么需要磁盘阵列?,提高存储速度 过去十多年来,CPU的处理速度增加了数十倍,内存的存取速度亦大幅增加,而数据储存装置-主要是磁盘(hard disk)的存取速度只增加了三、四倍,形成电脑系统的瓶颈,拉低了电脑系统的整体性能,若不能有效的提升磁盘的存取速度,CPU、内存及磁盘间的不平衡将使CPU及内存的改进形成浪费。 提高存储可靠性 提供为实现数据保护而必需的数据冗余,为什么需要RAID 的十大理由,1.确保数据的完整及有效。 2.确保数据的可靠性。 3.确保商业竞争优势。 4.增进磁盘存取效率。 5.服务器的必要安全配备。 6.有重要数据的PC 安全设备。 7.多媒体之播放加速。 8.可实时备份数据,不必担心硬盘损毁。 9.节省传统备份方式之人力、时间及高成本设备的浪费。 10.加大硬盘的固定容量。,如何提高磁盘的存取速度?,法一:使用磁盘高速缓存(disk cache)控制技术 将从磁盘读取的数据存在高速缓存(cache)中以减少磁盘存取的次数。 这种方式在单任务环境(如DOS)之下,对大量数据的存取有很好的性能(量小且频繁的存取则不然),但在多任务环境(如Windows)之下,或因为要不停的作数据交换的动作,或因为数据库的频繁存取(每一记录都很小),就不能显示其性能。而且这种方式没有任何安全保障。,如何提高磁盘的存取速度?,法二:使用磁盘阵列控制技术 把多个磁盘组成一个阵列,当作单一磁盘使用。它将数据以“条块”(striping)的方式储存在不同的磁盘中,存取数据时,阵列中的相关磁盘一起动作,大幅减低数据的存取时间,同时有更佳的空间利用率。,磁盘阵列系统的基本功能,一般高性能的磁盘阵列都是以硬件把磁盘快取控制及磁盘阵列结合在一个阵列控制器(RAID controller)上形式出现,满足人们对磁盘输出入系统的四大要求: 增加存取速度, 容错(fault tolerance),即安全性(一个或几个硬盘损坏不会导致用户数据丢失) 有效的利用磁盘空间; 尽量的平衡CPU,内存及磁盘的性能差异,提高电脑的整体工作性能。,磁盘阵列的两个基本技术,磁盘延伸(Disk Spanning),把小容量的磁盘延伸为大容量的单一磁盘,用户不必规划数据在各磁盘的分布,从且提高了磁盘空间的使用率。SCSI磁盘阵列更可连接几十个磁盘,形成数十GB到数百GB的阵列,使磁盘容量几乎可作无限的延伸; 。,磁盘阵列的两个基本技术,磁盘或数据条块化 (Disk Striping or Data Striping),数据按需要分段,从第一个磁盘开始放,放到最後一个磁盘再回到第一个磁盘放起,直到数据分布完毕。从上图我们可以看出,数据以分段于在不同的磁盘,整个阵列的各个磁盘可同时作读写,故数据分段使数据的存取有最好的效率,理论上本来读一个包含四个分段的数据所需要的时间约=(磁盘的access time +数据的transfer time)4次,现在只要一次就可以完成。,RAID级别,磁盘阵列中针对不同的应用使用的不同技术,称为RAID level,每一level代表一种应用技术 。 目前业界公认的标准是RAID 0RAID 5。但level并不代表技术的高低,level 5并不高于level 3,level 1也不低过level 4,至于要选择那一种RAID level的产品,纯视用户的操作环境及应用而定(很多人对磁盘阵列的误解,以为磁盘阵列非要RAID 5不可)。其他如RAID 6,RAID 7,乃至RAID 10等,都是厂商各做各的,并无一致的标准。 常用的RAID级别有:RAID0,RAID1,RAID5和RAID10(RAID 0+1),RAID 0: 单纯数据条块化,“数据条块化”的“无容错能力”磁盘驱动器群组 所有磁盘阵列系统中,数据存取效能最佳和磁盘空间利用率最高的一种,Disk striping也称为RAID 0, 将所有硬盘组成一个阵列,可同时多盘读写,对于一个由n个硬盘组成的RAID 0阵列,存储速度理论上是单个硬盘的n倍。对操作系统来说,组成RAID 0的磁盘被视为一个单独的逻辑磁盘。但RAID 0不提供任何数据冗余,如果阵列内的某个磁盘出现了错误,所有的数据都会丢失。所以通常要使用其他备份方式(如磁带)来提高可靠度。(据对DELL阵列产品PowerVault 660F/224F的研究,配有14个硬盘的RAID 0系统三年内发生数据损失的可能性可达77%)。,优点:传输率和硬盘利用率最高,价格便宜。 缺点: 无冗余,可靠性最差,其中一个磁盘发生故障,所有数据将丢失。 应用:通常使用在暂存数据和高 I/O 速率的工作站 。,RAID 0 Striping,With RAID 0 and using the 280Gb hard disks you would get the full 160Gb of storage space. Although the data is split between the 2 hard disks. There is no data redundancy (duplicate data). This allows for the full storage space to be used.,RAID1:磁盘镜像和磁盘双工,在 RAID 1 系统中,相同的数据被存储在两个硬盘上(100% 冗余)。当一个磁盘驱动器发生故障时,在另一个磁盘上可立即获得数据,从而无损数据完整性。通过一个 SCSI 通道映射两个磁盘时我们称之为“磁盘镜像“。如果每个磁盘都与独立的 SCSI 通道连接,我们称之为“磁盘双工“(更加安全)。RAID 1 为数据安全和系统可用性提供了一种简单及高效的解决方案。,优点:可用性高,即使一个磁盘发生故障,逻辑硬盘上的数据依然可用。 缺点:需要 2 个磁盘,但只使用其中一个存储数据。 应用:通常使用于较小的系统,其中一个磁盘的容量足够,并用作启动盘。,RAID 1,RAID 1 Mirroring,When using two 80Gb hard disks with the RAID 1 function you would only receive 80Gb of storage space. Because you are using the two drives to contain the same data, the logical drive will appear as a single 80Gb drive.,RAID 1,“磁盘镜像备份”磁盘驱动器群组 所有拥有容错能力的磁盘阵列系统中,容错能力最好,磁盘空间利用率最低,数据存取效率最高的一种,使用磁盘镜像(disk mirroring) 技术,并以磁盘延伸的方式形成阵列,以数据分段的方式进行储存,故与RAID 0具有几乎相同的读写性能。但RAID1还能完全做到了容错和不停机。 “容错” 即使磁盘故障,数据仍能保持完整。 “不停机”发生磁盘故障时系统能持续工作而不停顿,仍可正常读写磁盘并可将此磁盘拆下来而不影向其他磁盘的操作,待新的磁盘换上去之后,系统即时做镜像,将数据重新复上去。 RAID 1在容错及存取的性能上是所有RAID level之冠。(据对DELL阵列产品PowerVault 660F/224F的研究,配有14个硬盘的RAID 1系统三年内发生数据损失的可能性低于7%)。,RAID 10,RAID 0+1的综合体,RAID 10 是 RAID 0 (性能) 和 RAID 1(数据安全)的结合,以提供了良好的性能和数据安全性。与 RAID 0 相同之处在于,在较高负载条件下可以保证最佳性能。与 RAID 1 相同之处在于,50% 的安装容量被用作冗余。 在RAID 0+1配置下,数据被分段存入到一个磁盘组1,然后又被镜象到另一个磁盘组2,从而既产生了良好的输入/输出性能,又可获得了良好的可靠性。如果一个磁盘组中的硬盘出现错误,该磁盘组的数据将会丢失,但所有数据都保留在镜象磁盘组上。但如果第二个磁盘组中任何一个硬盘在第一个磁盘组恢复前出现错误,那么所有的数据都会丢失。(据对DELL阵列产品PowerVault 660F/224F的研究,配有14个硬盘的RAID 0+1系统三年内发生数据损失的可能性低于10%)。,优点:可用性高,即使一个磁盘发生故障,逻辑硬盘上的数据依然可用 优点:良好的写入性能 缺点:需要偶数个磁盘,最少为 4 个,另外只能使用一半的磁盘容量 应用:通常使用于需要较高序列写入性能的场合,RAID 0+1 Striping and Mirroring,In this example we would need to use 4 80Gb drives. RAID 0+1 is a combination of the two above and so storage works out as a combination of the two as well. The logical drive will appear as a single drive, this drives capacity will be 160Gb. The 2 striped drives will be included in the logical drives space, but as above the mirrored drives will appear invisible to the user.,RAID 2 和 RAID 3,带出错校验的比特级数据条块化,容错能力好,磁盘空间利用率较高,大数据量存取性能好。二者的主要区别在于数据安全技术不同RAID 2采用“海明码”进行错误校正及检测,故需要较多的额外磁盘(如8个数据盘需要3个校正盘),而RAID 3采用奇偶校验的(parity check)技术,所需的额外磁盘数大大减少(只需一个),故常用之。,RAID 3工作示意图,RAID 2 和 RAID 3,在一个由n个硬盘组成的阵列中,RAID 3可承受一个硬盘的失败。如奇偶校验盘失败,剩余的数据硬盘不受影响,但冗余将丢失。如果数据硬盘出现了失败,RAID控制器使用剩余的数据硬盘及奇偶校验盘计算丢失的数据,以恢复出现错误的硬盘,不会有数据丢失。但如果在发生错误的硬盘恢复以前另一个硬盘又出现错误,那么RAID内所有的数据都将丢失。(据对DELL阵列产品PowerVault 660F/224F的研究,配有14个硬盘的RAID 3系统三年内发生数据损失的可能性低于38%)。,RAID 2和RAID 3都采用“共轴同步”技术,即存取数据时,整个磁盘阵列一起动作,在各作磁盘的相同位置作平行存取,而且其总线是特别设计的,能以大带宽并行传输所存取的数据,所以有最好的传输时间。在大型档案的存取应用,它们均有最好的性能,但如果档案太小,因为磁盘的存取是以扇区为单位,而RAID 2/3的存取是所有磁盘平行动作,故小于一个扇区的数据量会使其性能大打折扣。RAID 2/3技术是设计给需要连续且大量数据的电脑使用的,如大型电脑、作影像处理或CAD/CAM的工作站等,并不适用于一般的多用户环境、网络服务器、小型机或PC。,RAID 2 和 RAID 3,RAID4:带有指定奇偶校验的数据条块,RAID 4 与 RAID 0 非常相似。数据分割在各磁盘之间。此外,RAID 控制器也会计算单个磁盘 (P1, P2, .) 上存储的冗余性(奇偶校验信息)。即使有一个磁盘发生故障,所有的数据完全可用。丢失的数据通过有效数据以及奇偶校验信息计算后存取。与 RAID 1 不同之处在于,只需要一个磁盘空间用于冗余。假如有一个由 5 个磁盘组成的 RAID 4 磁盘阵列,其中 80% 的安装磁盘容量用于用户容量,则只有 20% 的容量用于冗余。如果存在许多小数据块时,奇偶校验磁盘将出现吞吐量的瓶颈。对于较大的数据块,RAID 4 将展示大大提高的性能。,优点:可用性高,即使一个磁盘发生故障,逻辑硬盘上的数据依然可用 优点:很好地利用了磁盘空间(如 n 个磁盘的阵列,n-1 被用作数据存储) 缺点:必须计算冗余信息,这样就限制了写入性能 应用:由于安装容量与实际可用容量的比率较高,通常使用于较大的数据存储系统,RAID5:带有分段的奇偶校验的数据条块,与 RAID 4 不同,RAID 5 磁盘阵列中的奇偶校验数据分割在各磁盘之间。RAID 5 磁盘阵列提供更加平衡的吞吐量。即使对多重任务和多用户环境中的小数据块,它的响应时间都十分良好。RAID 5 与 RAID 4 的安全级别相同:其中一个磁盘发生故障时,所有的数据完全可用。丢失的数据通过有效数据以及奇偶校验信息计算得出。,优点:可用性高,即使一个磁盘发生故障,逻辑硬盘上的数据依然可用 优点:很好地利用了磁盘空间(如 n 个磁盘的阵列,n-1 被用作数据存储) 缺点:必须计算冗余信息,这样就限制了写入性能 应用:由于安装容量与实际可用容量的比率较高,通常用于较大的数据存储系统,RAID 4 和RAID5,容错能力好,磁盘空间利用率较高,小数据密集存取性能好。 RAID 4和RAID 3是一样的,但RAID 4可以兼容更大的数据块。RAID 5与RAID 4很相似,但只是奇偶校验数据被分段保存到所有的硬盘,即它不用校验磁盘而将校验数据以循环的方式放在每一个磁盘中,而不是写入一个指定的硬盘,从而消除了读取单个奇偶校验盘引起的瓶颈问题。所以RAID 5能大幅增加小档案的存取性能,不但可同时读取,甚至有可能同时执行多个写入的动作,这对联机交易处理(OLTP)如银行系统、金融、股市等或大型数据库的处理提供了最佳的解决方案,因为这些应用的每一笔数据量小,磁盘输出入频繁而且必须容错。 RAID 4和RAID 5的可靠性同RAID 3。,RAID 6 Independent Data disks with two independent distributed parity schemes (独立的数据硬盘与两个独立分布式校方案),RAID 6等级是在RAID 5基础上,为了进一步加强数据保护而设计的一种RAID方式,实际上是一种扩展RAID 5等级。与RAID 5的不同之处于除了每个硬盘上都有同级数据XOR校验区外,还有一个针对每个数据块的XOR校验区。当然,当前盘数据块的校验数据不可能存在当前盘而是交错存储的,具体形式见图。,RAID 6,这样一来,等于每个数据块有了两个校验保护屏障(一个分层校验,一个是总体校验),因此RAID 6的数据冗余性能相当好。但是,由于增加了一个校验,所以写入的效率较RAID 5还差,而且控制系统的设计也更为复杂,第二块的校验区也减少了有效存储空间。 由于RAID 6相对于RAID 5在校验方面的微弱优势和在性能与性价比方面的较大劣势,RAID 6等级基本没有实际应用过,只是对更高级的数据的冗余进行的一种技术与思路上的尝试,RAID 7 Optimized Asynchrony for High I/O Rates as well as High Data Transfer Rates (最优化的异步高I/O速率和高数据传输率),RAID 7等级是至今为止,理论上性能最高的RAID模式,因为它从组建方式上就已经和以往的方式有了重大的不同。基本形式见图,以往一个硬盘是一个组成阵列的“柱子”,而RAID 7中多个硬盘组成一个“柱子”。换言之,在RAID 7中,以前的单个硬盘相当于分割成多个独立的硬盘,有自己的读写通道,这样做的好处就是在读/写某一区域的数据时,可以迅速定位,而不会因为以往因单个硬盘的限制同一时间只能访问该数据区的一部分。,关于RAID 7,RAID 7是一个整体的系统,有自己的操作系统,有自己的处理器,有自己的总线,而不是通过简单的插卡就可以实现的。RAID 7的主要特性如下: 所有的I/O传输都是异步的,都有自己独立的控制器和带有Cache的接口,与系统时钟并不同步 所有的读与写的操作都将通过一个带有中心Cache的高速系统总线(X-Bus) 专用的校验硬盘可以用于任何通道 带有完整功能的即时操作系统内嵌于阵列控制微处理器,负责各通道的通信以及Cache的管理,这也是它与其他等级最大不同之一 连通性:可增至12个主机接口 扩展性:线性容量可增至48个硬盘 开放式系统,运用标准的SCSI硬盘、标准的PC总线、主板以及SIMM内存 在Cache内部完成校验生成工作 多重的附加驱动可以随时热机待命,提高冗余率和灵活性 易管理性:SNMP(简单网络管理协议) 可以让管理员远程监视并实现系统控制 按照RAID 7设计者的说法,将比其他RAID提高150-600%写入I/O性能。,RAID 7,已被SCC公司(Storage Computer Corporation)注册了商标,8.2 网络存储方案,今天的存储解决方案,DAS(直连存储) 大型服务器采用的主要存储方式 SAN(存储网络) 网络化的DAS NAS(网络存储) 适用于多用户网络环境,SAN结构中,文件管理系统(FS)还是分别在每一个应用服务器上;而NAS则是每个应用服务器通过网络共享协议(如:NFS、CIFS)使用同一个文件管理系统。换句话说:NAS和SAN存储系统的区别是NAS有自己的文件系统管理。,DAS 直接存储 - 数据块方式存储,DAS (Direct Attached Storage) 直接将存储设备连接到服务器上 以“服务器为中心”的数据管理方式,Typical LAN using DAS,DAS的主要优点和缺点,优点 价格低廉,配置简单,使用方便 缺点 不能适合将分散存储的数据集中起来统一管理的需求 不能提供不同操作系统下文件的共享 不是独立的存储系统,向DAS设备存取数据时必须通过相应的服务器或客户端 数据的IO读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等),数据流需要回流主机再到服务器连接着的磁带机(库) 数据备份通常占用服务器主机资源20-30%,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。 存储阵列容量的扩展,都会造成业务系统的停机,SAN存储网络 - 数据块方式存储,SAN (Storage Area Network) 以光纤交换机为中心的独立的数据存储设备 SAN通常由存储设备(磁盘阵列等)和光纤交换机组成 在网络服务器群的后端,采用光纤通道(FC)协议连接成高速专用网络,SAN (存储网络),Storage Area Networks (SAN),SAN的主要优点和缺点,优点(与DAS相比) 高性能,高扩展性,可升级性、稳定性和可用性都大大加强 数据集中管理,网络内部传输很快,总拥有成本降低 缺点 成本较高(每端口1000美元的光纤交换设备和昂贵的光纤存储设备) 客户端不能直接访问SAN,而要通过相应的服务器操作系统进行,异构环境下不能实现文件共享 存储资源共享,但不提供数据共享,NAS网络存储 - 文件级方式存储,NAS (Network Area Storage) 一种特殊的专用数据存储服务器,包括存储器件(磁盘阵列、CD/DVD驱动器、磁带驱动器等)和内嵌系统软件,可提供跨平台文件共享功能 采用一个面向用户设计的、专门用于数据存储的简化操作系统 将存储器从应用服务器中分离出来,进行集中管理存储网络,Typical LAN using NAS,NAS网络拓扑,NAS是一种专业的网络文件存储及文件备份设备,它是基于LAN(局域网)

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论