存储技术-PPT课件

存储技术,AsiainfoTechnologies(China)Inc.,27.04.2020,2,存储议题,RAID原理SAN介绍,27.04.2020,3,RAID原理,RAID简介RAID分类其他技术,27.04.2020,4,RAID简介,RAID全名是RedundantArrayofIndependaent/InexpensiveDisks，中文意思是冗余独立/廉价磁盘阵列。RAID技术诞生于1987年，由美国加州大学伯克利分校提出。最初的研制目的是为了组合小的廉价磁盘来代替大的昂贵磁盘，以降低大批量数据存储的费用，同时也希望采用冗余信息的方式，使得磁盘失效时不会使对数据的访问受损失，从而开发出一定水平的数据保护技术，并且能适当的提升数据传输速度。,27.04.2020,5,RAID简介,计算机的性能主要受下列因素影响：CPUSpeedMemorySpeedI/OActivity过去十年来，CPU的处理速度几乎是几何级数的跃升，内存的存取速度亦大幅增加，而数据储存装置主要是磁盘的存取速度相较之下，较为缓慢，整个I/O吞吐量不能系统匹配，形成电脑系统的瓶颈，拉低了电脑系统的整体性能，若不能有效的提升磁盘的存取速度，CPU、内存及磁盘间的不平衡将使CPU及内存的改进形成浪费。,27.04.2020,6,RAID简介,RAID是把多个磁盘组成一个磁盘阵列(磁盘组)，逻辑上当作单一磁盘使用，它将数据以分段（striping）的方式储存在不同的磁盘中，存取数据时，阵列中的相关磁盘一起动作，大幅减低数据的存取时间，同时有更佳的空间利用率。另外磁盘阵列所利用的不同技术，称为RAIDLevel，不同的level针对不同的系统及应用，以解决数据安全的问题。RAID可以解决用户对磁盘输出输入系统提出的四大要求：增加存取速度容错（faulttolerance），即安全性有效地利用磁盘空间尽量地平衡CPU、内存及磁盘的性能差异，提高电脑的整体工作性能,27.04.2020,7,RAID分类,RAID0-无差错控制的带区组要实现RAID0必须要有两个以上硬盘驱动器，RAID0实现了带区组，数据并不是保存在一个硬盘上，而是分成数据块保存在不同驱动器上，同时数据吞吐率大大提高，驱动器的负载也比较平衡。如果所需要的数据恰好平均分布在不同的驱动器上效率最高，因为N个硬盘可以同时读取，那么原来读取同样文件的时间被缩短为1/N。它不需要计算校验码，实现容易。它的缺点是它没有数据差错控制，如果一个驱动器中的数据发生错误，即使其它盘上的数据正确也无回天之力了。不应该将它用于对数据稳定性要求高的场合。如果用户进行图象（包括动画）编辑和其它要求传输比较大的场合使用RAID0比较合适。,27.04.2020,8,RAID分类,27.04.2020,9,RAID分类,RAID1-镜象结构对于使用这种RAID1结构的设备来说，RAID控制器必须能够同时对两个盘进行读操作和对两个镜象盘进行写操作。它比较容易设计和实现。每读一次盘只能读出一块数据，也就是说数据块传送速率与单独的盘的读取速率相同。因为RAID1的校验十分完备，因此对系统的处理能力有很大的影响，通常的RAID1功能由软件实现，而这样的实现方法在服务器负载比较重的时候会大大影响服务器效率。因为是镜象结构，所以在一组盘出现问题时，可以使用镜象，提高系统的容错能力。当您的系统需要极高的可靠性时，如进行数据统计，那么使用RAID1比较合适。而且RAID1技术支持“热替换”，即不断电的情况下对故障磁盘进行更换，更换完毕只要从镜像盘上恢复数据即可。当主硬盘损坏时，镜像硬盘就可以代替主硬盘工作。镜像硬盘相当于一个备份盘，可想而知，这种硬盘模式的安全性是非常高的，但带来的后果是硬盘容量利用率很低，只有50%，是所有RAID级别中最低的。,27.04.2020,10,RAID分类,27.04.2020,11,RAID分类,RAID2-带海明码校验从概念上讲，RAID2同RAID3类似，两者都是将数据条块化分布于不同的硬盘上，条块单位为位或字节。然而RAID2使用一定的编码技术来提供错误检查及恢复。这种编码技术需要多个磁盘存放检查及恢复信息，使得RAID2技术实施更复杂。因此,在商业环境中很少使用。各个磁盘上是数据的各个位，由一个数据不同的位运算得到的海明校验码可以保存另一组磁盘上。由于海明码的特点，它可以在数据发生错误的情况下将错误校正，以保证输出的正确。它的数据传送速率相当高，如果希望达到比较理想的速度，那最好提高保存校验码ECC码的硬盘的性能，对于控制器的设计来说，它又比RAID3，4或5要简单。没有免费的午餐，这里也一样，要利用海明码，必须要付出数据冗余的代价。输出数据的速率与驱动器组中速度最慢的相等。,27.04.2020,12,RAID分类,27.04.2020,13,RAID分类,RAID3-带奇偶校验码的并行传送这种校验码与RAID2不同，只能查错不能纠错。它访问数据时一次处理一个带区，这样可以提高读取和写入速度。校验码在写入数据时产生并保存在另一个磁盘上。需要实现时用户必须要有三个以上的驱动器，写入速率与读出速率都很高，因为校验位比较少，因此计算时间相对而言比较少。用软件实现RAID控制将是十分困难的，控制器的实现也不是很容易。它主要用于图形（包括动画）等要求吞吐率比较高的场合。不同于RAID2，RAID3使用单块磁盘存放奇偶校验信息。如果一块磁盘失效，奇偶盘及其他数据盘可以重新产生数据。如果奇偶盘失效，则不影响数据使用。RAID3对于大量的连续数据可提供很好的传输率，但对于随机数据，奇偶盘会成为写操作的瓶颈。,27.04.2020,14,RAID分类,27.04.2020,15,RAID分类,RAID4-带奇偶校验码的独立磁盘结构RAID4和RAID3很象，不同的是，它对数据的访问是按数据块进行的，也就是按磁盘进行的，每次是一个盘。它的特点的RAID3也挺象，不过在失败恢复时，它的难度可要比RAID3大得多了，控制器的设计难度也要大许多，而且访问数据的效率不怎么好。,27.04.2020,16,RAID分类,RAID5-分布式奇偶校验的独立磁盘结构不同于RAID3/4，RAID5的奇偶校验码存在于所有磁盘上，其中的p0代表第0带区的奇偶校验值，其它的意思也相同。RAID5的读出效率很高，写入效率一般。因为奇偶校验码在不同的磁盘上，所以提高了可靠性。但是它对数据传输的并行性解决不好，而且控制器的设计也相当困难。RAID3与RAID5相比，重要的区别在于RAID3每进行一次数据传输，需涉及到所有的阵列盘。而对于RAID5来说，大部分数据传输只对一块磁盘操作，可进行并行操作。在RAID5中有“写损失”，即每一次写操作，将产生四个实际的读/写操作，其中两次读旧的数据及奇偶信息，两次写新的数据及奇偶信息。,27.04.2020,17,RAID分类,27.04.2020,18,RAID分类,RAID6-带有两种分布存储的奇偶校验码的独立磁盘结构它是对RAID5的扩展，主要是用于要求数据绝对不能出错的场合。当然了，由于引入了第二种奇偶校验值，所以需要N+2个磁盘，同时对控制器的设计变得十分复杂，写入速度也不好，用于计算奇偶校验值和验证数据正确性所花费的时间比较多，造成了不必须的负载。,27.04.2020,19,RAID分类,RAID7-优化的高速数据传送磁盘结构RAID7所有的I/O传送均是同步进行的，可以分别控制，这样提高了系统的并行性，提高系统访问数据的速度；每个磁盘都带有高速缓冲存储器，实时操作系统可以使用任何实时操作芯片，满足不同的实时系统的需要。可以连接多台主机，因为加入高速缓冲存储器，当多用户访问系统时，访问时间几乎接近于0。允许使用SNMP协议进行管理和监视，可以对校验区指定独立的传送信道以提高效率。需要注意的是它引入了一个高速缓冲存储器，这有利有弊，因为一旦系统断电，在高速缓冲存储器内的数据就会全部丢失，因此需要和UPS一起工作。当然了，这么快的东西，价格也非常昂贵。,27.04.2020,20,RAID分类,RAID0+1把RAID0和RAID1技术结合起来，即RAID0+1。数据除分布在多个盘上外，每个盘都有其物理镜像盘，提供全冗余能力，允许一个以下磁盘故障，而不影响数据可用性，并具有快速读/写能力。要求至少4个硬盘才能作成RAID0+1。,27.04.2020,21,其他技术,NRAIDNRAID即Non-RAID，所有磁盘的容量组合成一个逻辑盘，没有数据块分条（noblockstripping）。NRAID不提供数据冗余。要求至少一个磁盘。与RAID0的差别为NRAID不是并行读写。JBODJBOD代表JustaBunchofDrives，磁盘控制器把每个物理磁盘看作独立的磁盘，因此每个磁盘都是独立的逻辑盘。JBOD也不提供数据冗余。要求至少一个磁盘。与NRAID的差别是JBOD不会把所有磁盘的容量组合成一个逻辑盘。,27.04.2020,22,其他技术,SNAPSHOT(快照)首先，Snapshot会占用磁盘空间(SnapshotLUN)，占用空间的多少是由变化数据的多少决定；极端情况下，所有的数据都有变化，就需要有与TargetLUN一样大小的空间。Snapshot开始工作的时候，在RAID控制器的Cache中建立一个数据区域指针，与TargetLUN中的Block一一对应；当某一个Block的数据中要变化，控制器先将原始数据复制到SnapshotLUN中，同时修改指针，指向SnapshotLUN中的Block。当Host需要读TargetLUN中数据的时候，直接读取TargeLUN；如果读取SnapshotLUN中的数据，先查询内存指针；数据没有改变，就直接读取TargetLUN中的Block，如果改变，就直接读取SnapshotLUN中的Block。也就是说，Snapshot的核心是建立一个指针列表，指示读取数据的地址。提供一个瞬时数据的影像，只有当数据要改变时，才复制到一个新的LUN中；数据在一段时间内的变化不是太频繁，就不会占用太多的空间。,27.04.2020,23,其他技术,SNAPSHOT(快照)Snapshot有两种方式，一种是将目标LUN的数据完全复制一份，要占用相等地磁盘空间，另一种是对指针的复制，占用空间很少。管理指针也有两种，一种是在原数据被修改前，先将原数据复制到特定的快照区域（有两种方式，一种在单独的磁盘分区，一种是在原文件系统占用的空间），再修改快照中的指针，这样可以不改变原文件系统的指针结构，可以减少磁盘碎片，大多数快照都是这么做的；另一种是修改的数据继续写到同文件系统的空余空间，修改文件系统原来的指针，而不是修改快照的指针。,27.04.2020,24,存储议题,RAID原理SAN介绍,27.04.2020,25,SAN介绍,传统存储技术新兴存储技术SAN的特点SAN的拓扑Fabric介绍,27.04.2020,26,传统存储技术,传统的存储结构使得网络中的服务器存储部分各自独立，同时带来了复杂的维护和管理，并难以满足不断增长的数据吞吐需求。,27.04.2020,27,新兴存储技术,什么是SANSAN（StorageAreaStorage，存储区域网）是一个高速的子网，这个子网中的设备可以从你的主网卸载流量。通常SAN由RAID阵列连接光纤通道（FibreChannel）组成，SAN和服务器的数据通信通过SCSI命令而非TCP/IP，数据处理是“块级”（blocklevel）。SAN，实际上是一种存储设备池，即一个由硬盘、磁带以及光设备构成的子网，这一子网上的存储空间可由主网上的每一系统所共享。子网中仅包含一系列相互独立运行的存储设备。SAN是存储数据的场所，在服务器调用数据之前，所有的数据都驻留在SAN上，仅当服务器调用这些数据时，SAN才会为客户机服务。,27.04.2020,28,新兴存储技术,27.04.2020,29,新兴存储技术,什么是NASNAS（NetworkAttachedStorage，网络附加存储）的典型组成是使用TCP/IP协议的以太网文件服务器，数据处理是“文件级”（filelevel）。你可以把NAS存储设备附加在已经存在的网络上。NAS是一种专业的网络文件存储及备份设备，它是基于LAN（局域网）的，按照TCP/IP协议进行通信，以文件的I/O（输入/输出）方式进行数据传输。在LAN环境下，NAS已经完全可以实现异构平台之间的数据级共享，比如NT、UNIX等平台的共享。一个NAS系统包括处理器，文件服务管理模块和多个硬盘驱动器(用于数据的存储)。NAS可以应用在任何的网络环境当中。主服务器和客户端可以非常方便地在NAS上存取任意格式的文件，包括SMB格式（Windows）、NFS格式(Unix,Linux)和CIFS（CommonInternetFileSystem）格式等等。,27.04.2020,30,新兴存储技术,27.04.2020,31,新兴存储技术,SAN与NAS区别区分SAN与NAS最简单的方法是对比二者的技术实现：NAS通常是一个服务器群：应用服务器、邮件服务器等等，存储设备易于附加在这个系统上。SAN多部署与电子商务应用中，大量的数据备份和其它业务需要在网上频繁地存储和传输；SAN可以从你的主网上卸掉大量的数据流量，可以使你的网络从数据拥塞中解脱出来。,27.04.2020,32,SAN的特点,加大了数据的吞吐能力和数据的传输距离SAN代表着存储的未来，它不仅可使公司的数据吞吐能力得以大幅度提高，还可通过FibreChannel(光纤信道)互连实现存储设备之间更大距离的连接。加快了数据传输的速度把存储设备移向专用的网络，其最大的好处之一是加快了数据传输的速度。SAN专用的数据传输带宽足可满足大多数用户的需求。与此同时，SAN的存在还可在很大程度上减轻了客户机网络的负担。,27.04.2020,33,SAN的特点,提供了更大的灵活性SAN的另一大优点是它的灵活性。由于多台服务器可共享SAN上的存储设备，从而大大改进了向服务器分配磁盘空间的方法。例如，它可使公司根据系统的具体需求更有针对性地向服务器分配适用的存储类型。对于那些需快速存取映像磁盘的系统，用户可添加一个存储矩阵，而对于那些不需要快速存取的系统，用户可适当挂起SAN上的某些驱动器。另外，SAN还允许用户随时添加其所需的存储空间。因为存储是与服务器相分离的，所以用户可在财力允许的情况下购买任意数目的磁盘阵列。另外，SAN也不会使用户陷入只能依赖某一特定供应商方案的尴尬局面。减少了网络的复杂性SAN的更大的好处是减少了网络的复杂性。服务器仅需要与SAN的单一连接，可以腾出服务器的扩展插槽，允许用户不断地向其添加存储设备，因而将可能拥有更长的服务期。在SAN中传输数据，还可减少广域网的负担，并有望延长这些设备的使用寿命。另外用户将有能力根据需求的增长不断对SAN进行升级。,27.04.2020,34,SAN的拓扑点对点,点到点是两个设备间的简单专用连接，用于最小规模的服务器/存贮配置。线缆直接从一个设备到另一个，中间没有集线器。这种配置使用光纤通道协议的子集，控制权只属于这两个设备，再增加设备就需要用仲裁环来协商访问权。,27.04.2020,35,SAN的拓扑仲裁环,仲裁环是支持多达127个节点（其中一个可以连接到交换结构）的共享千兆结构。仲裁环与令牌环或FDDI很象，两个设备通信时占据了共享介质，完成后把控制权交给其它节点。光纤信道命令用于协调对设备环的访问。为了避免单点失效导致断环，仲裁环集线器在物理上是星形连接。仲裁环集线器通常提供7到12个端口，通过层叠还可以建立更大的环。与以太网和令牌环局域网中的集线器一样，仲裁环集线器提供了很好的控制能力和可靠性，在每个端口都有旁路线路防止单点失效产生的断环。,27.04.2020,36,SAN的拓扑仲裁环,与共享以太网或令牌环类似，仲裁环也有介质访问规则保证多达126个节点的数据在统一介质上有序地传输。SCSI事务的发起者，如服务器，把事务交给光纤接口卡，让HBA来仲裁对环的访问。每个设备的可用带宽由同一环中活跃的节点数分享。如四个相同的活跃节点各自拥有25MBps的带宽，25个相同的活跃节点则各自拥有4MBps的带宽。不同的应用有不同的带宽需求，象服务器簇集(Cluster)等就不需要很高的带宽，却可以从光纤信道灵活的网络结构得益。除了带宽的考虑，总的距离也会影响环的性能。增加了长的连接后，环的总周长就增加了，这样会产生延迟，对于数据密集的应用可能提供不了适合的响应时间，但可能可以用于灾难恢复。例如：大的延迟不适合完整的磁盘镜像，但可用于只进行数据库记录更新的情况。通常情况下，需要在长距离上的高性能的应用会用Fabric交换机来隔离该网段。,27.04.2020,37,SAN的拓扑仲裁环,绝大多数产品的仲裁环是私有的，只在环内成员间通信。要与环外设备通信需要连接到fabric交换机，也可以通过驱动使设备登录到Fabric。这样，服务器既可以象以前一样与局域环段上的磁盘通信，也可以与连接到Fabric的磁盘和磁带通信。一般来说，环集线器是仲裁环的被动组件，它只是线缆集中器，用更有效的星形拓扑来构成逻辑环。除了端口旁路功能外，其作用是把数据流从一个端口传输到另一个，而不干涉数据的流动。因为集线器不是主动设备，所连的设备不需要任何协议或步骤来顾及集线器的存在。与FabricSwitch不同，集线器不需要登录、流控等功能。环集线器的被动特性使其在构造SAN时很灵活，既可以连接到FabricSwitch上以支持很多的设备，也可以用于独立的私有环用于部门内部。,27.04.2020,38,SAN的拓扑仲裁环,环集线器结构,27.04.2020,39,SAN的拓扑交换环,环交换机管理两个或多个仲裁环段的地址空间，创建了更大的逻辑环。这样，物理上独立的环可以透明地彼此通信，同时每个端口保持了较高的可用带宽。,27.04.2020,40,SAN的拓扑交换环,环交换机结构,27.04.2020,41,Fabric介绍,Fabric概念FibreChannel有两种常用的拓扑结构:FibreChannelArbitratedLoop(FC-AL)和Fabric。我们常说的的FibreChannelHub和LoopSwitch使用FC-AL协议，而FabricSwitch使用FC-SW协议。两者之间的区别如下：地址空间上的不同、扩展能力不同FC-AL使用一个字节的地址，称为AL_PA地址（ArbitratedLoopPhysicalAddress）。由于协议本身的原因，只有127个地址。（一个字节有256个数字，AL_PA地址只使用其中的一部分）。Fabric使用3个字节的地址，其中第一个字节即是我们常说的Domain_ID，由于协议本身用掉了16个地址，实际可用的只有239个。每个交换都必须具有不同的Domain_ID，因此所有的交换机厂商的宣传资料上都说最多可以将239个交换机相连。,27.04.2020,42,Fabric介绍,地址获得方式不同使用FC-AL协议时，一般讲是在所有的设备之间协商AL_PA地址。而设备连接到Fabric交换机上，它会首先做一个FabricLogin，向交换机登录，从而获得3个字节的地址。单台机器启动不需要同其它机器协商地址。Fabric交换机特别适合构造大的企业级SAN，因此需要提供许多特殊的服务来确保SAN正常工作。如：Fabric登录服务，命名服务，RSCN服务等等。而LoopSwitch(环交换机)特别适合广大中等规模的SAN结构，这也是国内大多数用户的需求规模。同时，在方案的兼容性配置方面，LoopSwitch更有优势。因为，各类存储产品的默认设置都是Loop优先。,27.04.2020,43,Fabric介绍,Fabric设备也称为Fabric-aware设备，顾名思义，“知道Fabric服务的设备”，具有特殊的驱动可以进行Fabric登录、SNS注册及RSCN等工作。该类设备连接到FabricSwitch上将依次执行这些功能，从而成为公共网络的一部分。如果连接到独立的环集线器上，其Fabric登录就会失败，这时将使用私有环的方式工作。如果该集线器连接到了FabricSwitch上，该设备将重新初始化，通过Fabric与其它公有设备通信，同时还可与同一环集线器上的设备通信。不同厂商的设备在功能上可能会有些差异。,27.04.2020,44,Fabric介绍,FabricSwitch是否使用FabricSwitch取决于应用的需求。例如，象4个服务器、2个磁盘阵列和一个磁带备份子系统构成的小型Cluster不需要交换带宽和Fabric服务，如果每个服务器需要25MB或更低的带宽，那么环集线器就足够了，再高些的要求环交换机也足以应付。但是仲裁环的地址空间只能容纳126个设备（共享或交换）和一个Fabric连接，靠集线器和环交换机不够建立大型的企业SAN，当用户的存贮网络从数十个扩展到数百个的时候，可能就需要使用FabricSwitch了。一般而言，FabricSwitch连接在一起构成高速SAN主干，需求低的应用可以用下游的环集线器来连接。通常，在某部门中，大部分的通信在本地环内，偶尔需要通过Fabric访问，如统一的磁带备份设备。这种设计既可满足企业的各种需求，比只用交换的方案还可节省费用。对环的需求，一些厂商建议使用环交换机。如果所有的环交换机都具有环集线器一样在仲裁环和Fabric环境中的灵活性的话，这也可以接受，但事实不是这样。例如，为了扩展环段中的端口数，集线器可以简单的层叠，而有些环交换机不支持或只支持两层。还有，环集线器连接到FabricSwitch上很简单，完全透明，而有些环交换机必须升级到具有完整的Fabric能力后才能如此。,27.04.2020,45,Fabric介绍,27.04.2020,46,Fabric介绍,Fabric服务Fabric的基础有两个方面，一是HBA、磁盘控制器、FC-SCSI路由器（桥）等外设的Fabric功能，一是交换机本身的Fabric功能。Fabric会话过程由一系列光纤通道标准定义，各厂商对标准的遵守是兼容性的基础。标准组织有FCIA(FibreChannelIndustryAssociation)和SNIA(StorageNetworkingIndustryAssociation)。Fabric登录使用动态赋址方案以减少人工管理。回顾一下仲裁环的地址分