媒体存储技术1存储技术概论

1、网络存储技术概论朱立谷TelE-mail:1.1存储的重要性1.1.1数据增长对存储需求1.1.2 存储从计算机附属设备到独立系统1.2 网络存储范围1.2.1存储网络1.2.2 分布式文件系统和对象存储1.2.3 存储服务1.2.4 备份容灾1.2.5 归档存储1.3 网络存储模型1.3.1 SNIA共享存储模型1.3.2 SCSI协议1.4 国内存储现状与发展方向1.5 小结存储是数字域三种基本的操作处理（计算），传输，存储（数字技术中，处理、传输、存储三分天下）存储的作用人民生活（数码照片、娱乐）企业与经济发展（ERP）国家安全（国防）社会发展（文化、知识传播

2、）1.全球数据和存储快速增长全球数据和存储快速增长 University of California at Berkeley研究员Peter Lyman 和Hal R. Varian首先开展全球产生多少数据的研究项目，2000、2003年两次发布了How much information?研究报告。其中2003年报告指出：（1）2002年全球在印刷、胶片、磁存储、光存储等产生数据总量大概为5EB(exabytes，万亿兆字节)，其中92%的数据保存在磁存储中；（2）在1999年到2002年这3年间，世界范围内信息生产量以平均每年30左右的速度递增，产生的数据量翻一番；（3）而通过电话，无线电，

3、电视和互联网传输的数据达到了18EB，是记录在磁存储上的数据的3.5倍。We estimated the worlds technological capacity to store, communicate, and compute information, tracking 60 analog and digital technologies during the period from 1986 to 2007. In 2007, humankind was able to store 2.9 1020 optimally compressed bytes, communicate al

4、most 2 1021 bytes, and carry out 6.4 1018instructions per second on general-purpose computers. General-purpose computing capacity grew at an annual rate of 58%. The worlds capacity for bidirectional telecommunication grew at 28% per year, closely followed by the increase in globally stored informati

5、on (23%). Humankinds capacity for unidirectional information diffusion through broadcasting channels has experienced comparatively modest annual growth (6%). Telecommunication has been dominated by digital technologies since 1990 (99.9% in digital format in 2007), and the majority of our technologic

6、al memory has been in digital format since the early 2000s (94% digital in 2007).2.企业数据爆炸性增长，并且出现大数据应用企业数据爆炸性增长，并且出现大数据应用据Gartner最近研究表明，对于大型企业来说，数据增长是数据中心硬件基础架构所面临的最大挑战。据市场研究公司TheInfoPro调查，目前财富1000强企业在2015年将拥有大约9PB的数据。 据市场研究公司IDC统计，全球数据使用量将达到大约35.2ZB，同时单个数据集的文件尺寸也将增加，导致对更大处理能力的需求以便分析和理解这些数据集。大数据需要让计

7、算与存储配合工作，以非常优有化的方式分析数据。1.从硬盘到存储网络从硬盘到存储网络自50年前IBM推出第一个磁硬盘RAMAC进行数据存储以来，存储技术得到了迅速的发展。随着存储介质和硬盘的发展，相关的存储体系结构亦在不断发展之中。一个最重要的体系结构的进展是RAID存储子系统的产生，RAID是由加州大学伯克利分校的研究人员Patterson、Gibson和Katz于1988年提出来的。存储设备和存储子系统与主机系统紧密地连接在一起。网络存储系统和复杂存储系统可以完全脱离主机，组成包含多个存储设备、子系统的存储网络，成为多主机甚至异构平台主机的共享存储。9高速缓冲存储器（Cache）- 最快最昂

8、贵的存储介质主存储器（Main Memory）访问速度快-访问时间10100纳秒（10-810-7秒），随机访问对于存储整个数据库来说还是太小易失 发生电源故障或系统崩溃，内容会丢失快闪存储器（Flash Memory）电源故障发生时数据可以保存下来读数据的时间小于100ns，大致与主存储器一样快写数据慢，擦除更慢 要想覆盖已经写过的内容，必须一次性地擦除整个快闪存储器 只支持有限的擦除是电子可擦除可编程只读存储器（EEPROM）的一种形式10磁盘（Magnetic Disk）用于长期联机数据存储的主要介质，通常整个数据库都存储在磁盘上访问数据必须将数据从磁盘移到主存储器，被修改过的数据再写回

9、磁盘 访问速度比主存慢很多直接访问非易失存储器光盘（Optical Storage）适合于数据分发，数据的归档存储磁带存储（Tape Storage）便宜大容量的存储介质，主要用于备份数据和归档数据顺序访问，访问速度比磁盘慢得多高速缓冲存储器主存快速闪存储器磁盘光盘磁带基本存储（主存，一级存储，primary storage） 最快的存储介质，易失性存储 (cache, main memory).辅助存储（二级存储，secondary storage）或 联机存储 基本存储的下一层介质，非易失性存储, 适中的快速访问时间如：flash memory, 磁盘第三级存储（tertiary stor

10、age）或脱机存储 层次结构中最底层的存储介质, 非易失性存储, 访问慢如：磁带，光盘2.存储网络的发展存储网络的发展随着基于因特网的应用的不断增长，不断增长的数据要求服务器的存储外部化，以适应新的应用的要求，但将服务器和存储器分开受到SCSI 的连接距离、速度和共享能力等多方面的限制，发展一种具有成本效益的先进存储方式就成为必然，存储网络因此而到来。网络存储将存储设备通过标准的网络拓扑结构连接到一群计算机上，与直连存储相比，网络存储很好地满足提高存储利用率的需求，并提供更多智能以进一步简化和实现存储自动化操作。1.2.1.存储网络基础存储网络基础（1）SCSI协议SCSI（Small Com

11、puter System Interface，小型计算机系统接口）是一种为小型机研制的接口技术，用于主机与外部设备之间的连接。SCSI产生于1979 年，是支持一到七个磁盘的8-bit 的并行总线接口。主机适配器SCSI ID 7SCSISCSI总线总线SCSI 阵列阵列ID 0SCSI 阵列阵列ID 6LUN 0LUN 0LUN 1LUN 1LUN 2LUN 2LUN 0LUN 0LUN 1LUN 1数据/地址总线控制信号SCSI标准标准传输传输模式模式时钟时钟频率频率(MHz)传输传输宽度宽度(位位)传输传输速度速度(MB/秒秒)外设外设数目数目SCSI-1异步异步异步异步5847Fast

12、-5同步同步5857SCSI-2Fast-5宽宽5161015Fast-10108107Fast-10宽宽10162015SCSI-3Fast-20Ultra208207Fast-20Ultra/宽宽20164015Fast-40Ultra2408407Fast-40Ultra2/宽宽40168015Fast-80DTUltra3401616015Fast-160DTUltra4801632015SAS（Serial Attached SCSI ）：效仿串行ATA，制定出基于高速串行总线技术的新一代SCSI标准形成形成SATA和和SAS并存的形式并存的形式参数参数SATASCSISAS设备寻址

13、数量设备寻址数量116128传输距离（米）传输距离（米）12510双端口支持双端口支持否否否否是是拓扑结构拓扑结构点对点点对点共享总线共享总线点对点点对点/Expander传输速率传输速率150 / 300 / 60080/160/320 150 / 300 / 600双工方式双工方式全双工全双工半双工半双工全双工全双工高层协议高层协议ATASCSISCSISAS 总线基本结构SAS 总线基本结构SAS 总线基本结构SAS 总线基本结构SAS 总线基本结构SAS 总线基本结构SAS 总线基本结构SAS 可扩展架构TCP协议和 IP协议共同构成了通信协议族。这组协议是因特网获得成功的主要因素：一

14、方面它们的扩展性很强，可以实现巨大的网络，另一方面TCP/IP 也在因特网不同的使用者之间实现了安全和可靠的信息共享。10Gbps 的Ethernet和 TCP/IP的组合为存储网络应用的实现提供了引人注目的解决方案.Fiber Channel Protocol（FCP）是一种上层协 议 ， 用 以 在 光 纤 通 道 上 传 输 S m a l l Computer System Interface 3（SCSI-3），是将光纤通道设备映射为一个操作系统可访问的逻辑驱动器的一个串行协议，这个协议使得以前基于SCSI 的应用不做任何修改即可使用光纤通道。光纤通道是构建FC SAN的基础，是FC

15、 SAN系统的硬件接口和通信接口。传统的集群系统以计算节点为核心，基于共享总线（Shared-Bus）的架构决定了这项I/O技术已经不能适合日益庞大的系统的I/O需求。这些局限性主要包括性能差、可扩展性、单点故障等。需要一种开放、高带宽、低延迟、高可靠以及满足集群无限扩展能力的以交换为核心的体系架构。InfiniBand InfiniBand 应运而生应运而生主要特性主要特性基于基于Fabric基于共享总线基于共享总线拓扑结构拓扑结构SwitchedShared-Bus引脚数目引脚数目少少多多终端数目终端数目非常多非常多比较有限比较有限最大信号长度最大信号长度千米千米英寸英寸可靠性可靠性很高很

16、高较低较低可扩展性可扩展性很高很高较低较低故障容忍性故障容忍性支持支持不支持不支持19991999首次提出首次提出20042004年调整定位年调整定位l得到主流服务器生产链上厂商的一致追捧 ，但由于协议、软件支持、最初定位问题等，导致应用受到限制，包括Intel等厂商一度撤出投资l调整定位于存储网络、计算网络的应用，软件方面成立开源的OpenIB组织，甚至推出了IP over InfiniBand的协议转换，InfiniBand又开始得到欢迎lInfiniBandInfiniBand标准定义了一套用标准定义了一套用于系统通信的多种设备，包括于系统通信的多种设备，包括通道适配器、交换机和路由器通

17、道适配器、交换机和路由器l通道适配器用于同其它设备的通道适配器用于同其它设备的连接，包括主机通道适配器连接，包括主机通道适配器（HCAHCA）和目标通道适配器）和目标通道适配器（TCATCA）l交换机是交换机是 InfiniBandInfiniBand结构中的结构中的基本组件基本组件l点到点的交换结构：解决了共点到点的交换结构：解决了共享总线、容错性和可扩展性问享总线、容错性和可扩展性问题题l具有物理层低功耗特点和箱外具有物理层低功耗特点和箱外带宽连接能力带宽连接能力CPUCPU链路链路网络网络链路链路链路链路链路链路链路链路目标目标TCATCA交换机交换机内存内存控制器控制器系统系统内存内存

18、主机内部互联主机内部互联CPUCPUTCATCA目标目标HCAHCAxCAxCA路由器路由器xCAxCA路由器路由器CPUCPUxCA= HCA xCA= HCA 或或TCATCAl物理层：定义了多种速率的连接，目前物理层：定义了多种速率的连接，目前已有产品信号传输速率最高达已有产品信号传输速率最高达40Gb/ s40Gb/ sl链路层：链路层与传输层处在链路层：链路层与传输层处在 IBIB的核心的核心位置。提供了局部子系统中的信息包设位置。提供了局部子系统中的信息包设计、点到点连接操作以及包交换等功能计、点到点连接操作以及包交换等功能l网络层：提供了信息包从一个子结构到网络层：提供了信息包从

19、一个子结构到另外一个子结构的路由机制另外一个子结构的路由机制l传输层：传输层主要负责信息包的按序传输层：传输层主要负责信息包的按序分发、分割、通道多路技术以及传输服分发、分割、通道多路技术以及传输服务等；也负责处理数据包分段的发送、务等；也负责处理数据包分段的发送、接收和重组接收和重组l应用层：提供连接的打开和关闭，并提应用层：提供连接的打开和关闭，并提供安全性。供安全性。物理层物理层链路层网络层网络层传输层传输层应用层应用层5 5层结构层结构IB作为存储协议已经有了很大的发展，存储协议SRP（SCSI RDMA Protocol）、iSER（iSCSI RDMA）已经成为IETF标准协议。基

20、于infiniband的SRP和iSER产品无论是性能还是结构，都要远优于传统FC网络，IB成为FC的有力竞争者。（1）直连式存储）直连式存储(Direct Attached Storage)存储设备与主机的操作系统紧密相连，所有的存储操作都要通过服务器CPU的 I/O操作来完成。（2）网络存储设备）网络存储设备(Network Attached Storage) NAS是一种专业的网络文件存储及文件备份设备，它是基于LAN（局域网）的，按照TCP/IP协议进行通信，以文件的I/O方式进行数据传输。（3）存储区域网）存储区域网(Storage Area Networks)SAN存储区域网是独立

21、于服务器网络系统之外的高速光纤存储网络，这种网络采用高速光纤通道作为传输体，以SCSI-3协议作为存储访问协议将存储系统网络化，实现真正的高速共享存储。FCoEIBObject StorageDeviceCloud Storage1.支持高性能支持高性能SAN共享的分布式文件系统共享的分布式文件系统IBM公司在GPFS的基础之上发展进化来的Storage Tank以及基于Storage Tank的TotalStorage SAN File System，将分布式文件系统的设计理念和系统架构向前推进了一步，是目前应用范围较广的一个系统。Parallel Cluster File System B

22、ased on Shared Disk (SAN) ModelCluster fabric-interconnected nodes (IP, SAN, )Shared disk - all data and metadata on fabric-attached diskParallel - data and metadata flows from all of the nodes to all of the disks in parallel under control of distributed lock manager.GPFS File System NodesSwitching

23、fabric(System or storage area network)Shared disks(SAN-attached or network block device)2.支持集群运算的对象存储系统支持集群运算的对象存储系统面向对象存储在构建跨平台的网络存储系统方面具有优势，它集中了文件级访问接口的共享能力和块级访问的高性能的优点。Lustre是HP，Intel，Cluster File System公司联合美国能源部开发的Linux集群并行文件系统。它来源于卡耐基梅隆大学的NASD项目研究工作。Lustre文件系统在2003年推出了了1.0版本。它是第一个基于对象存储设备的、开源的并

24、行文件系统。Lustre是一个透明的全局文件系统，客户端可以透明地访问集群文件系统中的数据，而无需知道这些数据的存储位置。10,000s10s of nodes1,000s3.支持互联网应用的分布式文件系统支持互联网应用的分布式文件系统Google File System(GFS)。首先，面对PB级的海量存储需求，传统的SAN在容量和性能的扩展方面存在瓶颈；此外，互联网服务要求存储架构保持极低的成本。GFS不仅突破了SAN的性能瓶颈，而且可以实现性能与容量的线性扩展。GFS的设计架构的设计架构一个GFS集群包含一个主服务器和多个块服务器，并被多个客户端访问。文件分成固定大小的“块”。每个块在创

25、建时都由主服务器分配一个固定不变的64位句柄唯一标识。块服务器把块作为Linux文件存储在本地磁盘上，并根据指定的块句柄和字节范围对数据块进行读写操作。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了的要求这样可以实现流的形式访问文件系统中的数据。HDFS是hadoop项目的一部分，而hadoop又是lucene的一部分。Hadoop作为一个开源项目，受到GoogleFS很大启发。Hadoop包括两个部分：Hadoop分布式文件系统（Hadoop Distributed File System，

26、HDFS）和MapReduce编程模型。HDFS为文件采用一种一次写多次读的访问模型，从而简化了数据一致性问题，使高吞吐率数据访问成为可能，一些Map/Reduce应用和网页抓取程序在这种访问模型下表现完美。SecondaryNameNodeClientHDFS ArchitectureNameNodeDataNodes1. filename2. BlckId, DataNodeso3.Read dataCluster MembershipCluster MembershipNameNode : Maps a file to a file-id and list of MapNodesData

27、Node : Maps a block-id to a physical location on diskSecondaryNameNode: Periodic merge of Transaction log 云存储，是一种新型的网络在线存储。云存储的运营方为用户提供巨大的存储资源池，为用户提供数据存储服务；而用户只需要按需购买一定的存储容量和服务级别，便可以将数据存储到云存储的虚拟存储池中。Cloud storage is simply the delivery of virtualized storage on demand. The formal term we propose for

28、 this is Data Storage as a Service (DaaS). 典型的云存储系统包括Amazon的S3、CleverSafe 的Dispersed Storage System 、EMC 的Atoms。Data Storage as a Service Delivery of virtualized storage on demand. 1.云存储架构云存储架构云存储系统由多个存储设备组成，通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。云存储的核心是应用软件与存储设备相结合，通过应

29、用软件来实现存储设备向存储服务的转变。云存储通过添加标准硬件和共享标准网络来实现，因此，很容易扩展云容量和性能。云存储架构方法采用了松弛耦合非对称架构，利用一个数据路径之外的中央元数据控制服务器集中元数据存储和控制操作，这种设计旨在解决大容量存储部署的需求。2.云存储类型云存储类型 公有云私有云混杂云2.云存储标准云存储标准为了强化云存储与数据管理的协同工作，SNIA推出了CDMI（Cloud Data Management Interface）接口标准。云数据管理CDMI同时支持块和文件存储客户端。块和文件的底层存储空间被抽象化为容器。也可以抽象化为简单的表存储空间以供数据库操作。CDMI接

30、口还支持对象抽象化，将对象看作是可以通过URI（统一资源ID）来访问的独一无二的项目，从而将存储与互联网紧密联系在一起。CDMI这种基于对象的新型存储标准，可以实现数据扁平化，操作简单化、共享有效化。虽然数据存储系统具有很强的容错功能和高可靠性，存储在存储系统上的数据具有很高的可用性，但一旦发生灾难，会造成大量数据丢失和业务中断。为了保障数据资料的安全和业务的持续性，必须进行数据备份容灾。备份是指用户为应用系统产生的重要数据制作一份或者多份拷贝，以增强数据的安全性。容灾是指在生产系统以外建立的冗余系统，当生产系统受到破坏时，冗余系统可以接管用户正常的业务，达到业务不间断的目的。备份技术种类：数

31、据本地保护（在同一套存储系统内实现数据保护）数据快照数据镜像基于磁带库的数据备份物理磁带库虚拟磁带库基于磁盘阵列技术的数据备份远程复制Host-Based备份架构LAN-Based备份架构LAN-Free备份架构Server-Less备份架构相关技术数据恢复备份策略磁带与磁带库虚拟磁带库压缩技术1949 年 ，磁带从实验室诞生 1952 年，第一个磁带单元问世1974 年，首部自动化磁带存储设备-3590 大容量磁带子系统（MSS）诞生。 1984 年 ，首款方形磁带盒代替传统的圆轴磁带1996年SONY推出AIT磁带技术20世纪90年代末，推出LTO磁带技术2001年推出Super DLT（

32、SDLT）格式2002年SONY推出S-AIT技术，单盘容量500GB2003年推出第二代LTO产品，单盘容量200GB;推出第三代SDLT产品-SDLT6002005年推出第三代LTO产品，单盘容量400GB;2007年推出第四代LTO产品，单盘容量800GB;2010年推出第五代LTO产品，单盘容量1.5TB;数据备份以SAN为中心的高速、大容量数据备份 LANFree、Serverless和远程备份等 主要应用行业：政府、银行、电信、保险、电力等大型企业和单位传统的基于LAN的数据备份 数据量较少，对性能要求不高 主要应用行业：中小企业、政府机构，进行数据级的灾难恢复：防止不可抗力导致的

33、数据丢失海量数据归档存储数据需要归档存储：降低存储成本，解决数据长期存储磁盘存储空间不足、可靠性差的问题，主要应用行业 大型国家单位、科研院所、广播电视、政府军队、石油物理勘探、互联网数据中心、医疗影像等 数据类型多为图形图像、数字化音视频等多媒体文件Tape DriveTape DriveTape DriveRoboticArmBarcode ReaderTape DriveMail SlotI/O InterfaceI/O InterfaceVTLVTLEmulates a tape libraryEmulates a tape libraryFibre Fibre Channel or

34、Channel or iSCSIiSCSIiSCSI-based RAID iSCSI-based RAID Storage Storage (SATA(SATA) )Backup Media Backup Media ServerServer虚拟磁带库(VTL)是在磁盘存储系统上对磁带库的模拟，以磁盘为基础的方法对速度和可靠性有了很大的提升和改进，并且VTL还和现有的备份软件以及备份流程所兼容。CDP概念概念: “连续数据保护是一套方法，它可以捕获或跟踪数据的变化，并将其在生产数据之外独立存放，以确保数据可以恢复到过去的任意时间点。连续数据保护系统可以基于块、文件或应用实现，可以为恢复对象提

35、供足够细的恢复粒度，实现几乎无限多的恢复时间点” SNIA-DMF-CDPCDP的实现方法：的实现方法： CDP可以通过硬件或者软件来实现。基于软件的CDP一般是通过所保护的每一个服务器上的agent来实现(比如数据库服务器)。基于硬件的CDP实现通常不需要agents，只需要相应的硬件即可。 RecoverPoint 拆分器驱动程序拆分器驱动程序将服务器写操作镜像到 RecoverPoint 应用装置位于主机或结构中 RecoverPoint 应用装置应用装置管理资源和排定资源优先级将更改写入 CDP 日志将更改分发到目标 日志日志跟踪对每个受保护 LUN 的所有数据更改利用书签进行有应用程

36、序意识的恢复用于实时数据更新的存储库从现有的 SAN LUN 中调配资源动态压缩，以节约存储 支持异构环境支持异构环境可与 EMC 和第三方存储产品配合使用结构拆分器支持 Brocade SAS 和 Cisco SANTap应用程序应用程序服务器服务器数据库数据库服务器服务器消息消息服务器服务器文件和文件和打印服务器打印服务器SAN磁盘磁盘系统系统本地本地 CDP 日志日志EMC第三方第三方虚拟磁带库（VTL）、连续数据保护（CDP）和重复数据删除（de-duplication）这些技术将改变备份的方式，还有一些厂商选择云存储平台作为备份介质。重复数据删除（冗余数据删除）文件级重复数据删除技术

37、通常也称为单实例存储（SIS），根据索引检查需要备份或归档的文件的属性，并与已存储的文件进行比较。如果没有相同文件，就将其存储，并更新索引；否则，仅存入指针，指向已存在的文件。因此，同一文件只保存了一个实例。 块级重复数据删除技术在子文件的级别上运行，文件通常被分割成几部分条带或块，并将这些部分与之前存储的信息予以比较，检查是否存在冗余。 从容灾系统建设最终达到的效果出发，依据对系统的保护程度一般可分为数据级容灾和应用级容灾。数据容灾就是指建立一个异地的数据系统，该系统是本地关键应用数据的一个实时复制。应用容灾是在数据容灾的基础上，在异地建立一套完整的与本地生产系统相当的备份应用系统。基于存储

38、子系统数据复制基于存储网络层数据复制基于卷管理器数据复制基于应用数据复制o技术特点n数据在线状态n需要配合时间点技术抵御逻辑错误o抵御大灾难需要n远程数据传输o适合业务n数据很重要o远程应用集群基础MirrorView / SynchronousRPO 零 两个映像完全相同 有距离限制 高网络带宽 1 个主站点到 1 个或 2 个辅助站点有距离限制有距离限制主站点主站点辅助站点辅助站点1234MirrorView / AsynchronousRPO 30 分钟至数小时 目标定期更新 无距离限制 会话失败时辅助站点有可重启拷贝 适合于较低的带宽，带宽最多占用 100Mbps 1 主站点到 1 个

39、辅助站点主站点主站点辅助站点辅助站点无距离限制无距离限制12435SAN Copy RPO 几小时到数天 在不同分层以及在 CLARiiON 和经鉴定的第三方阵列之间移动数据 带应用程序协调的灾难恢复，旨在在辅助站点建立一个可重启拷贝 可用于增量或完整拷贝 无距离限制 1 个源到多个目标（多达 100 个）源源辅助站点辅助站点无距离限制无距离限制123HA集群具有容错和备份机制，主节点失效后，备份节点能够立即接管相关资源，继续提供服务。HA集群主要用于网络服务，数据库系统，以及关键业务系统等。主要技术架构11 或 N1OSBased 或 ApplicationBased全冗余架构实现集群冗余服

40、务器、冗余应用、冗余信号传输路径、冗余数据访问路径、切换是关键应用切换数据切换访问地址切换HA集群最典型的结构是（1）两台主机在运行过程中，两个节点之间通过心跳线（串口，网线）相互发送报文来告诉对方自己当前的运行状态。（2）如果在指定时间内未受到对方发送的报文，就认为对方主机运行不正常（故障）。（3）备机上的HA软件模块就会立即在自己机器上启动故障机上的应用程序，将故障机的应用程序及资源（IP地址和磁盘空间等）接管过来，使故障机上的应用在本机上继续运行。HA集群系统有和两种存储模式。技术方案技术方案保护方式保护方式恢复点目标恢复点目标（RPO）恢复时间目标恢复时间目标（RTO）高可用性减少停机

41、时间本地、需要配合其他技术实现灾难恢复备份/恢复离线数据周天小时周天小时复制/恢复在线数据分钟秒天小时连续数据保护在线数据分钟秒小时分钟秒Tier7-接近零或是零数据丢失，远程数据镜像，并且业务环境可进行高自动化的业务接管Tier6-接近零或是零数据丢失，远程数据镜像保证数据的完整性和一致性Tier5-软件级的，两地点-两阶段提交（交易完整性）Tier4-批量/在线的数据库镜像或日志的传输，或重复的时间点拷贝Tier3-电子链接传输Tier2-PTAM卡车运送+热备份站点Tier1-PTAM开车运送访问专门的远程容灾中心可用的备份中心时间点备份15分钟1-4小时4-8小时8-12小时12-16

42、小时24小时好几天恢复需要的时间（RTO）费用备份是保证数据安全为目的以副本的形式保存，仅仅当数据损坏时通过备份副本进行数据恢复；而归档是提供数据本身的长期保存外，还需要进行数据的访问。备份只是复制数据，原始数据仍然保留；而归档是迁移数据，原始数据可以删除以释放空间。归档与备份最重要的区别在于归档的分类与搜索。备份采用一定的备份策略将所需备份数据进行备份操作，所有数据对于备份来说都是一样的，没有类型的区别，而对于归档来说，是对数据长期的保存基础上还需要提供数据的访问，对于数据采用分类的方式组织保持，归档按照数据的元数据对数据加以搜索，将大大提高可访问性。备份是将业务数据复制、保存到其他存储介质

43、上，以保障业务系统出现数据丢失时可以迅速进行数据恢复。存档则主要关注长时间地有效保存某些特殊的或者重要的数据。n信息的主要拷贝从 SAN 或 NAS 系统移动到优化的在线存档中n保留期通常是长期（亦即 几年或几十年）n存档累积了大量的对象（随着时间推移累积了数十亿个）n可以用于满足公司治理法或管理法规关于强制保留部分或全部存档数据（35% 管控数据，65% 非管控数据）的要求硬件基于 Centera 的解决方案专门为存档而设计使用对象级的元数据以实现对存档信息优化的搜索、检索和管理软件EMC EmailXtenderEMC DiskXtenderEMC Legato 服务QuikStartz

44、EmailXtender 服务带来的好处有保证和可确认的存档电子邮件真实性消除了重复能经受技术变化的考验自我管理、自我配置和自我康复解决方案解决方案示例体系结构示例体系结构对象级的存档存储使对象级的存档存储使用元数据确保更好的用元数据确保更好的搜索、检索和管理搜索、检索和管理增强存档增强存档SAN网络EMC Centera邮箱和存档服务器邮箱和存档服务器1.3.1 SNIA共享存储模型SNIA的共享存储模型提供一个有用的框架，它方商有助于统一术语和描述模型，另方面也有助于理解高层应用、存储网络和存储设备之间的关系。SNIA共享存储模型定义的 4个层次，即存储设备、块聚合层、文件/记录层和应用。

45、其中，文件/记录层又包括数据库和文件系统，存储设备和块聚合层加在一起又被称作块层。1.文件文件/记录层记录层文件/记录层由数据库和文件系统构成。数据库使用记录格式作为处理单元，而大多数的其他应用则普遍使用文件作为处理单元。文件/记录层把数据库记录和文件映射到存储设备的面向块的卷。数据库系统通过表和表空间把一个或多个记录映射到卷，即 记录组 表 表空间 卷同样地，文件系统借助文件把多个字节映射到卷，即: 字节 - 文件 - 卷文件/记录层的功能可以在不同的点上实现：(1)全部在主机上 在这种情况下，文件/记录层完全在主机上实现。数据库和面向主机的文件系统就是以这种方式工作的。(2)既有客户成分也

46、有服务器成分的实现 文件/记录层也可以用分布式方式实现。NFS 或 就是以这种方式工作的。在这种情况下，功能被分布到客户机和服务器上。2.块层块层无论记录还是文件都以连续的数据字节的方式存储到磁盘上，这些连续的数据字节称作数据块 (block)。把数据块来跟记录或文件相关联的功能由块聚合层实现，块聚合是一种典型的存储虚拟化。块聚合把物理的块或块向量聚合成逻辑的块或块向量。块聚合可以用于多种不同的目的，如：（1）卷管理 卷管理的典型任务是聚合多个小的块向量形成一个大的块向量。（2）条块 物理设备按一定大小划分为条块，不同存储设备的物理块被聚合成一个卷。这样做可以将负载分布到多个物理存储设备上，增

47、加读和写操作的I/O 吞吐量。（3）冗余 为了预防物理数据存储设备的失效，可以采用RAID 和远程镜像。块层和块聚合功能可以在共享存储环境的不同点上实现：（1）在主机上 在主机上的块聚合功能可以在逻辑卷管理（LVM：logical Volume Management）软件中，也可以实现在设备驱动程序中或主机总线适配卡中。（2）在存储网络中 在存储网络中的块聚合功能可以放在存储网络的连接设备中，也可以放在存储网络中的特别的服务器中。（3）在存储设备中 块聚合功能也可以用诸如RAID或卷管理功能实现在存储设备中，存储设备包括磁盘、磁带等。.应用层应用层应用也作为模型的一个层次是为了说明它们与底层的

48、存储设施的联系。备份、复制、快照、HA、归档、云存储都是存储应用，与存储设施有密切的联系。SCSI全称是Small Computer System Interface，小型计算机接口。SCSI是1979年由美国的施加特（Shugart）公司研发并制订，由美国国家标准协会（ANSI）公布的接口标准。SCSI协议的主要功能是在主机和存储设备之间传送命令、状态和块数据。SCSI支持多驱动器类型，排队，多任务，缓存，自动驱动器ID识别，双向接口操作等内容。SCSI协议不断发展，成为各类存储相关技术的基础。SCSI Architecture Model（SAM-3）是美国国家信息技术委员会所制定的T10

49、标准，定义了SCSI的体系架构，为SCSI的实现提供了一个层次化的模型。SAM-3框架包括SCSI驱动器软件，物理互联，命令实现以及存储管理。这些内容在一起为SCSI的互操作性和扩展性提供了可能。Block Commands(e.g., disk drive)(SBC, SBC-2) Reduced Block Commands (e.g., disk drive)(RBC) Stream Commands (e.g., tape drive) (SSC, SSC-2, SSC-3) Media Changer Commands (e.g., jukebox) (SMC, SMC-2) Mul

50、ti-Media Commands (e.g., DVD) (MMC, MMC-2, MMC-3, MMC-4)Controller Commands (e.g., RAID) (SCC-2)Object-Based Storage Device(OSD)ManagementServer Commands(MSC)Primary Commands (for all devices)(SPC, SPC-2, SPC-3)SCSI Architecture Model (SAM, SAM-2, SAM-3)SCSI Parallel Interface(SPI-2, SPI-3, SPI-4, SPI-5Related standards and technical reports (SDV, PIP, SSM, SSM-2, EPI)Serial Bus P