存储基本原理

.,存储阵列的诞生及发展,存储技术常用名词术语及存储配件,1,2,目录,存储协议及存储架构介绍,3,存储高级软件功能,4,.,2,IT技术的发展趋势,PC,C/S,mainframe,internet,Cloudcomputing,Before,NOW,.,3,从世界第一款磁盘驱动器说起,世界上第一款磁盘驱动器(magneticdrive)RAMAC（名为IBM305）是IBM在1956年所创，重达一吨（内含50片24英寸硬盘），只能容纳5MB的数据。,“从石器时代到存储设备（FromStoneAgetoStorAge），硬盘发展至今，简直就像从石器时代走到现在。”,.,4,信息化数据发展,.,5,IT技术的发展趋势,数据如何存储？,数据如何保护？,数据如何高效使用？,.,6,独立存储的诞生,存储系统是整个IT系统的基石，是IT技术赖以存在和发挥效能的基础平台。早先的存储形式是存储设备（通常是磁盘）与应用服务器其他硬件直接安装于同一个机箱之内，并且该存储设备是给本台应用服务器独占使用的。缺点：1、随着服务器数量的增多，磁盘数量也在增加，且分散在不同的服务器上，查看每一个磁盘的运行状况都需要到不同的应用服务器上去查看。2、更换磁盘也需要拆开服务器，中断应用。,.,7,真正的企业级存储,7,将磁盘从服务器中脱离出来，集中到一起管理商业、大容量、为企业解决信息时代海量数据的存储才是真正的存储,.,8,存储发展历史,数据脱离Server，存储单独发展,数据的集中管理需求，SAN出现,非结构化数据的增长需求，NetApp推出第一款NAS,IP技术的成熟，低成本IPSAN出现,存储产品的发展历程就是数据保存、应用发展的过程,IBM推出第一款HDD,NAS与SAN结合，简化管理提高效率,.,存储阵列的诞生及发展,存储技术常用名词术语及存储配件,1,2,目录,存储协议及存储架构介绍,3,存储高级软件功能,4,.,10,存储RAID定义,RAID（RedundantArrayofIndependentDisks）即独立磁盘冗余阵列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而提高了硬盘的读写性能和数据安全性,.,11,RAID诞生的因素,.,12,RAID基本概念条带化,.,13,RAID基本概念校验,奇偶校验（XOR）算法,A0值,A1值,P值,0,0,0,0,1,1,1,0,1,1,1,0,数据A0和A1通过异或运算（相同为0，相异为1）得到校验位P,.,14,RAID基本概念磁盘数据重建,数据盘1,数据盘2,数据盘3,数据校验盘,A1,A2,P,XOR,XOR,A0,A1,A2,P,.,15,RAID基本概念物理卷、逻辑卷,RAID10,RAID5,物理卷,物理卷,逻辑卷,逻辑卷,LUN2,LUN3,单个物理卷上创建1个逻辑卷,单个物理卷上创建2个逻辑卷,RAID由几个硬盘组成，从整体上看相当于一个物理卷在物理卷的基础上可以按照指定容量创建一个或多个逻辑卷，通过LUN（LogicUnitNumber）来标识,.,16,RAID基本概念RAID、逻辑卷,物理卷（RAID组）,逻辑卷（LV）,物理磁盘,LUN1,LUN2,LUN3,分割,.,17,RAID基本概念RAID0,1,2,3,4,5,6,2块磁盘,.,18,RAID基本概念RAID1,1,2,3,1,2,3,2块磁盘,.,19,RAID基本概念RAID3,1,2,3,4,5,6,P2,P1,P0,XOR,P2,3块磁盘,.,20,RAID基本概念RAID5,3块磁盘,1,2,3,4,5,6,P0,P1,P2,P2,XOR,.,21,RAID基本概念RAID6,4块磁盘,1,3,5,6,P2,XOR,RAID6,GE变换+XOR,2,4,Q2,Q0,Q1,P1,P0,P2,.,22,RAID基本概念RAID0+1,4块磁盘,7,5,3,1,8,6,4,2,7,5,3,1,8,6,4,2,Disk1,Disk2,Disk3,Disk4,RAID0,RAID0,1,2,1,2,.,.,.,23,RAID基本概念RAID级别的选择,性能,可靠性,成本,RAID0,RAID6,RAID5（3）,RAID10,RAID1,.,24,RAID基本概念RAID硬盘故障处理,热备：HotSpare定义：当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性全局式：备用硬盘为系统中所有的冗余RAID组共享专用式：备用硬盘为系统中某一组冗余RAID组专用,RAID5,RAID5,磁盘阵列,.,25,传统RAID数据保护方式,磁盘组织管理通过RAID组卷空间只能分布在RAID组中的磁盘上性能受磁盘数目限制热备盘直到硬盘故障的时候参与工作热备的空间总是处于备用状态,24-drivesystemwith(2)10-drivegroups(8+2)and(4)hotspares,.,26,传统RAID数据保护方式,数据重建到热备盘上热备盘需要承担数据重建的所有写操作成为性能瓶颈数据重建只能依序进行，一次一个数据条带此RAID组上所有的数据访问都会受到影响,24-drivesystemwith(2)10-drivegroups(8+2)and(4)hotspares,.,27,动态磁盘池DDPVolumes,每一个卷的数据，保护信息和热备空间均匀分布在磁盘池中的所有硬盘上所有的磁盘都是活动状态，无备用状态热备空间对所有的卷都有保护作用,24-drivesystemwithsingle24-drivepool,.,28,动态磁盘池当发生磁盘故障时,Dataisreconstructedthroughoutthediskpool所有的硬盘都会参与数据重写操作数据重建多条带并行处理10倍速度完成数据重建,24-drivesystemwithsingle24-drivepool,.,29,动态磁盘池特点,DDP动态分布数据、热备空间数据保护信息保存在所有磁盘池中所有硬盘上智能算法实现硬盘的分片管理硬盘分片根据性能平衡需要动态实现重建、再分配快速实现硬盘故障的恢复所有硬盘参与数据重建数据重建对系统性能影响极小,.,30,动态磁盘池特点,系统提供持续不受影响的性能系统性能保持在“绿色区域”硬盘故障对系统的性能影响最小显著加快系统恢复时间10倍于传统RAID的恢复速度加速数据重建磁盘池规避硬盘热点所有的卷空间分布在磁盘池中全部的硬盘中降低硬盘故障率动态的数据分布和再分配由后台持续进行,RAIDRebuild,DDP,.,31,磁盘阵列,由一个或者多个磁盘子系统中的磁盘组成的磁盘集合，这些磁盘由控制软件组合到一起并统一控制。自带RAID控制器的盘柜就叫做磁盘阵列或者盘阵。控制软件将磁盘集合的总磁盘存储容量作为一个或者多个虚拟磁盘提供给主机。,.,32,JBOD,最初用来表示一个没有控制软件提供协调控制的磁盘集合。,阵列控制器扩展柜,SAS、FC线缆,带有控制单元的阵列,磁盘扩展接口,磁盘扩展接口,.,33,外置独立存储系统的配件组成,Title,控制器,硬盘,风扇,Cache,电源,BBU,.,34,存储重要组成硬盘,硬盘的主要指标,容量：指硬盘能存储的数据量大小，以字节为基本单位单碟容量：硬盘都是由一个或几个盘片组成的，单碟容量就是指包括正反两面在内的单个盘片的总容量转速：即主轴马达转动速度，单位为RPM（RoundPerMinute)，即每分钟盘片转动圈数缓存：是硬盘控制器上的一块内存芯片，具有极快的存取速度，它是硬盘内部盘片和外部接口之间的缓冲器,硬盘的读写速度同硬盘的转速成正比更高的转速可缩短硬盘的实际读写时间,转速对磁盘性能的影响,.,35,企业级硬盘与桌面级硬盘的区别,.,36,各类接口,磁盘扩展接口,管理接口,主机接口,阵列,.,37,关于存储磁盘阵列性能,性能不仅仅是IOPS，从存储系统的角度，有三个尺度可以来衡量存储系统的性能：IOPS(Input/OutputPerSecond)IOPS即每秒的输入输出量(或读写次数)，IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的I/O请求数量为单位，I/O请求通常为读或写数据操作请求。随机读写频繁的应用，如OLTP(OnlineTransactionProcessing)，IOPS是关键衡量指标。Bandwidth-带宽：指单位时间内可以成功传输的数据数量。对于大量顺序读写的应用，如VOD(VideoOnDemand)，则更关注吞吐量指标。ResponseTime-响应时间，通常与控制器与硬盘类型相关HDS：我们有权威的SPC数据，证明我们的性能。EMC：SPC的测试标准没有考虑规定许多对存储性能测试至关重要的因素，SPC平台并不能代表客户的实际应用。用户：把我的应用测了再说！,.,38,关于存储磁盘阵列性能,应用访问模式,驱动器SED考虑,.,39,高可靠性（HighAvailability）,经常听到五个“9”的标准，什么是五个“9”？五个“9”意味着什么？,计算方法A(Availability)=MTBF/(MTBF+MTTR)Downtime=525600(1-A)mins/yearAvailability：可靠性MTBF：平均无故障时间MTTR：平均故障恢复时间Downtime：宕机时间,.,40,灾备衡量指标,RTO：（RecoveryTimeObject，恢复时间目标）是指信息系统从灾难状态恢复到可运行状态所需的时间，用来衡量容灾系统的业务恢复能力,RPO（RecoveryPointTime，恢复点目标）是指业务系统所允许的在灾难过程中的最大数据丢失量，用来衡量容灾系统的数据冗余备份能力,.,41,数据恢复时间及数据保护要求,恢复时间,15Min.,1-4Hr.,4-8Hr.,8-12Hr.,12-16Hr.,24Hr.,Days,Tier4在线数据库映射或日志时间点副本,以及磁盘快照,Tier3电子传送,Tier1异地磁带恢复,Tier2异地磁带恢复+hot中心,基于时间点备份,活动,异地,单独热备远端,成本,Tier7接近0或0数据丢失:基于综合的、商业广泛使用的高度自动化远程磁盘镜像和数据共享,Tier6接近0或0数据丢失：远程磁盘镜像,有帮助数据整合和一致性,Tier5异地和本地同时工作,并管理彼此的备份数据,典型,4小时恢复,4-8小时恢复,1天恢复,1周时间恢复,直到一天恢复,.,42,磁带设备,磁带设备的类型,磁带机,自动加载机,磁带库,具有特殊数据存储格式、数据校验功能的”录音机”设备,通过一个简单的自动传送装置移动磁带的自动装载设备,通过机械手来抓取磁带，支持广泛的连接、性能高效、拥有海纳百川容量的智能备份归档设备,.,43,磁带库的组成,磁带库的组成,带库组成库体磁带驱动器磁带磁带标签清洗带清洗带标签,.,44,磁带库重要指标,磁带库的主要指标,备份容量（TB）磁带类型槽位备份速率（GB/hr）磁带驱动器类型磁带驱动器个数接口类型SCSI、FC、iSCSI、SAS其他特性级联扩展分区.,.,45,备份概念备份策略,.,46,备份概念LAN备份,LAN,Win,Lin,备份服务器,存储,客户端,主模块,服务器,存储,备份软件,备份用户通过通过LAN共享和备份服务器相连的备份设备,对备份工作集中管理,.,47,备份概念LAN-FREE备份,LAN,SAN,Win,Lin,备份服务器,存储,带库,引入SAN，提高数据块的传输速率,备份数据流和业务数据流的分离,容易扩展备份容量,.,48,D2D2T备份模式,备份服务器备份软件,磁带库,离线归档,在线存储系统,虚拟磁带库或近线存储系统,.,存储阵列的诞生及发展,存储技术常用名词术语及存储配件,1,2,目录,存储协议及存储架构介绍,3,存储高级软件功能,4,.,50,SCSI协议概念,LUN1,常见SCSI接口有68、80针,SCSI（SmallComputerSystemInterface，小型计算机系统接口）是一种为小型机研制的接口技术，用于主机与外部设备之间的连接,LUN0,LUN0,.,51,SAS技术及优势,串行连接的SCSI一种SCSI接口标准以用于将HBA和RAID控制器连接到SAS和SATA磁盘，磁带驱动器及其它SAS设备。,兼容SATA协议，支持SATA硬盘双端口设计，增加了系统的稳定性全双工点对点传输模式，可达到24Gb/s全双工的数据传输：SAS所采用SCSI协议是全双工的，通过将一路数据所需的流控信息与反向传送的数据混合在一起，从而能在同样的数据线上实现全双工。点对点的传输：避免共享总线常有的瓶颈效应，点对点的传输可提供端点间固定的带宽。SAS协议带宽为6Gb/s，宽端口链路聚合后带宽可达24Gb/s，目前SAS3.0技术可达带宽12Gb/s。通过SAS交换机构建SAS存储网络,.,52,FC协议,光纤和铜制电缆都可以作为FC的传输介质从分层协议栈的角度看，FC仅仅包含了从物理层到传输层的规范。它的上层定义了把其他协议作为应用层协议进行封装的接口，如SCSI或IP协议,FC（FibreChannel），是一种高速网络技术标准（T11），主要应用于SAN（存储局域网）,.,53,iSCSI协议概念,iSCSI（互联网小型计算机系统接口）是一种在TCP/IP上进行数据块传输的标准。iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。iSCSISAN的优势高可用性在服务器和存储资源之间建立起多条通道，即使一条线路断开仍能保持系统连接可扩展性采用交换机式的结构，IT管理人员不必中止应用即可完成存储容量的扩充最大程度地保护存储资源投入能够跨平台共享硬盘和磁带设备采用我们熟悉的以太网技术,.,54,iSCSI传输协议,.,55,网络共享协议NFS,网络文件系统是FreeBSD支持的文件系统中的一种，也被称为NFS.NFS允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序可以象访问本地文件一样访问远端系统上的文件NFS至少有两个主要部分：一台服务器和一台（或者更多）客户机。客户机远程访问存放在服务器上的数据。为了正常工作，一些进程需要被配置并运行注：NFS由Sunmicrosystems公司开发。是一种网络文件系统，并且是unix/linux操作系统的协议,.,56,网络共享协议CIFS,CIFS使程序可以访问远程Internet计算机上的文件并要求此计算机的服务。CIFS使用客户/服务器模式。客户程序请求远在服务器上的服务器程序为它提供服务。服务器获得请求并返回响应CIFS是公共的或开放的SMB协议版本，并由Microsoft使用。SMB协议现在是局域网上用于服务器文件访问和打印的协议象SMB协议一样，CIFS在高层运行，而不象TCP/IP协议那样运行在底层。CIFS可以看做是应用程序协议如文件传输协议和超文本传输协议的一个实现CIFS最典型的应用是Windows用户能够从“网上邻居”中找到网络中的其他主机并访问其中的共享文件夹,.,57,服务器,SAS卡,SAS线,存储,服务器在地理上比较分散,服务器与存储设备距离较短，服务器台数扩展低,不受外界网络影响，局域高速互联线路传输数据,“最初目的将数据从服务器内部解放出来，进行统一存储及管理”,.,58,存储区域网络(SAN)仅需20%的备用空间可立即按需提供存储容量SAN连接存储设备可以有效减少备用空间,直接连接存储(DAS)服务器直接连接可能有超过50%的存储设备闲置，以备扩容之需(空白空间)管理成本5至6倍于购买成本,“让我们的存储设备发挥更大作用”,NT,UNIX,NT,.,59,服务器,FC卡,FC线,存储,FC交换机,结构化及非结构化数据传输,存储空间的海量扩展,复杂网络环境,服务器台数未来不断扩展,.,60,SAN(StorageAreaNetwork),一种网络类型，其主要目的是支持计算机系统与存储单元之间和存储单元与存储单元之间的数据传输。SAN由通信基础架构（提供物理连接）和管理层（负责组织连接，存储单元和计算机系统来保证数据传输的安全性和稳定性）组成。术语SAN通常是指块I/O服务，而不是文件访问服务。由存储单元、存储设备，计算机系统，有时需要专用设备）和所有的控制软件构成的存储系统，各组成部分在过网络进行通信。SAN可以使用FibreChannel或者Gbit以太网在主机和存储之间实现互连，分别成为FCSAN和IPSAN。,.,61,FCSAN网络组成,服务器端的主机接口卡,光纤,光纤通道交换机,SFP模块,存储子系统,.,62,FCHBA卡,为服务器或客户机内部总线(PCI和SBUS等)提供与光纤通道网络的接口HBA软件驱动为操作系统提供所需存储信息对I/O进行操作I/O同时对正常请求进行控制铜/光介质支持(可能是双接口卡),.,63,FCSAN连接线及接口部件,光纤通道并不等于只使用光纤连接线铜缆和光纤连接线,8Gb使用LC接口(SFP),.,64,接口转换器,GBIC=小型串行到串行热交换模块,主要功能是提供相应介质接口(铜或光)4Gbit设备使用的GBIC叫做SmallFormFactorPlug-able(SFP)短波光GBIC或SFP最大500米长波激光GBIC或SFP最大10公里增强长波激光GBIC-最大80公里,铜GBIC光纤SFP光纤GBIC,.,65,光纤通道交换机,连接多个端口(8,16,32,64,128口)支持交换Fabric和传统loop设备8Gbit/秒和16Gbit/秒传输速率(自适应)全双工性能,使用cut-through路由算法交换机间提供8Gbit/秒逻辑干线合并拓扑结构自动协调,自动配置(自恢复)端到端性能监控,.,66,存储SAN区域网络,.,67,服务器,网卡,网线,存储,基于以太网的数据共享,非结构化文件级的数据传输,“当使用者提出存储数据文件共享需求时，需要借助某种介质架构通过网络共享协议进行数据的网络传输存储与共享访问”,.,68,NAS(NetworkAttachedStorage),NAS：NAS的所有IO操作都使用文件级的访问模式。文件IO是一个高层的请求，指定了要访问的文件，但没有指定文件的逻辑块地址。NAS优势：虽然NAS避免不了高昂的协议开销，但是NAS应用程序更趋向于在文件共享任务上呈现最高的价值，文件级的基于网络的锁机制提供了高级别的并发访问保护。NAS的2个主要性能评价指标是：OPS和ORTOPS(OperationsperSecond)每秒有多少个操作，是并发能力的指标ORT(OverallResponseTime)表示客户得到服务响应的快慢，单位是毫秒，这个数值越小越好,.,69,SAN+NAS统一存储架构,以太网,虚拟服务器,自动服务器优化,IP-SAN/FC-SAN灵活选择，应对对性能要求不同的业务部署,支持ftp、samba、nfs等文件共享协议及功能,.,存储阵列的诞生及发展,存储技术常用名词术语及存储配件,1,2,目录,存储协议及存储架构介绍,3,存储高级软件功能,4,.,71,恢复数据点,恢复时间点,磁带管理,虚拟磁带库,高可用&复制,归档储存,INSPUR技术,TapeBackups,E_Vaulting,Archiving,DiskBackups,HA,Snapshot,AsyncReplication,SyncReplication,Synchro-nization,SystemRecovery,DiskRestore,TapeRestore,恢复方法,保护方法,智能阵列&存储网络,存储功能,.,72,快照功能介绍,StorageSystem,BaseVolume要创建快照的基本卷,物理磁盘空间,基于时间点的卷的映像在逻辑上等同于一个物理copy,.,73,快照功能注意事项,存储卷属性,卷创建时要考虑容量分配可以比基本卷小(默认为基本卷的20，最小8MB)Metadata要占用部分空间可通过DVE进行扩展(DynamicVolumeExpansion)可配置告警阀值可配置仓储满时的响应仓储卷不能被映射，不是hostI/O一个快照一个仓储卷可位于和基本卷不同的卷组中,.,74,快照功能优势价值,主要用途：对磁带备份有益(减少备份窗口)在线(周期)备份基于时间点的备份映像数据挖掘和数据分析文件的快速恢复能力应用开发和测试,.,75,卷复制功能介绍,在存储子系统内部对源卷做时间点上的物理复制。,源卷：接收主机I/O卷、存储应用程序数据的卷。,目标卷：保持一份来自源卷的数据的copy的卷,TargetorCopyorClone,CopyPair,.,76,卷复制功能注意事项,源卷可以是标准卷，快照卷，复制目标卷复制过程中只读访问对源卷的写被挂起复制快照卷以保持对生产卷的正常I/O目标卷复制完后和元数据相同必须至少具有同源卷相同的容量可位于不同的卷组中复制过程中不能读写复制关系存在时只能读CopyPair联系源卷和目标卷CopyPair关系可以启动、停止和删除,.,77,卷复制价值,完全的时间点数据集合用于分析、数据挖掘或者测试提高Backup/restore备份时更高的应用性能消除对主卷的I/O争夺相比磁带备份更快的备份/恢复,存储系统,生产环境服务器,业务分析服务器,PiTClone,.,78,卷复制价值,重新部署数据以提高性能，可用性或者安全迁移到新的/更快/更大的驱动器移动卷到更理想的卷组中,.,79,快照及卷复制搭配使用,对快照卷进行复制创建一个完全的时间点克隆copy卷，而对基本卷的I/O访问不受影响。,.,80,快照及卷复制总结,快照/克隆是特定数据集的一个可用拷贝，该数据集包含源数据在拷贝点的静态映象；快照可以是数据再现的一个副本或者复制。快照和克隆的区别:快照比较节省空间，但依赖源数据；快照预留空间通常只占源数据的20%左右克隆是源数据在某个时间点的一份完整拷贝，所需空间和源数据一样大小，克隆不依赖源数据,.,81,快照及卷复制的价值总结,快速备份/恢复快照可迅速生成，并可用作传统备份和归档的数据源，缩小甚至消除了数据备份窗口快照/克隆存储在磁盘上，可以快速直接存取，大大提高数据恢复的速度保存多个恢复点目标基于磁盘的快照使存储设备有灵活和频繁的恢复点，可以快速通过不同时间点的快照恢复数据重新定义数据用途快照提供一份接近实况数据的拷贝，可供测试、归档、查询使用，既保护生产系统又赋予备份数据新的用途。,.,82,远程卷镜像,主卷：接收主机读写I/O,次要卷：接收主机读写I/O；接收来自主卷控制器的数据写I/O请求。,从一个存储系统到另一个存储系统的实时进行的卷复制。,.,83,同步远程卷镜像,主磁盘系统当数据被成功镜像时确认主机写,主要好处确保远程数据确实复制了本地数据,.,84,异步远程卷镜像,主要好处减少远程复制的延迟影响提高主站的I/O性能实现远程的有效复制(WAN),允许主磁盘系统可以在数据被成功镜像前确认一个主机写请求,.,85,基于磁盘阵列卷镜像容灾,主运营站点,数据库系统,远程数据同步/异