存储技术基础12

存储技术基础2013年12月存储发展历史1企业级存储分类2存储技术及常用术语介绍3存储高级功能介绍4备份基础知识5容灾基础知识6IT技术的发展趋势PCC/SmainframeinternetCloudcomputingNOWCloudcomputingisoneofthemaintechnologiestrendsinthefutureBeforeFuture存储发展历史Tape1920’sHDD1956DAS1970’sFCSAN1980’sNAS1993IPSAN2001数据脱离Server，存储单独发展数据的集中管理需求，SAN出现非结构化数据的增长需求，NetApp推出第一款NASIP技术的成熟，低成本IPSAN出现存储产品的发展历程就是数据保存、应用发展的过程IBM推出第一款HDD存储产品的趋势——统一存储简化存储管理，提高利用率将NAS和SAN结合起来IPSANFCSANNAS数据块文件统一存储通过整合降低成本业界小知识EMC在2010年推出VNX系列产品，首次推出统一存储的概念HDS在2012年跟进，推出HUS系列产品NetApp产品一直是统一存储的架构，但是不会概念包装，反被EMC抢了风头存储发展历史1企业级存储分类2存储技术及常用术语介绍3存储高级功能介绍4备份基础知识5容灾基础知识6企业级存储分类-按照基础架构DAS

(DirectAttachedStorage)直接挂接存储SAN

(StorageAreaNetwork)存储区域网络（包括FCSAN、IPSAN）NAS

(NetworkAttachedStorage)网络挂接存储DAS

传统部署存储的方式存储管理通过各自连接的主机进行其它主机访问存储必须通过LAN共享LAN直接附加内置存储磁带库JBODJBODSCSIFCSCSIFCRAIDRAIDSAN

计算（主机）、传输（交换机）、存储（RAID/Tape）分离主机可以访问任何存储设备，存储设备之间可以互访主机、存储设备可以独立扩展SAN磁带库存储阵列存储阵列LANFC/IPSANCombineFibreChannelandiSCSIConsolidatesmultipleapplicationtiersEthernetiSCSISANFCSAN+iSCSIFibreChannelProvideshighservicelevelsFCSANFibreChannel

SANIPSAN—iSCSIEnablesnetworkedstorageEthernetiSCSISANIPSANFCSAN和IP

SAN的比较通道技术不同—光纤协议/以太网iSCSI管理方式不同—复杂/简单传输效率不同—高效/低效连接距离不同—近距离/远距离运行成本不同—高昂/低廉存储系统发展的新趋势——统一存储不只可以提供FC+

IP

SAN还支持NAS连接能力NAS提供网络文件共享功能支持的协议包括CIFS、NFS异构平台文件数据的共享安装和使用较简单LAN网络服务(TCP/IP)卷管理文件系统CIFS/NFSRAID控制器disks管理NAS按体系结构分——双控制器结构，模块化存储LCCLCCFlashdrivesSASdrivesSPSSPSPowerSupplyPowerSupplyLANNear-LineSASdrivesVNXSPFailoverClientsOracleserversExchangeserversVNXUnifiedStorageApplicationserversSANFailoverVNXX-BladeVNXSPVNXOEFILEVNXOEBLOCKVirtualserversFC

iSFC

iSFCoEFCoEVNXX-BladeVNXX-BladeVNXX-BladeVNXX-BladeVNXX-BladeVNXX-BladeVNXX-Blade10GbEnet10GbEnet按体系结构分——多控制器结构EMCV-MAX由存储环形串接组成分布式缓存、多跳式访问、全局镜像本地缓存板命中反映迅速远程缓存板命中，跨越背板造成延迟存储发展历史1企业级存储分类2存储技术及常用术语介绍3存储高级功能介绍4备份基础知识5容灾基础知识6SCSISmallComputerSystemInterface(小型计算机系统接口)SCSI并不是专门为硬盘设计的接口，是一种广泛应用于小型机上的高速数据传输技术。SCSI接口具有应用范围广、多任务、带宽大、CPU占用率低，以及热插拔等优点，但较高的价格使得它很难如IDE硬盘般普及。SCSI硬盘主要应用于中、高端服务器和高档工作站中。iSCSI——InternetSmallComputerSystemInterface是IETF制订的一项标准，用于将SCSI数据块映射成以太网数据包从根本上说，iSCSI协议是一种跨过IP网络来传输潜伏时间短的SCSI数据块的方法iSCSISAN的优势高可用性

在服务器和存储资源之间建立起多条通道，即使一条线路断开仍能保持系统连接可扩展性

采用交换机式的结构，IT管理人员不必中止应用即可完成存储容量的扩充最大程度地保护存储资源投入能够跨平台共享硬盘和磁带设备采用我们熟悉的以太网技术FC——FibreChannel光纤和铜制电缆都可以作为FC的传输介质从分层协议栈的角度看，FC仅仅包含了从物理层到传输层的规范。它的上层定义了把其他协议作为应用层协议进行封装的接口，如SCSI或IP协议FC（FibreChannel），是一种高速网络技术标准（T11），主要应用于SAN（存储局域网）SAS——SerialAttachedSCSISAS是新一代的SCSI技术，和现在流行的SerialATA(SATA)硬盘相同，都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性，提供与串行ATA(SerialATA，缩写为SATA)硬盘的兼容性硬盘硬盘:是电脑上使用坚硬的旋转盘片为基础的非易失性（non-volatile）存储设备。它在平整的磁性表面存储和检索数字数据。信息通过离磁性表面很近的写头，由电磁流来改变极性方式被电磁流写到磁盘上RAID——RedundantArrayofIndependentDisk

独立冗余磁盘阵列冗余磁盘阵列技术诞生于1987年，由美国加州大学伯克利分校提出简单地解释，就是将N台硬盘通过RAIDController（分Hardware、Software）结合成虚拟单台大容量的硬盘使用RAID的采用为存储系统（或者服务器的内置存储）带来巨大利益，其中提高传输速率和提供容错功能是最大的优点NFS:NetworkFileSystem网络文件系统是FreeBSD支持的文件系统中的一种，也被称为NFS.NFS允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序可以象访问本地文件一样访问远端系统上的文件NFS至少有两个主要部分：一台服务器和一台（或者更多）客户机。客户机远程访问存放在服务器上的数据。为了正常工作，一些进程需要被配置并运行注：NFS由Sunmicrosystems公司开发。是一种网络文件系统，并且是unix/linux操作系统的协议CIFS：CommonInternetFileSystemCIFS使程序可以访问远程Internet计算机上的文件并要求此计算机的服务。CIFS使用客户/服务器模式。客户程序请求远在服务器上的服务器程序为它提供服务。服务器获得请求并返回响应CIFS是公共的或开放的SMB协议版本，并由Microsoft使用。SMB协议现在是局域网上用于服务器文件访问和打印的协议象SMB协议一样，CIFS在高层运行，而不象TCP/IP协议那样运行在底层。CIFS可以看做是应用程序协议如文件传输协议和超文本传输协议的一个实现CIFS最典型的应用是Windows用户能够从“网上邻居”中找到网络中的其他主机并访问其中的共享文件夹性能不仅仅是IOPS，从存储系统的角度，有三个尺度可以来衡量存储系统的性能：Throughput(IOPS)-处理能力或吞吐量Bandwidth-带宽ResponseTime-响应时间HDS：我们有权威的SPC数据，证明我们的性能。EMC：SPC的测试标准没有考虑规定许多对存储性能测试至关重要的因素，SPC平台并不能代表客户的实际应用。用户：把我的应用测了再说！关于性能（Performance）高可靠性（High

Availability：HA）经常听到五个“9”的标准，什么是五个“9”？五个“9”意味着什么？9的个数%正常运行时间停机时间每年的停机时间1个990%.9.136天2个999%.99.0187小时3个999.9%.999.0018小时4个999.99%.9999.000152分钟5个999.999%.99999.000015.26分钟计算方法A(Availability)=MTBF/(MTBF+MTTR)Downtime=525600×(1-A)mins/yearAvailability：可靠性MTBF：平均无故障时间MTTR：平均故障恢复时间Downtime：宕机时间统一存储架构IPSANNAS以太网文件共享以太网iSCSISAN光纤通道SANSAN统一存储系统业务连续性保护(BusinessContinuity)对IT系统和业务数据进行保护主要分为两个方面A、面向运营保护及恢复的“本地”数据及业务保护(相同数据中心内保护)，它包括三个层次：

平台保护

数据备份

数据恢复B、面向灾难保护及恢复的“远程”数据及业务保护（园区内、同城或异地），它包括三个层次：

远程信息保护

远程自动处理

多数据中心保护存储发展历史1企业级存储分类2存储技术及常用术语介绍3存储高级功能介绍4备份基础知识5容灾基础知识6Snapshot/Clone

(/dictionary)Afullyusablecopyofadefinedcollectionofdatathatcontainsanimageofthedataasitappearedatthepointintimeatwhichthecopywasinitiated.Asnapshotmaybeeitheraduplicateorareplicateofthedataitrepresents.快照/克隆是特定数据集的一个可用拷贝，该数据集包含源数据在拷贝点的静态映象；快照可以是数据再现的一个副本或者复制。快照和克隆的区别:快照比较节省空间，但依赖源数据；快照预留空间通常只占源数据的20%左右克隆是源数据在某个时间点的一份完整拷贝，所需空间和源数据一样大小，克隆不依赖源数据快照和克隆快速备份/恢复快照可迅速生成，并可用作传统备份和归档的数据源，缩小甚至消除了数据备份窗口快照/克隆存储在磁盘上，可以快速直接存取，大大提高数据恢复的速度

保存多个恢复点目标基于磁盘的快照使存储设备有灵活和频繁的恢复点，可以快速通过不同时间点的快照恢复数据

重新定义数据用途

快照提供一份接近实况数据的拷贝，可供测试、归档、查询使用，既保护生产系统又赋予备份数据新的用途。快照和克隆的价值及分类Ø全拷贝快照——克隆Ø分离镜像（Splittingamirror）Ø差分快照Ø写即拷贝（CoW:CopyOnWrite)Ø写即重定向(RoW:RedirectOnWrite)Ø随机写(WA:WriteAnywhere)提高性能——数据自动分层（Tiering）第1层第2层第3层基于不断变化的需求自动移动和放置数据数据写入性能最高的第1层将活动频度较低的数据迁移到下面的分层如果活动频度提高，再迁回到上面的分层20%的数据占数据活动量的80%HDS

EMCHitachiDynamicTiering

FAST优化资源——虚拟资源调配逻辑应用程序用户视图公用存储池用户A10GB用户B10GB用户C10GB物理分配3GB3GB4GB将设备虚拟化到存储池仅分配需要使用的物理空间以杜绝浪费将“臃肿的”卷变为“精简的”卷优化存储性能易于创建易于分配易于管理HDS

EMCHitachiDynamicProvisioning

ThinProvisioning业务连续性——容灾(DisasterRecovery)HDS：TrueCopy/SyncEMC：MirrorView/SMirrorView/A同步方式：可以做到主/备中心磁盘阵列同步地进行数据更新，不会造成数据丢失。同步方式对系统要求高，通常在近距离范围内（实际用户部署多在35KM左右）异步方式：主/备中心磁盘阵列数据更新不同步，但对系统要求低，且对性能的影响通常较小，并且备份磁盘的距离和生产磁盘间的距离理论上没有限制（可以通过IP连接来实现数据的异步复制）存储发展历史1企业级存储分类2存储技术及常用术语介绍3存储高级功能介绍4备份基础知识5容灾基础知识6数据保护技术－备份LAN应用服务器备份服务器磁带库存储系统MasterServerSAN应用服务器

传统的备份是指利用备份软件把数据从磁盘备份到磁带进行离线保存

1.备份方式支持每次针对增量数据进行保护、可以制定策略自动完成，并且可以对正在使用的数据（如注册表）进行保护

2.备份数据是磁带格式，不能被应用系统直接访问3.备份过程中，应用系统的性能、带宽等都会受影响备份系统的组成备份软件具体备份策略的制定、备份介质的管理及一些扩展功能的实现，都由其最终完成。如Netbackup、NetWorker、Brightstor等磁带库磁带库由库体、机械手、磁带机、磁带槽位和磁带等组成，是一个完全自行控制并按照备份软件的策略自动进行工作的体系备份服务器安装备份软件的服务器端，在应用服务器端安装备份软件的客户端，按照预先制定的备份策略将数据备份到磁带/磁盘上，为了降低成本通常选用WindowsPC机作为备份服务器在磁带库厂商中，市场份额最大的当属美国存储技术公司StorageTek(已被SUN收购，SUN公司又于09年被Oracle收购)

美国先进数字信息公司(ADIC)。已被Quantum收购

Quantum的M系列是模块化产品，可根据用户系统需求的增长灵活扩展带库的容量和性能主流磁带库厂商Symantec（Veritas）主要的是高端的NetBackup和低端的BackupExec。备份软件市场占据了40%左右的份额Commvault公司的SIMPANA™EMC(Legato)公司的备份软件产品以NetWorker系列为主CA公司的ARCServer定位在低端市场，BrightStor定位中高端市场

BakBone的NetVault软件IBMTivoliStorageManager产品是高端备份产品，但更多的适用于IBM主机为主的系统平台……BakBone主流备份软件厂商备份技术基本概念——备份窗口备份窗口：BackupWindow是一个时间概念，即一个工作周期内留给备份系统进行备份的时间长度。BC要求越高，备份窗口就会越小备份窗口与BC的关系业务连续性越高(比如7x24小时的应用)，备份窗口与业务连续性的矛盾就越突出备份技术基本概念——备份策略全备份：是对数据的完全备份增量备份：是对上次全备份或者增量备份后被修改了的文件做备份优点是备份数据量小，需要的时间短缺点是恢复的时候需要多份备份数据，出问题的风险较大差量备份：是备份自上次全备份后被修改过的文件优点是恢复速度相对较快，因为只需要两份磁带—最后一次完全备份和最后一次差量备份缺点是每次备份需要的时间较长

周一周二周三周四周五周六星期天全备份星期天

周一周二周三周四周五周六全备份备份模式－LAN备份应用服务器LAN存储系统磁带库备份服务器BUSY！！！！！应用服务器LAN指令流备份服务器应用服务器介质服务器应用服务器数据流生产卷备份模式－LANFree备份StorageNerworkLAN指令流备份服务器介质服务器应用服务器应用服务器数据流快照卷生产卷备份模式－ServerFree备份StorageNerworkLAN指令流备份服务器应用服务器应用服务器数据流生产卷备份模式－ServerLess备份StorageNerwork磁带备份的问题机械设备故障率高磁带库是一个机械密集型设备，磁带库的核心部件机械手、磁带驱动器为机械易损件，本身故障率高，灰尘、潮湿等使故障不可预期，导致设备可用性差备份/恢复时间长抓带、加载、机械定位文件等机械动作延长等待时间，如果需要多盘磁带恢复数据，业务连续性会受到更大影响备份介质的安全性磁带为非封闭介质，且磁带库中的磁带之间没有容错保护。备份业务涉及到的磁带组中任一盘磨损、卡带、霉点、粘连等，均会导致整个备份无法恢复有什么办法?单块磁盘容量的增长，价格的下降磁盘备份作为磁带备份的补充甚至替代成为可能备份技术新的发展趋势备份技术的演变(VTL/D2D)D2D2T备份（DisktoDisktoTape）备份服务器备份软件磁带库离线归档在线存储系统虚拟磁带库或近线存储系统磁带库、虚拟磁带库及磁盘阵列比较表特性物理磁带库VTL（虚拟磁带库）磁盘阵列存储介质磁带（LTO、SDLT、AIT等）磁盘（FC、SCSI、SATA）磁盘（FC、SCSI、SATA）I/O速度标称140MB/s（与主机和磁带机类型有关）实测数百MB/s（与磁盘阵列性能有关）实测数百MB/s介质移动可移动通过虚拟磁带导出功能，导出到物理磁带物理磁盘一般不建议移动可维护性低，需要专业人员维护高，一般IT人员就可维护高，一般IT人员就可维护存储设备介质冗余大型磁带库才具有电源冗余磁盘阵列控制器、电源、磁盘、风扇均采用冗余配置磁盘阵列控制器、电源、磁盘、风扇均采用冗余配置环境影响受湿度、粉尘影响大受湿度、粉尘影响小受湿度、粉尘影响小部件故障率磁带机、机械手均为非封闭电控转动、移动机械部件，故障率高磁盘为封闭精密部件，故障率低；磁盘阵列并有RAID保护磁盘为封闭精密部件，故障率低；磁盘阵列并有RAID保护存储设备类型离线存储设备近线存储设备近线存储设备VTL和D2D2T备份的问题—RTO、RPO目标难以保证虚拟磁带库和D2D2T方式解决了传统磁带备份的难题即：提高备份数据的可靠性提高备份速度，减小备份窗口VTL可用于优化备份环境，配合磁带库完成历史归档但是备份窗口的存在，使得应用系统仍然面临丢失一部分数据的风险，而且备份数据流对带宽的要求非常高，很难进行数据在远程或者异地的保护。更重要的是改变原来数据的格式，备份数据无法直接使用，必须通过备份软件恢复后才能使用，影响业务连续性效果评估1.支持增量的数据保护，但增量颗粒度大2.定期需要全备份，不适合远距离传输3.

数据的提取严重占用应用服务器资源4.对系统平台兼容性要求很高，服务器增加，软件成本线性增长RTO/RPO1.RTO，数小时至一天，前提是所有备份介质完好2.RPO，损失自上一次备份后的数据，一般为一天总体成本软硬件投入成本相对较高。LANFree模式、数据丢失带来的损失、备份软件和磁带库的运维，磁带库较高的环境要求等适用业务1.BC连续性要求为数小时至一天2.对备份窗口和应用性能的影响不敏感3.归档业务小结：数据保护技术——备份存储发展历史1企业级存储分类2存储技术及常用术语介绍3存储高级功能介绍4备份基础知识5容灾基础知识6衡量数据保护的重要标准RTO：（RecoveryTimeObject，恢复时间目标）是指信息系统从灾难状态恢复到可运行状态所需的时间，用来衡量容灾系统的业务恢复能力

RPO（RecoveryPointTime，恢复点目标）是指业务系统所允许的在灾难