数据存储与备份技术-新版PPT课件

hkhuku,-,1,数据存储与备份技术,闪存直接外挂存储（DAS）存储域网络（SAN）网络附加存储设备（NAS）存储技术发展数据备份,hkhuku,-,2,一、闪存,闪存是内存的一种，闪存卡（FlashCard）是利用闪存（FlashMemory）技术达到存储电子信息的存储器，一般应用在数码相机，掌上电脑，MP3等小型数码产品中作为存储介质，所以样子小巧，有如一张卡片，所以称之为闪存卡。根据不同的生产厂商和不同的应用，闪存卡大概有：SmartMedia（SM卡）、CompactFlash（CF卡）、MultiMediaCard（MMC卡）、SecureDigital（SD卡）、MemoryStick（记忆棒）、XD-PictureCard（XD卡）和微硬盘（MICRODRIVE）。,hkhuku,-,3,CF(CompactFlash)卡,CompactFlash的诞生比较早，由最大的FlashMemory卡厂商之一美国SanDisk于1994年首次推出。意为“标准闪存卡”，简称“CF卡”。,hkhuku,-,4,CF(CompactFlash)卡,CF卡与其它存储卡相比，有几个特点。CF卡使用flash作为存储媒介，无需供电也能保存资料，而且工作时耗电量也很低，它在3.3V或者5V的电压下工作，其耗电量只相当于传统存储设备如磁带、硬盘的3%或更低，适合用在移动设备上；如上图，CF卡由两个基本部分组成：控制芯片和闪存模组，闪存用于存储信息，控制芯片用来实现与主机的连接及控制数据在闪存模块中的传输。,hkhuku,-,5,CF(CompactFlash)卡,CF卡比闪盘之类的存储器更加接近硬盘，CF卡内部控制器设计完全模拟硬盘，而且使用标准的ATA/IDE接口界面，可以很容易的通过IDE接口与电脑连接，而且早已实现无驱动设计，使用非常方便。CF卡最初一般是配备PCMCIA适配器在笔记本电脑的PCMCIA插槽上使用，现在还有了许多USB、IEEE1394读卡器等各种各样的CF适配器，使CF卡与电脑之间的信息传输变得更加方便。,hkhuku,-,6,SM(SmartMedia)卡,SmartMedia是由东芝公司ToshibaAmericaElectronicComponents（TAEC）在1995年11月发布的FlashMemory存贮卡，三星公司SamsungElectronicCo.在1996年购买了生产和销售许可，这两家公司成为主要的SmartMedia厂商。SmartMedia采用了东芝大力鼓吹的NAND型FlashMemory，因此体积做得很小：45mmx37mmx0.76mm，非常的薄，仅重1.8克。NAND型FlashMemory的功劳还使得SmartMedia具有比较高的擦写性能，成为除了薄以外的另一个特点。,hkhuku,-,7,SM(SmartMedia)卡,SmartMedia为了节省自身的成本，存贮卡上只有FlashMemory模块和接口，而并没有包括控制芯片，所以使用SmartMedia的设备必须自己装置控制机构。但这却带来了令人头疼的兼容性问题：由于各家的控制不尽相同，所以存在着格式互不兼容的现象，如一张SmartMedia在某个MP3播放器上用了，往往就不能直接在数码相机上使用。另外旧的设备是根据以前的SmartMedia规范来设计的，所以当SmartMedia推出新的升级产品时，规范往往会改变，以前的设备很多就无法使用。例如推出新容量SmartMedia时，页/块大小和其它一些东西都改变了，结果新容量的SmartMedia无法在很多旧的设备上使用，造成不少浪费。接口方面，SmartMedia采用了22针的接口，我们在卡上看到的是遍平的金手指。,hkhuku,-,8,SIM卡是（SubscriberIdentityModel客户识别模块）的缩写，也称为智能卡、用户身份识别卡,GSM数字移动电话机必须装上此卡方能使用。,SIM卡是带有微处理器的智能芯片卡，它的构成是以下几个模块：-CPU-程序存储器(ROM)-工作存储器(RAM)-数据存储器(EPROM或E2PROM)-串行通信单元这五个模块必须集成在一块集成电路中，否则其安全性会受到威胁。因为，芯片间的连线可能成为非法存取和盗用SIM卡的重要线索。,hkhuku,-,9,在实际使用中有两种功能相同而形式不同的SIM卡：(a)卡片式(俗称大卡)SIM卡，这种形式的SIM卡符合有关IC卡的ISO7816标准，类似IC卡。(b)嵌入式(俗称小卡)SIM卡，其大小只有25mm15mm，是半永久性地装入到移动台设备中的卡。两种卡外装都有防水、耐磨、抗静电、接触可靠和精度高的特点。,hkhuku,-,10,SIM卡中存储了数字移动电话客户的信息、加密密钥等内容，它可供GSM网络对客户身份进行鉴别，并对客户通话时的语音信息进行加密。SIM卡的使用，完全防止了并机和通话被窃听行为，并且SIM卡的制作是严格按照GSM国际标准和规范来完成的，它使客户的正常通信得到了可靠的保障。SIM卡在GSM系统中的应用，使得卡和手机分离，一张SIM卡唯一标识一个客户。一张SIM卡可以插入任何一部GSM手机中使用，而使用手机所产生的通信费用则自动记录在该SIM卡所唯一标识的客户的帐户上。,hkhuku,-,11,MMC(MultiMediaCard)卡,MMC即MultiMediaCard，由西门子公司Siemens（现在称为Infineon）和首推CF的SanDisk于1997年推出。1998年1月十四家公司联合成立了MMC协会（MultiMediaCardAssociation简称MMCA），现在已经有超过84个成员，其中更包括了Nokia、Ericsson、Motorola等手机巨头。,hkhuku,-,12,MMC(MultiMediaCard)卡,MMC的发展目标主要是针对数码影像、音乐、手机、PDA、电子书、玩具等产品，号称是目前世界上最小的FlashMemory存贮卡，尺寸只有32mmx24mmx1.4mm。虽然比SmartMedia厚，但整体体积却比SmartMedia小，而且也比SmartMedia轻，只有1.5克。MMC存贮卡可以分为MMC和SPI两种工作模式，MMC模式是标准的默认模式，具有MMC的全部特性。而SPI模式则是MMC存贮卡可选的第二种模式，这个模式是MMC协议的一个子集，主要用于只需要小数量的卡（通常是1个）和低数据传输率（和MMC协议相比）的系统，这个模式可以把设计花费减到最小，但性能就不如MMC。MMC被设计作为一种低成本的数据平台和通讯介质，它的接口设计非常简单：只有7针！接口成本低于0.5美元，相比之下SmartMedia和MemoryStick的接口成本都要高于1美元。在接口中，电源供应是3针，而数据操作只用3针的串行总线就搞定了（SPI模式再加上1针用于选择芯片），真是简单得不能再简单了。,hkhuku,-,13,SD(SecureDigitalCard)卡,SD卡可以说是相当新的产品，SD的意思是SecureDigital。这个产品由松下电器MatsusaElectricIndustrialCo.,Ltd、东芝ToshibaCorp.和SanDisk联合推出，1999年8月才首次发布。SD卡数据传送和物理规范由MMC发展而来，大小和MMC差不多，尺寸为32mmx24mmx2.1mm。长宽和MMC一样，只是厚了0.7mm，以容纳更大容量的存贮单元。,hkhuku,-,14,SD(SecureDigitalCard)卡,SD卡与MMC卡保持着向上兼容，也就是说，MMC可以被新的SD设备存取，兼容性则取决于应用软件，但SD卡却不可以被MMC设备存取。（SD卡外型采用了与MMC厚度一样的导轨式设计，以使SD设备可以适合MMC）SD接口除了保留MMC的7针外，还在两边加多了2针，作为数据线。至于在存贮单元方面，当然也是采用了东芝大力倡导的NAND型FlashMemory，基本上和SmartMedia的一样，所以性能也不俗，平均数据传输率能达到2MB/s，不久更将提高到10MB/s。也许是被SmartMedia不兼容性弄怕了，这次SD把控制器集成到了卡里，希望在推出新规格的SD卡时，不会再有不兼容的情况发生了。另外SD和MemoryStick一样，也带了物理写保护开关。,hkhuku,-,15,MemoryStick记忆棒,MemoryStick被很多人称为香口胶存贮卡，因为其尺寸确实像一条香口胶：50mmx21.5mmx0.28mm，重4克。采用精致醒目的蓝色外壳（新的MG为白色），并具有写保护开关。MemoryStick由Sony在日本的工厂生产，但存贮单元模块却并不是由Sony自己生产的，而是由第三方厂商提供。,hkhuku,-,16,MemoryStick记忆棒,和很多FlashMemory存贮卡不同，MemoryStick规范是非公开的，没有什么标准化组织（Sony认为没有必要进行行业标准化）。这个香口胶采用了Sony自己的外型、协议、物理格式和版权保护技术，要使用它的规范就必须和Sony谈判签定许可。目前所知道的是MemoryStick也包括了控制器在内，采用10针接口，数据总线为串行，最高频率可达20MHz，电压为2.7伏到3.6伏，电流平均为45mA。可以看出这个规格和差不多同一时间出现的MMC颇为相似。,hkhuku,-,17,XD卡,XD卡全称为XD-PICTURECARD，是由富士和奥林巴斯联合推出的专为数码相机使用的小型存储卡，采用单面18针接口，是目前体积最小的存储卡。XD取自于“ExtremeDigital”，是“极限数字”的意思。,hkhuku,-,18,XD卡,XD卡是较为新型的闪存卡，相比于其它闪存卡，它拥有众多的优势特点。袖珍的外形尺寸，外形尺寸为20mm25mm1.7mm，总体积只有0.85立方厘米，约为2克重，是目前世界上最为轻便、体积最小的数字闪存卡。优秀的兼容性，配合各式的读卡器，可以方便的与个人电脑连接。超大的存储容量，XD卡的理论最大容量可达8GB，具有很大的扩展空间。目前市场上见到的XD卡有16MB、32MB、64MB、128MB、256MB等不同的容量规格。,hkhuku,-,19,微硬盘（Microdrive）,微硬盘（Microdrive）最早是由IBM公司开发的一款超级迷你硬盘机产品。其最初的容量为340MB和512MB，而现在的产品容量有1GB、2GB以及4GB等。与以前相比，目前的微硬盘降低了转速（4200rpm降为3600rpm），从而降低了功耗，但增强了稳定性。,hkhuku,-,20,微硬盘（Microdrive）,可以使用CF卡的大多数设备大都可以直接使用Microdrive，如数码相机、手持电脑、MP3播放器等。笔记本电脑则通过PCMCIA适配器转接，由于Microdrive比起CF卡略厚，所以需要设备符合CFII标准，大容量的Microdrive(4GB)要求设备支持FAT32文件系统。与CF相比，Microdrive的最大优势是单位存储容量的价格更低。Microdrive采用的是硬盘技术，具有低成本高容量的特点，可以成为采用固态存储技术存贮器的替代品。目前柯达、三洋、富士通、爱普生等公司，已经开始设计支持Microdrive使用的数码相机产品。未来可以预见的是，包括数码相机或其它计算机外设产品，会陆续加入支持Microdrive的行列。,hkhuku,-,21,InformationInfrastructure,TopologySummary,二、数据存储,hkhuku,-,22,直接外挂存储（DAS）,DAS（DirectAttachedStorage直接连接存储）是指将存储设备通过SCSI接口或光纤通道直接连接到一台计算机上。DAS的适用环境为：1）服务器在地理分布上很分散，通过SAN或NAS在它们之间进行互连非常困难时(商店或银行的分支便是一个典型的例子)；2）存储系统必须被直接连接到应用服务器（如MicrosoftClusterServer或某些数据库使用的“原始分区”）上时；3）包括许多数据库应用和应用服务器在内的应用，它们需要直接连接到存储器上，群件应用和一些邮件服务也包括在内。当服务器在地理上比较分散，很难通过远程连接进行互连时，直接连接存储是比较好的解决方案，甚至可能是唯一的解决方案。利用直接连接存储的另一个原因也可能是企业决定继续保留已有的传输速率并不很高的网络系统。,hkhuku,-,23,存储域网络（SAN）,存储域网络（StorageAreaNetwork）的支撑技术是FibreChannel(FC)技术，这是ANSI为网络和通道IO接口建立的一个标准集成。支持HIPPI，IPI，SCSI，IP，ATM等多种高级协议，它的最大特性是将网络和设备的通讯协议与传输物理介质隔离开这样多种协议可在同一个物理连接上同时传送，高性能存储体和宽带网络使用单I/O接口使得系统的成本和复杂程度大大降低。如通过Switch扩充至交换仲裁复用结构则可将用户扩至很多。FC使用全双工串行通讯原理传输数据，传输速率高达1062.5Mbps，FibreChannel的数据传输速度为100MBS，双环可达200MBS，使用同轴线传输距离为30米，使用单模光纤传输距离可达10公里以上。光纤通道支持多种拓扑结构，主要有：点到点（Links）、仲裁环（FC-AL）、交换式网络结构（FC-XS）。点对点方式的例子是一台主机与一台磁盘阵列透过光纤通道连接；其次为光纤通道仲裁环(FC-AL)，在FC-AL的装置可为主机或存储装置。第三种FC-XS交换式架构在主机和存储装置之间透过智能型的光纤通道交换器连接，使用交换架构需使用存储网络的管理软件。,hkhuku,-,24,Finance,Sales,NetworkClients,Oracle,Exchange,SAP,EMCNetworkedStorageSAN,MidrangeNetworkedStorageArchitecture,Finance,Sales,NetworkClients,Oracle,Exchange,SAP,FileServers,CLARiiONIP4700NAS,FileServers,CelerraNAS,HighEndNetworkedStorageArchitecture,hkhuku,-,25,EMCConnectrixFamily(SAN),Hubs,SwitchesHighavailabilityDepartmentalanddatacenterlocationsRackmountable,DirectorsRedundanteverythingNon-blockingI/ODatacenterlocationsMaximumscalability,ED-64M,ED-1032,DS-8B,DS-16B,DS-32M,DS-16M,hkhuku,-,26,（1）既具有单通道的特点，又具有网络的特点，它是把设备连接到网络结构上的一种高速通道。而这种网络结构描述了连接两套设备的单条电缆以及连接许多设备的交换机产生网状结构。（2）光纤通道最大优点是速度快，它可以给计算机设备提供接近于设备处理速度的吞吐量。（3）协议无关性，它有很好的通用性，是一种通用传输机制。适用范围广，可提供多性价比的系统，从小系统到超大型系统，支持存在的多种指令集，如IP、SCSI、IPI。光纤通道规范定义的速率最高可到4Gbps，目前T11工程组对10Gbps传输速度的FC规范也在紧锣密鼓的制定之中。,FC技术具有以下优越性,hkhuku,-,27,FC是一种分层结构，每个层次定义为一个功能级，但是所分的层不能直接映射到OSI模型的层上。FC通道的五层定义为：物理媒介和传输速率、编码方式、帧协议和流控制、公共服务以及上级协议（ULP）接口。1)FC-0：FC-0是物理层底层标准。FC-0层定义了连接的物理端口特性，包括介质和连接器（驱动器、接收机、发送机等）的物理特性、电气特性和光特性、传输速率以及其它的一些连接端口特性。物理介质有光纤、双绞线和同轴电缆。带有ECL的铜芯同轴电缆，用于高速、短距离传输。双绞线用于25MB/s数据传输，距离可达50米。带有激光和LED传导的光纤，用于长距离的传输，光纤通道的数据误码率低于10E-12，它具有严格的抖动容许规定和串行I/O电路能够进行正常管理的其他一些电气条件。,FC分层结构,hkhuku,-,28,2)FC-1（传输协议）FC-1根据ANSIX3T11标准，规定了8B/10B的编码方式和传输协议，包括串行编码、解码规则、特殊字符和错误控制。传输编码必须是直流平衡以满足接收单元的电气要求。特殊字符确保在串行比特流中出现的是短字符长度和一定的跳变信号，以便时钟恢复。8B/10B码在现实中的应用是稳定和简单的。3)FC-2（帧协议）：FC-2层定义了传输机制、包括帧定位、帧头内容、使用规则以及流量控制等。光纤通道数据帧长度可变，可扩展地址。用于传输数据的光纤通道数据帧长度最多达到2K，因此非常适合于大容量数据的传输。帧头内容包括控制信息、源地址、目的地址、传输序列标识和交换设备等。64字节可选帧头用于其它类型网络在光纤通道上传输时的协议映射。光纤通道依赖数据帧头的内容来引发操作，如把到达的数据发送到一个正确的缓冲区里。,FC分层结构,hkhuku,-,29,4)FC-3（公共服务）：提供高级特性的公共服务，即端口间的结构协议和流动控制，它定义了三种服务：条带化（Striping）、搜索组（HuntGroup）和多播（Multicast）。条带化的目的是为了利用多个端口在多个连接上并行传输，这样I/O传输带宽能扩展到相应的倍数。搜索组用于多个端口去响应一个相同名字地址的情况，它通过降低到达占线的端口的概率来提高效率。多播用于将一个信息传递到多个目的地址。5)FC-4（ULP映射）：它是光纤通道标准中定义的最高等级，固定了光纤通道的底层跟高层协议（ULP）之间的映射关系以及与现行标准的应用接口，这里的现行标准包括现有的所有通道标准和网络协议，如SCSI接口和IP、ATM、HIPPI等。,FC分层结构,hkhuku,-,30,FC分层结构,hkhuku,-,31,SAN是架构在FibreChannelStandard的储域网络，FibreChannel改善了许多SCSI的限制。,FC与SCSI比较,hkhuku,-,32,SAN以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有较高传输速率的光通道连接方式，提供SAN内部任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。SAN的特点是将数据的存储移到了后端，采用了一个专门的系统来完成，并进行了RAID数据保护。,SAN解决方案,hkhuku,-,33,a.分享资源存取与设备-DiskandTape。b.高速度、距离长，可提高资料的可使用率。c.可作RemoteMirror增加灾难防御力及重建速度。d.透过SAN备份，降低经过LAN备份的Traffic负载。e.集中管理与整合储存设备资源。f.FC-Loop可连接127个Device，不需要ShutdownServer，即可扩充储存容量，SAN解决方案具备良好扩充性。,SAN的优点,hkhuku,-,34,如果储存资料的成长率持续增高，近两年内可能成长至1TB以上，建议规划SANReady的储存设备，包括RAID及TapeLibrary，因为资料量扩增，必定增加硬盘数量，但SCSI的RAID有ID及Cable长度的种种限制，在扩充性来说，无法达到需求及稳定度的要求，而且当资料量愈来愈大，可能分享给更多Client，绝不容许机器有Shutdown的时间，而SANReady的RAID可以让机器在不Shutdown的状况下扩充硬盘容量，维持系统不停的正常运作。,什么样的环境需要SAN?,hkhuku,-,35,a.HostBusAdapter-依连接的作业平台选择FibreChannelCard的种类，装置在主机中，连接Storage、FibreChannelHub或Switch。b.FibreChannelHub-可将储存设备分享给多台服务器。c.FibreChannelSwitch-如果要将储存设备分享给不同平台的操作系统，或要作SAN的Security进阶控管及连接多个FibreChannelHub，须购买此设备及控管软件。d.FibreChannelCable及GBIC-依主机及储存设备的连接长度选购Cable，Cable有分Optical及Copper两种线材，决定使用哪一种Cable后再选择GBIC的种类，以符合CableConnector的连接型态。e.FibreChannel/SCSIConventer-若有些储存设备是SCSI界面，要连接上SAN的，则需购买FC/SCSI的讯号转接器。,SAN的产品组成,hkhuku,-,36,SAN的产品组成,hkhuku,-,37,网络附加存储设备（NAS）,网络附加存储设备（NetworkAttachedStorage，NAS）是一种专业的网络文件存储及文件备份设备，或称为网络直联存储设备、网络磁盘阵列。NAS是基于LAN的，按照TCP/IP协议进行通信，面向消息传递，以文件的I/O方式进行数据传输。在LAN环境下，NAS已经完全可以实现异构平台之间的数据级共享，比如NT、UNIX等平台的共享。但是，在10/100M的带宽条件下，只有其中的30左右可以用做存储，所以NAS无法发挥其应有的性能，这就需要等待G/T比特级以太网络的大规模普及应用。一个NAS包括处理器，文件服务管理模块和多个的硬盘驱动器用于数据的存储。NAS可以应用在任何的网络环境当中。主服务器和客户端可以非常方便地在NAS上存取任意格式的文件，包括SMB格式（Windows）NFS格式(Unix,Linux)和CIFS格式等等。NAS系统可以根据服务器或者客户端计算机发出的指令完成对内在文件的管理。另外的特性包括：独立于操作系统，不同类的文件共享，交叉协议用户认证，浏览器界面的操作/管理，和增加和移除服务器不会中断网络服务，NAS是在RAID的基础上增加了存储操作系统，因此,NAS的数据能由异类平台共享。,hkhuku,-,38,EMC-NASPlatform,hkhuku,-,39,EMCNetworkAttachedStorage(NAS),CelerraSE,EMCHigh-EndNAS,EMCMidrangeNAS,CLARiiONIP4700,hkhuku,-,40,NAS的结构,NAS结构和SAN最大的区别就在于NAS有文件操作和管理系统，而SAN却没有这样的系统功能，其功能仅仅停留在文件管理的下一层，即数据管理。从这些意义上看,SAN和NAS的功能互为补充，同时SAN的服务器访问数据的时候不会占LAN的资源，但是NAS结构的服务器都需要和文件服务器进行交互，以取得自己请求的数据，因此，NAS结构在速度慢的LAN（如10/100M网络）上几乎不具有任何优势和意义。,hkhuku,-,41,NAS的特点,无人值守。随着信息系统规模的膨胀，基本设备的数量将变得非常庞大。如果还是像现在这样每台服务器派专人管理，那么管理成本会不可控制，成为一个天文数字。所以这些基本设备必须实现无人值守，在长时间没有专职人员对其管理维护的情况下仍然可以稳定高效的工作。具有高度智能化。要实现无人值守这一特性，就需要设备本身具有高效的自我维护功能，自动完成目前由管理员负责的日常维护工作。这就需要一套智能化很高的专家系统运行在设备中。性能稳定。无人值守的服务器对性能稳定性的要求可想而知，目前大多数服务器的稳定性对这一特性来说，显得力不从心。功能单一化。目前所使用服务器的功能强大实际上是以软硬件系统复杂的结构、庞大的规模为代价的。结构和规模都是和性能的稳定性成反比。为了实现性能的稳定和管理的简易，最容易想到的方法是把通用服务器的各种功能分离出来，利用嵌入式技术，设计出功能单一，结构简单，性能稳定的专用瘦服务器。,hkhuku,-,42,NAS与SAN比较,SAN和NAS并不是相互冲突的，是可以共存于一个系统网络中的，但NAS通过一个公共的接口实现空间的管理和资源共享，SAN仅仅是为服务器存储数据提供一个专门的快速后方通道，在空间的利用上，SAN和NAS也有截然不同之处，SAN是只能独享的数据存储池，NAS是共享与独享兼顾的数据存储池。因此，NAS与SAN的关系也可以表述为：NAS是Network-attached（网络外挂式），而SAN是Channel-attached（通道外挂式）。,hkhuku,-,43,SAN和NAS体系的主流厂商及技术体系列表,hkhuku,-,44,SAN和NAS体系列表,SAN和NAS并不是相互冲突的，是可以共存于一个系统网络中的，但NAS通过一个公共的接口实现空间的管理和资源共享，SAN（网络外挂式），而SAN是Channel-attached（通道外挂式）。,hkhuku,-,45,SAN和NAS的综合,SAN和NAS并不是相互冲突的，是可以共存于一个系统网络中的，但NAS通过一个公共的接口实现空间的管理和资源共享，SAN（网络外挂式），而SAN是Channel-attached（通道外挂式）。,hkhuku,-,46,TCP/IP,FileServer,data,data,data,data,data,data,data,data,data,data,data,NetworkbecomesthebottleneckifNASonly,hkhuku,-,47,AfocusonMultiPathFileSystem,NAS,SAN,MPFS,MPFS=Multi-pathfilesystem“Highroad”,Channels,IP,File,Block,hkhuku,-,48,Multi-pathFileSystem(HighRoad)-SAN/NASIntegration,WebContent,