存储相关技术基础

1、存储相关技术基础存储相关技术基础培训教材课程时间：50分钟日期：2009年02月曙光信息产业（北京）有限公司曙光信息产业（北京）有限公司四川技术服务部四川技术服务部目目 录录 1 存储的发展和历史1.1 存储技术的发展1.2 存储介质简介 2 RAID技术 3 主流存储架构1.1 存储技术的发展存储技术的发展 存储技术的发展是随着计算机技术的发展,不断的发展.先期的存储只是用打孔机或者磁带来存放数据。 硬盘的出现，终结了打孔机和磁带作为主要存储手段的历史。1956年9月，IBM的一个工程小组向世界展示了第一套磁盘系统IBM 350 RAMAC Random Access Method of A

2、ccounting and Control，虽然这套系统的总容量只有5MB，但却起到了一个里程碑的作用。 在350 RAMAC之后，硬盘产业开始起步，从最初的24英寸发展到5.25英寸，从5MB的存储量突破了100MB。如今，硬盘的容量已经用T（1000G）来形容。硬盘最主要的功能是存储数据。虽然在冯诺伊曼计算机体系中并没有提到硬盘，但是从现在计算机使用情况来看，硬盘是计算机中最重要的部分，“硬盘有价，数据无价”！随着存储介质的不断发展，存储技术的也在不断发展，形成了今天各种各样的存储架构，存储解决方案。2 存储介质简介存储介质简介l打孔纸卡l穿孔纸袋l计数电子管l盘式磁带l盒式录音磁带l磁鼓

3、l软硬盘l硬盘机l硬盘lLD光盘l5寸光盘lDVD光盘l蓝光DVD,HD-DVDlU盘,SSD硬盘2.1 最早期的存储媒介最早期的存储媒介打孔纸卡打孔纸卡最早的数据存储媒介,在1725年由Basile Bouchon发明出来，用来保存印染布上的图案。但是关于它的第一个真正的专利权，Herman Hollerith在1884年9月23日申请的，这个发明用了将近100年，一直用到了20世纪70年代中期。 由于能存储的数据少的可怜,一般它是用来保存不同计算机的设置参数的。 2.2 容量比打孔纸卡大容量比打孔纸卡大穿孔纸带穿孔纸带 Alexander Bain（传真机和电传电报机的发明人）在1846年

4、最早使用了穿孔纸带。纸带上每一行代表一个字符，显然穿孔纸带的容量比打孔纸卡大多了。 2.3 电子应用电子应用计数电子管计数电子管 1946年RCA公司启动了对计数电子管的研究，这是用在早期巨大的电子管计算机中的，一个管子长达10英寸（25厘米），能够保存4096bits的数据。糟糕的是，它极其昂贵，所以在市场上昙花一现，很快就消失了。 2.4 大型磁带记录大型磁带记录盘式磁带盘式磁带 在1950年代，IBM最早把盘式磁带用在数据存储上。因为一卷磁带可以代替1万张打孔纸卡，于是它马上获得了成功，成为直到80年代之前最为普及的计算机存储设备。 2.5最珍贵的回忆最珍贵的回忆盒式录音磁带盒式录音磁带

5、 一些计算机，如ZX Spectrum,Commodore 64和Amstrad CPC使用它来存储数据。一盘90分钟的录音磁带，在每一面（记得录音磁带是可以翻面的吗）可以存储700KB到1M的数据。 2.6 超长的存储设备超长的存储设备磁鼓磁鼓 一支磁鼓有12英寸长，一分钟可以转1万2千5百转。它在IBM 650系列计算机中被当成主存储器，每支可以保存1万个字符（不到10K）。 2.7 早期盛行的移动存储早期盛行的移动存储软磁盘软磁盘 第一张软盘，发明于1969年，当时是一张8英寸的大家伙，可以保存80K的只读数据。4年以后的1973年一种小一号但是容量为256K的软盘诞生了：它的特点是可以

6、反复读写。从此一个趋势开始了磁盘直径越来越小，而容量却越来越大。到了1990年代后期，我们可以找到容量为250MB的3.5英寸软盘。 2.8 “重重”大突破大突破世界上第一台硬盘机世界上第一台硬盘机 1956年9月13日，IBM发布了305 RAMAC硬盘机。与之相关的计算机平平无奇，可是在存储容量方面有着革命性的变化它可以存储“海量”的数据，“高达”4.4MB（5百万个字符），这些数据保存在50个24英寸的硬磁盘上。 2.9 现在最重要的存储设备现在最重要的存储设备硬盘硬盘 硬盘是现在还在发展中的一种技术，图中的日立Deskstar 7K500，是第一个达到500G容量的硬盘-是最早的IBM

7、 305 RAMAC的12万倍。我们面对的硬盘发展趋势很明显：越来越便宜的硬盘，有着越来越巨大的容量 。2.10 第一张视频光盘第一张视频光盘LD光盘光盘 1958年就发明光盘技术了，可是直到1972年，第一张视频光盘才问世，6年后的1978年它开始在市场上卖。那个时候的光盘是只读的，虽然不能写，但是能够保存达到VHS录像机水准的视频，使得它很有吸引力。 2.11 体积更小、容量更大体积更小、容量更大小光盘小光盘 我们常见的5寸光盘，是从LD光盘发展来的，可是它更小、容量更大。它是SONY公司和飞利浦公司在1979年联合发布的，在1982年上市。一张典型的5寸光盘，可以保存700MB数据。 2

8、.12 采用红外激光采用红外激光DVD光盘光盘 DVD是使用了不同激光技术的CD，它采用了650纳米的红外激光（标准CD则采用780纳米的红色激光），这种激光技术使得DVD可以在同样的面积中保存更多的数据。一张双层DVD容量可达8.5GB 2.13 最先进的存储最先进的存储蓝光蓝光DVD、HD-DVD (470nm)蓝色激光使得存储的容量进一步增长，目前看起来，好像蓝光DVD更流行一些。不过如果我们目光放更长远一些，也许一种被称为“Holographic Versatile Disc”的光盘，可以提供比蓝光DVD大160倍的容量高达3.9TB，相当于保存4600到11900小时的MPEG4格式

9、的电影。 2.14 U盘，盘，SSD硬盘硬盘 U盘：利用电子的有无表示0和1 SSD硬盘：又称固态硬盘，与U盘同样利用电子来存储信息。未来存储 全息技术（例如：机器人总动员等科幻片中） 本技术已实现，用于全息学的原理适用于各种形式的波动，如x射线、微波、声波、电子波等。只要这些波动在形成干涉花样时具有足够的相干性即可。光学全息术可望在立体电影、电视、展览、显微术、干涉度量学、投影光刻、军事侦察监视、水下探测、金属内部探测、保存珍贵的历史文物、艺术品、信息存储、遥感，研究和记录物理变化极快的瞬时现象、瞬时过程（如爆炸和燃烧）等各个方面 生物DNA存储（本技术已实现） 原子目目 录录 1 存储的发

10、展和历史 2 RAID技术2.1 RAID的概念2.2 RAID的特点2.3 RAID的级别2.4 RAID级别的比较2.5 RAID的实现方式2.6 RAID卡2.7 磁盘阵列2.8 RAID卡与磁盘阵列的区别2.9 RAID卡与磁盘阵列产品举例 3 主流存储架构2.1 RAID的概念的概念 RAID是“Redundant Array of Inexpensive Disks”的缩写，中文意思是廉价廉价磁盘冗余阵列磁盘冗余阵列。 组合小的廉价磁盘来代替大的昂贵磁盘，以降低大批量数据存储的费用 采用冗余信息的方式，使得磁盘失效时不会使对数据的访问受损失，从而开发出一定水平的数据保护技术，并且能

11、适当的提升数据传输速度。捆绑2个或多个独立物理磁盘成磁盘组（阵列）逻辑上做为一个大容量的硬盘供操作系统使用提高系统的读写性能具备容错性2.2 RAID的特点的特点2.3 RAID的级别的级别lRAID 0lRAID 1lRAID 2lRAID 3lRAID 4lRAID 5lRAID 6lRAID 7lRAID 10 (RAID 0+1)lRAID 30lRAID 502.3.1 RAID0概念:无差错控制的条带化阵列,将多块硬盘连接起来形成一个容量更大的存储设备。2.3.2 RAID1概念概念:称为镜像,将一个磁盘上的数据完全复制到另一个磁盘上,百分百的数据冗余.2.3.3 RAID2概念:

12、 带明码校验的磁盘阵列,这种RAID模式中,磁盘驱动器的第2的n次幂磁盘驱动器是专门的校验盘.应用比较少.2.3.4 RAID3概念:采用奇偶校验技术,需要专门的一块盘来存储校验位.2.3.5 RAID4概念: 带奇偶校验码的独立磁盘结构,对数据的访问按磁盘进行,一块专门的奇偶校验盘存储校验位.应用比较少.2.3.6 RAID5概念:带分布式奇偶位的条带,把校验位信息随机地分布到所有的磁盘上,并非用单独一个盘来存储校验位,是目前应用最广泛的一种磁盘阵列模式.2.3.7 RAID6概念:带有两种分布式存储的奇偶校验码的独立磁盘结构,使用了分配在不同的磁盘上的第二种奇偶校验的增强性RAID5.2.

13、3.8 RAID7概念: 优化的高速数据传送结构,带有智能化实时操作系统和用于存储管理的软件工具,采用非同步方式,配置复杂,实际应用中很少见.2.3.9 RAID 10 (RAID 0+1)概念: 镜像阵列条带,既具有Raid0的高性能,又具有Raid1的安全性.2.3.10 RAID30概念: 专用奇偶位阵列条带,有两组RAID3的磁盘组成阵列,使用专门的奇偶位,再组成RAID0,实现跨磁盘抽取数据.配置成本高,实际应用中比较少见.2.3.11 RAID50、60概念: 分布奇偶位阵列条带,由两组RAID5、6磁盘组成,每组都使用了分布式奇偶位,两组RAID5、6再组建成RAID0模式,实现

14、跨磁盘抽取数据.本节知识点本节知识点1、销售要知道有这些东西2、要能正确读出，并解释其含义3、不常用的不要推荐4、技术要了解并能正确判断出使用的形式5、能够组建配置6、按要求给出方案2.4 RAID级别的比较（级别的比较（1/2）RAID0RAID1RAID2RAID3RAID4RAID5名称条带阵列镜像阵列带海明码校验磁盘阵列专用校验条带阵列专用校验条带阵列分散校验条带阵列允许故障否是是是是是冗余类型无副本校验校验校验校验热备用操作不可可以可以可以可以可以磁盘数量2+2+（偶数）3+3+3+3+可用容量最大最小较小中间中间中间减少容量无50%不定1个磁盘1个磁盘1个磁盘读性能高（盘的数量决定

15、）中间大数据量高，小数据量低高高高安全性最差最好较好好好好典型应用无故障的迅速读写允许故障的小文件、随机数据写入大容量数据存储允许故障的大文件、连续数据传输允许故障的大文件、连续数据传输允许故障的小文件、连续数据传输2.4 RAID级别的比较级别的比较（2/2）RAID6RAID7RAID10RAID30RAID50、60名称分布存储的奇偶校验码建立磁盘结构优化的高速数据传送磁盘结构跨越镜像阵列跨越专用校验阵列跨越分散校验阵列允许故障是是是是是冗余类型校验校验副本校验校验热备用操作不可可以可以可以可以磁盘数量4+3+4+6+6+、8+可用容量较小较大最小中间中间减少容量每个阵列中2个磁盘每个阵

16、列中1个磁盘50%每个阵列中1个磁盘每个阵列中1个磁盘(2个磁盘)读性能较低较高中间高高安全性好较好较好较好好典型应用要求数据安全性较高的应用大容量复杂数据存储允许故障高速度小文件、随机数据写入允许故障高大文件、连续数据传输允许故障高速度小文件、连续数据传输2.5 RAID的实现方式的实现方式l软件RAID方式l硬件RAID方式l零通道RAID2.5.1 软件软件RAID 软RAID(software-basedRAID)是基于软件的RAID。由于现在的很多服务器操作系统都集成了RAID功能。比如MicrosoftWindowsNT，Windows2000,Windows2003， Novel

17、lNetware和Linux。 软件RAID集成于操作系统，有比较低的始投资，但是它的CPU占用率非常高，并且只有非常有限的阵列操作功能。大多数情况下，由于软件RAID是在操作系统下实现 RAID，软RAID不能保护系统盘。亦即系统分区不能参与实现RAID。2.5.2 硬件硬件RAID 硬RAID是通过硬件方式实现的一种RAID方式，有专门的硬件来进行RAID的计算，管理等，常见的RAID卡，以及控制器等方式的RAID方式都属于硬RAID方式,它的优点很多，占用CPU资源少，热插拔，管理方便等，相对软件RAID方式，成本较高。2.5.3 零通道零通道RAID 一种把初级的RAID功能附加给SC

18、SI或者SATA卡而产生的产品。它是基于硬和软RAID之间的一种产品。它把软件RAID功能集成到了产品的固件上，从而提高了产品的功能和容错能力。一般情况下它可以支持RAID0和RAID1，有的可以支持更高级的RAID。2.6 RAID卡卡概念：RAID卡就是用来实现RAID功能的板卡，通常是由I/O处理器、SCSI控制器、SCSI连接器和缓存等一系列零组件构成的 。2.6.1 RAID卡接口技术卡接口技术lIDEIDE接口接口lSCSISCSI接口接口lSATASATA接口接口lSASSAS接口接口目前主流接口类型：目前主流接口类型：IDE接口接口IDE即Integrated Drive El

19、ectronics，它的本意是指把控制器与盘体集成在一起的硬盘驱动器，我们常说的IDE接口，也叫ATA（Advanced Technology Attachment）接口，也叫PATA. l并行方式传输l传输距离受限,不超过0.4米l连接方式有主从之分l不支持热插拔l线缆比较宽，不利于散热SCSI接口（接口（1/3） SCSI直译为小型计算机系统专用接口(Small Computer System Interface)是一种连结主机和外围设备的接口，支持包括磁盘驱动器、磁带机、光驱、扫描仪在内的多种设备。它由SCSI控制器进行数据操作，SCSI控制器相当于一块小型CPU，有自己的命令集和缓存。

20、 名称标准规范出现年份理论带宽关键特性SASI1979SCSI雏形SCSI-1SCSI-119862MB/s异步；8位SCSI-2SCSI-2198910MB/s同步；16位SCSI-3分离指令集，传输协议与物理接口脱离，成为独立标准Fast-WideSPI/SIP199220MB/sUltraFast-20附加标准199540MB/sUltra2SPI-2199780MB/s低压差分机制Ultra3SPI-31999160MB/s附加校验Ultra320SPI-42001320MB/s分包机制；QASSCSI接口（接口（2/3）SCSI接口（接口（3/3）l并行数据传输l支持多设备,1个通道

21、可以支持16个设备lSCSI设备的CPU占用率极低，确实在多任务系统中占有着明显的优势。 lSCSI设备还具有智能化，SCSI卡自己可对CPU指令进行排队，这样就提高了工作效率。在多任务时硬盘会在当前磁头位置，将邻近的任务先完成，再逐一进行处理。SATA接口（接口（1/2） SATA是由PATA发展而来的, SATA是Serial ATA的缩写，即串行ATA。这是一种完全不同于并行ATA的新型硬盘接口类型，由于采用串行方式传输数据而得名。SATA接口（接口（2/2）lSerial ATA技术采用点对点的传输协议，不存在主从问题，这样每个驱动器硬盘能够独享带宽lSerial ATA采用七针数据线

22、缆.主要有四个针脚，第一针发送信号，第二针接收信号，第三针供应电源，第四针为地线。长度可以达到1米。l接插简单，支持热插拔l内置数据校验技术.串行ATA技术在传输总线的两端都引入了全新的CRC（循环冗余校验）保护系统，增加了数据传输的可靠性。SAS接口（接口（1/2）SAS技术是由SCSI技术发展而来的, SAS 是Serial Attached SCSI的缩写，即串行连接SCSI。2001年11月26日，Compaq、IBM、LSI逻辑、Maxtor和Seagate联合宣布成立SAS工作组，其目标是定义一个新的串行点对点的企业级存储设备接口。它综合了现有并行SCSI和串行连接技术（光纤通道、

23、SSA、IEEE1394及InfiniBand等）的优势，以串行通讯为协议基础架构，采用SCSI-3扩展指令集并兼容SATA设备，是多层次的存储设备连接协议栈。SAS接口（接口（2/2）l串行传输方式l向下兼通SATAl采用8b/10b编码l扩展性能好lSAS技术的全双工模式，可以使设备在同一时间内能够以双方向传输数据.2.6.2 RAID卡的主要厂商卡的主要厂商lAdapteclLSIl建邦lPROMISE2.7 磁盘阵列（磁盘阵列（1/9）磁盘阵列的特性：磁盘阵列的特性：1、增大存储空间2、提高读写性能3、具有容错性磁盘阵列的以上特性通过RAID技术来实现2.7 磁盘阵列（磁盘阵列（2/9

24、）磁盘阵列的主要组成部分磁盘阵列的主要组成部分1、机箱2、控制器3、背板4、电源、散热风扇5、硬盘磁盘仓位磁盘仓位14冗余热插拔冗余热插拔ESM接口接口热插拔风扇热插拔风扇冗余热插拔冗余热插拔电源电源2.7 磁盘阵列（磁盘阵列（3/9）磁盘阵列控制器磁盘阵列控制器概念: 控制器在磁盘阵列中启着核心作用,RAID技术的实现,以及数据的调用管理都有它来负责,是一个磁盘阵列的心脏.2.7 磁盘阵列（磁盘阵列（4/9）磁盘阵列磁盘阵列分类分类l 按尺寸盘位l 按主机接口l 按存储介质2.7 磁盘阵列（磁盘阵列（5/9）磁盘阵列主机接口磁盘阵列主机接口SCSISASFCISCSIINFINIBANDPC

25、I-E2.7 磁盘阵列（磁盘阵列（6/9）磁盘阵列磁盘通道磁盘阵列磁盘通道SCSISATASASFC2.7 磁盘阵列（磁盘阵列（7/9）磁盘阵列常用参数磁盘阵列常用参数控制器数量处理芯片(处理器)Cache 大小电池保护主机接口数量及带宽磁盘通道数量及带宽Iops尺寸及盘位数扩展性能支持的RAID级别2.7 磁盘阵列（磁盘阵列（8/9）磁盘阵列高级功能磁盘阵列高级功能Lunmasking功能快照功能卷拷贝功能远程镜像功能2.7 磁盘阵列（磁盘阵列（9/9）磁盘阵列控制器结构图（举例）磁盘阵列控制器结构图（举例）2.8 RAID卡与磁盘阵列的区别卡与磁盘阵列的区别RAID卡卡 磁盘阵列磁盘阵列

26、形态 PCI插卡 SCSI设备 OS支持 OS DriverBIOS识别/SCSI SCSI通道 仅为磁盘通道 磁盘通道主机通道 独立性依赖主机完全独立 冗余性仅磁盘冗余 磁盘/电源/风扇冗余 配置 仅配置磁盘 配置磁盘Map 常用界面 软件界面 LCD界面 价格 相对廉价 较贵2.9 RAID卡与磁盘阵列产品举例（卡与磁盘阵列产品举例（1/2）产品介绍产品介绍:Adaptec SCSI :Adaptec SCSI RAID 2130SLPRAID 2130SLP卡卡 l单通道 Adaptec 2130S Ultra320 PCI-X SCSI RAID 控制器l最大可接入15块硬盘lPCI-

27、X接口, 64-bit/133 MHz l内外各有一个一个68针高密scsi接口 ,来连接硬盘l支持0, 1, 10, 5, 50, JBOD lAdaptec Storage Manager 管理软件,方便raid的管理2.9 RAID卡与磁盘阵列产品举例（卡与磁盘阵列产品举例（2/2）产品介绍产品介绍: :曙光曙光DS6310DS6310l2U,16盘位lIBM PowerPC750Cxe处理器,专用硬件异或处理芯片l Cache 最大支持2GBl Raid 0，1，0+1，3，5，10，30，50l主机通道 2个320MB/s SCSIl磁盘通道 2个320MB/s SCSIl最大容量

28、3.6TB目目 录录 1 存储的发展和历史 2 RAID技术 3 主流存储架构3.1 DAS架构3.2 NAS架构3.3 SAN架构3.4 ISCIS SAN3.5 存储架构对比3 主流存储架构主流存储架构lDAS架构lNAS架构lSAN架构lISCSI SAN架构3.1 DAS架构（架构（1/4） DAS是Direct Attached Storage的缩写，即“直接连接存储”。它是指将外置存储设备通过连接电缆，直接连接到一台计算机上。采用直接外挂存储方案的服务器结构如同PC机架构，外部数据存储设备采用SCSI技术，或者FC(Fibre Channel)技术，直接挂接在内部总线上的方式，数据

29、存储是整个服务器结构的一部分 。 3.1 DAS架构（架构（2/4）结构示意：结构示意：3.1 DAS架构（架构（3/4）l直连方式l基于块设备级的访问模式l扩展性差l资源浪费l不宜集中管理结构特点：结构特点：3.1 DAS架构（架构（4/4）适用范围适用范围：l小型网络，成本较低l地理位置特别分散的网络l特殊应用的服务器3.2 NAS架构（架构（1/4） NAS系统拥有一个专用的服务器，服务器上安装着一个优化的文件系统和“瘦”操作系统，其作用类似于一个专用的文件服务器。这种专用文件服务器去掉了通用服务器原有的大多数计算功能，仅仅提供文件系统功能，用于存储服务。而且，NAS系统中的核心操作系统

30、是经过特殊定制的，专门服务于文件请求且与主要的网络环境兼容。 3.2 NAS架构（架构（2/4）结构示意：结构示意：3.2 NAS架构（架构（3/4）特点：特点：l集中数据管理l基于文件级,异构平台的数据共享l独立于操作平台，不同类的文件共享 (NFS,CIFS)l真正的即插即用l存储系统部署简单l存储设备位置灵活l管理容易且成本较低l浏览器界面的操作/管理l存储性能较低(通过网络存储备份)l投资成本较高而可靠度不高3.2 NAS架构（架构（4/4）适用范围：适用范围：l小型局域网络,广域网l邮件系统、办公OA,校园网,文档归档,VOD等l异构平台共享l对性能要求不是极高的应用l基于文件系统，

31、不适合数据库应用3.3 SAN架构架构 所谓的SAN(storage area network)，即存储区域网络，是指在网络服务器群的后端，采用光纤通道等存储专用协议连接成高速专用网络，使网络服务器与多种存储设备直接连接。 SAN的最大特点就是可以实现网络服务器与存储设备之间的多对多连接，而且，这种连接是本地的高速连接。 SAN架构的优势在于：强大的扩展性、多种存储设备的集中和新架构支撑下的新型数据应用方式。 3.3.1 Fibre Channel(1/2) Fibre Channel (FC)是1994年由ANSI标准化组织制订的一种适合于千兆位数据传输通信的成熟而安全的解决方案。Fibre Channel 与传统的SCSI技术相比，除了提供更高的数据传输速度，更远的传输距离，更多的设备连接支持，更稳定的性能，更简易的安装以外，最重要的是为SAN的发展提供了广阔的天地.3.3.1 Fibre Channel(2/2)点对点点对点交换式交换式 FabricArbitrated Loop (仲裁环仲裁环)点对点(Point-to-Point) 两个设备之间互连仲裁环(Arbitrated Loop) 最多支持126个设备互连，形成一个仲裁环 交换式Fabric(Switch Fabric) 最多1千6百万个设备互连3.