存储基础知识

#/83下载文档可编辑存储的介质及其存储原理?1.磁存储介质磁存储介质主要分为磁带存储和磁盘存储。（1）磁带存储磁带是所有存储媒体中单位存储信息成本最低、容量最大、标准化程度最高的常用存储介质之一。它互换性好、易于保存，近年来由于采用了具有高纠错能力的编码技术和即写即读的通道技术，大大提高了磁带存储的可靠性和读写速度。磁带存储器则是以磁带为存储介质，由磁带机及其控制器组成的存储设备，是计算机的一种辅助存储器。磁带机由磁带传动机构和磁头等组成,能驱动磁带相对磁头运动，用磁头进行电磁转换，在磁带上顺序地记录或读出数据。磁带存储器是计算机外围设备之一。磁带存储器以顺序方式存取数据。存储数据的磁带可脱机保存和互换读出。磁带存储器也称为顺序存取存储器（SequentialAccessMemory,简称SAM）即磁带上的文件依次存放。磁带存储器存储容量很大，但查找速度慢，在微型计算机上一般用做后备存储装置，以便在硬盘发生故障时，恢复系统和数据。根据读写磁带的工作原理可分为螺旋扫描技术、线性记录（数据流）技术、DLT技术以及比较先进的LTO技术：螺旋扫描读写技术：以螺旋扫描方式读写磁带上数据的磁带读写技术与录像机基本相似，磁带缠绕磁鼓的大部分，并水平低速前进，而磁鼓在磁带读写过程中反向高速旋转，安装在磁鼓表面的磁头在旋转过程中完成数据的存取读写工作。其磁头在读写过程中与磁带保持15度倾角，磁道在磁带上以75度倾角平行排列。采用这种读写技术在同样磁带面积上可以获得更多的数据通道，充分利用了磁带的有效存储空间，因而拥有较高的数据存取密度。线性记录读写技术：以线性记录方式读写磁带上数据的磁带读写技术与录音机基本相同，平行于磁头的高速运动磁带掠过静止的磁头，进行数据记录或读出操作。这种技术可使驱动系统设计简单，读写速度较低，但由于数据在磁带上的记录轨迹与磁带两边平行，数据存储利用率较低。为了有效提高磁带的利用率和读写速度，人们研制出了多磁头平行读写方式，提高了磁带的记录密度和传输速率，但驱动器的设计变得极为复杂，成本也随之增加。数字线性磁带技术：DLT是一种先进的存储技术标准，包括1/2英寸磁带、线性记录方式、专利磁带导入装置和特殊磁带盒等关键技术。利用DLT技术的磁带机，在带长为1828英尺、带宽为1/2英寸的磁带上具有128个磁道，使单磁带未压缩容量可高达20GB，压缩后容量可增加一倍。线性开放式磁带技术：这是由IBM、HP、Seagate三大存储设备制造公司共同支持的高新磁带处理技术，它可以极大地提高磁带备份数据量。LTO磁带可将磁带的容量提高到100GB，如果经过压缩可达到200GB。LTO技术不仅可以增加磁带的信道密度，还能在磁头和伺服结构方面进行全面改进，LTO技术采用了先进的磁道伺服跟踪系统来有效地监视和控制磁头的精确定位，防止相邻磁道的误写问题，达到提高磁道密度的目的。(2)磁盘存储磁盘分为软盘和硬盘，软盘是一个圆形而柔软的塑料薄片，它的一面或两面覆盖着铁氧化物颗粒。这些颗粒具有磁性，软盘本身并没有读写头，需要软盘驱动器来读取数据。可将软盘想象成硬盘中的一个盘片，用同一个软盘驱动器可以访问许多不同的软盘，用完一张，换上另一张即可。而硬盘与硬盘驱动器是一个紧密联系的整体，不可分割。硬盘由一个或者多个铝制或者玻璃制的碟片组成。碟片外覆盖有铁磁性材料。硬盘组成：

祿r写丸（谄眄一子）克/■耳条井副部甘一埋内.蚪密劫、祿r写丸（谄眄一子）克/■耳条井副部甘一埋内.蚪密劫、在同一半社上的全帑磁谥〔此址占&道〕罪是目…園狂的一个第分.此竝箇鼻攢出2弓乌融口的全辐磁谨器噩烈鼻蠶社柱柱圃酬圍o12硬盘所有盘片都固定在一个旋转轴上，这个轴是盘片主轴。硬盘所有盘片之间是绝对平行的，在每个盘片的存储面上都有一个磁头,磁头与盘片之间的距离比头发丝的直径还小。所有的磁头连在一个磁头控制器上，由磁头控制器负责各个磁头的运动。磁头可沿盘片的半径方向动作，而盘片以每分钟数千转到上万转的速度在高速旋转,这样磁头就能对盘片上的指定位置进行数据的读写操作。硬盘结构：要了解硬盘工作原理，先了解硬盘的结构：盘面、磁道、柱面和扇区。盘面：硬盘的每一个盘片都有两个盘面（side），每个盘面都会利用，都可以存储数据，称为有效盘片，也有极个别硬盘盘面数为单数。每一个这样的有效盘面都有一个盘面号，又叫磁头号，因为每一个有效盘面都有一个对应的读写磁头，盘面号按顺序从上至下从“0”开始依次编号。磁道：磁盘在格式化时被划分成许多同心圆，这些同心圆轨迹叫做磁道。磁道从外向内从0开始顺序编号。数据以脉冲串的形式记录在这些轨迹中，这些同心圆不是连续记录数据，而是被划分成一段段的圆弧，这些圆弧的角速度一样。由于径向长度不一样。所以线速度不一样。同样的转速下，外圈在同样时间段里划过的圆弧长度比内圈划过的圆弧长度大。磁道是“看”不见的，只是盘面上以特殊形式磁化了的一些磁化区，在磁盘格式化时就已规划完毕。柱面：所有盘面上的同一磁道构成一个圆柱，通常称作柱面，每个圆柱上的磁头由上而下从“0”开始编号。数据的读写按柱面进行，即磁头读/写数据时首先在同一柱面内从“0”磁头开始进行操作，依次向下在同一柱面的不同盘面即磁头上进行操作，只在同一柱面所有的磁头全部读/写完毕后磁头才转移到下一柱面，因为选取磁头只需通过电子切换即可，而选取柱面则必须通过机械切换。电子切换相当快，比在机械上磁头向邻近磁道移动快得多，所以，数据的读/写按柱面进行，而不按盘面进行。也就是说，一个磁道写满数据后，就在同一柱面的下一个盘面来写，一个柱面写满后，才移到下一个扇区开始写数据。读数据也按照这种方式进行，这样就提高了硬盘的读/写效率。扇区：磁道的一段圆弧叫做一个扇区，扇区从“1”开始编号，每个扇区中的数据作为一个单元同时读出或写入。扇区是硬盘上存储的物理单位，每个扇区包括512个字节的数据和一些其他信息。一个扇区有两个主要部分：存储数据地点的标识符和存储数据的数据段。硬盘工作原理：磁头靠近主轴接触的表面，即线速度最小的地方，是一个特殊的区域，它不存放任何数据，称为启停区或着陆区(LandingZone)，启停区外就是数据区。在最外圈，离主轴最远的地方是“0”磁道，硬盘数据的存放就是从最外圈开始的。那么，磁头是如何找到“0”磁道的位置的呢？在硬盘中还有一个叫“0”磁道检测器的构件，它是用来完成硬盘的初始定位。“0”磁道是如此的重要，以致很多硬盘仅仅因为“0”磁道损坏就报废，这是非常可惜的。早期的硬盘在每次关机之前需要运行一个被称为Parking的程序，其作用是让磁头回到启停区。现代硬盘在设计上已摒弃了这个虽不复杂却很让人不愉快的小缺陷。硬盘不工作时，磁头停留在启停区，当需要从硬盘读写数据时，磁盘开始旋转。旋转速度达到额定的高速时，磁头就会因盘片旋转产生的气流而抬起，这时磁头才向盘片存放数据的区域移动。盘片旋转产生的气流相当强，足以使磁头托起，并与盘面保持一个微小的距离。这个距离越小，磁头读写数据的灵敏度就越高，当然对硬盘各部件的要求也越高。早期设计的磁盘驱动器使磁头保持在盘面上方几微米处飞行。稍后一些设计使磁头在盘面上的飞行高度降到约0.1um〜0.5um，现在的水平已经达到0.005um〜0.01um，这只是人类头发直径的千分之一。气流既能使磁头脱离开盘面，又能使它保持在离盘面足够近的地方，非常紧密地跟随着磁盘表面呈起伏运动，使磁头飞行处于严格受控状态。磁头必须飞行在盘面上方，而不是接触盘面，这种位置可避免擦伤磁性涂层，而更重要的是不让磁性涂层损伤磁头。但是，磁头也不能离盘面太远，否则，就不能使盘面达到足够强的磁化，难以读出盘上的磁化翻转（磁极转换形式，是磁盘上实际记录数据的方式）。硬盘驱动器磁头的飞行悬浮高度低、速度快，一旦有小的尘埃进入硬盘密封腔内，或者一旦磁头与盘体发生碰撞，就可能造成数据丢失，形成坏块，甚至造成磁头和盘体的损坏。所以，硬盘系统的密封一定要可靠，在非专业条件下绝对不能开启硬盘密封腔，否则，灰尘进入后会加速硬盘的损坏。另外，硬盘驱动器磁头的寻道伺服电机多采用音圈式旋转或直线运动步进电机，在伺服跟踪的调节下精确地跟踪盘片的磁道,所以，硬盘工作时不要有冲击碰撞，搬动时要小心轻放。硬盘读写原理：系统将文件存储到磁盘上时，按柱面、磁头、扇区的方式进行，即最先是第1磁道的第一磁头下（也就是第1盘面的第一磁道）的所有扇区，然后，是同一柱面的下一磁头，……，一个柱面存储满后就推进到下一个柱面，直到把文件内容全部写入磁盘。（文件的记录在同一盘组上存放时，应先集中放在一个柱面上，然后再顺序存放在相邻的柱面上，对应同一柱面，则应该按盘面的次序顺序存放。）（从上到下，然后从外到内，数据的读写按柱面进行，而不按盘面进行）系统也以相同的顺序读出数据。读出数据时通过告诉磁盘控制器要读出扇区所在的柱面号、磁头号和扇区号（物理地址的三个组成部分）进行。磁盘控制器则直接使磁头部件步进到相应的柱面，选通相应的磁头，等待要求的扇区移动到磁头下。当需要从磁盘读取数据时，系统会将数据逻辑地址传给磁盘，磁盘的控制电路按照寻址逻辑将逻辑地址翻译成物理地址，即确定要读的数据在哪个磁道，哪个扇区。为了读取这个扇区的数据，需要将磁头放到这个扇区上方，为了实现这一点：1）首先必须找到柱面，即磁头需要移动对准相应磁道，这个过程叫做寻道，所耗费时间叫做寻道时间，2）然后目标扇区旋转到磁头下，即磁盘旋转将目标扇区旋转到磁头下。这个过程耗费的时间叫做旋转时间。即一次访盘请求（读/写）完成过程由三个动作组成：1）寻道（时间）：磁头移动定位到指定磁道2）旋转延迟（时间）：等待指定扇区从磁头下旋转经过3）数据传输（时间）：数据在磁盘与内存之间的实际传输扇区到来时，磁盘控制器读出每个扇区的头标，把这些头标中的地址信息与期待检出的磁头和柱面号做比较（即寻道），然后，寻找要求的扇区号。待磁盘控制器找到该扇区头标时，根据其任务是写扇区还是读扇区，来决定是转换写电路，还是读出数据和尾部记录。找到扇区后，磁盘控制器必须在继续寻找下一个扇区之前对该扇区的信息进行后处理。如果是读数据，控制器计算此数据的ECC码，然后，把ECC码与已记录的ECC码相比较。如果是写数据，控制器计算出此数据的ECC码，与数据一起存储。在控制器对此扇区中的数据进行必要处理期间，磁盘继续旋转。磁存储原理：磁头是实现读/写的关键元件。写入时，将脉冲代码以磁化电流形式加入磁头线圈，使记录介质产生相应的磁化状态，即电磁转换。读出时，磁层中的磁化翻转使磁头的读出线圈产生感应信号，即磁电转换。写入数据：电带着数据通过电磁转换将信息存储在磁盘中读取数据：磁电转换将磁盘中的信息读出来2.光存储介质无论是CD光盘、DVD光盘等光存储介质，采用的存储方式都与软盘、硬盘相同，是以二进制数据的形式来存储信息。而要在这些光盘上面储存数据，需要借助激光把电脑转换后的二进制数据用数据模式刻在扁平、具有反射能力的盘片上。而为了识别数据，光盘上定义激光刻出的小坑就代表二进制的“1”，而空白处则代表二进制的“0”。DVD盘的记录凹坑比坐ROM更小，且螺旋储存凹坑之间的距离也更小。DVD存放数据信息的坑点非常小，而且非常紧密，最小凹坑长度仅为0.4um，每个坑点间的距离只是CD-ROM的50%，并且轨距只有0.74umoCD光驱、DVD光驱等一系列光存储设备，主要的部分就是激光发生器和光监测器。光驱上的激光发生器实际上就是一个邀光二极管，可以产生对应波长的激光光束，然后经过一系列的处理后射到光盘上，然后经由光监测器捕捉反射回来的信号从而识别实际的数据。如果光盘不反射激光则代表那里有一个小坑，那么电脑就知道它代表一个“1”；如果激光被反射回来，电脑就知道这个点是一个“0”。然后电脑就可以将这些二进制代码转换成为原来的程序。当光盘在光驱中做高速转动，激光头在电机的控制下前后移动,数据就这样源源不断的读取出来了。光存储技术具有存储密度高、存储寿命长、非接触式读写和檫出、信息的信噪比高、信息位的价格低等优点。3.半导体半导体存储主要分为两类：1.RAM和ROM2.闪存半导体存储器是一种以半导体电路作为存储媒体的存储器，内存储器就是由称为存储器芯片的半导体集成电路组成。RAM和ROM都属于半导体存储器。闪存：闪存是电子可擦除只读存储器（EEPROM）的变种，闪存与EEPROM不同的是，EEPROM能在字节水平上进行删除和重写而不是整个芯片擦写，而闪存的大部分芯片需要块擦除。闪存是以块为单位进行数据操作，闪存的写入操作必须在空白区域进行，如果目标区域已经有数据，必须先擦除后写入。说到闪存就必须要提固态硬盘SSD了：SSD主要由SSD控制器，FLASH存储阵列，板上DRA,（可选），以及跟HOST接口（诸如SATA，SAS，PCIe等）组成。SSD主控通过若干个通道（channel）并行操作多块FLASH颗粒，类似RAID0,大大提高底层的带宽。要提高底层带宽，可以增加底层并行的颗粒数目，也可以选择速度快的FLASH颗粒。SSD的写入特点：SSD擦除是以block为单位，而写入是以page为单位。SSD读写实例：初始状态BlockX的Page0和Page1分别存有数据a和）3,BlockY则是空的。现在要写入新的数据Y，并且修改数据a为a'。把a'写入page3中，然后将pageO标记为废弃（灰色），如图:同时擦除BlockX。

位。回到之前，以8通道为例，分析HOST读写SSD的过程。主控通过8通道连接8个FLASHDIE,每个小方块表示一个Page（假设大小为4KB）。HOST先写入4KB数据1閉edcCiiarrii-17IBkicktha「erl左Alack55D生芒HTo€tCtiMwl5HfackCTiarrwIfitikickflvimlTmacle再写入16KB数据。:1tharvnd]Chani^er2Bk-ckCKam^l3B巧氓Cl-mncl4:1tharvnd]Chani^er2Bk-ckCKam^l3B巧氓Cl-mncl4BhtkClWir>lrl5Bk?t^Clkiiicel6Bf-u-lkClioiml7Bfetk的D主討HOST继续写入，整个Block都写满。Channel0BlockChannellBlockChannel2BfntkChannelChannel0BlockChannellBlockChannel2BfntkChannel3BlockChannel4Bloc.kChiwie^5BlockChannel&&kxkCFunnel7SlQcl(HOST是通过LBA（LogicalBlockAddress，逻辑地址块）访问SSD的，每个LBA代表着一个Sector（—般为512B大小），操作系统一般以4K为单位访问SSD，我们把HOST访问SSD的基本单元叫用户页（HostPage）。而在SSD内部，SSD主控与FLASH之间是FLASHPage为基本单元访问FLASH的，我们称FLASHPage为物理页（PhysicalPage）oHOST每写入一个HostPage,SSD主控会找一个PhysicalPage把Host数据写入，SSD内部同时记录了这样一条映射（Map）。有了这样一个映射关系后，下次HOST需要读某个HostPage时，SSD就知道从FLASH的哪个位置把数据读取上来。

PhvsfcaJNANOFla5^PagesODDWPrw«soFOSL&ASp^ceFl电担曲俺Lo^-icalPhvsfcaJNANOFla5^PagesODDWPrw«soFOSL&ASp^ceFl电担曲俺Lo^-icalPtiytic^lMappirtgSSD内部维护了一张映射表（MapTable）,HOST每写入一个HostPage,就会产生一个新的映射关系，这个映射关系会加入（第一次写）或者更改（覆盖写）MapTable；当读取某个HostPage时，SSD首先查找MapTable中该HostPage对应的PhysicalPage，然后再访问Flash读取相应的Host数据。对绝大多数SSD，我们可以看到上面都有板载DRAM，其主要作用就是用来存储这张映射表。尺电閑host虫3MapTable14c就是用来存储这张映射表。尺电閑host虫3MapTable14c酣PaigeBMnpEntryPw1-Was?EntryHouPage2MapErvljy如IFiQt*lHqpEntry继续之前的SSD写操作，当整个SSD写满后，从用户角度来看，如果想写入新的数据，则必须删除一些数据，然后腾出空间再写。用户在删除和写入数据的过程中，会导致一些Block里面的数据变得无效或者变老。ChflnnelOBlockCbannel1BlackChannel2BtotkChaftnel3BlackS$D主芒ChflnnelOBlockCbannel1BlackChannel2BtotkChaftnel3BlackS$D主芒■HUBChanneMBlockChannel5BlockChannel6Bfc-ckChannel7BlockBlock中的数据变老或者无效，是指没有任何映射关系指向它们,用户不会访问到这些FLASH空间，它们被新的映射关系所取代。比如有一个HostPageA，开始它存储在FLASH空间的X,映射关系为A-〉X。后来，HOST重写了该HostPage，由于FLASH不能覆盖写，SSD内部必须寻找一个没有写过的位置写入新的数据，假设为Y，这个时候新的映射关系建立：A->Y，之前的映射关系解除，位置X上的数据变老失效，我们把这些数据叫垃圾数据。随着HOST的持续写入，FLASH存储空间慢慢变小，直到耗尽。如果不及时清除这些垃圾数据，HOST就无法写入。SSD内部都有垃圾回收机制，它的基本原理是把几个Block中的有效数据（非垃圾数据，上图中的绿色小方块表示的）集中搬到一个新的Block上面去，然后再把这几个Block擦除掉，这样就产生新的可用Block了。Block中有效数据为A,B，C，Block上有效数据为D,F，E，G，红色方块为无效数据。垃圾回收机制就是先找一个未写过的可用Blockz，然后把Blockx和Blocky的有效数据搬移到Blockz上面去，这样Blockx和Blocky上面就没有任何有效数据，可以擦除变成两个可用的Block。挖除BDEGBbck挖除BDEGBbck*BlCx>ky当整个SSD写满之后，如果想写入新的数据，则必须删除一些数据，然后腾出空间再写。一块刚买的SSD，你会发现写入速度很快，那是因为一开始总能找到可用的Block来进行写入。但是，随着你对SSD的使用，你会发现它会变慢。原因就在于SSD写满后，当你需要写入新的数据，往往需要做上述的垃圾回收：把若干个Block上面的有效数据搬移到某个Block，然后擦掉原先的Block，然后再把你的Host数据写入。这比最初单纯的找个可用的Block来写耗时多了，所以速度变慢也就可以理解了。假设HOST要写入4KB数据（H），由于当前可用Block过少，SSD开始做垃圾回收。从上图可以看出，对Blockx来说，它需要把PageA,B,C的数据读出并写入到Blockz,然后Blockx擦除用于HOST数据写入。从Host角度，它只写了4KB数据，但从SSD内部来说，它实际写入了4个Page（PageA,B,C写入Blockz，4KB数据H写入到Blockx）。这就是写放大。当要写入一个4KB的数据时，最坏的情况是一个块里已经没有干净空间了，但有无效的数据可以擦除，所以主控就把所有的数据读到缓存，擦除块，缓存里更新整个块的数据，再把新数据写回去，这个操作带来的写入放大就是：实际写4K的数据，造成了整个块（共512KB）的写入操作，那就是放大了128倍。同时还带来了原本只需要简单一步写入4KB的操作变成：闪存读取（512KB）-缓存改（4KB）f闪存擦除（512KB）-闪存写入（512KB），共四步操作，造成延迟大大增加，速度变慢。所以说WA是影响SSD随机写入性能和寿命的关键因素。SSD内部需要预留空间，这部分空间HOST是看不到的。这部分预留空间，不仅仅用以做垃圾回收，事实上，SSD内部的一些系统数据，也需要预留空间来存储，比如映射表、SSD固件以及其他的一些SSD系统管理数据。一个Block上有效的数据越少（垃圾数据越多），则回收速度越快。1GB=1，000，000，000Byte，从底层FLASH的角度，lGB=l*1024*1024*1024Byte。256GBFLASH为256*2八30Byte而一般说的256GBSSD容量为256*107Byte，所以有（256*2八30-256*107）/（256*107）=7.37%的OP，如果把256GBFLASH容量的SSD配成240GBOP为14.5%，OP越大，每个BLOCK平均有效数据率越小，因此OP越大，垃圾回收越快，写放大越小。磨损平衡（WL，WearLeveling）：写放大越小，意味着写入同样多的HOST数据，写入到FLASH中的数据越少，也就意味着FLASH损耗越小。FLASH都是有一定寿命的，它是用P/E数（Program/EraseCount）来衡量的。随着用户对SSD的使用，会形成一些Block有很高的PE数，而有些Block的PE数却很低，这不是我们想看到的，会影响flash的寿命。我们希望所有Block的PE数应该差不多，Block被均衡使用。SSD内部的WL机制可以保证这一点。WL：动态WL和静态WL。动态WL：就是在使用Block进行擦写操作的时候，优先挑选PE数低的；静态WL:就是把长期没有修改的老数据（如只读文件数据）从PE数较低的Block中搬出来，然后找个PE数较高的Block进行存放，这样，之前低PE数的Block就能拿出来使用。静态WL下的闪存耐久度最好。关于擦写次数：ssd存储空间完全擦写完一次算一次p/e（寿命单位）比如你ssd容量250g那么要存储读写250g的东西以后算一次p/e闪存类型SIXMIXTLC每单元比特数123可撩写次数约100000约5000约1000读取时间25ps50ps75ps编程时间300ps600ps900ps集写时间1500ps3000ps4500ps固态硬盘寿命计算公式：实际容量（GB）枚数）寿命二实际容量二硬盘容量*使用率（一般不低于95%）实际写入二写入文件大小*写入放大率存储方式、存储分类、存储相关协议及技术、存储的一些基础知识？什么是存储？存储是信息数据生存的地方，是信息的载体。在存储业内，狭义上的存储指的是根据不同的业务，采用合适、安全、有效的技术方案将信息存放在具有冗余、保护、迁移等功能的物理媒介。磁盘阵列和相关外围连接设备是存储中最重要的组成部分。在大型数据中心中，计算机通常使用专用的光纤通道交换机和协议与磁盘阵列相连，来处理高负荷的企业级事务。目前提到存储更多的是指与存储相关的整体解决方案，而不再仅限于磁盘阵列。从广义上讲，客户希望解决的存储问题需要考虑存储物理组成、基础结构、保护方式、综合管理，并结合服务器、数据库、应用、网络架构、客户实际的业务应用和人员能力为其提供整体的存储解决方案。广义的存储，可以理解为一组为现代企业提供信息存取、保护、优化和利用的整体解决方案，是以数据为中心的信息架构的支柱。三种常见存储方式：DAS（DirectAttachedStorage，直接外挂存储）是存储方式的一种方案。这种存储方案的服务器结构如同PC机架构，外部数据存储设备（如磁盘阵列、光盘机、磁带机等）都直接挂接在服务器内部总线上，数据存储设备是整个服务器结构的一部分，同样服务器也担负着整个网络的数据存储职责。直接连接存储DAS（DirectAttachedStorage）是对SCSI总线的进一步发展。它对外利用SCSI总线通道和多个主机连接,解决了SCSI卡只能连接到一个主机上的缺陷。对内利用SCSI总线通道或FC通道、IDE接口连接多个磁盘，并实现RAID技术，形成一个磁盘阵列，从而解决了数据容错、大存储空间的问题。DAS是以服务器为中心的存储体系结构，难以满足现代存储应用大容量、高可靠、高可用、高性能、动态可扩展、易维护和开放性等多方面的需求。解决这一问题的关键是将访问模式从以服务器为中心转化为以数据和网络为中心，实现扩展容量、增加性能和延伸距离，尤其是实现多个主机数据的共享，这推动了存储与计算的分离，即网络存储的发展。/—__□-_FiberChannel/DiskarrayServerNAS存储也通常被称为附加存储，顾名思义，就是存储设备通过标准的网络拓扑结构（例如以太网）添加到一群计算机上。NAS是文件级的存储方法，它的重点在于帮助工作组和部门级机构解决迅速增加存储容量的需求。如今用户采用NAS较多的功能是用来文档共享、图片共享、电影共享等等，而且随着云计算的发展，一些NAS厂商也推出了云存储功能，大大方便了企业和个人用户的使用。NAS(附网存储系统)系统是用一个装有优化的文件系统和瘦操作系统的专用数据存储服务器，提供跨平台的文件共享功能。NAS产品与客户之间的通讯采用NFS(NetworkFileSystem)协议、CIFS(CommonInternetFileSystem)协议，这些协议运行在IP之上。。尽管NAS集成了系统、存储和网络技术，具有扩展性强、使用与管理简单、跨平台文件共享、性能优化等特点。然而，NAS系统也有其潜在的局限性。首先是它受限的数据库支持，NAS文件服务器不支持需大量依赖于数据库处理结果的应用(块级应用)。其次是缺乏灵活性，它是一种专用设备。最后，NAS备份与恢复的实现相当困难。NetworkAttachedStorageClientsSAN(StorageAeraNetwork)存储区域网络，是一种通过网络方式连接存储设备和应用服务器的存储构架，这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时，数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。SAN是一种将存储设备、连接设备和接口集成在一个高速网络中的技术。SAN本身就是一个存储网络，承担了数据存储任务，SAN网络与LAN业务网络相隔离，存储数据流不会占用业务网络带宽。在SAN网络中，所有的数据传输在高速、高带宽的网络中进行，SAN存储实现的是直接对物理硬件的块级存储访问，提高了存储的性能和升级能力。早期的SAN采用的是光纤通道（FC,FiberChannel）技术，所以，以前的SAN多指采用光纤通道的存储局域网络，到了iSCSI协议出现以后，为了区分，业界就把SAN分为FC-SAN和IP-SAN。SAN（存储区域网）是通过专用高速网将一个或多个网络存储设备（如磁盘阵列RAID）和服务器连接起来的专用存储系统。SAN以数据存储为中心，采用可伸缩的网络拓扑结构，提供SAN内部任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内，实现最大限度的数据共享和数据优化管理，以及系统的无缝扩充。正是由于光纤通道技术的发展，使得SAN得以支持远距离通信、易于扩展、能够解决网络数据的存储备份、高可用性、灾难恢复等有关问题，它可以提供高性能数据管道和共享的集中管理的存储设备。因此采用网络和通道技术相互融合的光纤通道接口的SAN将LAN上的存储转换到主要由存储设备组成的专用网络上，使得数据的访问、备份和恢复不影响LAN的性能，在大量数据访问时，不会大幅度降低网络性能。SAN主要用于存储量大的工作环境，并且SAN的适用性和通用性较差，在系统的安装和升级方面效率不高，且由于SAN使用专用网络(一般为光纤网络)，相应的设备价格昂贵，总体实现费用较高，局限于大中型应用。NAS和SAN技术都体现了数据存储从传统的服务器中独立出来的思想，它们是网络存储领域中的两个发展方向。随着NAS和SAN之间的界限越来越模糊，其中更重要的区别可能就是在NAS/SAN混合系统中所采用的协议了：IP、光纤通道，或者iSCSI等。StorageAreaNetwork1j——IIibriiryUNIX严IINUXWINDOVJSStorageAreaNetwork1j——IIibriiryUNIX严IINUXWINDOVJSArray1Array2Raid5RaidsArray3RaidlUDiskArrayA山Ns这里提到了存储的相关协议，所以先了解一下存储相关的协议：FC(FibreChannel)协议FC(FibreChannel)协议是一套完全独立的网络协议，比以太网要复杂得多。FibreChannel可以称其为FC协议或者FC网络，像TCP/IP一样，FC协议集同样具备TCP/IP协议集以及以太网中的很多概念，比如FC交换、FC交换机、FC路由、SPF路由算法等。FC是一个高速高效、配置简单、不需要太多人为介入的网络。基于这个原则，为了进一步提高FC网络的速度和效率，在FC终端设备上,FC协议的大部分逻辑被直接坐到一块独立的硬件卡片当中，而不是运行在操作系统中。TCP/IP就是一种运行与主机操作系统上的网络协议，其IP和TCP或者UDP模块是运行在操作系统上的，只有以太网逻辑部分是运行在以太网卡芯片中，CPU从以太网卡接受到的数据是携带有IP头部及TCP/UDP头部的，需要运行在CPU中的TCP/IP协议代码来进一步处理这些头部，才能生成最终的应用程序需要的数据。而FC协议的物理层到传输层的逻辑，大部分运行在FC适配卡的芯片中，只有小部分关于上层API的逻辑运行与操作系统FC卡驱动程序中，这样就使FC协议的速度和效率都较TCP/IP协议高。这么做肯定要增加成本，但是FC网络本来就不是为大众设计的，增加成本来提高速度和效率是值得的。提示：由于Fiebre（纤维、网络）和Fiber（光线）只有一字之差，所以产生了很多流传的误解。FC只代表FibreChannel，而不是FiberChannel，后者被翻译为“光纤通道”甚至接口为FC的磁盘也被称为“光纤磁盘”其实这些都是很滑稽的误解。再加上FC协议普遍都用光纤作为传输线缆而不用铜线，所以人们下意识的称FC为光纤通道协议而不是网状通道协议。但是要理解，FC其实是一套网络协议的称呼，FC协议和光纤根本没有必然地联系，FibreChannel可以称其为FC协议，或者FC网络、FC互联。同样“FC交换机就是插光纤的以太网交换机”和“以太网就是双绞线，以太网就是水晶头”这些说法都是错误的。（2）SCSISCSI就是指SmallComputerSystemInterface小型计算机系统接口），它最早研制于1979年，原是为小型机的研制出的一种接口技术，但随着电脑技术的发展，现在它被完全移植到了普通微机上。SCSI广泛应用于如：硬盘、光驱、ZIP、M0、扫描仪、磁带机、JAZ、打印机、光盘刻录机等设备上，由于较其他标准接口的传输速率来得快，所以在较好的高端电脑、工作站、服务器上常用来作为硬盘及其他储存装置的接口。目前SCSI有以下几种延伸规格：SCSI-1、SCSI-2、SCSI-3（最新的为SCSI-3）、FastSCSI、WideSCSI、ULTRASCSI、UltraWideSCSI、ULTRA2SCSI、WIDEULTRA2SCSI、Ultra160/mSCSI、Ultra320SCSI。SCSI-1：1979年提出，支持同步和异步SCSI外围设备；支持7台8位的外围设备，最大数据传输速度为5MB/s。SCSI-2：1992年提出，也称为FastSCSI，数据传输率提高到20MB/s。SCSI-3：1995年提出，UltraSCSI（Fast-20）。Ultra2SCSI（Fast-40）出现于1997年，最高传输速率可达80MB/s。1998年9月，Ultra3SCSI（Utra160SCSI）正式发布，最高数据传输率为160MB/s。Ultra320SCSI的最高数据传输率已经达到了320MB/s。SCSI接口优点：1.SCSI接口具有应用范围广泛、强大灵活的连接方式。高性能（具有很多任务、带宽大、及少CPU占用率、热插拔等特点）具有外置和内置两种SCSI接口缺点：价格昂贵、安装复杂、扩展性差。SCSI迁移到FC：由于SCSI的接口方面的各种缺陷，现在是考虑把基于并行SCSI总线的存储网络架构全面迁移到FC提供的这个新的网络架构的时候了。但是FC协议只是定义了一套完整的网络传输体系，并没有定义诸如SCSI指令集这样可用于向磁盘存取数据的通用语言。而SCSI是一个高效的磁盘存取数据的指令集，FC只需要将SCSI语言结合在一起，也就是SCSI语言承载于FC传输载体上进行传送。在SCSI-3协议规范中，将SCSI指令语义部分（OSI上三层）和SCSI底层传输部分（OSI下四层）分割开，使得SCSI指令集可以使用其他网络传输协议、方式进行传输，而不仅仅限于并行SCSI总线了。FC的出现取代了SCSI协议集的底层传输模块，由FC协议的底层模块担当传输通道和手段，将SCSI协议集的上层内容传送到对方。可以说是SCSI协议集租用了FC协议，将自己的底层传输流程外包给了FC协议来做。FC协议定义了再FC4层上的针对SCSI指令集的特定接口，成为FCP，也就是SCSIoverFC。引入FC后：提高了扩展性:在SCSI时代，一条SCSI总线网络最多可以接入到16个节点，所有节点共享320MB/s带宽，理论上平均每台主机节点最多只能得到20MB/S的带宽，实际加上各种开销和随机IO的影响，估计每台主机能获得的吞吐量会不足10MB/so再加上SCSI线缆最长不能超过25米，用一条宽线缆去连接16台主机和阵列的难度可想而知。而引入FC包交换网络之后，首先是速度提升了一大截，其次由于其包交换的架构，使用FC交换机，可以很容易的实现多个节点收发数据的目的。增加了传输距离：FC携带有现代通信的最新技术特质，比如可以使用光纤，而这就可以使主机和远隔几百米甚至上千米（使用单模光缆）之外的盘阵相连并读写数据。面向无连接的优势：并行SCSI总线网属于面向连接的网络，在数据交换环境中，通信双方要预先建立一条物理上的通路（虚电路），不管路径上有没有数据传输，这条通路总是存在，其他节点的通信不管数据多么拥堵都不能使用这条通路。这样造成使用成本高，资源浪费，网络缺乏高可用性。而面向无连接技术的FC交换网络中，数据流被封装成数据包，保障数据传输和流量控制，此时网络是共享的，网络按照BestEffect尽力而为的方式转发数据包，网络资源利用率高、通信效率高、成本低等特点。面向无连接的包交换网络比面向连接的网络有很多优势。面向无连接的包交换网络是网络通信的一种趋势。4•传输方式的优势：FC网络串行传输在长距离高速传输方面，也必将取代并行传输。FC接口速度可以是1Gb、2Gb、4Gb甚至8Gb，并且盘阵前端可以同时提供多个主机接口，所以它们带宽之和远远高于后端连接磁盘的并行SCSI总线提供的速度。（3）iSCSIiSCSI（InternetSmallComputerSystemInterface互联网小型计算机系统接口），在这种协议中，SCSI语言可以在Internet上来传递，也就是SCSI语言承载于TCP/IP上进行数据块传输的标准。它是由Cisco和IBM两家发起的，并且得到了各大存储厂商的大力支持。iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。iSCSI标准在2003年2月11日由IETF（互联网工程任务组）认证通过°iSCSI继承了两大最传统技术：SCSI和TCP/IP协议。这为iSCSI的发展奠定了坚实的基础。由此可见其扩展性是非常高的，只要IP可达，则两个节点之间就可以通过ISCSI通信。也就是说，国内的一台主机，可以通过ISCSI协议从Internet访问国外的存储空间。既然ISCSI协议是利用TCP/IP协议来传输SCSI语言指令，那么在通信的双方就一定需要先建立起TCP的链接。基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能，甚至直接利用现有的TCP/IP网络。相对于以往的网络存储技术，它解决了开放性、容量、传输速度、兼容性、安全性等问题，其优越的性能使其备受始关注与青睐。iSCSI的优势:广泛分布的以太网为iSCSI的部署提供了基础。千兆/万兆以太网的普及为iSCSI提供了更大的运行带宽。由于基于TCP/IP网络，完全解决数据远程复制(DataReplication)及灾难恢复(DisasterRecover)等传输距离上的难题。得益于以太网设备的价格优势和TCP/IP网络的开放性和便利的管理性，设备扩充和应用调整的成本付出小。了解了相关协议之后，回到之前的问题，什么是IPSAN，什么是FCSAN呢？IPSAN和FCSAN是SAN的两种结构FCSAN优点：传输带宽高，目前有1,2,4和8Gb/s四种标准，主流的是4和8Gb/s,性能稳定可靠，技术成熟，是关键应用领域和大规模存储网络的不二选择。缺点：成本极其高昂，需要光纤交换机和大量的光纤布线；维护

及配置复杂，需要培训完全不同于LAN管理员的专业FC网络管理员。IPSAN由于FCSAN的高成本使得很多中小规模存储网络不能接受，一些人开始考虑构建基于以太网技术的存储网络。但是在SAN中，传输的指令是SCSI的读写指令，不是IP数据包°iSCSI（互联网小型计算机系统接口）是一种在TCP/IP上进彳丁数据块传输的标准。它是由Cisco和IBM两家发起的，并且得到了各大存储厂商的大力支持。iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。为了与之前基于光纤技术的FCSAN区分开来，这种技术被称为IPSANOiSCSI继承了两大最传统技术：SCSI和TCP/IP协议。这为iSCSI的发展奠定了坚实的基础。基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能，甚至直接利用现有的TCP/IP网络。相对于以往的网络存储技术，它解决了开放性、容量、传输速度、兼容性、安全性等问题，其优越的性能使其备受关注与青睐。在实际工作时，是将SCSI命令和数据封装到TCP/IP包中，然后通过IP网络进行传输。IPSAN优势：成本低廉，购买的网线和交换机都是用以太网，甚至可以利用现有网络组建SAN；部署简单，管理难度低；万兆以太网的出现使得IPSAN在与FCSAN竞争时不再逊色于传输带宽；基于IP网络的天生优势使得IPSAN很容易实现异地存储、远程容灾等穿越WAN才能实现的技术。

HwiCKWIFE心HwiCKWIFE心5.SAN和NAS：SAN和NAS经常被视为两种竞争技术，实际上，二者能够很好地相互补充，以提供对不同类型数据的访问°SAN针对海量、面向数据块的数据传输，而NAS则提供文件级的数据访问和共享服务。.SAN和NAS的区别通俗上理解，SAN是一个网络上的磁盘，NAS是一个网络上的文件系统。根据SAN的定义，即“存储区域网络”SAN其实只是一个网络，但是这个网络内包含着各种这样的元素，主机、适配器、网络交换机、磁盘阵列前端、盘阵后端、磁盘等。应该说，SAN是一个最大的涵盖，它涵盖了一起后端存储相关的内容。所以从这个角度来看，SAN包含了NAS，因为NAS的意思是“网络附加存储”是一种网络存储方式，这样NAS没有理由不属于SAN的范畴。SAN和NAS的定位

枷I至碗蛊物理脱盘」Lurj+JSAN工作方式图F枷I至碗蛊物理脱盘」Lurj+JSAN工作方式图F应CtV杠*1)内1LUMP)T-!X丿/10适存宜注通信“信，■=PClh枳通信如上图所示，NAS架构的路径在虚拟目录层和文件系统层通信的时候，用以太网络和TCP/IP协议代替了内存，这样做不但增加了大量的CPU指令周期（TCP/IP逻辑和以太网卡驱动程序），而且使用了低速传输介质（内存速度要比以太网快得多）。而SAN方式下，路径中比NAS方式多了一次FC访问过程，但是FC的逻辑大部分都由适配卡上的硬件完成，增加不了多少CPU开销，而且FC访问的速度比以太网高。所以很容易得出结论。如果后端磁盘没有瓶颈，那么除非NAS使用快于内存的网络方式与主机通信，否则其速度永远无法超越SAN架构。但是如果后端磁盘有瓶颈，那么NAS用网络代替内存的方法产生的性能降低就可以忽略。比如，在大量随机小块10、缓存命中率低的环境下，后端磁盘系统寻道瓶颈达到最大，此时前端的IO指令都会处于等待状态，所以就算路径前端速度再快，也无济于事。此时，NAS系统不但不比SAN慢，而且由于其优化的并发IO设计和基于文件访问而不是簇块访问的特性，反而可能比SAN性能高。NAS对于大块顺序IO密集的环境，要比SAN慢很多，所以在IO密集的环境中首选使用SAN。此外，如果是高并发随机小块IO环境或者共享访问文件的环境，NAS会表现出很强的相对性能。如果SAN主机上的文件系统碎片比较多，那么读写某个文件时便会产生随机小块IO，而NAS自身文件系统会有很多优化设计，碎片相对少OCPU密集的应用可以考虑使用NAS。SAN与NAS各有各的优点和缺点，需要根据不同的环境和需求来综合考虑。SAN和NAS的结合尽管这两种技术类似，但严格意义上讲NAS其实只是一种文件服务。NAS和SAN不仅各有应用场合，也相互结合，许多SAN部署于NAS后台，为NAS设备提供高性能海量存储空间。NAS和SAN结合中出现了NAS网关这个部件。NAS网关主要由专为提供文件服务而优化的操作系统和相关硬件组成，可以看作是一个专门的文件管理器。NAS网关连接到后端上的SAN上，使的SAN的大容量存储空间可以为NAS所用。因此，NAS网关后面的存储空间可以根据环境的需求扩展到非常大的容量。“NAS网关”方案主要是在NAS—端增加了可与SAN相连的“接口”，系统对外只有一个用户接口。NAS网关系统虽然在一定程度上解决了NAS与SAN系统的存储设备级的共享问题，但在文件级的共享问题上却与传统的NAS系统遇到了同样的可扩展性问题。当一个文件系统负载很大时，NAS网关很可能成为系统的瓶颈。IPSAN和NAS的定位虽然iSCSI与NAS都是利用TCP/IP加以太网来实现的。但是二者所传输的语言是大相径庭的。NAS传输的是文件系统语言，而iSCSI传输的是SCSI指令语言。NAS设备上必须运行一种或者多种文件系统逻辑，才能成为NAS；而iSCSITarget设备上不需要运行任何文件系统逻辑（盘阵自身操作系统文件管理除外。）在相同的条件下，iSCSI与NAS在速度与性能方面相差不大。6.三种存储类型SAN是块存储，而NAS是文件存储（1）块存储典型设备：磁盘阵列，硬盘块存储主要是将裸磁盘空间整个映射给主机使用的，就是说例如磁盘阵列里面有5块硬盘（为方便说明，假设每个硬盘1G），然后可以通过划逻辑盘、做Raid、或者LVM（逻辑卷）等种种方式逻辑划分出N个逻辑的硬盘。（假设划分完的逻辑盘也是5个，每个也是1G,但是这5个1G的逻辑盘已经于原来的5个物理硬盘意义完全不同了。例如第一个逻辑硬盘A里面，可能第一个200M是来自物理硬盘1,第二个200M是来自物理硬盘2,所以逻辑硬盘A是由多个物理硬盘逻辑虚构出来的硬盘。）接着块存储会采用映射的方式将这几个逻辑盘映射给主机，主机上面的操作系统会识别到有5块硬盘，但是操作系统是区分不出到底是逻辑还是物理的，它一概就认为只是5块裸的物理硬盘而已，跟直接拿一块物理硬盘挂载到操作系统没有区别的，至少操作系统感知上没有区别。此种方式下，操作系统还需要对挂载的裸硬盘进行分区、格式化后，才能使用，与平常主机内置硬盘的方式完全无异。优点：1、这种方式的好处当然是因为通过了Raid与LVM等手段，对数据提供了保护。2、另外也可以将多块廉价的硬盘组合起来，成为一个大容量的逻辑盘对外提供服务，提高了容量。3、写入数据的时候，由于是多块磁盘组合出来的逻辑盘，所以几块磁盘可以并行写入的，提升了读写效率。4、很多时候块存储采用SAN架构组网，传输速率以及封装协议的原因，使得传输速度与读写速率得到提升。缺点：1、采用SAN架构组网时，需要额外为主机购买光纤通道卡，还要买光纤交换机，造价成本高。2、主机之间的数据无法共享，在服务器不做集群的情况下，块存储裸盘映射给主机，再格式化使用后，对于主机来说相当于本地盘，那么主机A的本地盘根本不能给主机B去使用，无法共享数据。3、不利于不同操作系统主机间的数据共享：另外一个原因是因为操作系统使用不同的文件系统，格式化完之后，不同文件系统间的数据是共享不了的。例如一台装了WIN7/XP，文件系统是FAT32/NTFS，而Linux是EXT4,EXT4是无法识别NTFS的文件系统的。就像一只NTFS格式的U盘，插进Linux的笔记本，根本无法识别出来。所以不利于文件共享。（2）文件存储典型设备：FTP、NFS服务器为了克服上述文件无法共享的问题，所以有了文件存储。文件存储也有软硬一体化的设备，但是其实普通拿一台服务器/笔记本，只要装上合适的操作系统与软件，就可以架设FTP与NFS服务了，架上该类服务之后的服务器，就是文件存储的一种了。主机A可以直接对文件存储进行文件的上传下载，与块存储不同，主机A是不需要再对文件存储进行格式化的，因为文件管理功能已经由文件存储自己搞定了。优点：1、造价交低：随便一台机器就可以了，另外普通以太网就可以，根本不需要专用的SAN网络，所以造价低。2、方便文件共享：例如主机A（WIN7,NTFS文件系统）,主机B（Linux,EXT4文件系统），想互拷一部电影，本来不行。加了个主机C（NFS服务器），然后可以先A拷到C,再C拷到B就0K了。（例子比较肤浅，请见谅……）缺点：读写速率低，传输速率慢：以太网，上传下载速度较慢，另外所有读写都要1台服务器里面的硬盘来承担，相比起磁盘阵列动不动就几十上百块硬盘同时读写，速率慢了许多。（3）对象存储对象数据不是存储在固定的块，而是在大小可变的“容器”里。对象存储（OSD）使用对象（Object）对所保存的数据进行管理。它将数据存放到磁盘的磁道和扇区，将若干磁道和扇区组合起来构成Object，并且通过此Object向外界提供对数据的访问。每个Object同传统的文件相似，使用同文件类似的访问接口，包括Open、Read、Write等。但是两者并不相同，每个Object可能包括若干个文件，也可能是某个文件的一部分，且是独立于操作系统的。除了具体的用

户数据外，OSD还记录了每个Object的属性信息，主要是物理视图信息。将这些信息放到0SD上，大大减轻了元数据服务器的负担，增强了整个存储系统的并行访问性能和可扩展性。Block-BasedDiskObject-BasedDiskBlock-BasedDiskObject-BasedDisk363678g1G1■1213■■■J"l61718MetadataAttributesObject-BasedDiskdata:Objectcreationdate/time：MetadataAttributesObject-BasedDiskdata:Objectcreationdate/time：ownership,size.„.Attributes-inferred;accessccntenthindexes...Attributes-usersupplied:retention.Qo$r.Filenames/inodesTraditronalHierarchicalObjects/OIDsVirtualViewBFilenames/inodesTraditronalHierarchicalObjects/OIDsVirtualViewBVirtualViewA总体上来讲，对象存储同兼具SAN高速直接访问磁盘特点及NAS的分布式共享特点。•对象对象是系统中数据存储的基本单位，一个对象实际上就是文件的数据和一组属性信息(MetaData)的组合，这些属性信息可以定义基于文件的RAID参数、数据分布和服务质量等，而传统的存储系统中用文件或块作为基本的存储单位，在块存储系统中还需要始终追踪系统中每个块的属性，对象通过与存储系统通信维护自己的属性。在存储设备中，所有对象都有一个对象标识，通过对象标识0SD命令访问该对象。通常有多种类型的对象，存储设备上的根对象标识存储设备和该设备的各种属性，组对象是存储设备上共享资源管理策略的对象集合等。•对象存储设备对象存储设备具有一定的智能，它有自己的CPU、内存、网络和磁盘系统，OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。OSD的主要功能包括数据存储和安全访问。目前国际上通常采用刀片式结构实现对象存储设备。OSD提供三个主要功能：数据存储。OSD管理对象数据，并将它们放置在标准的磁盘系统上，OSD不提供块接口访问方式，Client请求数据时用对象ID、偏移进行数据读写。智能分布。OSD用其自身的CPU和内存优化数据分布，并支持数据的预取。由于OSD可以智能地支持对象的预取，从而可以优化磁盘的性能。每个对象元数据的管理。OSD管理存储在其上对象的元数据，该元数据与传统的inode元数据相似，通常包括对象的数据块和对象的长度。而在传统的NAS系统中，这些元数据是由文件服务器维护的，对象存储架构将系统中主要的元数据管理工作由OSD来完成，降低了Client的开销。元数据服务器(MetadataServer，MDS)MDS控制Client与OSD对象的交互，主要提供以下几个功能：对象存储访问。MDS构造、管理描述每个文件分布的视图，允许Client直接访问对象。MDS为Client提供访问该文件所含对象的能力，OSD在接收到每个请求时将先验证该能力，然后才可以访问。文件和目录访问管理。MDS在存储系统上构建一个文件结构，包括限额控制、目录和文件的创建和删除、访问控制等。ClientCache—致性。为了提高Client性能，在对象存储系统设计时通常支持Client方的Cache。由于引入Client方的Cache，带来了Cache一致性问题,MDS支持基于Client的文件Cache，当Cache的文件发生改变时，将通知Client刷新Cache，从而防止Cache不一致引发的问题。对象存储系统的客户端Client为了有效支持Client支持访问OSD上的对象，需要在计算节点实现对象存储系统的Client,通常提供POSIX文件系统接口，允许应用程序像执行标准的文件系统操作一样。对象存储结构核心是将数据通路(数据读或写)和控制通路(元数据)分离，并且基于对象存储设备(Object-basedStorageDevice，OSD)构建存储系统，每个对象存储设备具有一定的智能，能够自动管理其上的数据分布。对象存储体系结构定义了一个新的、更加智能化的磁盘接口OSD。在传统的文件系统中，元数据由本机或者文件服务器负责维护，每次对数据块的操作都要获取元数据。在对象存储系统中，由于每次操作只有一次对元数据的访问，具体的数据传输都由OSD和客户端通过直接连接进行，大大减少了元数据的操作，降低了元数据服务器的负担，从而为系统的扩展提供了可能性。对象存储和文件系统在接口上的本质区别是对象存储不支持和fread和fwrite类似的随机位置读写操作，即一个文件PUT到对象存储里以后，如果要读取，只能GET整个文件，如果要修改一个对象，只能重新PUT一个新的到对象存储里，覆盖之前的对象或者形成一个新的版本。分级存储分级存储是根据数据的重要性、访问频率、保留时间、容量、性能等指标，将数据采取不同的存储方式分别存储在不同性能的存储设备上，通过分级存储管理实现数据客体在存储设备之间的自动迁移。数据分级存储的工作原理是基于数据访问的局部性。通过将不经常访问的数据自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据，可以获得更好的性价比。这样，一方面可大大减少非重要性数据在一级本地磁盘所占用的空间，还可加快整个系统的存储性能。传统的数据存储一般分为在线(On-line)存储和离线(Off-line)存储两级存储方式。而在分级存储系统中，一般分为在线(On-line)存储、近线(Near-line)存储和离线(Off-line)存储三级存储方式。在线存储是指将数据存放在高速的磁盘系统(如闪存存储介质、FC磁盘或SCSI磁盘阵列)等存储设备上，适合存储那些需要经常和快速访问的程序和文件，其存取速度快，性能好，存储价格相对昂贵。在线存储是工作级的存储，其最大特征是存储设备和所存储的数据时刻保持“在线”状态，可以随时读取和修改，以满足前端应用服务器或数据库对数据访问的速度要求。近线存储是指将数据存放在低速的磁盘系统上，一般是一些存取速度和价格介于高速磁盘与磁带之间的低端磁盘设备。近线存储外延相对比较广泛，主要定位于客户在线存储和离线存储之间的应用。就是指将那些并不是经常用到（例如一些长期保存的不常用的文件归档），或者说访问量并不大的数据存放在性能较低的存储设备上。但对这些设备的要求是寻址迅速、传输率高。因此，近线存储对性能要求相对来说并不高，但又要求相对较好的访问性能。同时多数情况下由于不常用的数据要占总数据量的较大比重，这也就要求近线存储设备在需要容量上相对较大。近线存储设备主要有SATA磁盘阵列、DVD-RAM光盘塔和光盘库等设备。离线存储则指将数据备份到磁带或磁带库上。大多数情况下主要用于对在线存储或近线存储的数据进行备份，以防范可能发生的数据灾难，因此又称备份级存储。离线存储通常采用磁带作为存储介质，其访问速度低，但价格低廉的海量存储。分级存储设备是根据具体应用可以变化的，这种存储级别的划分是相对的，可以分为多种级另I」。如可以采取FC磁盘一SCSI磁盘一SATA磁盘这种三级存储结构，也可以采取SSD盘一FC磁盘一SCSI磁盘一SATA磁盘一磁带这种五级存储结构，具体采用哪些存储级别需要根据具体应用而定。重复数据删除技术De-duplication,即重复数据删除，它是一种目前主流且非常热门的存储技术，可对存储容量进行有效优化。它通过删除数据集中重复的数据，只保留其中一份，从而消除冗余数据。Dedupe技术目前大量应用于数据备份与归档系统，因为对数据进行多次备份后，存在大量重复数据，非常适合这种技术。事实上，dedupe技术可以用于很多场合，包括在线数据、近线数据、离线数据存储系统，可以在文件系统、卷管理器、NAS、SAN中实施。Dedupe也可以用于数据容灾、数据传输与同步，作为一种数据压缩技术可用于数据打包。Dedupe技术可以帮助众多应用降低数据存储量，节省网络带宽，提高存储效率、减小备份窗口，节省成本。GeneralDaUDd归冋口reOptimizationGeneralDaUDd归冋口reOptimizationDaiaafterOsjtimfjabor••••ItMetadata数据消重时机分为两种情形：在线消重和离线消重。采用在线消重模式，数据写入存储系统同时执行消重，因此实际传输或写入的数据量较少，适合通过LAN或WAN进行数据处理的存储系统，如网络备份归档和异地容灾系统。由于它需要实时进行文件切分、数据指纹计算、Hash查找，对系统资料消耗大。离线消重模式，先将数据写入存储系统，然后利用适当的时间再进行消重处理。这种模式与前面一种刚好相反，它对系统资料消耗少，但写入了包含重复的数据，需要更多的额外存储空间来预先存储消重前数据。这种模式适合直连存储DAS和存储区域网络SAN存储架构，数据传输不占用网络带宽。另外，离线消重模式需要保证有足够的时间窗口来进行数据去重操作。数据消重可以在源端(Source)或者目标端(Target)进行。源端消重在数据源进行，传输的是已经消重后的数据，能够节省网络带宽，但会占用大量源端系统资源。目标端消重发生在目标端，数据在传输到目标端再进行消重，它不会占用源端系统资源，但占用大量网络带宽。目标端消重的优势在于它对应用程序透明，并具有良好的互操作性，不需要使用专门的API，现有应用软件不用作任何修改即可直接应用。HBAHostBusAdapter，主机总线适配器I/O总线的速度和系统总线的带宽相比要低很多，但是好歹也是以G来计量的，而我们知道外围设备的速度，往往只有几百兆，甚至几十k而已，怎么协调工作呢？好比卖煎饼果子摊子不能直接戳到城市主干道上，怎么办？好办，在主干道边上开个2000平米的小吃城，把摊子都收进去好了。那么主机总线适配器的作用也就是这个，我们就是要把外设组织起来，连接到I/O总线上去！HBA就是指Host和I/OBUS直接的一个适配器，也好比一个水管工常说的“双通”。集群存储集群存储是指：由若干个“通用存储设备”组成的用于存储的集群，组成集群存储的每个存储系统的性能和容量均可通过“集群”的方式得以叠加和扩展。集群存储特点：开放式架构（高扩展性）它针对集群存储内部构成元素而言。一般集群存储应该包括存储节点、前端网络、后端网络等三个构成元素，每个元素都可以非常容易地采用业界最新技术而不用改变集群存储的架构，且扩展起来非常方便，像搭积木一样进行存储的扩展。特别是对于那些对数据增长趋势较难预测的用户，可以先购买一部分存储，当有需求的时候，随时添加，而不会影响现有存储的使用。分布式操作系统这是集群存储的灵魂所在。所有对集群存储的操作都经由分布式操作系统统一调度和分发，分散到集群存储各个存储节点上完成。使用分布式操作系统带来的好处是各节点之间没有任何区别，没有主次、功能上的区别，所有存储节点功能完全一致，这样才能真正做到性能最优。统一命名空间统一命名空间在很多厂家的存储概念中都出现过。在集群存储中，统一命名空间强调的是同一个文件系统下的统一命名空间。它同样可以支持上PB级别的存储空间。如果是通过将若干有空间上限的卷挂载到某一个根目录的方式来达到统一命名空间，其效率和出现存储热点时的性能将会大大低于把上PB级别的存储空间置于同一个文件系统下管理的统一命名空间。易管理性目前存储业界的管理方式都是通过各厂商的管理工具，或通过Web界面进行管理和配置，往往客户端还需要安装相关软件才能访问到存储上的空间。随着需要管理的存储空间逐渐增大，管理存储的复杂度和管理人员的数量也将会随之增加。而集群存储应该提供一种集中的、简便易用的管理方式，对客户端没有任何影响，采用业界标准的访问协议（比如NFS，CIFS）访问集群存储。负载均衡集群存储通过分布式操作系统的作用，会在前端和后端都实现负载均衡。前端访问集群存储的操作，通过几种负载均衡策略，将访问分散到集群存储的各个存储节点上。后端访问数据，通过开放式的架构和后端网络，数据会分布在所有节点上进行存放和读取。高性能关于咼性能领域，目前对集群存储的讨论还仅局限在咼带宽、咼并发访问的应用模式下。毫无疑问，集群存储对于该类应用可以提供比传统存储架构更优的性能。但目前应用除了高带宽、高并发访问类的之外，还有高IOPS、随机访问、小文件访问以及备份归档等其他类的应用，集群存储应该在以上领域同样提供高性能的解决方案。格式化分为高级格式化和低级格式化。低级格式化就是将空白的磁盘划分出柱面和磁道，再将磁道划分为若干个扇区，每个扇区又划分出标识部分ID、间隔区GAP和数据区DATA等。可见，低级格式化是高级格式化之前的一件工作，它只能够在DOS环境来完成。而且低级格式化只能针对一块硬盘而不能支持单独的某一个分区。每块硬盘在出厂时，已由硬盘生产商进行低级格式化，因此通常使用者无需再进行低级格式化操作。其实，我们对一张软盘进行的全面格式化就是一种低级格式化。需要指出的是，低级格式化是一种损耗性操作，其对硬盘寿命有一定的负面影响。高级格式化就是清除硬盘上的数据、生成引导区信息、初始化FAT表、标注逻辑坏道等。一般我们重装系统时都是高级格式化，因为MBR不重写，所以有存在病毒的可能。MBR病毒可以通过杀毒软件清除或者在DOS下执行fdisk/mbr重写MBR以彻底清除病毒。简单地说，高级格式化就是和操作系统有关的格式化，低级格式化就是和操作系统无关的格式化。高级格式化主要是对硬盘的各个分区进行磁道的格式化，在逻辑上划分磁道。对于高级格式化，不同的操作系统有不同的格式化程序、不同的格式化结果、不同的磁道划分方法。低级格式化是物理级的格式化，主要是用于划分硬盘的磁柱面、建立扇区数和选择扇区间隔比。硬盘要先低级格式化才能高级格式化，而刚出厂的硬盘已经经过了低级格式化，无须用户再进行低级格式化了。理论上讲，高级格式化（不论是快速还是普通形式）并没有真正从磁盘上删除数据，它只是给数据所在的磁盘扇区的开头部分写入了一种特殊的删除标记，告诉系统这里可以写入新的数据。只要在格式化后没有立刻用全新的数据覆盖整个硬盘，那么原来的数据还会好端端在那里，只需要一些特定的软件即可恢复原来的数据。相反地，低级格式化所做的是将磁盘上的每一个扇区用“00”覆盖，这将完全地破坏硬盘上的所有数据，不再有恢复的可能。LUNLUN的全称是LogicalUnitNumber，也就是逻辑单元号。操作系统的机制使然，操作系统识别的最小存储对象级别就是LUNDevice，这是一个逻辑对象，所以很多时候被称为LogicalDevice。ISCSI总线上可挂接的设备数量是有限的，一般为8个或者16个,我们可以用TargetID（也有称为ISCSIID的）来描述这些设备，设备只要一加入系统，就有一个代号，我们在区别设备的时候，只要说几号几号就可以了。LUNID的作用就是扩充了TargetID。每个Target下都可以有多个LUNDevice，我们通常简称LUNDevice为LUN，这样就可以说每个设备的描述就由原来的Targetx变成TargetxLUNy了，那么显而易见的，我们描述设备的能力增强了。LUN很多时候不是什么可见的实体，而是一些虚拟的对象。比如一个阵列柜，主机那边看作是一个TargetDevice，那为了某些特殊需要，我们要将磁盘阵列柜的磁盘空间划分成若干个小的单元给主机来用，于是就产生了一些什么逻辑驱动器的说法，也就是比TargetDevice级别更低的逻辑对象，我们习惯于把这些更小的磁盘资源称之为LUN0、LUN1、LUN2…什么的。而操作系统的机制使然，操作系统识别的最小存储对象级别就是LUNDevice，这是一个逻辑对象，所以很多时候被称为LogicalDevice。LUN是对存储设备而言的，volume是对主机而言的。怎么去理解呢？选择存储设备上的多个硬盘形成一个RAID组，再在RAID组的基础上创建一个或多个LUN（一般创建一个LUN）。许多厂商的存储设备只支持一个RAID组上创一个LUN。此时LUN相对于存储设备是一个逻辑设备。当网络中的主机连接到存储设备时，就可以识别到存储设备上逻辑设备LUN，此时LUN相对于主机来讲就是一个“物理硬盘”，与C盘D盘所在IDC或SCSI硬盘的性属是相同的。在该“物理硬盘”上创建一个或多个分区，再创建文件系统，才可以得到一个VOLUM。此时VOLUME相对于主机是一个逻辑设备。从容量大小方面比较VOLUME，分区、LUN、RAID的关系如下：VOLUME=分区W主机设备管理器中的磁盘二LUNWRAIDW存储设备中硬盘的总容量。LUN和存储卷到底有什么区别？常见有人说起存储卷和LUN有什么区别，然后争论不休。由上边我们可以知道什么是LUN。LUN就是英文Logicalunitnumber的缩写，即逻辑单元号，它实际上是在SCSI-3中定义的，而并非单用于存储范畴，也可以指使用SCSI协议的一切外围设备，如磁带机、SCSI打印机等等。从SCSI-3的SAM模型中我们知道，SCSI-3（或者之后的版本）的协议层规定，对于16位宽的SCSI总线，其寻址范围只有16个，即只能挂载16个外围设备，每个设备称为一个target。为了提高总线的寻址能力，于是又引入了一层，它规定在每个target上，还可以虚拟（也可以实际连接）出多个设备，例如某个target上可能接了一个磁带机，一个打印机，他们共用一个target地址，但为了区分他们，于是就用LUN加以区别，磁带机假设为LUN0，打印机假设为LUN2，这样就解决了多设备的寻址问题。这是实际设备连接的例子，存储阵列（比如：HPleftHandP4000SAN）是最好的虚拟设备的例子。一个存储磁盘阵列在SCSI总线看来是一个Target，占用一个SCSI的Target地址，但存储阵列的存储空间太大，我们需要将其分成不同的部分，以供不同的应用，达到集中存储，集中管理的目的。所以在分割出来的每个存储部分（或区域）我们就用Lun来区别，如LUN1代表地址块0T023,LUN2代表地址块1024-65535等等。从上面可以看出，计算机在使用SCSI标准（注意我这里用的标准一词，代表了统含SAM模型中的4层，而并不使用接口，协议或者命令等词语）接外挂存储时，使用的是总线（