35-数据存储.doc

目 录一、数据存储技术的概述2二、存储介质3三、存储设备与服务器的连接方式7四、DAS（Direct Attached Storage）8五、NAS（Network AttachedStorage）11六、SAN (Storage Area Network)12七、虚拟存储技术13 数据存储技术一、 数据存储技术的概述1、数据存储存储就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问。数据存储是数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。2、冗余的概念数据冗余的功能是在用户数据一旦发生损坏后，利用冗余信息可以使损坏数据得以恢复，从而保障了用户数据的安全性。3、数据存储技术的发展数据存储和存储管理技术最早起源于70年代的终端/主机的计算模式，当时由于数据集中在主机上，因此，连接在主机上的硬盘盒磁带是当时主要的存储和备份的设备。80年代以后，由于个人电脑的发展，尤其是客户机/服务器模式的出现，使得数据存储分部化。此时网络上文件服务器和数据库服务器往往是重要数据集中的地方，而客户机上也有一定量的数据，数据的分布造成数据存储管理的复杂化。90年代Internet的迅猛发展，也使得存储技术发生着革命性的变化。这种变化主要表现在三个方面：首先，存储容量急剧膨胀，现在P级存储已经屡见不鲜；其次，数据持续时间的增加，要求保证7*24*365处于可获得状态；最后，数据的多样化、地理上的分散性、对重要数据的保护等等都对数据存储管理提出更高要求。随着多媒体、大型数据库、网络、Internet、电子商务、大型科学实验等的迅猛发展，全球每年数据增长达到50%-100%！人们越来越依赖数据。要求有新的的数据存储技术出现来应对这些变化！4、数据存储需要解决的几个主要问题 容量 速度 易于管理 安全（防止数据被破坏、备份） 可扩展性海量存储=很多硬盘？举例：假如有1pb数据，买500G大小的磁盘，需要2000个！如何把2000个磁盘连接起来？如果用一般的pc，每个接2块硬盘，需要1000个文件服务器！数据存放起来了，如何管理和使用？性能如何？另外，在集群环境下，假设有1000个计算节点来访问，如何保证这些节点的访问性能？常用的方案，用服务器连接磁盘阵列，这样可否解决问题？二、 存储介质1、磁盘/磁盘阵列（1）磁盘：随即读写设备，速度快。（2）RAID磁盘阵列：在用户看起来，组成的磁盘组就像是一个硬盘，用户可以对它进行分区，格式化等等。总之，对磁盘阵列的操作与单个硬盘一模一样。不同的是，磁盘阵列的存储性能要比单个硬盘高很多，而且可以提供数据冗余。（3）RAID级别RAID 翻译成中文即为独立磁盘冗余阵列，或简称磁盘阵列。简单的说，RAID是一种把多块独立的硬盘（物理硬盘）按不同方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能和提供数据冗余的技术。组成磁盘阵列的不同方式成为RAID级。RAID常见的分级：0：硬盘分段并行输入/输出；1：磁盘镜像；2：硬盘分段加汉明码纠错；3：奇偶校验+校验盘；4：独立的数据硬盘与共享的校验硬盘；5：分布式奇偶位的条带；6：带有两个独立分布式校验方案的独立数据磁盘；10：（0+1）两组RAID0相互镜像；其它：7、5E、5EE、1E、ADG（某些公司的私有级别）RAID 0RAID 0是把所有的硬盘并联起来成为一个大的硬盘组。其容量为所有属于这个组的硬盘的总和。所有数据的存取均以并行分割方式进行。RAID 0的缺点安全系数低，是不提供数据冗余。RAID 0具有的优点，是特别适用于对性能要求较高，而对数据安全不太在乎的领域，如图形工作站等。对于个人用户，RAID 0也是提高硬盘存储性能的绝佳选择。硬盘利用率100% RAID 1RAID 1是硬盘镜像备份操作。由两个硬盘所组成。其中一个是主硬盘而另外一个是镜像硬盘。主硬盘的数据会不停的被镜像到另外一个镜像硬盘上。如下图所示： 所有主硬盘的数据会不停地镜像到另外一个硬盘上，故RAID 1具有很高的冗余能力。达到最高的100%。由于这个镜像做法不是以算法操作，故它的容量效率非常的低，只有50%。RAID 1只支持两个硬盘操作。容量非常有限，故一般只用于操作系统中。RAID 0+1RAID 0+1是RAID 0和RAID 1的组合形式，也称为RAID 10。1）.RAID 0+1即由两组RAID 0的硬盘作RAID 1的镜像容错。2）.RAID 0+1具备有RAID 1的容错能力和RAID 0的容量性能。3）.RAID 0+1的容量效率还是与RAID 1一样只有50%，故同样地没有被普及使用。RAID 3RAID 3在安全方面以奇偶校做错误校正及检测，有一个额外的校检磁盘。RAID 5RAID 5也是一种具容错能力的RAID 操作方式。与RAID 3不一样的是RAID 5的容错方式不应用专用容错硬盘，容错信息是平均的分布到所有硬盘上。当阵列中有一个硬盘失效，磁盘阵列可以从其他的几个硬的对应数据中算出已掉失的数据。1）总容量为(N-1)x最低容量硬盘的容量。2）从容量效率来讲，RAID 5同样地消耗了一个硬盘的容量，当有一个硬盘失效时，失3）效硬盘的数据可以从其他硬盘的容错信息中重建出来。RAID 6是带有两种分布存储的奇偶校验码的独立磁盘结构是对RAID5的扩展，主要是用于要求数据绝对不能出错的场合p0代表第0带区的奇偶校验值，而pA代表数据块的奇偶校验值。RAID 6也是一种具容错能力的RAID 操作方式它可以允许任意两块硬盘故障。硬盘实用率为(N-2)x，。有和RAID5 相当的性能。为您的数据提供更安全更可靠的保障 RAID级别的对比图2、磁带/磁带库广义的磁带库产品包括自动加载磁带机和磁带库，它们由磁带盒磁带机有机结合组成。它们由磁带和磁带机有机结合组成。自动加载磁带机是一个位于单机中的磁带驱动器和自动磁带更换装置，可以从装有多盘磁带的磁带匣中拾取磁带并放入驱动器。磁带库由多个驱动器、多个槽、机械手臂组成，并可由机械手臂根据磁带的物理标识（比如条形码）自动实现磁带的装载和卸载。磁带库的多个驱动器可以并行工作，存储容量可达到PB级，其主要厂家：STK、ADIC、IBM、HP、SONY等。三、 存储设备与服务器的连接方式（直接附属存储）：存储设备与服务器直接相连接。（网络附属储存）：存储设备直接联入现有的的网络中。（存储区域网络）：将各种存储设备集中起来形成一个存储网络，以便于数据的集中管理。四、 DAS（Direct Attached Storage）1、定义直接连接存储以存储共享为基本目的，存储设备可以通过各种不同的方式直接连接到主机上，包括内置或外联在单台主机上的存储设备。2、DAS的适用环境 服务器在地理分布上很分散，通过SAN或NAS在它们之间进行互连非常困难时，存储系统必须被直接连接到应用服务器；包括许多数据库应用和应用服务器在内的应用，它们需要直接连接到存储器上，群件应用和一些邮件服务也包括在内。3、DAS的实现方式存储设备可以通过不同的方式直接连接到主机上，这些方式包括：1）、串行存储结构SSA（Serial Storage Architecture) 一种高性能的开放式存储接口，速度可达160Mbps,采用串行连接技术，设备间的距离范围从15米到10公里。作为SCSI结构的替代技术而提出，但并未被广泛接受。2）、通用串行总线（USB)由于USB接口的灵活性，许多存储设备都采用了USB接口，包括CD-R光驱、USB硬盘、USB磁带机等。目前USB接口的两个版本：V1.1和V2.0V1.1传输速度在1.5Mbps至12Mbps之间， V2.0传输速度可达480Mbps。采用4线连接，2线用于数据传输，2线用于传递直流5V电源采用串行传输方式设备与设备或设备与集线器间的距离为35米，更长距离可以通过集线器的串级连接实现。3)、火线火线最早由苹果公司开发，目的是希望利用更快更灵活的串行技术实现多台外部设备的连接。与USB相比，火线的最大差别在于设备间可以实现对等通信，火线的连接速度可达到400Mbps，采用6线连接，其中4线用于数据传输，2线用于传递直流5V电源。采用串行传输方式，连接距离为4.5米，通过中继器可延长至70米以上。4）、高性能并行接口（HiPPI）高性能并行接口主要用于高速存储设备与大型主机与超级计算机之间的连接。由于昂贵的价格，应用并不十分广泛。HiPPI的特性：传输速度可达1600Mbps,6400Mbps的超级HiPPI正在开发中。采用32（800Mbps)位或64(1.6Gbps)位并行传输标准电缆的连接距离为25米，通过光纤延长器可延长至10公里。5）、综合驱动电子电路（IDE）/高级技术连接（ATA）IDE主要应用于基于PC的系统，ATA是IDE总线的一种扩展。每个IDE控制器可以连接两个主从配置的IDE设备。采用40芯连接器，并行传输方式，传输速度在65Mbps1GMbps之间6）、小型计算机系统接口（SCSI）主要特性：SCSI的传输速率在4Mbps80Mbps之间每条总线可以支持015台硬盘设备，采用双总线的SCSI卡可以连接多达30个硬盘设备。单根SCSI电缆长度可以在325米之间。DASDAS （Direct Attached Storage）4、DAS优缺点DAS的优点： 被大多数的从业人员所熟悉 技术比较成熟 有比网络存储要低的采购成本（除去相应服务器的采购成本） 拥有最多的成功案例 多种连接方式（SCSI、FC等）DAS的缺点： 不支持多协议客户端 分散式数据管理方式，不利于大量数据的管理 存储容量增加时，这种方式的扩展能力很差，同时相应管理软件也会升级 高并发用户数条件下易造成数据堵塞，影响使用 较高的维护成本 市场发展状况堪忧，正逐渐被其它高性能的数据存储解决方案所替代五、 NAS（Network AttachedStorage）1、NAS的定义网络存储服务器,是一个专用为提供高性能、低拥有成本和高可靠性的数据保存和传送产品。网络附加存储即将存储设备通过标准的网络拓扑结构，连接到一群计算机上，即通过网络拓扑实现共享。NAS架构图2、NAS的主要特点1）、基于IP通信NAS设备采用IP作为自己的基本通信手段，它允许来自本地或远程的各种不同的系统的访问。由于目前大多数设备均采用IP通信方式，因此NAS设备为分布数据环境向集中数据网络环境转移提供较为容易的迁移手段。但要付出一定的安全代价。2）、基于文件访问NAS的一个最大特点就是它是基于文件访问的，而不是基于数据块访问的。3）、操作系统为了提供基于文件的服务，NAS设备都配备有某种形式的操作系统，他们有些完全驻留在内存中。4）、容错提供了诸如RAID和数据复制（远距离）等容错特性3、NAS的限制1）、文件共享或数据库访问NAS设备具有很大的灵活性，尤其对于那些需要长距离通信的环境，但无论从功能方面还是从安全角度来讲，NAS并不一定适应所有的情况。2）、文件大小NAS设备适合大量小型文件的传输，而DAS和SAN设备则对于大型文件的传输更为有效。3）、网络速度由于NAS设备会给网络增加很多的请求、响应信号，因此大量以NAS设备为目标的通信量可能会使网络带宽出现饱和。六、 SAN (Storage Area Network)1、SAN的定义SAN 即存储区域网络，它是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。DAS和NAS都是通过网络实现共享的存储设备，SAN则是连接主机与存储设备的高速网络。存储区域网络通常是与生产网络完全分开的。SAN存储结构图2、DAS SAN NAS的区别l DAS所能容纳的存储量是有限的，这主要受制于DAS技术所支持的设备限制。而SAN技术所支持的物理设备数量更多，跨越的距离更远，传输的速度更快。SAN不是设备，而是以存储共享为目的的一些相互连接并相互通信的设备集合。l NAS设备是基于文件系统的，而SAN通信是基于数据块的。另外SAN的磁盘设备最终是连接到主机上的，NAS设备本身就具备主机功能。七、 虚拟存储技术1、虚拟存储的定义所谓虚拟存储，就是把内存与外存有机的结合起来使用，从而得到一个容量很大的“内存”，这就称之为虚拟存储。2、虚拟存储的实现方式1）在服务器端的虚拟存储服务器厂商会在服务器端实施虚拟存储。同样，软件厂商也会在服务器平台上实施虚拟存储。这些虚拟存储的实施都是通过服务器端将镜像映射到外围存储设备上，除了分配数据外，对外围存储设备没有任何控制。服务器端一般是通过逻辑卷管理来实现虚拟存储技术。逻辑卷管理为从物理存储映射到逻辑上的卷提供了一个虚拟层。服务器只需要处理逻辑卷，而不用管理存储设备的物理参数。2）在存储子系统端的虚拟存储另一种实施虚拟的地方是存储设备本身。这种虚拟存储一般是存储厂商实施的，但是很可能使用厂商独家的存储产品。为避免这种不兼容性，厂商也许会和服务器、软件或网络厂商进行合作。当虚拟