设备管理_存储系统及设备简介

存储系统及设备简介 内容提要 一 分级存储 在线 近线 离线二 存储设备及分类 一 分级存储 存储 存储就是根据不同的应用环境通过采取合理 安全 有效的方式将数据保存到某些介质上并能保证有效的访问 总的来讲可以包含两个方面的含义 一方面它是数据临时或长期驻留的物理媒介 另一方面 它是保证数据完整安全存放的方式或行为 存储就是把这两个方面结合起来 向客户提供一套数据存放解决方案 在线存储 随时保持实时快速访问状态 较高的I O速度和良好的访问能力 如磁盘阵列 NAS 离线存储 平时与存储系统无连接 存取时需要将设备或介质临时的装载到系统中 访问完成后再脱开连接 软盘 光盘 磁带 近线存储 介于在线和离线之间 采用自动化的数据流磁带库或光盘塔 与在线设备发生频繁的数据交换 当前使用最普遍的几种存储媒体 半导体存储器 存取速度最快 成本最高磁盘阵列 存取速度很快 但成本较高数据流磁带和DVD 存取速度相对较慢 但成本低 为什么采用 分级存储 方式 原因 影视资料数字化带来大容量的数据存储需求解决方案一 增加磁盘阵列的容量分析 购买TB级的光纤通道磁盘阵列成本非常高 不知道购买多少磁盘空间才能满足目前和今后的需求 将大量很少使用的历史资料 素材全部存储在磁盘当中 不仅成本高昂 浪费宝贵的磁盘空间 而且也不安全 解决方案二 分级存储 磁盘阵列 磁带库分析 降低了部分效率 但节省成本 二 存储设备及分类 在线设备 磁盘阵列磁盘阵列 DiskArray 由一个磁盘控制器来控制多个磁盘的相互连接 使多个磁盘的读写同步 减少错误 增加效率和可靠度的技术 为什么需要磁盘阵列 增加磁盘的存取 access 速度 尽量平衡CPU 内存及磁盘的性能差异 提高电脑系统整体的工作性能增强容错 faulttolerance 即安全性 防止数据因磁盘故障而丢失有效的利用磁盘空间降低购买大容量磁盘的开销 RAID RAID是RedundantArrayofInexpensiveDisks的英文缩写 中文译作 廉价冗余磁盘阵列 简称磁盘阵列 是磁盘阵列在技术上实现的理论标准 简单的说 RAID是一种把多块独立的磁盘 物理磁盘 按不同方式组合起来形成一个磁盘组 逻辑磁盘 从而提供比单个磁盘更高的存储性能和提供数据冗余的技术 RAID级别 RAIDLEVEL 在这一组磁盘中 数据按照不同的算法分别存储于每块磁盘上从而达到不同的效果 这样就形成了不同的RAID级别 RAIDLEVEL 按照RAID级别划分 常见的有RAID0 RAID1 RAID3 RAID5 RAID10 RAID50还有不常用的RAID2 RAID4 RAID6 RAID7等 RAID0 RAID0是DataStriping 数据分割 技术的实现 即把数据分布在多个盘上 没有容错措施 其容量和数据传输率是单机容量的N倍 N为构成阵列的磁盘总数 I O传输速率高 但平均无故障时间MTTF MeanTimeToFailure 只有单台磁盘的N分之一 因此零级盘阵列的可靠性最差 1 RAID0最简单方式 把n块同样的磁盘用硬件的形式通过智能磁盘控制器或用操作系统中的磁盘驱动程序以软件的方式串联在一起 形成一个独立的逻辑驱动器 容量是单独磁盘的n倍 在电脑数据写时被依次写入到各磁盘中 当一块磁盘的空间用尽时 数据就会被自动写入到下一块磁盘中 它的好处是可以增加磁盘的容量 速度与其中任何一块磁盘的速度相同 如果其中的任何一块磁盘出现故障 整个系统将会受到破坏 可靠性是单独使用一块磁盘的1 n RAID0 2 RAID0的另一方式 用n块磁盘选择合理的带区大小创建带区集 最好是为每一块磁盘都配备一个专门的磁盘控制器 系统向逻辑设备发出的I O指令会被转化为n项操作 其中的每一项操作都对应于一块磁盘 通过建立带区集 原先顺序写入的数据被分散到所有的n块磁盘中同时进行读写 n块磁盘的并行操作使同一时间内磁盘读写的速度提升了n倍 n块磁盘组合在一起形成一个独立的逻辑驱动器 容量相当于任何任何一块单独磁盘的n倍 弱点 数据安全性差需要注意的是 这种RAID级别不具有容错性能 如果阵列中的任何一块磁盘出现故障 整个阵列中的数据都将会受到破坏 无法继续使用 RAID1 RAID1又被称为磁盘镜像 由两个以上偶数个磁盘组成 每一个磁盘都具有一个对应的镜像盘 对写入任何一个磁盘的数据都会被复制镜像盘中 同时系统可以从这一组镜像盘中的任何一个磁盘读取数据 优势 数据安全性高RAID1下 任何一块磁盘的故障都不会影响到系统的正常运行 而且只要能够保证任何一对镜像盘中至少有一块磁盘可以使用 RAID1甚至可以在一半数量的磁盘出现问题时不间断的工作 当一块磁盘失效时 系统会忽略该磁盘 转而使用剩余的镜像盘读写数据 弱点 磁盘利用率较低显然 磁盘镜像肯定会提高系统成本 因为我们所能使用的空间只是所有磁盘容量总和的一半 RAID0 1 RAID10 把RAID0和RAID1技术结合起来 数据除分布在多个磁盘上外 每个磁盘都有其物理镜像磁盘 提供全冗余能力 允许一个以下磁盘故障 而不影响数据可用性 并具有快速读 写能力 RAID0 1要在磁盘镜像中建立带区集至少4个磁盘 阵列中一半的磁盘采取RAID0的结构 可以并行传送来提高数据传输率 另一半则是前面提到的镜象磁盘 即RAID1 这样可以有很高的可靠性 读写性能出色 安全性高 但构建阵列的成本投入大 数据空间利用率低 不能称之为经济高效的方案 RAID2 RAID2是把数据分散为位元 位元组 bit byte 或块 b1ock 再加入海明码 HammingCode 间隔写入 Interleaving 到每个磁盘 而且地址 address 都一样 也就是在各个磁盘中 其数据都在相同的磁道 cylinderortrack 及扇区中 RAID2又称为并行阵列 parallelarray 其设计使用共轴同步 spindlesynchronize 的技术 存取数据时 整个磁盘阵列一起动作 在各个磁盘的相同位置作平行存取 所以有最好的存取时间 auesstime 共总线 bus 是特别的设计以大带宽并行传输所存取的数据 所以有最好的传输时间 transfertime 在大型档案的存取应用 RAID2有最好的性能 但如果档案太小 会将其性能降下来 因为磁盘的存取是以扇区为单位 而RAID2的存取是所有磁盘平行动作 而且是作单位元或位元组的存取 故小于一个扇区的数据最会使其性能大打折扣 RAID2是设计给需要连续且大量数据的电脑使用的 RAID2 RAID2又被称为带海明码校验磁盘阵列 是为大型机和超级计算机开发的 磁盘驱动器组中的第一个 第二个 第四个 第2的n次幂个磁盘驱动器是专门的校验盘 用于校验和纠错 例如七个磁盘驱动器的RAID2 第一 二 四个磁盘驱动器是纠错盘 其余的用于存放数据 使用的磁盘驱动器越多 校验盘在其中占的百分比越少 RAID2对大数据量的输入输出有很高的性能 但少量数据的输入输出时性能不好 RAID2很少实际使用 由于海明码的特点 它可以在数据发生错误的情况下将错误校正 以保证输出的正确 它的数据传送速率相当高 如果希望达到比较理想的速度 那最好提高保存校验码ECC码的磁盘个数 对于控制器的设计来说 它又比RAID3 4或5要简单 但是利用海明码校验必须要付出数据冗余的代价 RAID3 RAID3为单盘容错并行传输阵列 至少由三块以上磁盘组成 使用一个特定的磁盘存放所有数据的奇偶校验位 奇偶校验位由真实数据通过一定的算法得出 而在剩余的磁盘中创建带区集分散数据的读写操作 即数据以位或字节的方式存于剩余的磁盘上 分散记录在组内相同扇区号的各个磁盘 RAID2校验盘为多个 DAID1检验盘为1比1 优势 有冗余 磁盘利用率高如果数据盘 物理 损坏 只要将坏磁盘换掉 RAID控制系统则会根据校验盘的数据校验位在新盘中重建坏盘上的数据 利用单独的校验盘来保护数据虽然没有镜像的安全性高 但是磁盘利用率 N 1 N 得到了很大的提高 N为RAID中磁盘的个数 在一个完好的RAID3系统中读取数据 只需要在数据存储盘中找到相应的数据块进行读取操作即可 RAID3 缺点 写性能差当向RAID3写入数据时 情况会变得复杂一些 即使我们只是向一个磁盘写入一个数据块 也必须计算与该数据块同处一个带区的所有数据块的校验值 并将新值重新写入到校验块中 由此我们可以看出 一个写入操作事实上包含了数据读取 读取带区中的关联数据块 校验值计算 数据块写入和校验块写入四个过程 写性能大大降低 RAID3所存在的最大一个不足同时也是导致RAID3很少被人们采用的原因就是校验盘很容易成为整个系统的瓶颈 我们已经知道RAID3会把数据的写入操作分散到多个磁盘上进行 然而不管是向哪一个数据盘写入数据 都需要同时重写校验盘中的相关信息 因此 对于那些经常需要执行大量写入操作的应用来说 校验盘的负载将会很大 无法满足程序的运行速度 从而导致整个RAID系统性能的下降 鉴于这种原因 RAID3更加适合应用于那些写入操作较少 读取操作较多的应用环境 例如数据库和WEB服务器等 RAID4 RAID4即带奇偶校验码的独立磁盘结构RAID4和RAID3很相似 不同的是RAID3是按位或按字节交叉存取 而RAID4是按块 扇区 存取 可以单独地对某个盘进行操作 它无需象RAID3那样 那怕每一次小I O操作也要涉及全组所有磁盘驱动器 只需涉及组中两台磁盘机 一台数据盘 一台检验盘 即可 从而提高了小量数据的读取速率 但在写数据方面 RAID4需将从数据磁盘驱动器和校验磁盘驱动器中恢复出的旧数据与新数据通过异或运算 然后再将更新后的数据和检验位写入磁盘驱动器 所以处理时间较RAID3长 RAID5 RAID5是一种旋转奇偶校验独立存取的阵列 它和其他的不同点 是没有固定的校验盘 而是按某种规则把其冗余的奇偶校验位信息交错分布在阵列所属的所有磁盘上 于是在同一台磁盘机上既有数据信息也有校验信息 这一改变解决了争用校验盘的问题 因此DAID5内允许在同一组内并发进行多个写操作 所以RAID5即适于大数据量的操作 也适于各种事务处理 它是一种快速 大容量和容错分布合理的磁盘阵列 RAID5 RAID5使用了一种特殊的算法 可以计算出任何一个带区校验块的存放位置 这样就可以确保任何对校验块进行的读写操作都会在所有的RAID磁盘中进行均衡 从而消除了产生瓶颈的可能 克服了RAID3中校验盘性能问题 RAID5的读出效率很高 写入效率一般 块式的集体访问效率不错 RAID5提高了系统可靠性 RAID5具有数据安全 读取速度快 空间利用率高等优点 应用非常广泛 但不足之处是其中一块磁盘出现故障以后 整个系统的性能大大降低 RAID5是目前应用最广泛的RAID技术 RAID50 RAID0 RAID5 RAID50也被称为镜象阵列条带 由至少六块磁盘组成 象RAID0一样 数据被分割成条带 在同一时间内向多块磁盘写入 象RAID5一样 也是以数据的校验位来保证数据的安全 其目的在于提高RAID5的读写性能 RAID5E RAID5E是在RAID5级别基础上的改进 与RAID5类似 数据的校验信息均匀分布在各磁盘上 但是 在每个磁盘上都保留了一部分未使用的空间 这部分空间没有进行条带化 最多允许两块物理磁盘出现故障 RAID6 RAID6即带有两种分布存储的奇偶校验码的独立磁盘结构 它是对RAID5的扩展 主要是用于要求数据绝对不能出错的场合 使用了二种奇偶校验值 所以需要N 2个磁盘 同时对控制器的设计变得十分复杂 写入速度也不好 用于计算奇偶校验值和验证数据正确性所花费的时间比较多 造成了不必须的负载 很少人用 RAID7 RAID7是在RAID6的基础上 采用了cache技术 它使得传输率和响应速度都有较大的提高 Cache是一种高速缓冲存储器 即数据在写入磁盘阵列以前 先写入cache中 一般采用cache分块大小和磁盘阵列中数据分块大小相同 即一块cache分块对应一块磁盘分块 在写入时将数据分别写入两个独立的cache 这样即使其中有一个cache出故障 数据也不会丢失 写操作将直接在cache级响应 然后再转到磁盘阵列 数据从cache写到磁盘阵列时 同一磁道的数据将在一次操作中完成 避免了不少块数据多次写的问题 提高了速度 在读出时 主机也是直接从cache中读出 而不是从阵列盘上读取 减少与磁盘读操作次数 这样比较充分地利用了磁盘带宽 RAID7 优点 cache和磁盘阵列技术的结合 弥补了磁盘阵列的不足 如分块写请求响应差等缺陷 从而使整个系统以高效 快速 大容量 高可靠以及灵活 方便的存储系统提供给用户 从而满足了当前的技术发展的需要 尤其是多媒体系统的需要 缺点 如果系统断电 在高速缓冲存储器内的数据就会全部丢失 因此需要和UPS一起工作 RAID7实现成本很高 存储系统的网络结构 DASNASSAN DAS DAS 直接附加存储 存储设备与服务器直接相连接 如通过SCSI线 DAS的访问通常仅限于单个主机 处理器 有时可供小型集群 故障接替或故障恢复 配置中的两台主机访问 NAS NAS 网络附加存储 即存储设备直接联入现有的 网络中 功效比DAS低 功能与DAS一样 因为主要采用IDE硬盘 所以更便宜 SAN SAN StorageAreaNetwork 即存储区域网络 它是一种通过集线器 路由器 交换机等连接设备将磁盘阵列等存储设备与相关服务器连接起来的存储专用高速网络 传输渠道类型 FC网 以太网 双网结构 以太网 iSCSI FC网 以太网 FiberChannel 光纤通道 通过高速FC网传送数据信息通过以太网传送控制信息FC与SCSI一样 都是一种数据传输协议和接口协议 以太网 iSCSI iSCSI 互联网小型计算机系统接口 是一个供硬件设备使用的可以在IP协议上层运行的SCSI指令集 简单地说 iSCSI可以实现在IP网络上运行SCSI协议 使其能够在诸如高速千兆以太网上传送SCSI命令和数据 近线存储介质 光盘 普通DVD光盘 光盘库高清DVD光盘 BD与HDDVD之争 BD Blu rayDisc 索尼等9大厂商 HDDVD 东芝与NEC公司等 目前DVD及新一代光盘采用的多层化技术 最多只能实现10 20层 单 双层蓝光盘片具备25GB 50GB的数据存储空间 可以录制2 4小时的高清视频 目前容量最大的蓝光光盘已经达到了200GB 光盘存储 光盘存储的缺点 刻录光盘的安全系数还不能与硬盘和大容量闪存相比 光盘脆弱的 体质 是消费者放弃光存储备份数据的重要原因 因为我们使用的刻录光盘怕光 紫外线直射 怕热 高温变形 怕磨 一旦发生这些情况很容易造成数据丢失 而且刻录过程中也有可能产生隐性错误 POF错误或是PIF综合过高 诸多条件限制了光存储备份重要数据的可能性 磁带介质 主要包括磁带机 自动加载机和磁带库产品 磁带 磁盘 在线介质和随机读写磁带 离线介质和顺序读写磁带是一种顺序线性的块级设备 在数据读写方面都必须 顺序 到达指定位置才能操作 磁带特点 可移动性 磁带机技术 磁带机 一般指单驱动器产品 通常由磁带驱动器和磁带构成 是一种经济 可靠 容量大 速度快的备份设备 磁带机技术 线性记录单轴驱动带盒磁带运动 高速通过固定磁头 对多条并行磁轨反复记录 存储容量取决于记录轨道数和磁带长度 数据传输率取决于 磁带读写速度 轨道数 数据密度 磁带机技术 螺旋扫描盒带双轴牵引磁带以一定的角度通过旋转磁头磁带速度 1 3cm 秒纵向记录一般为2到3m 秒存储容量取决于磁轨宽度 磁轨密度和磁带长度数据传输率取决于磁鼓上的读写磁头数磁鼓旋转速度 市场数据流磁带 机 产品 主流类型 LTO LinearTape Open 开放线性磁带AIT AdvancedIntelligentTape 先进智能磁带SAIT SuperAdvancedIntelligentTape 超级先进智能磁带非主流类型 DLT DigitalLinearTape 数字线性磁带SDLT SuperDigitalLinearTape VXA DAT 9840 9940等 LTO磁带介质 LTOUltrium LTO磁带介质 LTO4磁带介质 未进行压缩 短期存储指小于6个月 6个月以上则为长期 磁带存储介质 AIT 磁带存储介质 SAIT SAIT SuperAdvancedIntelligentTape 超级先进智能磁带 单盘磁带非压缩容量达到500GB 持续读写速度达30MB s 支持WORM WriteOnce ReadMany 技术 数据保密性好 磁带库 磁带库 将多台磁带机整合到一个封闭机构中的箱式磁带备份设备 一般由数台磁带机 机械手和大量磁带构成 并可由机械手臂实现自动抓取和装填磁带 大洋归档系统中带库类型分类 SCSI ACSLS Petasite Virtual 认识带库 磁带加载口 槽位 机械手 磁带驱动器 带库的几个重要指标 带库的最大存储容量及其成本带库支持的磁带机技术支持不同介质的混装技术最多支持的磁带机数带库可扩展性及其成本对SAN的支持 接口类型 SCSI FC带库机械手的性能系统设计带来的高可靠性 带库主要制造厂商 ADIC Quantum SpectraLogicStorageTEK STK IBMHPEXABYTE 安百特 PANASONIC等 QUANTUM ADIC产品 Scalari500 从24到13 884盘磁带存储容量 Scalar24 Scalari2000 Scalar10K 部门级产品 Scalar24 满配容量可达9 6TB数据吞吐量最高达140MB Sec只有4U的机柜高度 支持高性能磁带机技术 LTOUltrium3 LTOUltrium2和SDLT320容纳1或2台磁带机SCSI接口和FC接口可选 面向较小的区县级电视台用户 中小企业级产品 Scalari500 模块化设计 5U 14U 23U高度i Layer管理系统磁带机热插拔悬挂式机械臂 5U 14U 23U 面向中等规模的地市级电视台 大型企业级产品 Scalari2000 面向大中型省级电视台用户 19寸标准机架标配 2个磁带机 400磁带槽位许可支持横向级联扩展i Layer智能管理系统 SpectraLogic产品 部门级产品 2K 面向小型电视台及行业用户 15Slots 30Slots可选最大存储容量 6TB标配1个AIT 4Drver实际数据吞吐量最高达 30MB secSCSI接口 中小企业级产品 T50 面向中小型区县级电视台 10Slots 50Slots可选最大存储容量 20TB标配1个LTODrver 可升级到两个实际数据吞吐量最高达 140MB sec4U机架式结构SCSI FC接口可选 中型企业级产品 T120 面向中型地市级电视台 30Slots 120Slots可选最大存储容量 48TB标配2个LTODrver 可升级到两个14U机架式结构 可继续堆叠到4个模块SCSIQIP FCQIP可选支持不同介质的混装 LTO SAIT 大型企业级产品 T950 面向大型省级电视台 300Slots 950Slots可选最大存储容量 48TB标配2个LTODrver 可升级到两个14U机架式结构 可继续堆叠到4个模块SCSIQIP FCQIP可选支持不同介质的混装 LTO SAIT RXTRAIDDISK StorageTEK产品 L40 L180 SL500 L700e L1400 SL8500 部门级产品 L40 20Slots 40Slots可选最大存储容量 16TB标配1个LTODrver 可升级到两个实际数据吞吐量最高达 140MB sec6U机架式结构SCSI FC接口可选 面向中小型区县级电视台 中小企业级产品 L180 84 140和174槽的配置可选最大存储容量 68TB标配2个LTODriver 可升级到两个实际数据吞吐量最高达 140MB secSCSI FC接口可选支持不同介质的混装 LTO SAIT 面向中型地市级电视台 中小企业级产品 SL500 面向中型地市级电视台 模块化设计 5U 14U 23U高度30Slots 500Slots可选标配2个LTO磁带机悬挂式机械臂独立机械臂控制信号堆叠式扩展 企业级产品 L700e L1400M 第六代高速旋转机械臂 4D视觉识别系统单柜200Slots 678Slots可选标配2个LTO磁带机独立机械臂控制信号可横向级联一个扩展柜 面向大中型省级