存储相关技术基础.ppt

存储相关技术基础 培训教材 课程时间 50分钟日期 2009年02月 曙光信息产业 北京 有限公司四川技术服务部 1 目录 1存储的发展和历史1 1存储技术的发展1 2存储介质简介2RAID技术3主流存储架构 2 1 1存储技术的发展 存储技术的发展是随着计算机技术的发展 不断的发展 先期的存储只是用打孔机或者磁带来存放数据 硬盘的出现 终结了打孔机和磁带作为主要存储手段的历史 1956年9月 IBM的一个工程小组向世界展示了第一套磁盘系统IBM350RAMACRandomAccessMethodofAccountingandControl 虽然这套系统的总容量只有5MB 但却起到了一个里程碑的作用 在350RAMAC之后 硬盘产业开始起步 从最初的24英寸发展到5 25英寸 从5MB的存储量突破了100MB 如今 硬盘的容量已经用T 1000G 来形容 硬盘最主要的功能是存储数据 虽然在冯 诺伊曼计算机体系中并没有提到硬盘 但是从现在计算机使用情况来看 硬盘是计算机中最重要的部分 硬盘有价 数据无价 随着存储介质的不断发展 存储技术的也在不断发展 形成了今天各种各样的存储架构 存储解决方案 3 2存储介质简介 打孔纸卡穿孔纸袋计数电子管盘式磁带盒式录音磁带磁鼓 软硬盘硬盘机硬盘LD光盘5寸光盘DVD光盘蓝光DVD HD DVDU盘 SSD硬盘 4 2 1最早期的存储媒介 打孔纸卡 最早的数据存储媒介 在1725年由BasileBouchon发明出来 用来保存印染布上的图案 但是关于它的第一个真正的专利权 HermanHollerith在1884年9月23日申请的 这个发明用了将近100年 一直用到了20世纪70年代中期 由于能存储的数据少的可怜 一般它是用来保存不同计算机的设置参数的 5 2 2容量比打孔纸卡大 穿孔纸带 AlexanderBain 传真机和电传电报机的发明人 在1846年最早使用了穿孔纸带 纸带上每一行代表一个字符 显然穿孔纸带的容量比打孔纸卡大多了 6 2 3电子应用 计数电子管 1946年RCA公司启动了对计数电子管的研究 这是用在早期巨大的电子管计算机中的 一个管子长达10英寸 25厘米 能够保存4096bits的数据 糟糕的是 它极其昂贵 所以在市场上昙花一现 很快就消失了 7 2 4大型磁带记录 盘式磁带 在1950年代 IBM最早把盘式磁带用在数据存储上 因为一卷磁带可以代替1万张打孔纸卡 于是它马上获得了成功 成为直到80年代之前最为普及的计算机存储设备 8 2 5最珍贵的回忆 盒式录音磁带 一些计算机 如ZXSpectrum Commodore64和AmstradCPC使用它来存储数据 一盘90分钟的录音磁带 在每一面 记得录音磁带是可以翻面的吗 可以存储700KB到1M的数据 9 2 6超长的存储设备 磁鼓 一支磁鼓有12英寸长 一分钟可以转1万2千5百转 它在IBM650系列计算机中被当成主存储器 每支可以保存1万个字符 不到10K 10 2 7早期盛行的移动存储 软磁盘 第一张软盘 发明于1969年 当时是一张8英寸的大家伙 可以保存80K的只读数据 4年以后的1973年一种小一号但是容量为256K的软盘诞生了 它的特点是可以反复读写 从此一个趋势开始了磁盘直径越来越小 而容量却越来越大 到了1990年代后期 我们可以找到容量为250MB的3 5英寸软盘 11 2 8 重 大突破 世界上第一台硬盘机 1956年9月13日 IBM发布了305RAMAC硬盘机 与之相关的计算机平平无奇 可是在存储容量方面有着革命性的变化 它可以存储 海量 的数据 高达 4 4MB 5百万个字符 这些数据保存在50个24英寸的硬磁盘上 12 2 9现在最重要的存储设备 硬盘 硬盘是现在还在发展中的一种技术 图中的日立Deskstar7K500 是第一个达到500G容量的硬盘 是最早的IBM305RAMAC的12万倍 我们面对的硬盘发展趋势很明显 越来越便宜的硬盘 有着越来越巨大的容量 13 2 10第一张视频光盘 LD光盘 1958年就发明光盘技术了 可是直到1972年 第一张视频光盘才问世 6年后的1978年它开始在市场上卖 那个时候的光盘是只读的 虽然不能写 但是能够保存达到VHS录像机水准的视频 使得它很有吸引力 14 2 11体积更小 容量更大 小光盘 我们常见的5寸光盘 是从LD光盘发展来的 可是它更小 容量更大 它是SONY公司和飞利浦公司在1979年联合发布的 在1982年上市 一张典型的5寸光盘 可以保存700MB数据 15 2 12采用红外激光 DVD光盘 DVD是使用了不同激光技术的CD 它采用了650纳米的红外激光 标准CD则采用780纳米的红色激光 这种激光技术使得DVD可以在同样的面积中保存更多的数据 一张双层DVD容量可达8 5GB 16 2 13最先进的存储 蓝光DVD HD DVD 470nm 蓝色激光使得存储的容量进一步增长 目前看起来 好像蓝光DVD更流行一些 不过如果我们目光放更长远一些 也许一种被称为 HolographicVersatileDisc 的光盘 可以提供比蓝光DVD大160倍的容量 高达3 9TB 相当于保存4600到11900小时的MPEG4格式的电影 17 2 14U盘 SSD硬盘 U盘 利用电子的有无表示0和1SSD硬盘 又称固态硬盘 与U盘同样利用电子来存储信息 18 未来存储 全息技术 例如 机器人总动员等科幻片中 本技术已实现 用于全息学的原理适用于各种形式的波动 如x射线 微波 声波 电子波等 只要这些波动在形成干涉花样时具有足够的相干性即可 光学全息术可望在立体电影 电视 展览 显微术 干涉度量学 投影光刻 军事侦察监视 水下探测 金属内部探测 保存珍贵的历史文物 艺术品 信息存储 遥感 研究和记录物理变化极快的瞬时现象 瞬时过程 如爆炸和燃烧 等各个方面生物DNA存储 本技术已实现 原子 19 目录 1存储的发展和历史2RAID技术2 1RAID的概念2 2RAID的特点2 3RAID的级别2 4RAID级别的比较2 5RAID的实现方式2 6RAID卡2 7磁盘阵列2 8RAID卡与磁盘阵列的区别2 9RAID卡与磁盘阵列产品举例3主流存储架构 20 2 1RAID的概念 RAID是 RedundantArrayofInexpensiveDisks 的缩写 中文意思是廉价磁盘冗余阵列 组合小的廉价磁盘来代替大的昂贵磁盘 以降低大批量数据存储的费用采用冗余信息的方式 使得磁盘失效时不会使对数据的访问受损失 从而开发出一定水平的数据保护技术 并且能适当的提升数据传输速度 21 捆绑2个或多个独立物理磁盘成磁盘组 阵列 逻辑上做为一个大容量的硬盘供操作系统使用提高系统的读写性能具备容错性 2 2RAID的特点 22 2 3RAID的级别 RAID0RAID1RAID2RAID3RAID4 RAID5RAID6RAID7RAID10 RAID0 1 RAID30RAID50 23 2 3 1RAID0 概念 无差错控制的条带化阵列 将多块硬盘连接起来形成一个容量更大的存储设备 24 2 3 2RAID1 概念 称为镜像 将一个磁盘上的数据完全复制到另一个磁盘上 百分百的数据冗余 25 2 3 3RAID2 概念 带明码校验的磁盘阵列 这种RAID模式中 磁盘驱动器的第2的n次幂磁盘驱动器是专门的校验盘 应用比较少 26 2 3 4RAID3 概念 采用奇偶校验技术 需要专门的一块盘来存储校验位 27 2 3 5RAID4 概念 带奇偶校验码的独立磁盘结构 对数据的访问按磁盘进行 一块专门的奇偶校验盘存储校验位 应用比较少 28 2 3 6RAID5 概念 带分布式奇偶位的条带 把校验位信息随机地分布到所有的磁盘上 并非用单独一个盘来存储校验位 是目前应用最广泛的一种磁盘阵列模式 29 2 3 7RAID6 概念 带有两种分布式存储的奇偶校验码的独立磁盘结构 使用了分配在不同的磁盘上的第二种奇偶校验的增强性RAID5 30 2 3 8RAID7 概念 优化的高速数据传送结构 带有智能化实时操作系统和用于存储管理的软件工具 采用非同步方式 配置复杂 实际应用中很少见 31 2 3 9RAID10 RAID0 1 概念 镜像阵列条带 既具有Raid0的高性能 又具有Raid1的安全性 32 2 3 10RAID30 概念 专用奇偶位阵列条带 有两组RAID3的磁盘组成阵列 使用专门的奇偶位 再组成RAID0 实现跨磁盘抽取数据 配置成本高 实际应用中比较少见 33 2 3 11RAID50 60 概念 分布奇偶位阵列条带 由两组RAID5 6磁盘组成 每组都使用了分布式奇偶位 两组RAID5 6再组建成RAID0模式 实现跨磁盘抽取数据 34 本节知识点 1 销售要知道有这些东西2 要能正确读出 并解释其含义3 不常用的不要推荐4 技术要了解并能正确判断出使用的形式5 能够组建配置6 按要求给出方案 35 2 4RAID级别的比较 1 2 36 2 4RAID级别的比较 2 2 37 2 5RAID的实现方式 软件RAID方式硬件RAID方式零通道RAID 38 2 5 1软件RAID 软RAID software basedRAID 是基于软件的RAID 由于现在的很多服务器操作系统都集成了RAID功能 比如MicrosoftWindowsNT Windows2000 Windows2003 NovellNetware和Linux 软件RAID集成于操作系统 有比较低的始投资 但是它的CPU占用率非常高 并且只有非常有限的阵列操作功能 大多数情况下 由于软件RAID是在操作系统下实现RAID 软RAID不能保护系统盘 亦即系统分区不能参与实现RAID 39 2 5 2硬件RAID 硬RAID是通过硬件方式实现的一种RAID方式 有专门的硬件来进行RAID的计算 管理等 常见的RAID卡 以及控制器等方式的RAID方式都属于硬RAID方式 它的优点很多 占用CPU资源少 热插拔 管理方便等 相对软件RAID方式 成本较高 40 2 5 3零通道RAID 一种把初级的RAID功能附加给SCSI或者SATA卡而产生的产品 它是基于硬和软RAID之间的一种产品 它把软件RAID功能集成到了产品的固件上 从而提高了产品的功能和容错能力 一般情况下它可以支持RAID0和RAID1 有的可以支持更高级的RAID 41 2 6RAID卡 概念 RAID卡就是用来实现RAID功能的板卡 通常是由I O处理器 SCSI控制器 SCSI连接器和缓存等一系列零组件构成的 42 2 6 1RAID卡接口技术 IDE接口SCSI接口SATA接口SAS接口 目前主流接口类型 43 IDE接口 IDE即IntegratedDriveElectronics 它的本意是指把控制器与盘体集成在一起的硬盘驱动器 我们常说的IDE接口 也叫ATA AdvancedTechnologyAttachment 接口 也叫PATA 并行方式传输传输距离受限 不超过0 4米连接方式有主从之分不支持热插拔线缆比较宽 不利于散热 44 SCSI接口 1 3 SCSI直译为小型计算机系统专用接口 SmallComputerSystemInterface 是一种连结主机和外围设备的接口 支持包括磁盘驱动器 磁带机 光驱 扫描仪在内的多种设备 它由SCSI控制器进行数据操作 SCSI控制器相当于一块小型CPU 有自己的命令集和缓存 45 SCSI接口 2 3 46 SCSI接口 3 3 并行数据传输支持多设备 1个通道可以支持16个设备SCSI设备的CPU占用率极低 确实在多任务系统中占有着明显的优势 SCSI设备还具有智能化 SCSI卡自己可对CPU指令进行排队 这样就提高了工作效率 在多任务时硬盘会在当前磁头位置 将邻近的任务先完成 再逐一进行处理 47 SATA接口 1 2 SATA是由PATA发展而来的 SATA是SerialATA的缩写 即串行ATA 这是一种完全不同于并行ATA的新型硬盘接口类型 由于采用串行方式传输数据而得名 48 SATA接口 2 2 SerialATA技术采用点对点的传输协议 不存在主从问题 这样每个驱动器硬盘能够独享带宽SerialATA采用七针数据线缆 主要有四个针脚 第一针发送信号 第二针接收信号 第三针供应电源 第四针为地线 长度可以达到1米 接插简单 支持热插拔内置数据校验技术 串行ATA技术在传输总线的两端都引入了全新的CRC 循环冗余校验 保护系统 增加了数据传输的可靠性 49 SAS接口 1 2 SAS技术是由SCSI技术发展而来的 SAS是SerialAttachedSCSI的缩写 即串行连接SCSI 2001年11月26日 Compaq IBM LSI逻辑 Maxtor和Seagate联合宣布成立SAS工作组 其目标是定义一个新的串行点对点的企业级存储设备接口 它综合了现有并行SCSI和串行连接技术 光纤通道 SSA IEEE1394及InfiniBand等 的优势 以串行通讯为协议基础架构 采用SCSI 3扩展指令集并兼容SATA设备 是多层次的存储设备连接协议栈 50 SAS接口 2 2 串行传输方式向下兼通SATA采用8b 10b编码扩展性能好SAS技术的全双工模式 可以使设备在同一时间内能够以双方向传输数据 51 2 6 2RAID卡的主要厂商 AdaptecLSI建邦PROMISE 52 2 7磁盘阵列 1 9 磁盘阵列的特性 1 增大存储空间2 提高读写性能3 具有容错性 磁盘阵列的以上特性通过RAID技术来实现 53 2 7磁盘阵列 2 9 磁盘阵列的主要组成部分 1 机箱2 控制器3 背板4 电源 散热风扇5 硬盘 54 2 7磁盘阵列 3 9 磁盘阵列控制器 概念 控制器在磁盘阵列中启着核心作用 RAID技术的实现 以及数据的调用管理都有它来负责 是一个磁盘阵列的心脏 55 2 7磁盘阵列 4 9 磁盘阵列分类 按尺寸盘位按主机接口按存储介质 56 2 7磁盘阵列 5 9 磁盘阵列主机接口 SCSISASFCISCSIINFINIBANDPCI E 57 2 7磁盘阵列 6 9 磁盘阵列磁盘通道 SCSISATASASFC 58 2 7磁盘阵列 7 9 磁盘阵列常用参数 控制器数量处理芯片 处理器 Cache大小电池保护主机接口数量及带宽磁盘通道数量及带宽Iops尺寸及盘位数扩展性能支持的RAID级别 59 2 7磁盘阵列 8 9 磁盘阵列高级功能 Lunmasking功能快照功能卷拷贝功能远程镜像功能 60 2 7磁盘阵列 9 9 磁盘阵列控制器结构图 举例 61 2 8RAID卡与磁盘阵列的区别 RAID卡磁盘阵列形态PCI插卡SCSI设备OS支持OSDriverBIOS识别 SCSISCSI通道仅为磁盘通道磁盘通道 主机通道独立性依赖主机完全独立冗余性仅磁盘冗余磁盘 电源 风扇冗余配置仅配置磁盘配置磁盘 Map常用界面软件界面LCD界面价格相对廉价较贵 62 2 9RAID卡与磁盘阵列产品举例 1 2 产品介绍 AdaptecSCSIRAID2130SLP卡 单通道Adaptec2130SUltra320PCI XSCSIRAID控制器最大可接入15块硬盘PCI X接口 64 bit 133MHz内外各有一个一个68针高密scsi接口 来连接硬盘支持0 1 10 5 50 JBODAdaptecStorageManager管理软件 方便raid的管理 63 2 9RAID卡与磁盘阵列产品举例 2 2 产品介绍 曙光DS6310 2U 16盘位IBMPowerPC750Cxe处理器 专用硬件异或处理芯片Cache最大支持2GBRaid0 1 0 1 3 5 10 30 50主机通道2个320MB sSCSI磁盘通道2个320MB sSCSI最大容量3 6TB 64 目录 1存储的发展和历史2RAID技术3主流存储架构3 1DAS架构3 2NAS架构3 3SAN架构3 4ISCISSAN3 5存储架构对比 65 3主流存储架构 DAS架构NAS架构SAN架构ISCSISAN架构 66 3 1DAS架构 1 4 DAS是DirectAttachedStorage的缩写 即 直接连接存储 它是指将外置存储设备通过连接电缆 直接连接到一台计算机上 采用直接外挂存储方案的服务器结构如同PC机架构 外部数据存储设备采用SCSI技术 或者FC FibreChannel 技术 直接挂接在内部总线上的方式 数据存储是整个服务器结构的一部分 67 3 1DAS架构 2 4 结构示意 68 3 1DAS架构 3 4 直连方式基于块设备级的访问模式扩展性差资源浪费不宜集中管理 结构特点 69 3 1DAS架构 4 4 适用范围 小型网络 成本较低地理位置特别分散的网络特殊应用的服务器 70 3 2NAS架构 1 4 NAS系统拥有一个专用的服务器 服务器上安装着一个优化的文件系统和 瘦 操作系统 其作用类似于一个专用的文件服务器 这种专用文件服务器去掉了通用服务器原有的大多数计算功能 仅仅提供文件系统功能 用于存储服务 而且 NAS系统中的核心操作系统是经过特殊定制的 专门服务于文件请求且与主要的网络环境兼容 71 3 2NAS架构 2 4 结构示意 72 3 2NAS架构 3 4 特点 集中数据管理基于文件级 异构平台的数据共享独立于操作平台 不同类的文件共享 NFS CIFS 真正的即插即用存储系统部署简单存储设备位置灵活管理容易且成本较低浏览器界面的操作 管理存储性能较低 通过网络存储备份 投资成本较高而可靠度不高 73 3 2NAS架构 4 4 适用范围 小型局域网络 广域网邮件系统 办公OA 校园网 文档归档 VOD等异构平台共享对性能要求不是极高的应用基于文件系统 不适合数据库应用 74 3 3SAN架构 所谓的SAN storageareanetwork 即存储区域网络 是指在网络服务器群的后端 采用光纤通道等存储专用协议连接成高速专用网络 使网络服务器与多种存储设备直接连接 SAN的最大特点就是可以实现网络服务器与存储设备之间的多对多连接 而且 这种连接是本地的高速连接 SAN架构的优势在于 强大的扩展性 多种存储设备的集中和新架构支撑下的新型数据应用方式 75 3 3 1FibreChannel 1 2 FibreChannel FC 是1994年由ANSI标准化组织制订的一种适合于千兆位数据传输通信的成熟而安全的解决方案 FibreChannel与传统的SCSI技术相比 除了提供更高的数据传输速度 更远的传输距离 更多的设备连接支持 更稳定的性能 更简易的安装以外 最重要的是为SAN的发展提供了广阔的天地 76 3 3 1FibreChannel 2 2 点对点 交换式Fabric ArbitratedLoop 仲裁环 FibreChannel有三种拓扑结构 点对点 Point to Point 两个设备之间互连仲裁环 ArbitratedLoop 最多支持126个设备互连 形成一个仲裁环交换式Fabric SwitchFabric 最多1千6百万个设备互连 77 3 3 2FCSAN 1 3 结构示意 78 3 3 2FCSAN 2 3 特点 基于设备块级的访问模式扩展性好易于集中管理高可靠性 可用性 可维护性负载均衡传输效率高 低延迟成本高 79 3 3 2FCSAN 3 3 适用范围 大型网络实现对分