存储基础知识1_介质和阵列ppt课件

存储基础知识 一 SOUL产品部 2010 05 存储基础讨论哪些问题 HostPlatforms MediaManagement 性能Performance容量capacity DAS NAS SAN 虚拟化 备份 复制 WORM 云存储 ILM SCSI DAFS FC IP SCSI RAID 快照 容灾 重复删除 NDMP VSS SNIA 存储网络行业协会 存储模型 目录 存储介质 存储介质硬盘技术磁带技术 硬盘主要物理结构 硬盘主要物理结构 盘片Platter磁盘驱动器的主要组件之一是盘片 其盘片构成材料是铝合金或者是玻璃 表面覆盖着磁记录层 硬磁盘盘片直径小型化的同时 面密度也在不断提高 目前硬盘的面密度已经超过每平方英寸100GB 磁头Head硬磁盘驱动器的磁头是浮动磁头 工作过程中磁头与盘面不接触 两者之间有一个很小的间隙 当磁盘高速旋转时 由于空气的粘滞性 附着在盘面上的空气在磁头和盘面之间形成了一层空气垫 托住磁头 主轴Spindle和主轴电机Motor硬盘驱动器由主轴带动盘片旋转 其转速很高 目前一般为5400r min 7200r min 高速硬盘一般是15000r min 用于服务器和高速磁盘阵列 主轴电机一般为无刷直流电机 采用流体动压轴承以达到极小的径向偏摆 从而保证极小的磁道偏摆 利于磁头对磁道的跟踪 Aharddriveplatterbeingaccessedbyanactuatorarm 硬盘的读写工作 磁盘驱动器在存取工作过程中 首先要把磁头移动到目标磁道 这个过程称为寻道 到达目标磁道后 还要通过伺服跟踪系统使磁头动态保持在目标磁道的中心 这个过程叫磁道跟踪 在寻道过程中 首先执行寻道命令 把磁头当前所处磁道距目标磁道的距离计算出来 装入差值计数器中 然后根据差值的正 负和大小来驱动磁头运动 为了提高寻道速度 一般把控制分成两个阶段来进行 第一阶段是 粗控 阶段 作用是速度控制 当目标磁道和当前磁道之差大于零时 采用速度控制 目的在于尽快找到目标磁道 当找到了目标磁道后 才进入 精控 阶段 精控 阶段的作用是位置控制 保证磁头牢牢盯住目标磁道 所以又称跟踪控制方式 当访问某一个扇区时 磁头须从当前所处的磁道运动到指定的目标磁道 再等待被访问的扇区旋转到磁头下 所有盘面上的磁头装在同一个小车上作同步运动 即每一瞬间各盘面上的磁头均处于各自同一序号的磁道上 这些序号相同的磁道组成了一个柱面 与磁道编号一样 零磁道所在的柱面为零柱面 1号磁道所在的柱面为1号柱面 依次类推 访问时 先要选择柱面 其次要选择磁头 也就是选择盘面 和扇区 所以 寻址用的地址信息应该有柱面号 磁头号和扇区号 硬盘存储结构 磁头Head磁头是硬盘中最昂贵 最重要的部件 MR磁头 Magnetoresistiveheads 即磁阻磁头 采用的是分离式的磁头结构 写入磁头仍采用传统的磁感应磁头 MR磁头不能进行写操作 读取磁头则采用新型的MR磁头 即所谓的感应写 磁阻读 这样 在设计时就可以针对两者的不同特性分别进行优化 以得到最好的读 写性能 磁道Track当磁盘旋转时 磁头若保持在一个位置上 则每个磁头都会在磁盘表面划出一个圆形轨迹 这些圆形轨迹就叫做磁道 是盘面上以特殊方式磁化了的一些磁化区 磁盘上的信息是沿着磁道存放的 相邻磁道之间并不是紧挨着 因为磁化单元相隔太近时磁性会相互产生影响 硬盘上的磁道密度很大 通常一面有成千上万个磁道 扇区Sector每个磁道被等分为若干个弧段 这些弧段是磁盘的扇区 每个扇区可以存放512个字节的信息 磁盘读取和写入数据时 要以扇区为单位 柱面Cylinder硬盘由重叠多盘片构成 每个盘面都被划分为数目相等的磁道 并从外缘的 0 开始编号 具有相同编号的磁道形成一个圆柱 称为磁盘的柱面 柱面数磁道数是相等的 由于每个盘面都有自己的磁头 因此 盘面数等于总的磁头数 所谓硬盘的CHS 即Cylinder 柱面 Head 磁头 Sector 扇区 只要知道了硬盘的CHS 即可确定硬盘的容量 硬盘的容量 柱面数 磁头数 扇区数 512Byte DataRate Innervs OuterTracks Tokeepthingssimple originallysamenumberofsectorspertrackSinceoutertracklonger lowerbitsperinchCompetitiondecidedtokeepbitsperinch BPI highforalltracks constantbitdensity Morecapacityperdisk Moresectorspertracktowardsedge Sincediskspinsatconstantspeed outertrackshavefasterdatarateBandwidthoutertrack1 7xinnertrack 硬盘的基本参数 容量硬盘的容量MB或GB为单位 容量指标还包括硬盘的单碟容量单 是指包括正反两面在内的单个盘片的总容量 单碟容量越大 单位成本越低 平均访问时间也越短 转速转速 Rotationalspeed 是指盘片每分钟转动的圈数RPM RoundPerMinute 平均访问时间平均访问时间 AverageAccessTime 是指磁头从起始位置到达目标磁道位置 并且从目标磁道上找到要读写的数据扇区所需的时间 平均访问时间体现了硬盘的读写速度 它包括平均寻道时间 平均等待时间 平均寻道时间 AverageSeekTime 是指硬盘的磁头移动到盘面指定磁道所需的时间 一般8ms以内 平均等待时间是指磁头已处于要访问的磁道 等待所要访问的扇区旋转至磁头下方的时间 平均等待时间为盘片旋转一周所需的时间的一半 一般应在4ms以下 传输速率传输速率 DataTransferRate 硬盘的数据传输率是指硬盘读写数据的速度 单位为兆字节每秒 MB s 硬盘数据传输率又包括了内部数据传输率和外部数据传输率 内部传输率 InternalTransferRate 也称为持续传输率 SustainedTransferRate 它反映了硬盘缓冲区未用时的性能 内部传输率主要依赖于硬盘的旋转速度 外部传输率 ExternalTransferRate 也称为突发数据传输率 BurstDataTransferRate 或接口传输率 它标称的是系统总线与硬盘缓冲区之间的数据传输率 外部数据传输率与硬盘接口类型和硬盘缓存的大小有关 缓存硬盘缓存的目的是为了解决系统前后级读写速度不匹配的问题 以提高硬盘的读写速度 常用指标 硬盘类型及接口 SAS SATA FC SCSI ATA IDE LC SC 硬盘类型 接口视图 ATA IDE接口硬盘 ATA AdvancedTechnologyAttachment 高级技术附加ATA硬盘是传统的桌面级硬盘 主要应用于个人PC机 也经常称为IDE IntegratedDriveElectronic 硬盘ATA接口为并行ATA技术 正在被串行ATA SATA 所替代 SCSI接口硬盘 SCSI SmallComputerSystemInterface 小型计算机系统接口SCSI硬盘并发处理性能优异 常应用于企业级存储领域SCSI硬盘采用并行接口 接口速率发展到320MB s 已经达到极限 正在被SAS SerialAttachedSCSI 硬盘所替代 FC接口硬盘 采用FC AL FiberChannelArbitratedLoop 光纤通道仲裁环 接口模式FC AL是一种双端口的串行存储接口FC AL支持全双工工作方式FC AL提供一种单环拓扑结构 一个控制器能访问126个硬盘 SATA接口硬盘 SATA串行ATA SerialAdvancedTechnologyAttachment SATA采用串行方式进行数据传输 接口速率比IDE接口高SATA硬盘采用点对点连接方式 支持热插拔 即插即用SATAII有以下五个主要特性 更高的端口传输率 300MB s 本机命令队列 NCQ 组件管理 EnclosureManagement 比如风扇控制 温度控制 新硬盘指示 坏硬盘指示 硬盘状态指示等端口复用 PortMultiplier 允许多个硬盘连接到同一端口可向上兼容SAS技术SATA 技术可对24 7企业在线和近线存储应用提供超大容量和高可靠性的支持 SAS接口硬盘介绍 SAS串行连接SCSI SerialAttachedSCSI SAS是一种点对点 全双工 双端口的接口SAS专为满足高性能企业需求而设计 并且兼容SATA硬盘 为企业用户带来前所未有的灵活性保留了SCSI技术良好的可测性和可靠性点对点串行连接方式提供更高的带宽 单接口3Gb 6Gb 12Gb相对于SCSI更优异的信号和数据完整性灵活性 兼容SAS和SATA可扩展性 寻址范围宽 通过扩展器可以支持更多设备可靠性和可用性 全双工接口支持冗余路径更长的电缆连接 更小尺寸 更容易的连接方式 更多选择 SAS SATA接口兼容性 SATA SAS快速比较 各类硬盘对比 SATA 接口硬盘支持NCQ SATA 不支持 企业存储介质分级策略 Onlyasmallpercentageofdatashouldbemaintainedonthehighestcost highperformancedevices Therestismigratedtolessexpensivestoragewhereitisimmediatelyavailablewhenneeded EMCWhitepaperApril2005 HighcapacityLowcost per gigabyteHighreliabilityOptimizedfornearlineapplications Transactional Archive OnLine OffLine NearLine PerformanceAvailabilityAccesstime CostperTerabyteCapacityRetention 企业级Nearline与Online硬盘区别 NearlineStorage7 200rpmSATA OnlineStorage15 000rpmSAS FC 机械部分更大的磁铁坚固外壳空气控制设备更高寻道速度更多磁头更多盘片更小盘片直径更高转速 电子部分DualprocessorsDualportTwicethefirmwareCommandschedulingSuperiorerrorcorrectionSmartalgorithmsPerform optimizationDataintegritychecks 不同类型硬盘的需求变化 不同类型硬盘发展趋势 SCSI 2SCSI 3 FC AL100MB SperPort FC AL200MB SperPort SynchronousSCSI5MB s FastWideSCSI10 20MB s UltraSCSI20 40MB s Ultra2SCSI40 80MB s Ultra160SCSI160MB s Ultra320SCSI320 MB s SAS300MB sperport SATASATAII SerialATA150MB s SerialATAII300MB s FC AL400MB SperPort 串行 并行 SAS600MB sperport 硬盘规格的发展变化 硬盘容量的发展 容量 FC SAS硬盘 100GB 300GB 750GB 1TB 400GB 500GB 750GB 1000GB SATA硬盘 500GB 1 5B 2TB 73GB 146GB 300GB 450GB 600GB 1 5TB 2TB 256GB 250GB SSD固态硬盘 多种多样的磁带技术 磁带介质类型DAT DigitalAudioTape 4mmDLT DigitalLinearTape SDLT1 2英寸AIT SAIT3590LTO LinearTapeOpen Ultrium AccelisDTF9840Mammoth8mm 螺旋扫描vs 线性记录 1ips 4ChannelHeadWrite Read208ParallelSerpentineTracks 160ips 160ips 螺旋扫描记录方式 线性记录方式 写满整盘带绕带次数 1带速 1 sec 同录像机工作原理 整个磁带机中 只有磁鼓是高速旋转 其它部件 如磁带 伺服机构都是低速运动的 这样的结构紧凑合理 易于设计和维护 写满整盘带绕带次数 52带速 160 sec 同录音机原理 磁头固定不动 磁带直线高速运动通过磁头 HEADS Heads 螺旋扫描技术 磁带盒采用双轴结构磁带部分缠绕到有倾角的旋转磁鼓上数据磁轨是根据8mm磁带的边缘按一定角度写入产品 SonyAIT S AIT 线性扫描技术 磁带盒采用单轴结构电机高速拉动磁带通过磁头磁轨平行于磁带边缘写入数据磁轨会以往返的形式在磁带上来回写入产品LTO SDLT 9840 3590 磁带技术的发展 Gen4 Note Gen3Half heightandFull heightdriveusethesamemedia 阵列技术 阵列技术 磁盘阵列体系结构RAID技术阵列与主机链接快照与复制 磁盘阵列 XX公司 什么是磁盘阵列 磁盘阵列是一种采用RAID技术 冗余技术和在线维护技术制造的一种高性能 高可用的磁盘存储设备 磁盘阵列核心技术 体系结构设计缓存技术RAID技术主机通道连接技术快照技术复制技术 常见阵列体系结构 通常的中档控制器设计单个或集群的双控制器前端主机端口 后端光纤环路镜像的高速缓存 矩阵式高端阵列体系结构 光纤通道 ACP 高速缓存与共享内存 光纤通道 高端企业级磁盘阵列 光纤通道 ACP 光纤通道 ACP 光纤通道 ACP CrossBar高速 CPU 控制器缓存工作模式 主机写入数据流 反馈写OK Write back回写 主机写入数据流 反馈写OK Write through直写 磁盘 控制器的缓存保护技术 Cache电池 阵列内置UPS 三种常见控制器Cache保护设计 cache电池保护 内置UPS保护 外置UPS保护 阵列外置UPS 控制器缓存镜像 1 主机数据写入缓存 2 缓存数据进行异或运算 产生校验数据 控制器缓存镜像 1 主机数据写入缓存 2 缓存数据进行异或运算 产生校验数据 3 将校验数据添加到缓存 控制器缓存镜像 1 主机数据写入缓存 2 缓存数据进行异或运算 产生校验数据 3 将校验数据添加到缓存 4 将缓存数据复制到目标控制器 5 目标控制器处理完数据和校验数据返回消息 6 源控制器返回主机消息 操作完毕 OK RAID基本概念 定义 RAID RedundentArrayofInexpensiveDisks 廉价磁盘冗余阵列由美国加州伯克利分校的D A Patterson教授在1988年提出 传统RAID的四种需求目标 安全 经济 效率 扩充解决了单个磁盘容量的限制解决了单个磁盘速度的限制解决了数据可靠性问题RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘 从而提高了硬盘的读写性能和数据安全性 根据不同的组合方式可以分为不同的RAID级别 RAID组合方式 级别扩展 同时采用两种不同的RAID方式还能组合成新的RAID级别 RAID基本概念1 条带 分条 条带 硬盘0 硬盘2 硬盘1 硬盘3 RAID基本概念2 校验 异或运算 P A0XORA1 数据A0和A1通过异或运算进行奇偶校验得到校验位P A1 P 数据盘 数据盘 校验盘 两个数字之间的XOR运算定义是 1XOR1 01XOR0 10XOR1 10XOR0 0 RAID基本概念3 重建 Rebuild 数据盘 A1 P A0 A1 P XOR 故障 数据盘 校验盘 A2 A2 XOR 数据盘 更换 RAID硬盘失效处理 热备和热插拔 热备 HotSpare定义 当冗余的RAID组中某个硬盘失效时 在不干扰当前RAID系统的正常使用的情况下 用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘 及时保证RAID系统的冗余性全局式 备用硬盘为系统中所有的冗余RAID组共享专用式 备用硬盘为系统中某一组冗余RAID组专用热插拔 HotSwap定义 在不影响系统正常运转的情况下 用正常的硬盘物理替换RAID系统中失效硬盘关键在于热插拔时电子器件的保护机制 全局热备示例 该热备盘由系统中两个RAID组共享 可自动顶替任何一个RAID中的一个失效硬盘 磁盘1 磁盘2 磁盘3 热备盘 磁盘4 磁盘5 磁盘6 RAID5 RAID5 磁盘阵列 RAID级别 RAID0 RAID0即没有容错设计的条带硬盘阵列 StripedDiskArraywithoutFaultTolerance 以条带形式将RAID组的数据均匀分布在各个硬盘中 RAID级别 RAID1 RAID1又称镜像 Mirror 数据同时一致写到主硬盘和镜像硬盘 RAID级别 RAID3 RAID3即带有校验的并行数据传输阵列 Paralleledtransferwithparity 数据条带化分布在数据盘中 同时使用专用校验硬盘存放校验数据 RAID级别 RAID4 RAID4是带有共享校验硬盘的独立数据盘 Independentdatadiskswithsharedparitydisk 与RAID3类似 不同在于对数据访问是每次一个盘 而RAID3是每次一个条带 RAID4的读写性能较差 目前较少使用 异或运算 P0 P1 P2 P3 A0 A1 A2 A3 B0 B1 B2 B3 C0 数据盘 校验盘 RAID级别 RAID5 RAID5与RAID3机制类似 但校验数据均匀分布在各数据硬盘上 RAID成员硬盘上同时保存数据和校验信息 数据块和对应的校验信息保存在不同硬盘上 RAID5是最常用的RAID方式之一 P4 A3 A2 A1 A0 B4 P3 B2 B1 B0 C4 C3 P2 C1 C0 D4 D3 D2 P1 D0 E4 E3 E2 E1 P0 异或运算 A0 B0 C0 D0 A1 B1 C1 E1 A2 B2 D2 校验信息Px分布式存储 数据 RAID3 RAID4 RAID5区别 RAID3是与RAID4类似 在每组盘中使用单一的校验盘 但是RAID3中条带划分较小 使得每一个操作都要跨越阵列中所有的磁盘 例如 一个块数据中的第一个字节可能在第一个盘上 第二个字节在第二个盘上 诸如此类 RAID3经常处于磁头同步状态以减少等待时间 RAID3适于单一大文件以高数据率进行读写的应用 诸如超级计算机和图形图像处理 对于多用户并行发起众多互不相关磁盘操作的应用则不适宜 作为对比 RAID4盘组中的每一个数据盘都可以同时满足一个单独用户的请求 RAID5与RAID4类似 但与RAID4拥有独立校验盘不同 RAID5在阵列中所有磁盘上存储校验信息 RAID5的主要的优势在于它可以防止校验盘本身成为读写瓶颈 主要的缺点是不能方便的将一块新磁盘添加到现有的RAID组中 RAID3 4 5的读和写 读操作 多磁盘同时读取数据写操作 更新数据之前 需要将条带中其他部分数据读出并重新计算校验值 新数据和校验数据同时被写更新 RAID3 RAID4 5 RAID级别 RAID6 RAID6是带有两个独立分布式奇偶校验方案的独立数据硬盘 Independentdatadiskswithtwoindependentdistributedparityschemes 广义上讲 能够允许两个硬盘同时失效的RAID级别统称为RAID6 狭义上讲 特指Intel的RAIDP Q技术 硬盘空间利用率为 N 2 N N为RAID6阵列硬盘总数RAID6技术 目前RAID6还没有统一的标准 各家公司的实现方式都有所不同 RAIDP Q INTEL和HDS公司RAIDDP NetApp公司RAIDADG HP公司 RAID6P Q Reed Solomoncodes RAIDDP原理 添加RAIDDP双奇偶校验条下表将一个以蓝色阴影块表示的对角线奇偶校验条和一个在第六列中以 DP 表示的第二个奇偶校验磁盘添加到前面的RAID4组中 这表示RAIDDP结构是RAID4水平行奇偶校验解决方案的超集 在这个例子中对角线奇偶校验条通过相加的方法计算 并且存储在第二个奇偶校验磁盘上 而不是上面所说的实际使用的XOR 1 2 2 7 12 此时 需要注意的最重要的问题是 对角线奇偶校验条包括一个来自行奇偶校验的元素作为其对角线奇偶校验和的一部分 RAIDDP将把最初在RAID4结构中的磁盘 包括数据和行奇偶校验磁盘 视作相同的磁盘 下一个图表为每个块加入了余下的数据 并且建立了相应的行和对角线奇偶校验条 RAIDDP的重建 RAID组合级别 RAID10 RAID10是将镜像和条带进行两级组合的RAID级别 第一级是RAID1镜像对 第二级为RAID0 RAID10也是一种应用比较广泛的RAID级别 A B C D E F G H A A C B B C D D E E F F G G H H RAID组合级别 RAID0 1 A B C D E F G H RAID0 1是将条带和镜像进行两级组合的RAID级别 第一级是RAID0 第二级为RAID1 一般来说 RAID0 1的失效概率要比RAID10大 不过无硬盘故障下 RAID0 1的读取速度要比RAID10快 A B C D E F G H A B C D E F G H RAID组合级别 RAID50 P13 F1 RAID50是将RAID5和RAID0进行两级组合的RAID级别 最低一级是RAID5 第二级为RAID0 A2 P02 A1 A0 B2 B1 P01 B0 P03 C1 C0 P00 异或运算 A0 B0 D0 E0 A1 C0 D1 F0 B1 C1 D2 P12 D1 D0 E2 E1 P11 E0 F0 P10 硬盘0 硬盘1 硬盘2 硬盘3 硬盘4 硬盘5 异或运算 不同等级RAID效率对比 RAID57D 1P 数据 数据 数据 奇偶校验 数据 数据 数据 数据 RAID66D 2P 数据 数据 奇偶校验1 奇偶校验2 数据 数据 数据 数据 RAID12D 2D 镜像 镜像 数据 数据 RAID53D 1P 数据 奇偶校验 数据 数据 RAID14D 4D 镜像 镜像 镜像 镜像 数据 数据 数据 数据 RAID与LUN的关系 RAID由几个硬盘组成 从整体上看