Macrosan存储培训教材--存储基础知识.ppt

Macrosan存储培训教材 存储基础知识 产品经理 王一帆TEL MAIL wangyifan 提纲 硬盘技术 硬盘的结构及主要技术 硬盘结构 主轴马达 SpindleMotor 磁头 基座 BasePlate 磁头停放区 ParkingZone 盘片 Media 传动部件 接口 容量 指硬盘能存储的数据量大小 以字节为基本单位单碟容量 硬盘都是由一个或几个盘片组成的 单碟容量就是指包括正反两面在内的单个盘片的总容量转速 即主轴马达转动速度 单位为RPM RoundPerMinute 即每分钟盘片转动圈数缓存 是硬盘控制器上的一块内存芯片 具有极快的存取速度 它是硬盘内部盘片和外部接口之间的缓冲器 常用指标 硬盘的主要指标 一 常用指标 平均访问时间 硬盘磁头找到目标数据所需的平均时间平均寻道时间 磁头寻找目标数据所在磁道所需的平均时间平均潜伏时间 当磁头移动到数据所在的磁道后 等待指定的数据扇区转动到磁头下方的时间数据传输率 内部数据传输率 数据从盘片表面传输到硬盘的缓存的速率外部数据传输率 数据从硬盘的缓存读出到外部总线的速率MTBF MeanTimeBetweenFailure 平均无故障时间 硬盘的主要指标 二 常用指标 S M A R T Self Monitoring AnalysisandReportingTechnology 自监测 分析及报告技术 监测磁头 磁盘 马达 电路等部件 然后根据得到的关于各部件运行情况与历史记录的数据进行分析 比较 根据需要会自动向用户发出警告TCQ TaggedCommandQueuing 标记命令队列NCQ NativeCommandQueuing 本机命令队列 是SATA 规范支持的一种新的功能 支持NCQ的硬盘可以对指令进行排队 多达32条指令 重新编排指令执行次序 也可以立即执行指令 可提高硬盘的性能 减少CPU占用率DutyCycle 指硬盘的工作负荷 定义为特定时间段内硬盘用于寻道 读 写操作的时间占总时间的百分比 100 即表示硬盘每天24小时不停在进行读写操作SCT 即S M A R TCommandTransport 该技术在硬盘内部划出一部分扇区做为日志记录 分析SMART命令包含的状态信息 判断硬盘的工作状况从而调节负载 比如数据流量 来保证硬盘可靠性 硬盘的主要技术 硬盘的读写速度同硬盘的转速成正比更高的转速可缩短硬盘的实际读写时间硬盘缓存的大小直接影响硬盘的整体性能 转速和缓存对硬盘性能的影响 垂直磁记录 在硬盘目前所使用的水平记录技术下 存储容量离极限越来越近垂直磁记录技术有助于在保证记录质量的同时进一步提高存储密度 硬盘的种类及发展趋势 硬盘类型及接口 SAS SATA FC SCSI ATA IDE LC SC 硬盘类型 接口视图 容量 FC硬盘 100GB 300GB 750GB 1000GB 146GB 300GB SAS硬盘 250GB 400GB 500GB 750GB 1TB SATA硬盘 73GB 146GB 500GB 73GB 300GB 146GB 2007 SCSI硬盘 73GB 450GB 300GB 450GB 硬盘发展历史及趋势 2003 2004 2001 2008 2002 2008 2009 600GB 2009 600GB 6Gb s 2005 2TB 2009 硬盘接口发展趋势 SCSI 2SCSI 3 FC AL100MB SperPort FC AL200MB SperPort SynchronousSCSI5MB s FastWideSCSI10 20MB s UltraSCSI20 40MB s Ultra2SCSI40 80MB s Ultra160SCSI160MB s Ultra320SCSI320 MB s SAS300MB sperport SATASATAII SerialATA150MB s SerialATAII300MB s FC AL400MB SperPort 串行 并行 SAS600MB sperport FC接口硬盘介绍 FC硬盘采用FC AL FiberChannelArbitratedLoop 光纤通道仲裁环 接口模式FC AL是一种双端口的串行存储接口 目前能够提供400MB s速率FC AL支持全双工工作方式FC AL利用类似SATA SAS所用的4芯连接 提供一种单环拓扑结构 一个控制器能访问126个硬盘 SATA接口硬盘介绍 SATA SerialATA SerialAdvancedTechnologyAttachment 串行ATASATA采用串行方式进行数据传输 接口速率比IDE接口高 最低为150MB s 并且第二代 SATA 300MB s接口硬盘已经形成商用 规划内的最高速率可达600MB sSATA硬盘采用点对点连接方式 支持热插拔 即插即用 SAS接口硬盘介绍 SAS SerialAttachedSCSI 串行连接SCSISAS是一种点对点 全双工 双端口的接口SAS专为满足高性能企业需求而设计 并且兼容SATA硬盘 为企业用户带来前所未有的灵活性 SAS技术优点 性能 SAS技术单通道可提供6 0Gb s的传输率 采用SAS4路宽端口技术 单条链路即可达24Gb s SAS技术本身也已规划到12Gb的速率兼容性 SAS连接器可以同时支持SATA和SAS硬盘可扩展性 通过Expander可以扩展到超过16000个设备支持世界范围唯一的设备ID号 提高了设备寻址能力支持更长距离的电缆 在无光纤传输能力的情况下 电缆长度可以到10米灵活性 SAS可以使用现有的SCSI命令集 保护企业现有SCSI软件的投资 继承了SCSI的高可用性 并在SCSI命令排队方面进行了优化SAS完全承袭了SCSI的优势 采用串行技术性能得到进一步提升 同时还考虑了向下兼容SATA的问题 因此用户可以根据不同的需求和承受能力 灵活选择SAS和SATA进行组合来构建存储系统 硬盘各类接口间的对比 SATA 接口硬盘支持NCQ SATA 不支持 SSD SolidStateDisk 硬盘泛指由控制单元和固态存储单元 DRAM或Flash芯片 组成的存储设备 目前支持SATA FC SAS接口 VS 相比机械硬盘 SSD优点如下 数据存取速度快 在密集的IO读写和低延迟方面与传统硬盘对比性能优异 故障率低 内部不存在任何机械部件 内部全部采用闪存芯片绿色环保 工作时静音 发热量小 散热快重量更轻 有利于移动设备的携带 SSD硬盘介绍 SLC单层式储存 MLC多层式储存 10万次全写操作 每天350GB数据更新可使用5年高可靠性 MTBF为2百万小时高性能 读性能达到250MB s 写性能130MB s重量87克左右 最大功耗2W SSD分SLC和MLC两种 主要差别在于擦写次数和性能 1万次全写操作 每天20GB数据更新可以使用5年可靠性较低 MTBF为1 2百万小时写性能较低 读性能250MB s 写性能50MB s重量2 5寸87克左右 1 8寸40克左右 最大功耗2W容量一般比SLC要大近一倍 SSD的分类 存储的SafeCache空间 数据库环境 高性能集群系统的共享数据盘 SSD应用环境 目前SSD盘价格较高 容量较小 SSD目前更适合随机读比例较高 响应时间要求苛刻的应用场合 包括 SSD应用环境 企业级硬盘与桌面级硬盘的区别 主要硬盘厂商 硬盘类型选择 硬盘常见问题答疑 1 FC硬盘接口速度比SAS硬盘快 FC硬盘分两类 15000转 接口速度是4Gb s 和10000转 接口速度是2Gb s 我司使用的SAS SATA硬盘接口速度是6Gb s与15000转FC硬盘比较结构 磁盘转速是硬盘性能的关键指标 15000转SAS盘和FC盘 采用相同的内部结构 相同的读写原理 磁盘本身具备相同的性能 唯一区别在于磁盘与外部系统连接的接口 正确认识速度 硬盘速度分为外部传输速率和内部传输速率 我们平时所说的4Gb s 3Gb s都是指外部传输速率 而实际上硬盘的性能瓶颈是内部传输速率 只要是15000转的硬盘 不管FC SCSI或SAS 其内部传输速率最大都是1 2Gb s左右 因此外部接口速度是4Gb s或3Gb s 对于性能来说区别都不大与10000转FC硬盘比较10000转的FC硬盘 无论是外部接口速率或是内部传输速率 都要逊于15000转SAS硬盘 2 SAS硬盘好在哪里 SAS硬盘 SAS优势不在于磁盘本身 而在于通道技术和协议设计 SAS硬盘应用领域更广泛 SAS已成为主流硬盘市场 SAS硬盘继承了SCSI技术 技术成熟 SAS接口兼容SATA硬盘 3 企业级硬盘发展趋势 29 FC硬盘 3 5寸 已经不再有新的产品型号 10 15K转硬盘全部都是SAS接口 7200K转的2 5寸硬盘是SAS SATA接口 7200K转的3 5寸硬盘是SAS SATA接口 SSD硬盘以2 5寸SAS为主 保留3 5寸FC X 4 企业级SATA硬盘为何价格高 SATA硬盘分为企业级和桌面级两种 主要区别在于可靠性和性能优化方面 适用场合完全不同我司采用的是专用的企业级SATA硬盘 从硬盘厂家供货和我司存储出厂前进行了两级的严格测试 将失效率降至最低 并提供免费三年保修 质量有保证 另外我司SATA硬盘的价格里还包括了用于热插拔的硬盘托架价格电脑市场甚至一些存储小厂商的SATA硬盘都是桌面级SATA硬盘 价格低 但是可靠性差 数据存储在这些硬盘上 风险大 提纲 RAID技术 RAID基本概念 RAID基本概念 定义 RAID RedundantArrayofIndependentDisks 即独立磁盘冗余阵列 RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘 从而提高了硬盘的读写性能和数据安全性 根据不同的组合方式可以分为不同的RAID级别作用 提供专用服务器中接入多个磁盘时 以磁盘阵列方式组成一个超大容量 响应速度快 可靠性高的存储子系统 RAID组合方式 级别扩展 同时采用两种不同的RAID方式还能组合成新的RAID级别 RAID出现原因 RAID基本概念 条带 分条 条带 硬盘0 硬盘2 硬盘1 硬盘3 RAID基本概念 校验 异或运算 P A0XORA1 数据A0和A1通过异或运算进行奇偶校验得到校验位P 异或XOR的校验原理 A1 P 数据盘 数据盘 校验盘 RAID基本概念 重建 Rebuild 数据盘 A1 P A0 A1 P XOR 故障 数据盘 校验盘 A2 A2 XOR 数据盘 更换 RAID基本概念 RAID组状态 RAID组正常工作 RAID组降级 RAID组重建 RAID组创建 RAID组失效 RAID基本概念 物理卷和逻辑卷 RAID10 RAID5 RAID由几个硬盘组成 从整体上看相当于一个物理卷在物理卷的基础上可以按照指定容量创建一个或多个逻辑卷 通过LUN LogicUnitNumber 来标识 物理卷 物理卷 逻辑卷 逻辑卷 单个物理卷上创建1个逻辑卷 单个物理卷上创建2个逻辑卷 LUN2 LUN3 RAID 逻辑卷的形成过程 物理磁盘 物理卷 RAID RAID 逻辑卷的形成过程 物理磁盘 逻辑卷 物理卷 RAID 分割 主要RAID级别和特点 RAID级别 RAID0 D H L C G K B F J 定义 RAID0即没有容错设计的条带硬盘阵列 StripedDiskArraywithoutFaultTolerance 以条带形式将RAID组的数据均匀分布在各个硬盘中 A B C D E F G H 数据 A E I RAID级别 RAID0 RAID0小结 RAID级别 RAID1 RAID1定义 RAID1又称镜像 Mirror 数据同时一致写到主硬盘和镜像硬盘 E D C B A E D C B A A B C D E 数据 RAID级别 RAID1 RAID1小结 RAID级别 RAID3 定义 RAID3即带有校验的并行数据传输阵列 Paralleledtransferwithparity 数据条带化分布在数据盘中 同时使用专用校验硬盘存放校验数据 异或运算 数据盘 校验盘 A0 A1 A2 B0 B1 B2 C0 RAID级别 RAID3 RAID3小结 RAID级别 RAID5 定义 RAID5与RAID3机制类似 但校验数据均匀分布在各数据硬盘上 RAID成员硬盘上同时保存数据和校验信息 数据块和对应的校验信息保存在不同硬盘上 RAID5是最常用的RAID方式之一 P4 A3 A2 A1 A0 B4 P3 B2 B1 B0 C4 C3 P2 C1 C0 D4 D3 D2 P1 D0 E4 E3 E2 E1 P0 异或运算 A0 B0 C0 D0 A1 B1 C1 E1 A2 B2 D2 校验信息Px分布式存储 数据 RAID级别 RAID5 RAID5小结 RAID级别 RAID6 定义 RAID6是带有两个独立分布式奇偶校验方案的独立数据硬盘 Independentdatadiskswithtwoindependentdistributedparityschemes 广义上讲 能够允许两个硬盘同时失效的RAID级别统称为RAID6 狭义上讲 特指Intel的RAIDP Q技术 硬盘空间利用率为 N 2 N N为RAID6阵列硬盘总数RAID6技术 目前RAID6还没有统一的标准 各家公司的实现方式都有所不同 RAIDP Q INTEL和HDS公司RAIDDP NetApp公司RAIDADG HP公司 RAID级别 RAID6原理示例 A1 A3 A2 A4 A7 A10 A8 A5 A9 A13 A6 A15 A11 A12 A16 异或运算 A1 A2 A3 A4 A5 A6 A7 A9 横向校验盘中P1 P4为各个数据盘中横向数据的校验信息例 P1 A1XORA2XORA3XORA4斜向校验盘中DP1 DP4为各个数据盘及横向校验盘的斜向数据的校验信息例 DP1 A1XORA6XORA11XORA16 P1 P2 P3 P4 横向校验盘 斜向校验盘 数据盘 A8 DP1 DP2 DP3 DP4 A14 DP5 RAID级别 RAID6 RAID6小结 RAID组合级别 RAID10 定义 RAID10是将镜像和条带进行两级组合的RAID级别 第一级是RAID1镜像对 第二级为RAID0 RAID10也是一种应用比较广泛的RAID级别 A B C D E F G H A A C B B C D D E E F F G G H H RAID级别 RAID10 RAID10小结 RAID组合级别 RAID0 1 A B C D E F G H 定义 RAID0 1是将条带和镜像进行两级组合的RAID级别 第一级是RAID0 第二级为RAID1 一般来说 RAID0 1的失效概率要比RAID10大 不过无硬盘故障下 RAID0 1的读取速度要比RAID10快 A B C D E F G H A B C D E F G H 常用RAID比较 常用RAID选择 RAID硬盘失效处理 热备和热插拔 热备 HotSpare定义 当冗余的RAID组中某个硬盘失效时 在不干扰当前RAID系统的正常使用的情况下 用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘 及时保证RAID系统的冗余性全局式 备用硬盘为系统中所有的冗余RAID组共享专用式 备用硬盘为系统中某一组冗余RAID组专用热插拔 HotSwap定义 在不影响系统正常运转的情况下 用正常的硬盘物理替换RAID系统中失效硬盘关键在于热插拔时电子器件的保护机制 全局热备示例 该热备盘由系统中两个RAID组共享 可自动顶替任何一个RAID中的一个失效硬盘 磁盘1 磁盘2 磁盘3 热备盘 磁盘4 磁盘5 磁盘6 RAID5 RAID5 磁盘阵列 专用热备示例 该热备盘由系统中指定RAID组专用 可自动顶替该指定RAID组中的一个失效硬盘 磁盘1 磁盘2 磁盘3 磁盘4 磁盘5 磁盘6 RAID5 RAID5 磁盘阵列 热备盘 提纲 磁盘阵列 磁盘阵列的组成和分类 磁盘阵列产生背景 磁盘的处理速度跟不上CPU的增长速度磁盘的容量增长缓慢 跟不上存储的需求硬盘数量增加 单块硬盘发生故障的可能性越大 磁盘阵列的组成 磁盘阵列包括两大主要部件 控制器和磁盘柜控制器是磁盘阵列的 大脑 主要部件为处理器和缓存 最先主要实现简单IO操作 RAID管理功能 随着技术发展 能够提供各种各样的数据管理功能 如快照 镜像 复制等磁盘柜包含了多块的磁盘 本身既没有处理器 也没有缓存 RAID及数据管理功能通过控制器实现 控制器 磁盘柜 磁盘电缆 常见磁盘阵列分类 按控制器数量单控制器阵列 如MS1000系列双控制器阵列 如MS5000系列JBOD 无控制器 通常用于扩展柜或者与主机端RAID结合使用按对外接口SCSI阵列SAS阵列FC阵列 iSCSI阵列 MS5000系列 阵列控制器缓存 控制器缓存工作模式 主机写入数据流 反馈写OK Write back回写 主机写入数据流 反馈写OK Write through直写 磁盘 控制器的缓存保护技术 Cache电池 阵列内置电池 三种常见控制器Cache保护设计 电池保护Cache flash模块保护 内置电池 缓存降落技术保护控制器 外置UPS保护整机 阵列外置UPS FLASH 控制器缓存镜像技术 1 主机数据写入缓存 2 缓存数据进行异或运算 产生校验数据 控制器缓存镜像技术 1 主机数据写入缓存 2 缓存数据进行异或运算 产生校验数据 3 将校验数据添加到缓存 控制器缓存镜像技术 1 主机数据写入缓存 2 缓存数据进行异或运算 产生校验数据 3 将校验数据添加到缓存 4 将缓存数据复制到目标控制器 5 目标控制器处理完数据和校验数据返回消息 6 源控制器返回主机消息 操作完毕 OK 阵列控制器带宽 76 DDRIII内存 DDRIII内存 Jasper多核处理器 SAS控制器 SASExpander PCIex840Gb SASx424Gb 南桥 管理GE口 串口 指示灯 按键 SAS接口 SAS接口 SASx424Gb MS5000存储控制器 RAID引擎 DMI 9根 SATADisk SASDisk SSDDisk 磁盘类型 2