MD3200磁盘阵列及存储知识点

1、目录：MD320C存储知识分享1 基础知识点1.1 按结构存储数据的方式常见的有三种： DAS/NAS/SAN1.1.1 DAS1DAS(Direct-Attached Storage) 即直接连接存储技术，此为以主机为中心的 传统存储方式，现在在各大银行的中心业务系统中常能见到这种方式。1.1.2 NAS2NAS(Network Attached Storage) 即网络附加存储方式，此为以专业的网络 文件存储及文件备份为中心的方式，是现在以文件存储为主的一种存储方式。1.1.3 SAN3SAN(Stroage Area Network) 即存储局域网，指独立于异构计算网络系统之 外几乎拥有

2、无限存储容量的高速网络。其采用高速的光纤通道作为传输媒介， 1)XFCP+SCS协议作为存储访问协议，将存储子系统网络化、开放化、虚拟化、 智能化，实现真正的高速、安全、共享存储，是今后主流存储模式。 FC-SAN IP-SAN1.2 双控1.2.1 控制器RAID 控制器模块RAID 控制器模块提供了高性能、 高级虚拟磁盘配置以及容错式磁盘子系统管理。 每个 RAID 控制器模块包含 2 GB 高速缓存， 并使用其他控制器的高速缓存制作 该高速缓存的镜像以实现高可用性， 同时该高速缓存还受到电池供电的高速缓存 卸载机件的保护。RAID 控制器模块提供以下数据路径和

3、机柜管理功能：监测和控制存储设备环境要素（温度、风扇、电源设备和存储设备LED）控制对物理磁盘的访问 将机柜属性和状态报告给主机服务器和管理工作站 每个 RAID 控制器模块均具有多个用于主机访问的 SAS IN 端口。这些端口提供 了冗余主机连接并支持高可用性存储环境。 用户能以单控制器 （单工） 和双控制 器（双工）模式利用各种配置，将存储柜连接至主机，具体取决于所需冗余。1.2.2 电池和缓存 电池电池备份单元 每个 RAID控制器均含有两芯锂离子纳米聚合物电池备份单元（BBU。停电时，可向RAID 控制器模块提供电力，请参阅RAID 控制器模块备用电池装置。对于虚拟磁盘，

4、 RAID控制器固件将根据电池状态更改电池高速缓存设置。 如果电池缺失或是没有足够 电量，控制器会清除高速缓存并对所有虚拟磁盘将写入高速缓存属性设置为直写 式。如果替换了电池，则会重新启用回写。 缓存 高速缓存的功能和特点 高速缓存镜像 高速缓存镜像功能可将已接收的主机写入数据从主控制器复制到辅助控制器。 该 操作可确保成功完成状态返回主机之前， 将主机写入数据安全地映射到辅助控制 器。如果控制器出现故障， 其余控制器则会安全地保留所有映射数据。 高速缓存 默认启用。回写式高速缓存 在回写式高速缓存中， 写入操作会导致高速缓存一旦收到要写入的数据， 便向主 机操作系统发送完成信号

5、。 目标物理磁盘将在更适当的时间接收数据以提高控制 器性能。当您采用已启用回写式高速缓存的双活动控制器配置时， 在将完成状态 发送给主机启动程序之前， 写入数据始终会映射至第二控制器的高速缓存。 回写 式高速缓存默认启用，除非禁用了高速缓存镜像。直写式高速缓存 在直写式高速缓存中， 在将完成状态返回主机操作系统之前， 会将数据写入物理 磁盘。由于直写式高速缓存在发生电源故障时不易导致数据丢失， 因此一般认为 它比回写式高速缓存更为可靠。如果禁用高速缓存镜像或缺少电池或存在故障， RAID 控制器便会自动切换至直写式。1.3 硬盘类型PATA/SATA/SCSI/SAS/FC1.3.1 FCFC

6、硬盘FC硬盘是指采用FC-AL（ Fiber ChannelArbitratedLoop，光纤通道仲裁环）接口模式的磁盘。FC-AL使光纤通道能够直接作为硬盘连接接口，为高吞吐 量性能密集型系统的设计者开辟了一条提高 I/O 性能水平的途径。 目前高端存储 产品使用的都是FC接口的硬盘。FC硬盘名称由于通过光学物理通道进行工作，因此起名为光纤硬盘，现在也支 持铜线物理通道。就像是 IEEE-1394, Fibre Channel 实际上定义为 SCSI-3 标 准一类，属于SCSI的同胞兄弟。作为串行接口 FC-AL峰值可以达到2Gbits/s 甚至是4Gbits/s。而且通过光学连接设备最大

7、传输距离可以达到10KM通过FC-loop可以连接127个设备，也就是为什么基于 FC硬盘的存储设备通常可以 连接几百颗甚至千颗硬盘提供大容量存储空间。关于光纤硬盘以其的优越的性能、 稳定的传输， 在企业存储高端应用中担当重要 角色。业界普遍关注的焦点在于光纤接口的带宽。 最早普及使用的光纤接口带宽 为1Gb随后2Gb带宽光纤产品统治市场已经长达三年时间。现在的带宽标准是 4Gb目前普遍厂商都已经采用4Gb相关产品。8Gb光纤产品也将在不久的将来 取代4Gb光纤成为市场主流。4Gb是以2Gb为基础延伸的传输协议，可以向下兼容 1Gb和2Gb所使用的光纤 线材、连接端口也都相同，意味着使用者在导

8、入4Gb设备时，不需为了兼容性问 题更换旧有的设备，不但可以保护既有的投资，也可以采取渐进式升级的方式， 逐步淘汰旧有的2Gb设备。1.3.2 SASSAS硬 盘SAS是Serial Attached SCSI的缩写，即串行连接 SCS。和现在流行的 SerialATA（SATA硬盘相同，都是采用串行技术以获得更高的传输速度，并通过缩短连 结线改善内部空间。SAS是新一代的SCSI技术。SAS是并行SCSI接口之后开发 出的全新接口。 此接口的设计是为了改善存储系统的效能、 可用性和扩充性， 提 供与串行ATA (Serial ATA，缩写为SATA硬盘的兼容性。SAS技术还有简化内部连接设计

9、的优势， 存储设备厂商目前投入相当多的成本以 支持包括光纤通道阵列、SATA车列等不同的存储设备，而 SAS连接技术将可以 通过共用组件降低设计成本。为保护用户投资，SAS的接口技术可以向下兼容 SATASAS系统的背板(Backplane) 既可以连接具有双端口、高性能的 SAS驱动器，也可以连接高容量、低成本的 SATA驱动器。过去由于SCSI、ATA分别占领不同的市场段，且设备间共享带宽， 在接口、驱动、线缆等方面都互不兼容，造成用户资源的分散和孤立，增加了总 体拥有成本。而现在，用户即使使用不同类型的硬盘，也不需要再重新投资，对 于企业用户投资保护来说，实在意义非常。但需要注意的是，S

10、ATA系统并不兼容SAS所以SAS驱动器不能连接到SATA背板上。SAS 使用的扩展器可以让一个或多个 SAS 主控制器连接较多的驱动器。每个扩 展器可以最多连接 128 个物理连接，其中包括其它主控连接， 其它 SAS 扩展器 或硬盘驱动器。这种高度可扩展的连接机制实现了企业级的海量存储空间需求， 同时可以方便地支持多点集群，用于自动故障恢复功能或负载平衡。目前， SAS 接口速率为3Gbps其SAS扩展器多为12端口。不久，将会有6Gbps甚至12Gbps 的高速接口出现，并且会有28或36端口的SAS扩展器出现以适应不同的应用需 求。其实际使用性能足于光纤媲美。由于SAS由SCSI发展而

11、来，在主机端会有众多的厂商兼容。SAS采用了点到点的连接方式，每个SAS端口提供3Gb带宽，传输能力与4Gb光纤相差无几，这种 传输方式不仅提高了高可靠性和容错能力， 同时也增加了系统的整体性能。 在硬 盘端，SAS协议的交换域能够提供16384个节点，而光纤环路最多提供126个节 点。而兼容SATA硬盘所体现的扩展性是SAS的另一个显著优点，针对不同的业 务应用范围，在硬盘端用户可灵活选择不同的存储介质，按需降低了用户成本。在SAS接口享有种种得天独厚的优势的同时，SAS产品的成本从芯片级开始，都 远远低于FC,而正是因为SAS突出的性价比优势，使SAS在硬盘接口领域，给 光纤存储带来极大的

12、威胁。1.3.3 SATASATA硬 盘传统的并行ATA(PATA技术曾经在低端的存储应用中有过光辉的岁月，但由于 自身的技术局限性，逐步被串行总线接口协议(Serial ATA SATA所替代。SATA 以它串行的数据发送方式得名。 在数据传输的过程中， 数据线和信号线独立使用， 并且传输的时钟频率保持独立，因此同以往的PATA相比，SATA的传输速率可以达到并行的30倍。可以说：SATA技术并不是简单意义上的PATA技术的改进， 而是一种全新的总线架构。从总线结构上，SATA使用单个路径来传输数据序列或者按照 bit来传输，第二 条路径返回响应。 控制信息用预先定义的位来传输， 并且分散在

13、数据中间， 以打 包的格式用开/关信号脉冲发送，这样就不需要另外的传输线。 SATA带宽为16-bit。并行Ultra ATA总线每个时钟频率传输16bit数据，而SATA仅传输1bit， 但是串行总线可以更高传输速度来弥补串行传输的损失。SATA将会引入1500Mbits/sec 带宽或者 1.5Gbits/sec 带宽。由于数据用 8b/10b 编码，有效的 最大传输峰值是 150Mbytes/sec 。目前能够见到的有SATA-1和SATA-2两种标准，对应的传输速度分别是150MB/S 和300MB/SO从速度这一点上，SATA已经远远把PATA硬盘甩到了后面。其次， 从数据传输角度上

14、，SATA比PATA抗干扰能力更强。此外，串口的数据线由于只 采用了四针结构， 因此相比较起并口安装起来更加便捷， 更有利于缩减机箱内的 线缆，有利散热。尽管SATA在诸多性能上远远优越于PATA甚至在某些单线程任务的测试中，表 现出了不输于SCSI的性能，然而它的机械底盘仍然为低端应用设计的，在面对 多线程的传输任务时，相比SCSI硬盘，仍然显得力不从心。1.3.4 优势总结SAS带来了哪些技术优势（超强的传输速度就不多说了）°SAS带来的好处首先来自于创新的线缆架构。在系统内部采用比SCSI更细、针脚更少的SATA线缆，有助于服务器厂商更好地解决气流和散热问题。而且，用 于外部存

15、储的SAS线缆也比目前的并行SCSI线缆要细也更便宜，并跟Infin iBa nd的插头标准一致，从而有益于简化机房管理。节省了空间，从而提 高了使用SAS硬盘服务器的散热、通风能力。SAS技术降低了磁盘阵列的成本。具备简化内部连接设计的优势，可以通过共用 组件降低设计成本。这样就可以花更少的钱享受SCSI接口的性能。串行接口让传输性能提高。每个传输通道都是在全双工方式下进行的，性能要比传统SCSI更高。SAS结构有非常好的扩展能力，通过 SAS Expa nder最多可以连接16384个磁盘 设备。SAS接口使存储系统应用更加灵活，可以根据实际需求选择SAS磁盘或者SATA磁盘。如果需要应用

16、于I/O负载较轻的应用比如文件共享、FTP音频存储、数据备份 等可以考虑基于SATA硬盘的阵列。如果I/O负载较重的FTR VOD EMAIL Web 数据库应用，那么可以考虑基于 SAS/FC硬盘的存储系统。SAS类存储用于中小规模的数据库。从成本、稳定性、扩展性等各个方面考虑选 择的。目前最高传输速率为 6Gb。1.4 多路径多控制器控制单个逻辑卷需要配置优先级， 所以就需要有配置多路径。 否则阵列 无法确认各个链路对磁盘的控制权。1.5 RAID 级别1.5.1 RAID 级别RAID 级别RAID 级别定义数据写入物理磁盘的方式。不同的 RAID 级别提供不同的可访问 性、冗余和容量级

17、别。与使用单个物理磁盘相比，使用多个物理磁盘有以下优势：将数据置于多个物理磁盘（条带）上可让输入/输出（I/O ）操作同时发生，并且 改善性能。如果发生错误，则使用镜像或奇偶校验在多个物理磁盘上存储冗余数据以支持重 建丢失的数据，即使错误是由物理磁盘的故障引起的。每个 RAID 级别提供不同的性能和保护。 应该根据应用程序类型、 访问权限、 容 错能力和正在存储的数据来选择 RAID 级别。存储阵列支持 RAID 级别 0、 1、 5、 6 和 10。磁盘组中可使用的最大物理磁盘 数目取决于 RAID 级别：RAID 0、 1 和 10 为 96 个RAID 5 和 6 为 30 个RAID

18、级别的用法为确保最佳性能， 可在创建系统物理磁盘时选择最佳 RAID 级别。磁盘阵列的最 佳 RAID 级别取决于：磁盘阵列中的物理磁盘的数目磁盘阵列中的物理磁盘的容量 数据冗余访问的需要（容错能力）磁盘性能要求RAID 0RAID 0 使用磁盘分拆提供高数据吞吐量，尤其适用于不需要数据冗余的环境中 的大型文件。 RAID 0 将数据划分为各个数据段，并将每个数据段写入单独的物 理磁盘。这样可通过将 I/O 负载分散到多个物理磁盘上来大幅提高 I/O 性能。 尽管在所有 RAID 级别中 RAID 0 可提供最佳的性能，但是它缺少数据冗余。该 项仅用于对数据安全性要求不高的场合， 因为一个物理

19、磁盘的故障会导致丢失所 有数据。 RAID 0 应用程序的示例包括视频编辑、图像编辑、印前应用程序或任 何需要高带宽的应用程序。RAID 1RAID 1 使用磁盘镜像，因此可以将写入一个物理磁盘的数据同时写入另一个物 理磁盘。该 RAID 级别提供最快的性能和最佳的数据可用性， 但是磁盘开销也最 高。对于小型数据库或其他对容量要求不高的应用程序 （例如结帐、 工资单或财 务应用程序），则建议使用 RAID 1。RAID 1提供完全数据冗余。RAID 5RAID 5 在所有物理磁盘中使用奇偶校验和分拆数据（分布式奇偶校验）以提供 高数据吞吐量和数据冗余，这尤其适用于小型随机存取。 RAID5 是

20、通用的 RAID 级别，适合多用户环境，其中典型 I/O 大小较小且大部分是读取动作，例如文 件、应用程序、数据库、web电子邮件、新闻和内部网服务器。RAID 6RAID 6 与 RAID 5 相似，但是可提供额外的奇偶校验磁盘以实现更佳的冗余。 RAID6 是最通用的 RAID 级别并且适合多用户环境， 其中典型 I/O 大小较小且 大部分是读取动作。 如果使用了较大的物理磁盘或者在磁盘组中使用了大量物理 磁盘，则建议使用 RAID 6 。RAID 10RAID 10 是 RAID 1 和 RAID 0 的组合，使用跨镜像磁盘范围的磁盘分拆技术。 它可以提供高数据吞吐量和完整数据冗余。 使

21、用偶数数目的物理磁盘 （四个或更 多）创建 RAID 级别 10 磁盘组和 / 或虚拟磁盘。 因为 RAID 级别 1 和 10 使用 磁盘镜像， 所以物理磁盘有一半的容量会用于镜像。 同时将另一半物理磁盘容量 用于实际存储。 在使用四个或更多的物理磁盘时， 如果选择了 RAID 级别 1 ，则 会自动使用 RAID 10。 RAID10 很适合中型数据库，或者任何需要高性能和容错 能力以及适度到中等容量的环境。1.5.2 分段大小分段大小 磁盘分拆可实现在多个物理磁盘上写入数据。 由于会同时访问分拆的磁盘， 因此 磁盘分拆可增强性能。分段大小或磁条元素大小指定写入单个磁盘的磁条中的数据大小。

22、MD3200系列阵列支持的磁条元素大小为 8、16、32、64、128、256和512 KB默认的磁条 元素大小为 128 KB。磁条宽度或深度与实施分拆的阵列中涉及的磁盘数目相关。 例如，实施磁盘分拆 且包含四个磁盘的磁盘组的磁条宽度为四。注：尽管磁盘分拆可实现出色的性能，但分拆本身并不提供数据冗余。1.6 电源和散热1.7 lun 号逻辑卷号，类似于 C/D/E 类的盘符。lun的全称是logical unit number，也就是逻辑单元号。我们知道 scsi总线上 可挂接的设备数量是有限的，一般为6个或者15个，我们可以用target ID（也有称为 scsi id 的）来描述这些设备

23、，设备只要一加入系统，就有一个代号，我 们在区别设备的时候 , 只要说几号几号就 ok 了。而实际上我们需要用来描述的对象，是远远超过该数字的，于是我们引进了 lun 的概念，也就是说 lun id 的作用就是扩充了 target id 。每个 target 下都可以 有多个 lun device ，我们通常简称 lun device 为 lun ，这样就可以说每个设备 的描述就有原来的 target x 变成 target x lun y 了, 那么显而易见的 , 我们描述 设备的能力增强了 .就好比,以前你给别人邮寄东西 ,写地址的时候 ,可以写: xx 市人民大街 54 号 xxx（ 收

24、） 但是自从高楼大厦越来越多 , 你不得不这么写 : xx市人民大街54号xx大厦518室xxx （收） 所以我们可以总结一下 ,lun 就是我们为了使用和描述更多设备及对象而引进的 一个方法而已 , 一点也没什么特别的地方 .1.8 HBA 卡1.8.1 HBA 卡用于转换SAS信号（当然也有光纤HBA卡，用于转换光信号）常规定义：就是连接主机 I/O 总线和计算机内存系统的 I/O 适配器。按照这个定义，像显卡就是连接视频总线和内存， 网卡就是连接网络总线和内存， SCSI-FC卡就是连接SCSI或者FC总线和内存的，它们都应该算是 HBAHBA卡有 SASHBAFC-HBA和 iSCSI

25、 HBA卡，但是，HBA!常用在 SCSIoAdapter（适 配器）和NIC用于FC;而NIC也会用于以太网和令牌环网。其实，网卡是大家常提到的一个类型设备的总称， 是指安装在主机里， 通过网络 连接线（双绞线、光纤线缆、同轴电缆等）与网络交换机（以太网交换机、 FC 交换机、 ISCS I 交换机等）、或与其它网络设备（存储设备、服务器、工作站等） 连接，从而形成一个网络的硬件设备。1.8.2 容易混淆的概念光纤网卡这个称呼到底是不是指光纤口 HBA卡呢？实际上常说的光纤网卡指的就是光纤通道网络里的HBA卡。因传输协议的不同的，网卡可分为三种，一是以太网卡，二是FC网卡，三是iSCSI 网

26、卡。?以太网卡：学名 Ethernet Adapter, 传输协议为 IP 协议,一般通过光纤线缆或 双绞线与以太网交换机连接。 接口类型分为光口和电口。 光口一般都是通过光纤 线缆来进行数据传输，接口模块一般为 SFP（传输率2Gb/s）和GBIC（ 1Gb/s） 对应的接口为SC ST和LCo电口目前常用接口类型为 RJ45,用来与双绞线连接, 也有与同轴电缆连接的接口，不过现在已经用的比较少了。?FC网卡：一般也叫光纤网卡，学名 Fibre Channel HBA。传输协议为光纤通道 协议，一般通过光纤线缆与光纤通道交换机连接。接口类型分为光口和电口。光口一般都是通过光纤线缆来进行数据传

27、输，接口模块一般为SFP（传输率2Gb/s）和GBI（1Gb/s）,对应的接口为SC和LG电口的接口类型一般为 DB9针或HSSDC?ISCSI网卡：学名ISCSI HBA，传输ISCSI协议，接口类型与以太网卡相同。区别如下：、SAS-HBA?HBA卡：FC-HBA# （俗称：光纤网卡）、iSCSI-HBA卡（RJ45接口） 卡（SAS接口）?以太网卡：光纤接口的以太网卡（俗称：光纤以太网卡） 2 管理配置2.1 管理程序2.1.1 MDSM支持 linux 和 windows 下管理2.1.2 安装、使用2.2 管理方法2.2.1 映射映射: 配置主机访问权限使用映射选项可以在 mappi

28、ngs （映射）选项卡中： 定义主机和主机组LUN 映添加选定主机组的映射 创建主机并分配别名或用户标签。 将新的主机端口标识符添加或关联到特定主机。 更改主机端口标识符别名或用户标签。 将主机端口标识符移动或关联到其他主机。 用新的主机端口标识符替换现有主机端口标识符。 手动激活非活动的主机端口以便该端口能够存取特定于主机或主机组的 射。将主机端口类型设置为其他类型。 将主机从一个主机组移动到另一主机组。 删除主机组、主机或主机端口标识符。重命名主机组或主机。2.2.2 带内管理2.2.3 带外管理2.2.4 卸载硬件2.3 多路径配置2.3.1 RedHat5.5 默认支持 检测路径故障并

29、将 I/O 重新路由至其他可用路径 在路径恢复后重新验证有故障的路径 利用多个可用路径使性能最大化 根据路径状态和错误条件重新配置路径使用 将多个设备节点统一为单个逻辑多路径设备节点 识别新的多路径 LU 并自动配置新的多路径节点 在 /dev/mapper/ 下为 DM 设备提供永久的设备名称2.3.2 /dev/mapper 下rootracnode2 # ls -lah /dev/mapper/total 0drwxr-xr-x2 root root220 Sep 17 17:36 .drwxr-xr-x 14 root root4.4K Sep 17 17:37 .crw -1 roo

30、t root10, 63 Sep 17 17:35 controlbrw-rw -1 root disk 253,2 Sep 17 17:36 mpath1brw-rw -1 root disk 253,6 Sep 17 17:36 mpath1p1brw-rw -1 root disk 253,3 Sep 17 17:36 mpath2brw-rw -1 root disk 253,5 Sep 17 17:36 mpath2p1brw-rw -1 root disk 253,4 Sep 17 17:36 mpath3brw-rw -1 root disk 253,7 Sep 17 17:36

31、 mpath3p1brw-rw -1 root disk 253,0 Sep 17 17:36 VolGroup00-LogVol00brw-rw -1 root disk 253,1 Sep 17 17:35 VolGroup00-LogVol01rootracnode2 # ls /dev/mapper/control mpath1 mpath1p1 mpath2 mpath2p1 mpath3 mpath3p1 VolGroup00-LogVol00 VolGroup00-LogVol01rootracnode2 # multipath -llmpath2 (36842b2b000529134000003e24c902c42) dm-3 DELL,MD32xx size=346Gfeatures=3 queue_if_no_path pg_init_retries50hwhandler=1 rdacrw_ round-robin 0 prio=100active_ 1:0:1:3sdg 8:96activeready_ round-robin 0 prio=0enabled_ 1:0:0:3sdc 8:32activeghostmpath1 (36842b2b000529134000003e04c902bf0) dm-2 DELL,MD32