HC1209102 HCNP-Storage_SSAM 第二章 SAN可靠性 V10

1、Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 0修订记录课程编码课程编码适用产品适用产品产品版本产品版本课程版本课程版本ISSUE开发开发/优化者优化者时间时间审核人审核人开发类型（新开发开发类型（新开发/优化）优化）本页不打印Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. 第二章 SAN可靠性Copyright 2010 Huawei Technologies Co., Ltd. All rights reserv

2、ed. Page 2目标l学完本课程后，您将能够:p熟悉SAN系统可靠性的基本概念p熟悉影响SAN可靠性的基本因素p熟悉提高SAN可靠性的方法和考虑因素Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 3目录lSAN系统可靠性基础系统可靠性基础1.1 可靠性基础知识可靠性基础知识1.2 SAN系统可靠性基础知识l主机与存储网络可靠性基础l存储阵列可靠性Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 4何为“可靠

3、性”l产品、系统在规定条件下，规定时间内，完成规定功能的能力成为可靠性。1规定条件：包括使用时的环境条件和工作条件。2规定时间：规定的任务时间。3规定功能：指产品规定了的必须具备的功能及技术指标。Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 5衡量 “可靠性”的常见指标l可靠度l失效率l有效度l.l平均无故障时间l平均失效前时间l. 概率概率时间时间Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 6串联和并

4、联l一个系统由两个部件组成，每个部件的可靠性都为0.9,那么整个系统的可靠性如何计算？R=0.9*0.9=0.81串联系统部件1部件2部件1部件1并联系统R=1-（1-0.9）*（1-0.9）= 0.99Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 7影响系统可靠性的因素 部件可靠性部件可靠性 架构设计可靠性架构设计可靠性 系统可靠性Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 8目录lSAN系统可靠性基

5、础系统可靠性基础1.1 可靠性基础知识1.2 SAN系统可靠性基础知识系统可靠性基础知识l主机与存储网络可靠性基础l存储阵列可靠性Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 9何为SAN系统的可靠性SAN的工作条件：的工作条件： 标准机房环境 SAN的组成：的组成：前端主机SAN连接设备存储阵列SAN的作用：的作用： 支撑业务 保存数据SAN的可靠性的可靠性Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page

6、10SAN可靠性分类-系统架构Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 11目录lSAN系统可靠性基础l主机与存储网络可靠性基础主机与存储网络可靠性基础 2.1 主机可靠性保证技术主机可靠性保证技术 2.2 多链路冗余技术 2.3 交换机可靠性保障技术l存储阵列可靠性Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 12主机系统分层 应用软件层应用软件层 操作系统操作系统 硬件驱动硬件驱动 基础硬件基础硬

7、件 日志卷技术、数据保护和恢复技术、软件补丁 操作系统集群技术，操作系统备份和恢复技术、日志文件系统 网口绑定 部件冗余、缓存电池保护、RAID卡实现硬盘故障容错、内存的自检功能等Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 13主机系统可靠性技术应用软件应用软件的可靠性日志卷数据备份补丁Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 14主机系统可靠性技术日志文件系统l日志文件系统是一种具有故障恢复能力的

8、文件系统，它利用一种特殊的文件-日志。日志用来记录未提交到文件系统的修改，以防止元数据破坏。l元数据 指磁盘上的数据的管理结构。它表示文件的创建与删除、目录的创建与删除、扩充文件、截取文件等。常见的日志文件系统NTFSext3JFSVxFSUFSCopyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 15主机系统可靠性技术驱动bond级级别别bond名称名称bond特点特点对交换机要求对交换机要求0round-robin按照设备顺序依次传输数据包。提供负载均衡和容错能力交换机需要配置trunking1acti

9、ve-backup只有一个设备处理数据，当它宕机的时候就会由备份代替，仅提供容错能力交换机不需要配置trunking2load-balancing(xor)根据MAC地址异或运算的结果来选择传输设备，提供负载均衡和容错能力交换机需要配置trunking3fault-tolerance (broadcast)通过全部设备来传输所有数据，提供容错能力交换机需要配置trunking4lacp通过创建聚合组来共享相同的传输速度，需要交换机也支持 802.3ad 模式，提供容错能力需要交换机支持802.3d、交换机需要配置trunking5transmit load balancing由负载最轻的网口发

10、送，由当前使用的网口接收。提供负载均衡和容错能力。交换机不需要配置trunking6adaptive load balancing用负载最轻的网口进行发送和接收。提供负载均衡和容错能力。交换机不需要配置trunking Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 16主机系统可靠性技术硬件主机硬件可靠性部件可靠性 部件冗余 内存ECC RAID技术Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 17主机系

11、统可靠性技术集群中存储共享镜像方式（镜像方式（Mirror）1、独立存储2、数据同步3、可用于广域网，但是延迟对数据同步影响大无共享方式（无共享方式（Share Nothing）1、引入外部存储2、存储资源独占3、不需数据同步全共享方式（全共享方式（Shall All）1、单应用多主机；2、分布式锁定管理软件防止数据冲突Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 18主机集群可靠性技术集群比较仲裁盘作用支持的操作系统支持的应用类型MSCS存放集群配置信息windows文件应用和sql、exchan

12、ge等MS系列的应用VCS防止集群“脑裂”除了支持windows操作系统外，页支持其他主流操作系统的集群除了上述应用外，还支持其他主流的应用程序和复杂定制的应用Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 19目录lSAN系统可靠性基础l主机与存储网络可靠性基础主机与存储网络可靠性基础 2.1 主机可靠性保证技术主机可靠性保证技术 2.2 多链路冗余技术 2.3 交换机可靠性保障技术l存储阵列可靠性Copyright 2010 Huawei Technologies Co., Ltd. All ri

13、ghts reserved. Page 20存储网络可靠性保障主机主机SAN交换机SAN交换机存储阵列存储阵列数据流Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 21UltraPath多路径技术介绍l多路径软件的作用：p避免了同一LUN有多条路径可达导致的操作系统逻辑错误；p增强了链路的可靠性，避免了因为单个链路故障而导致的系统故障；屏蔽冗余磁盘虚拟磁盘多路径驱动多路径虚拟HBAHBA1HBA2LUN 磁盘驱动HBA1HBA2LUNLUN 磁盘驱动LUN 1未安装多路径 2安装了多路径主机看到两个物

14、理LUN主机只看到一个LUN阵列阵列Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 22LUN1UltraPath多路径技术介绍lfailover功能 当主路径出现故障后自动将业务切换到备用路径上，避免了因单点故障而造成业务中断lfailback功能 当主路径的故障解除或修复后自动地将I/O传输路径从切换回主路径上l负载均衡，多路径软件可以多条路径之间智能分摊IO，均衡主机的负载路径的故障切换和恢复路径的故障切换和恢复HBA1HBA2LUN0A A控控B B控控LUN2LUN3物理路径物理路径IOIO

15、路径路径LUN1LUN0LUN0LUN1控制器控制器B B控制器控制器A AHBA1HBA2可实现负载均衡可实现负载均衡无法实现负载均衡无法实现负载均衡HBA1HBA2Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 23UltraPath原理（一）Host/ServerHBAHBA应用程序应用程序A B CX Y ZDataData? ? ?无无UltraPath 的情况的情况Copyright 2010 Huawei Technologies Co., Ltd. All rights reserve

16、d. Page 24UltraPath原理（二）Host/ServerHBAHBA应用应用程序程序A B CDataX Y ZData有有UltraPath 的情况的情况vHBAUltraPathStorage System01230123ABCopyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 25自动选择优化路径Host/ServerHBAHBA应用应用程序程序vHBAUltraPathUltraPathStorage SystemStorage System01230123ABA B CDataDat

17、aX Y ZDataData访问数据A访问数据XCopyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 26路径冗余Host/ServerHBAHBA应用应用程序程序vHBAUltraPathStorage System01230123ABA B CDataX Y ZData访问数据A访问数据XCopyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 27目录lSAN系统可靠性基础l主机与存储网络可靠性基础主机与存储网络可靠性

18、基础 2.1 主机可靠性保证技术 2.2 多链路冗余技术多链路冗余技术 2.3 交换机可靠性保障技术l存储阵列可靠性Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 28直接连接组网方式 服务器HBA1HBA2LUN控制器A控制器B 服务器HBA1HBA2维护终端存储系统服务器A服务器BCopyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 29双网卡双交换机方式服务器HBA1HBA2SwitchLUN控制器A控制器B

19、光纤/线缆光纤/线缆光纤/线缆光纤/线缆维护终端存储系统交换机B交换机A应用服务器Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 30多路径软件的使用举例LinuxUnix WindowsUltraPathCopyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 31UltraPath for Windows安装前准备q UltraPath版本q 安装老版本的处理q Microsoft iSCSI Initiatorq

20、 HBA卡q操作系统补丁UltraPath存储转换协议 Windows存储协议系统环境UltraPath 根据操作系统、32位/64位选择安装包，安装后需重启主机。 若主机已经安装了旧版本的多路径软件，需卸载旧版本再重 新安装。Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 32设置驱动程序签名勾上所有选项驱动安装提示对话框Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 33安装UltraPath for W

21、indows输入用户名和组织名进入安装界面Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 34安装UltraPath for Windows安装要求准备安装，单击“install”安装进度Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 35安装UltraPath for Windows安装完成安装完成重启Copyright 2010 Huawei Technologies Co., Ltd. All righ

22、ts reserved. Page 36验证安装UltraPath for Windows安装成功Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 37扫描LUN不同设备连接后显示名称会有差异Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 38查询LUN 的I/O 信息Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 3

23、9查询版本信息Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 40目录lSAN系统可靠性基础l主机与存储网络可靠性基础主机与存储网络可靠性基础 2.1 主机可靠性保证技术 2.2 多链路冗余技术 2.3 交换机可靠性保障技术交换机可靠性保障技术l存储阵列可靠性Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 41以太网交换机的可靠性保障 设备冗余设备冗余 链路冗余链路冗余 器件冗余器件冗余 多台交换机之间的冗余

24、，实现单个交换机故障情况下的自动切换 多条链路之间的冗余关系，链路冗余可能是多个设备间的链路冗余，也可能是同一设备的多个链路冗余 交换机内部器件，包括控制器、交换板、电源、风扇等的冗余Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 42目录lSAN系统可靠性基础l主机与存储网络可靠性基础l存储阵列可靠性存储阵列可靠性 3.1 存储阵列的系统可靠性存储阵列的系统可靠性 3.2 存储阵列的部件可靠性Copyright 2010 Huawei Technologies Co., Ltd. All right

25、s reserved. Page 43存储阵列系统可靠性概述存储阵列系统可靠性多控技术缓存镜像技术 保险箱技术磁盘预拷贝管理可靠性数据可靠性Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 44存储阵列的基本架构Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 45多控技术Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page

26、46CACHE镜像技术Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 47CACHE镜像技术 软件实现方式软件实现方式 硬件实现方式硬件实现方式Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 48数据保险箱技术Cache数据永久保存l数据保险箱p数据保险箱由控制框前4块盘的最后部分空间组成。保险箱硬盘空间之间使用RAID10保护，每块盘除系统占用的最后部分空间外，剩余的绝大部分空间均可分配给用户做正常的数据存

27、储使用。lCache数据永久保存pHS存储设备采用数据保险箱技术保存Cache数据。内置BBU电池可保证在系统意外断电时，对Cache和系统保险箱硬盘同时供电，让Cache中的数据写到数据保险箱中，实现Cache数据永久保存。Cache数据永久保存数据永久保存内置内置BBU电池电池数据保险箱数据保险箱Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 49磁盘预拷贝技术原理-数据拷贝磁盘预拷贝技术示意图 数据重构技术示意图 两种技术有什么差异又是如何配合使用的？CDPCAB硬盘硬盘硬盘硬盘硬盘硬盘控制器I

28、/O正常硬盘异常事件达到设定值CDPCAB硬盘硬盘 硬盘硬盘硬盘硬盘控制器I/O正常Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 50硬盘预拷贝技术l重构的影响p系统性能的大幅降低p大量数据读写易导致硬盘损坏p会导致业务中断l技术原理p系统实时从硬盘的SMART信息中读取硬盘的状态信息，当发现硬盘错误统计超过设定阀值后，立即启动将数据从疑似故障盘中迁移到热备盘，同时向管理人员告警，提醒更换疑似故障盘l技术优势p大大降低重构事件发生的概率， p提高系统的可靠性硬盘预拷贝技术硬盘预拷贝技术热备盘当某个硬

29、盘出现疑似故障时：将该盘上的迁移数据到热备盘疑似故障盘热备盘正常状态时，实时监控硬盘状态数据盘迁移完成后，用新盘替换掉故障盘，数据会Copy back到新更换的硬盘上热备盘123？新盘Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 51存储阵列数据可靠性存储阵列数据可靠性快照技术 LUN拷贝 远程复制Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 52管理可靠性操作分级管理l技术简介p通过对产品所有软件操作带

30、来的影响进行分析（FMEA），按影响级别进行对应的防误操作设计，有效预防由于人为因素引起的错误操作l技术优势p根据系统、业务与数据、性能三个关键因素对操作进行分级，有效区分操作对存储阵列的影响p根据不同级别的操作给出对应的提示信息，确保不会出现误操作FMEA：Failure Mode and Effects Analysis 失效模式与影响分析操作分级管理操作分级管理无影响无影响性能性能业务与数据业务与数据系统系统Level 0:系统配置改变但无危害Level 1:性能降低Level 2:业务中断/数据丢失/数据不一致Level 3:系统复位/系统重启/系统offline 无影响，不进行处理

31、Level 0：无影响，不进行处理 Level 1：提示 Level 2：警告 Level 3：危险Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 53目录lSAN系统可靠性基础l主机与存储网络可靠性基础l存储阵列可靠性存储阵列可靠性 3.1 存储阵列的系统可靠性 3.2 存储阵列的部件可靠性存储阵列的部件可靠性Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 54器件冗余控制器模块冗余控制器模块冗余BBUBBU模块冗余模块冗余电源模块冗余电源模块冗余风扇模块冗余风扇模块冗余接口模块冗余接口模块冗余管理模块冗余管理模块冗余Copyright 2010 Huawei Technologies Co