第六章-存储基础知识---(上)

1、教师：XXX日期：XXX第六章 vsphere存储010302存储典型组网DASSANNAS简介存储协议Scsiiscsifc存储协议简介Raid技术Raid的概念及存储原理目录0405文件系统文件系统简介硬盘阵列硬盘阵列简介什么是存储？存储就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问。存储的实体必须能安全地保存在介质上必须能提供对该存储实体的有效访问存储管理常见的存储介质磁带存储磁盘存储光盘固态盘（SSD）存储典型组网DAS (Direct Attached Storage)存储设备直接连接到主机数据分散管理存储容量利用率低扩展性差文件服务器存

2、储设备应用服务器存储设备数据库服务器存储设备LAN数据流客户端SCSI数据流SCSI数据流SCSI存储典型组网NAS (Network Attached Storage)NAS（Network Attached Storage）网络附加存储，即将存储设备连接到现有的 网络上，提供数据和文件服务支持网络文件共享协议CIFS，NFSNAS实际上就是一个专门优化了的文件服务器文件服务器应用服务器NAS存储设备LAN数据流数据流存储典型组网SAN (Storage Area Network)SAN：存储区域网络，提供在主机和存储系统之间数据传输，网络内部数据传输的 速率快主机、存储设备可以独立扩展存储

3、容量利用率高文件服务器应用服务器存储设备LAN数据流SAN存储设备存储设备数据流三种存储组网模型的比较SCSI, FCDAS应用服务器文件系统J JB BOOD D应用服务器I IP P交换机NASSAN文件系统RAIDRAID文件系统RAIDRAIDRAIDRAID应用服务器文件系统交换机三种存储组网比较DASNASSAN传输类型SCSI、FCIPIP、FC、SAS数据类型数据块文件数据块典型应用任何文件服务器数据库应用优点磁盘与服务器分离， 便于统一管理不占用应用服务器资源 广泛支持操作系统 扩展较容易 即插即用，安装简单方便高扩展性 高可用性 数据集中，易管理缺点连接距离短 数据分散，共

4、享困难 存储空间利用率不高 扩展性有限不适合存储量大的块级应用 数据备份及恢复占用网络带 宽相比NAS成本较高 安装和升级比NAS 复杂010302存储典型组网DASSANNAS简介存储协议Scsiiscsifc存储协议简介Raid技术Raid的概念及存储原理目录0405文件系统文件系统简介硬盘阵列硬盘阵列简介传输通道存储传输的硬件通道目前主要有三种：iSCSI 磁盘阵列FC HBAFC 磁盘阵列SAS HBASAS磁盘阵列主机NICSCSI协议SCSI（Small Computer System Interface)，小型计算机系统接口， 是连接存储设备与服务器的最通用的方法SCSI 最早研

5、制于1979，是为小型机 研制出的一种接口技术，但随着电脑技术的发展，现在它被完全移植到了 普通PC上SCSI-3是所有存储协议的基础，其它存储协议都用到SCSI指令集SCSI启动器-目标器模型SCSI应用SCSI传输协议SCSI物理连接SCSI应用SCSI传输协议SCSI物理连接Initiator 设备Target 设备互连协议应用协议传输协议传输服务接口互连服务接口应用层传输协议层互连层iSCSI协议 iSCSI是互联网小型计算机系统接口（Internet Small Computer System Interface）的简称，是一种在TCP/IP 上进行数据块传输的标准，可以理解为 SC

6、SI over IP iSCSI可构成基于IP的SAN，为用户提供高速、低价、长距离的存储解决方案iSCSI将SCSI命令封装到TCP/IP数据包中，使I/O数据块可通过IP网络传输iSCSI启动器-目标器模型启动器（InitiatorInitiator） SCSI层负责生成CDB（命令描述符块），将CDB传给iSCSIiSCSI层负责生成iSCSI PDU（协 议数据单元），并通过IP网络将 PDU发给target目标器（TargetTarget）iSCSI层收到PDU，将CDB传给SCSI层 SCSI层负责解释CDB的意义。必 要时发送响应SCSISCSIiSCSIiSCSITCPTCPI

7、PIPLinkLinkInitiatorTargetFC是光纤通道（Fiber Channel）的 简称，用于服务器共享存储设备的连 接，存储控制器和驱动器之间的内部 连接FC是一种高性能的串行连接标准。 其接口传输速率目前有4Gbps 、8Gbps几种标准。传输介质可以选择 铜缆或光纤，传输距离远，支持多种互联拓扑结构FC协议SAS：Serial Attached SCSI，是SCSI 总线协议的串行标准，即串行连接 SCSISAS采用串行技术以获得更高的传输速 率和更好的扩充性，并兼容SATA硬盘SAS目前的传输速率高达3Gbps、 6Gbps，支持全双工模式SAS协议010302存储典型

8、组网DASSANNAS简介存储协议Scsiiscsifc存储协议简介Raid技术Raid的概念及存储原理目录0405文件系统文件系统简介硬盘阵列硬盘阵列简介RAID （Redundant Array of Independent Disks）即独立磁盘冗余阵列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而提高了硬盘的读写性能和数据安全性。根据不同的组合方式可以分为不同的RAID级别:RAID 0数据条带化，无校验RAID 1数据镜像，无校验RAID 3数据条带化读写，校验信息存放于专用硬盘RAID 5数据条带化，校验信息分布式存放RAID 6数据条带化，分布式校验并提供

9、两级冗余RAID基本概念定义同时采用两种不同的RAID方式还能组合成新的RAID级别RAID 0+1先做RAID 0，后做RAID 1，同时提供数据条带化和镜像RAID 10类似于RAID 0+1，区别在于先做RAID 1，后做RAID 0RAID 50先做RAID 5，后做RAID 0，能有效提高RAID 5的性能RAID组合方式级别扩展分条条带硬盘0硬盘2硬盘1硬盘3RAID基本概念 条带异或运算A0值A1值P值000101011110表1-3 异或 XOR 的校验原理P=A0 XOR A1A1A0P数据盘数据盘数据A0和A1通过异或运算进行奇偶校验得到校验位P校验盘RAID基本概念 校验

10、热备（HotSpareHotSpare）的定义： 当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使 用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬 盘，及时保证RAID系统的冗余性热备一般分为两种： 全局式：备用硬盘为系统中所有的冗余RAID组共享 专用式：备用硬盘为系统中某一组冗余RAID组专用RAID基本概念热备数据盘A0A0A1P PXOR故障数据盘校验盘AA22XOR数据盘更换RAID基本概念 重构（Rebuild）RAID10RAID5在RAID的基础上可以按照指定容量创建一个或多个逻辑卷，通过 LUN（Logic Unit Number）来标识

11、逻辑卷逻辑卷单个物理卷上创建1个逻辑卷单个物理卷上创建2个逻辑卷LUN1LUN2LUN3RAID基本概念逻辑卷物理磁盘RAIDRAID、逻辑卷的形成过程物理磁盘逻辑卷RAIDLUN1LUN2LUN3分割RAID、逻辑卷的形成过程DHLCGKBFJRAID0即没有容错设计的条带硬盘阵列（Striped Disk Array without Fault Tolerance），以条带形式将RAID组的数据均匀分布在各个硬盘中ABCDEFGH数据AEIRAID级别 RAID 0RAID 1又称镜像（Mirror），数据同时一致写到主硬盘和镜像硬盘A B C D EA B C D EABCDE=数据RA

12、ID级别 RAID 1A1 B1 C1 D1C2 D2A2B2P A P B P CPDABCDRAID 3即带有校验的并行数据传输阵列（Paralleled transfer with parity），数据条带化分布在数据盘中，同时使用专用校验硬盘存放校验数据异或运算数据盘校验盘RAID级别 RAID 3A0 B0 C0 D0PA B1 C1 D1 E0A 2B 2 PC D3 E2A 3B3 C3 PD E3异或运算校验信息Px分布式存储RAID 5与RAID 3机制类似，但校验数据均匀分布在各数据硬盘上，RAID成 员硬盘上同时保存数据和校验信息，数据块和对应的校验信息保存在不同硬 盘上

13、。RAID 5是最常用的RAID方式之一数据RAID级别 RAID 5A1 PB C2 D2 E1A0 B0 C0 D 0PEABCDA3A4A8A5A9A13A15A12A16异或运算P1P2 P3横向校验盘斜向校验盘数据盘横向校验盘中P1P4为各个数据盘中横向数据的校验信息 例：P1=A1 XOR A2 XOR A3 XOR A4斜向校验盘中DP1DP4为各个数据盘及横向校验盘的斜向数据的校验信息例：DP1=A1 XOR A6 XOR A11 XOR A16A1A2A3A4A5A6A7A8A9DP1DP2 DP3DP4A10A14DP5RAID级别 RAID 6原理示例A1A2A6A7A1

14、1P4RAID 10是将镜像和条带进行两级组合的RAID级别，第一级是RAID1镜像对，第二级为RAID 0。RAID10也是一种应用比较广泛的RAID级别。ABCDEFGHAABBDDC E GC E GF HF HRAID组合级别 RAID 10A0 A1 P02 A2B0P01B1B2P00C0 C1 P03异或运算RAID 50是将RAID5和RAID 0进行两级组合的RAID级别，最低一级是RAID 5，第二级为RAID 0A0B0D0E0A1C0D1F0B1C1D0D1 P12 D2E0 P11 E1 E2P10F 0 F 1 P13硬盘0硬盘1硬盘2硬盘3硬盘4硬盘5异或运算RA

15、ID组合级别 RAID 50S&KRAID级别 RAID 0RAID 1RAID 3RAID 5RAID 10容错性无有有有有冗余类型无镜像冗余校验冗余校验冗余镜像冗余可用空间10050（N-1)/N（N-1)/N50读性能高低高高普通随机写性能高低低低普通连续写性能高低低低普通最少磁盘数 2个2个3个3个4个应用场景传输带宽需求大的应用安全性要求较高的应用大文件、连续数据的应读/写比率较高的应用安全性要求高的应用用常见RAID级别的比较010302存储典型组网DASSANNAS简介存储协议Scsiiscsifc存储协议简介Raid技术Raid的概念及存储原理目录0405文件系统文件系

16、统简介硬盘阵列硬盘阵列简介存储阵列是把多个硬盘组成一个阵列， 当作单一硬盘使用，它将数据以分段（striping）的方式储存在不同的硬盘 中，存取数据时，阵列中的相关磁盘一起动作，大幅减低数据的存取时间， 同时有更佳的空间利用率。阵列控制器是阵列的“大脑”，主要部件 为处理器和缓存，最先主要实现简单 IO操作、RAID管理功能，随着技术发 展，能够提供各种各样的数据管理功 能，如快照、镜像、复制等。存储控制器控制框硬盘扩展框= =+ +控制框和硬盘框分离控制器和磁盘框一体硬盘框控制器模块= =+ +存储阵列系统存储阵列系统常见阵列组成形式控制模块电源模块BBU模块风扇模块IO模块机箱盘控分离式

17、控制框Cache即高速缓存，是存储系统中用于缓存主机数据，提高阵列性能及可靠性的部件。依靠Cache的聚合和命中可以大大提升存储系统的性能。所谓聚合，是指 Cache把多个主机写请求归一为同一个内部写请求的能力；命中，CPU在读操作时，Cache首先要依据地址来判断数据是否在Cache中，若在Cache 中，则称为“命中”；若不在，则称为 “不命中”。Cache缓存缓存主机写入 数据流反馈 写OKWrite-back 回写主机写入 数据流反馈写OKWrite-through 透写Cache的回写和透写Cache预取主机硬盘0 x26控制器Cachede读请求1 读请求2读请求3读请求4读请求5

18、a系统识别连续地址，开始Cache预取智能Cache预取原理 智能识别主机读取模式，预测即将 访问的数据，预先从硬盘中读出即 将访问的数据，提高CACHE的命 中率运行特点 根据主机读取模式的变化，动态启停预取过程 识别出随机模式，则关闭预取，如 果为顺序业务，则启动预取 智能识别IO流的连续性，自动选择 合适的预取长度，达到性能最优，例如：音频流媒体应用预取大小设 为4KB，视频流媒体应用时，动态 将预取大小调整为64KB240 x25bcdeabc 0 x210 x220 x230 xdeabcCache预取技术010302存储典型组网DASSANNAS简介存储协议Scsiiscsifc存储协议简介Raid技术Raid的概念及存储原理目录0405文件系统文件系统简介硬盘阵列硬盘阵列简介文件系统：是指把文件存储于硬盘时所必须的数据结构及硬盘数据的管理方式。为了访问硬盘中的数据，就必需在 扇区之间建立联系，也就是需要一 种逻辑上的数据存储结构。建立这 种逻辑结构就是文件系统要做的事 情，在硬盘上建立文件系统的过程 通常称为“格式化”。文件分区表文件地址