存储基础知识.pptx

存储基础知识 Page2 前言 什么是存储 存储就是根据不同的应用环境通过采取合理 安全 有效的方式将数据保存到某些介质上并能保证有效的访问 存储的实体必须能安全地保存在介质上必须能提供对该存储实体的有效访问存储管理 磁带存储磁盘存储光盘固态盘 SSD 常见的存储介质 目录 2存储协议 1存储典型组网 4硬盘阵列 3RAID技术 5文件系统 DAS DirectAttachedStorage 存储设备直接连接到主机数据分散管理存储容量利用率低扩展性差 文件服务器 存储设备 应用服务器 存储设备 数据库服务器 存储设备 LAN 数据流 数据流 数据流 Page4 客户端 SCSI SCSI SCSI NAS NetworkAttachedStorage NAS NetworkAttachedStorage 网络附加存储 即将存储设备连接到现有的网络上 提供数据和文件服务支持网络文件共享协议CIFS NFSNAS实际上就是一个专门优化了的文件服务器 文件服务器 应用服务器 NAS存储设备 LAN 数据流 数据流 Page5 SAN StorageAreaNetwork SAN 存储区域网络 提供在主机和存储系统之间数据传输 网络内部数据传输的速率快主机 存储设备可以独立扩展存储容量利用率高 文件服务器 应用服务器 存储设备 LAN 数据流 SAN 存储设备 存储设备 数据流 Page6 Page7 三种存储组网模型的比较 SCSI FC DAS 应用服务器 IP交换机 NAS 文件系统RAID 文件系统RAID RAID 三种存储组网比较 Page8 Page9 NAS和SAN的融合是未来的发展方向 必须是SAN 必须是NAS 可以是SAN和NAS 目录 2存储协议 1存储典型组网 4硬盘阵列 3RAID技术 5文件系统 存储传输的硬件通道目前主要有三种 传输通道 iSCSI磁盘阵列 FCHBA FC磁盘阵列 SASHBA SAS磁盘阵列 主机 NIC Page11 SCSI SCSI协议 SCSI SmallComputerSystemInterface 小型计算机系统接口 是连接存储设备与服务器的最通用的方法SCSI最早研制于1979 是为小型机研制出的一种接口技术 但随着电脑技术的发展 现在它被完全移植到了普通PC上SCSI 3是所有存储协议的基础 其它存储协议都用到SCSI指令集 SCSI应用 SCSI传输协议 SCSI物理连接 SCSI应用 SCSI传输协议 SCSI物理连接 Initiator设备 Target设备 互连协议 应用协议 传输协议 传输服务接口 互连服务接口 应用层 传输协议层 互连层 SCSI启动器 目标器模型 Page13 iSCSI iSCSI协议 iSCSI是互联网小型计算机系统接口 InternetSmallComputerSystemInterface 的简称 是一种在TCP IP上进行数据块传输的标准 可以理解为SCSIoverIPiSCSI可构成基于IP的SAN 为用户提供高速 低价 长距离的存储解决方案iSCSI将SCSI命令封装到TCP IP数据包中 使I O数据块可通过IP网络传输 iSCSI启动器 目标器模型 启动器 Initiator SCSI层负责生成CDB 命令描述符块 将CDB传给iSCSIiSCSI层负责生成iSCSIPDU 协议数据单元 并通过IP网络将PDU发给target目标器 Target iSCSI层收到PDU 将CDB传给SCSI层SCSI层负责解释CDB的意义 必要时发送响应 iSCSI TCP SCSI IP Link iSCSI TCP SCSI IP Link Initiator Target Page15 FC FC协议 FC是光纤通道 FiberChannel 的简称 用于服务器共享存储设备的连接 存储控制器和驱动器之间的内部连接FC是一种高性能的串行连接标准 其接口传输速率目前有4Gbps 8Gbps几种标准 传输介质可以选择铜缆或光纤 传输距离远 支持多种互联拓扑结构 SAS SAS协议 SAS SerialAttachedSCSI 是SCSI总线协议的串行标准 即串行连接SCSISAS采用串行技术以获得更高的传输速率和更好的扩充性 并兼容SATA硬盘SAS目前的传输速率高达3Gbps 6Gbps 支持全双工模式 目录 2存储协议 1存储典型组网 4硬盘阵列 3RAID技术 5文件系统 RAID基本概念 定义 RAID RedundantArrayofIndependentDisks 即独立磁盘冗余阵列 RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘 从而提高了硬盘的读写性能和数据安全性 根据不同的组合方式可以分为不同的RAID级别 Page19 RAID组合方式 级别扩展 同时采用两种不同的RAID方式还能组合成新的RAID级别 Page20 RAID基本概念 条带 分条 条带 硬盘0 硬盘2 硬盘1 硬盘3 Page21 RAID基本概念 校验 异或运算 P A0XORA1 数据A0和A1通过异或运算进行奇偶校验得到校验位P 表1 3异或XOR的校验原理 A1 P 数据盘 数据盘 校验盘 Page22 RAID基本概念 热备 热备 HotSpare 的定义 当冗余的RAID组中某个硬盘失效时 在不干扰当前RAID系统的正常使用的情况下 用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘 及时保证RAID系统的冗余性热备一般分为两种 全局式 备用硬盘为系统中所有的冗余RAID组共享专用式 备用硬盘为系统中某一组冗余RAID组专用 Page23 RAID基本概念 重构 Rebuild 数据盘 A1 P A0 A1 P XOR 故障 数据盘 校验盘 A2 A2 XOR 数据盘 更换 Page24 RAID基本概念 逻辑卷 RAID10 RAID5 在RAID的基础上可以按照指定容量创建一个或多个逻辑卷 通过LUN LogicUnitNumber 来标识 逻辑卷 逻辑卷 单个物理卷上创建1个逻辑卷 单个物理卷上创建2个逻辑卷 LUN2 LUN3 Page25 RAID 逻辑卷的形成过程 物理磁盘 RAID Page26 RAID 逻辑卷的形成过程 物理磁盘 逻辑卷 RAID 分割 Page27 RAID级别 RAID0 D H L C G K B F J RAID0即没有容错设计的条带硬盘阵列 StripedDiskArraywithoutFaultTolerance 以条带形式将RAID组的数据均匀分布在各个硬盘中 A B C D E F G H 数据 A E I Page28 RAID级别 RAID1 RAID1又称镜像 Mirror 数据同时一致写到主硬盘和镜像硬盘 E D C B A E D C B A A B C D E 数据 Page29 RAID级别 RAID3 RAID3即带有校验的并行数据传输阵列 Paralleledtransferwithparity 数据条带化分布在数据盘中 同时使用专用校验硬盘存放校验数据 D0 C0 B0 A0 D1 C1 A1 B1 D2 C2 A2 B2 PD PC PA PB A B C D 异或运算 数据盘 校验盘 Page30 RAID级别 RAID5 RAID5与RAID3机制类似 但校验数据均匀分布在各数据硬盘上 RAID成员硬盘上同时保存数据和校验信息 数据块和对应的校验信息保存在不同硬盘上 RAID5是最常用的RAID方式之一 P4 A3 A2 A1 A0 B4 P3 B2 B1 B0 C4 C3 P2 C1 C0 D4 D3 D2 P1 D0 E4 E3 E2 E1 P0 异或运算 A0 B0 C0 D0 A1 B1 C1 E1 A2 B2 D2 校验信息Px分布式存储 数据 Page31 RAID级别 RAID6原理示例 A1 A3 A2 A4 A7 A10 A8 A5 A9 A13 A6 A15 A11 A12 A16 异或运算 A1 A2 A3 A4 A5 A6 A7 A9 横向校验盘中P1 P4为各个数据盘中横向数据的校验信息例 P1 A1XORA2XORA3XORA4斜向校验盘中DP1 DP4为各个数据盘及横向校验盘的斜向数据的校验信息例 DP1 A1XORA6XORA11XORA16 P1 P2 P3 P4 横向校验盘 斜向校验盘 数据盘 A8 DP1 DP2 DP3 DP4 A14 DP5 Page32 RAID组合级别 RAID10 RAID10是将镜像和条带进行两级组合的RAID级别 第一级是RAID1镜像对 第二级为RAID0 RAID10也是一种应用比较广泛的RAID级别 A B C D E F G H A A C B B C D D E E F F G G H H Page33 RAID组合级别 RAID50 P13 F1 RAID50是将RAID5和RAID0进行两级组合的RAID级别 最低一级是RAID5 第二级为RAID0 A2 P02 A1 A0 B2 B1 P01 B0 P03 C1 C0 P00 异或运算 A0 B0 D0 E0 A1 C0 D1 F0 B1 C1 D2 P12 D1 D0 E2 E1 P11 E0 F0 P10 硬盘0 硬盘1 硬盘2 硬盘3 硬盘4 硬盘5 异或运算 Page34 S K 常见RAID级别的比较 RAID级别 RAID1 RAID3 RAID5 RAID10 RAID0 容错性 有 有 有 有 无 冗余类型 镜像冗余 校验冗余 校验冗余 镜像冗余 无 读性能 低 高 高 普通 高 随机写性能 低 低 普通 高 连续写性能 低 低 低 普通 高 最少磁盘数 2个 3个 3个 4个 2个 可用空间 50 N 1 N N 1 N 50 100 应用场景 传输带宽需求大的应用 安全性要求较高的应用 大文件 连续数据的应用 读 写比率较高的应用 安全性要求高的应用 低 Page35 目录 2存储协议 1存储典型组网 4硬盘阵列 3RAID技术 5文件系统 存储阵列是把多个硬盘组成一个阵列 当作单一硬盘使用 它将数据以分段 striping 的方式储存在不同的硬盘中 存取数据时 阵列中的相关磁盘一起动作 大幅减低数据的存取时间 同时有更佳的空间利用率 存储阵列 存储阵列 控制器是阵列的 大脑 主要部件为处理器和缓存 最先主要实现简单IO操作 RAID管理功能 随着技术发展 能够提供各种各样的数据管理功能 如快照 镜像 复制等 控制器 控制器 常见阵列组成形式 以我司阵列为例 控制框 硬盘扩展框 控制框和硬盘框分离 控制器和磁盘框一体 硬盘框 控制器模块 存储阵列系统 存储阵列系统 Page39 控制模块 电源模块 BBU模块 风扇模块 IO模块 机箱 盘控分离式控制框 Page40 Cache Cache Cache即高速缓存 是存储系统中用于缓存主机数据 提高阵列性能及可靠性的部件 依靠Cache的聚合和命中可以大大提升存储系统的性能 所谓聚合 是指Cache把多个主机写请求归一为同一个内部写请求的能力 命中 CPU在读操作时 Cache首先要依据地址来判断数据是否在Cache中 若在Cache中 则称为 命中 若不在 则称为 不命中 缓存 Cache的回写和透写 缓存 主机写入数据流 反馈写OK Write back回写 主机写入数据流 反馈写OK Write through透写 Cache预取技术 Cache预取 主机 硬盘 0 x21 0 x22 0 x23 0 x24 0 x26 控制器 Cache d e 读请求1 读请求2 读请求3 读请求4 读请求5 a a 系统识别连续地址 开始Cache预取 智能Cache预取原理智能识别主机读取模式 预测即将访问的数据 预先从硬盘中读出即将访问的数据 提高CACHE的命中率运行特点根据主机读取模式的变化 动态启停预取过程识别出随机模式 则关闭预取 如果为顺序业务 则启动预取智能识别IO流的连续性 自动选择合适的预取长度 达到性能最优 例如 音频流媒体应用预取大小设为4KB 视频流媒体应用时 动态将预取大小调整为64KB 0 x25 b c d e b c d e a b c 目录 2存储协议 1存储典型组网 4硬盘阵列 3RAID技术 5文件系统 文件系统 Page45 文件系统 是指把文件存储于硬盘时所必须的数据结构及硬盘数据的管理方式 为了访问硬盘中的数据 就必需在扇区之间建立联系 也就是需要一种逻辑上的数据存储结构 建立这种逻辑结构就是文件系统要做的事情 在硬盘上建立文件系统的过程通常称为 格式化 文件分区表 文件地址 文件地址 主机 文件系统 数据区 文件系统分类 文件系统 本地文件系统 共享文件系统 网络文件系统