深信服度渠道云计算高级认证培训存储介绍PPT课件.ppt

Jan 2017 存储分类和虚拟存储介绍 2020 3 21 1 2020 3 21 2 1234 存储分类介绍 虚拟存储介绍 虚拟存储维护 存储硬件配置 Contents 2020 3 21 3 存储分类介绍1 了解存储性能的评估参数2 了解常见的存储类型及优缺点 2020 3 21 4 存储分类介绍 存储评估参数容量 存储数据可用的空间大小 读写速度 数据读取 写入的速率IOPS IODepthIOPS 每秒进行读写操作的次数 衡量存储的随机访问性能 IODepth IO队列长度 即同时提交给磁盘执行读写操作的指令队列长度 能够衡量存储的吞吐量和整体响应时间 磁盘的IOPS取决于队列长度 平均IO响应时间 寿命 存储磁盘的生命周期 数据的安全期 成本 性价比等因素 2020 3 21 5 存储分类介绍 本地存储 LocalStorage 计算机内部安装的存储介质 只有当前计算机操作系统能够读写 其他主机只能通过当前操作系统上面开放共享后通过网络访问 2020 3 21 6 存储分类介绍 本地存储 LocalStorage 按存储介质分类机械硬盘 HDD HardDiskDrive 通过电磁的正负极性来存储由0和1表示的数据 机械硬盘主要由圆形磁碟 高速马达 可移动磁头组成 数据储存在磁碟的扇区里 固态硬盘 SSD SolidStateDrives 一般采用Flash作为存储介质 DRAM作为缓存 通过主控芯片进行读写控制 2020 3 21 7 存储分类介绍 本地存储 LocalStorage 2020 3 21 8 存储分类介绍 本地存储 LocalStorage 2020 3 21 9 存储分类介绍 本地存储 LocalStorage 按接口分类SATA SerialATA 常用于普通机械硬盘 固态硬盘接口理论传输速度6Gbps SATA III SAS SerialAttachedSCSI 常用于企业级机械硬盘向下兼容SATA接口理论传输速度6Gbps 12GbpsPCI Express常用于高速固态硬盘或外部存储扩展 2020 3 21 10 存储分类介绍 外置存储 ExternalStorage 拥有若干存储资源的硬件设备 运行专用的存储管理系统 对外提供数据存储服务 通用存储系统FreeNAS MicrosoftStorageServer专业存储华为OceanStorage惠普HP3PARIBMXIV等 2020 3 21 11 存储分类介绍 外置存储 ExternalStorage 按访问方式分类DAS DirectAttachedStorage 直接连接存储将存储设备通过SAS SCSI等接口直接连接到一台计算机上 点对点传输 NAS NetworkAttachedStorage 网络连接存储将存储设备通过标准的网络拓扑结构 例如以太网 连接到多个计算机上 使用iSCSI等协议一对多传输 SAN StorageAreaNetwork 存储区域网络使用光纤通道 FiberChannel 和FC交换机进行组网 连接存储阵列和计算机 建立专用于数据存储的区域网络 2020 3 21 12 存储分类介绍 外置存储 ExternalStorage 按访问方式分类 DAS DirectAttachedStorage 直接连接存储 将存储设备通过SAS SCSI等接口直接连接到一台计算机上 点对点传输 2020 3 21 13 存储分类介绍 外置存储 ExternalStorage 按访问方式分类 NAS NetworkAttachedStorage 网络连接存储 将存储设备通过标准的网络拓扑结构 例如以太网 连接到多个计算机上 使用iSCSI等协议一对多传输 2020 3 21 14 存储分类介绍 外置存储 ExternalStorage 按访问方式分类 SAN StorageAreaNetwork 存储区域网络 通常使用光纤通道 FiberChannel 和FC交换机进行组网 连接存储阵列和计算机 建立专用于数据存储的区域网络 2020 3 21 15 存储分类介绍 外置存储 ExternalStorage iSCSI协议SCSI SmallComputerSystemInterface 是一个通用接口标准 用于计算机和外部设备 硬盘 光驱 打印机 扫描仪等 之间的系统级接口标准 iSCSI协议将硬件设备调用的SCSI指令集进行封装并在IP网络上进行传输 实现基于网络的存储数据交换 存储设备与客户机之间使用iSCSI协议建立连接 通过以太网协议来发送SCSI命令 响应和存储数据 形成SAN存储区域网络 即基于高速网络实现的数据块级别的数据存储 2020 3 21 16 存储分类介绍 外置存储 ExternalStorage iSCSI关键字Target 存储设备使用iSCSI协议提供的存储资源Initiator 发起iSCSI连接访问存储资源的客户端LUN LogicalUnitNumber iSCSI存储设备可以划分出若干个逻辑存储单元 可以使用LUN来标识 也可以使用targetID来标识IQN iSCSIQualifiedName initiator和target是通过名字进行识别的 每一个iSCSI节点 即initiator 必须拥有一个唯一的iSCSI名称 通常使用IQN来唯一标识initiator 2020 3 21 17 存储分类介绍 外置存储 ExternalStorage 2020 3 21 18 存储分类介绍 外置存储 ExternalStorage iSCSI客户端Windows系统自带iSCSIInitiator客户端程序 2020 3 21 19 存储分类介绍 外置存储 ExternalStorage FC存储FC FiberChannel 光纤通道 协议是SAN StorageAreaNetworks 存储区域网络 中使用的一种数据传输协议 FCSAN采用高速的光纤通道作为传输载体 以SCSI 3协议作为存储访问协议 将存储系统网络化 形成高速共享存储 2020 3 21 20 存储分类介绍 外置存储 ExternalStorage FC存储WWN WorldWideName 全球名字 FCSAN网络中 服务器和磁盘设备都统称为Node 节点 每个节点使用一个64位的地址来唯一标识 称为WWN WorldWideName 全球名字 FC的上层的SCSI协议通过WWN识别节点并相互通信 2020 3 21 21 存储分类介绍 外置存储 ExternalStorage FC存储访问控制 为了保证FC存储服务的安全性 通常会将物理上连通的FCSAN网络划分为多个VSAN 实现不同服务器之间的隔离访问 同时一个VSAN内的磁盘资源 又可以进一步划分为多个Zone 分别指派给不同的Port 达到访问控制的目的 2020 3 21 22 存储分类介绍 外置存储 ExternalStorage FC存储HBA卡 HostBusAdapter HBA卡是一种专门用于FC存储通信的网卡 通常拥有光纤接口 SFP或GBIC 每个HBA是一个FC交换对象 拥有一系列特殊的属性 包括HBAID NodeWWN PortWWN等参数信息 服务器如果需要连接到FCSAN使用存储资源 需要配置至少一块FCHBA卡 HBA卡通常插在服务器的PCI或PCI E插槽上 然后通过光纤连接到FC存储或FC交换机 2020 3 21 23 存储分类介绍 外置存储 ExternalStorage FC存储HBA卡 HostBusAdapter 2020 3 21 24 存储分类介绍 外置存储 ExternalStorage FC存储FC存储组网方式直连组网 存储设备通过FC线路直接连接主机 点对点 交换组网 存储设备和主机都通过FC线路连接到FC交换机 通过FC交换机进行通信 多对多 FC多路径 Multi Path 通过在存储设备和主机之间建立多条传输路径的方式 避免单条线路故障造成存储不可用 当一条路径发生故障后 主机I O通信可以使用另一条路径 2020 3 21 25 存储分类介绍 外置存储 ExternalStorage FC存储 2020 3 21 26 存储分类介绍 外置存储 ExternalStorage 2020 3 21 27 1234 存储分类介绍 虚拟存储介绍 虚拟存储维护 存储硬件配置 Contents 2020 3 21 28 虚拟存储介绍1 了解虚拟存储的原理2 掌握虚拟存储的副本和存储私网 2020 3 21 29 虚拟存储 本地存储通过RAID增加冗余以提升数据可靠性主机之间磁盘不共享 无法跨主机访问IO和容量瓶颈 无法平滑扩容外置存储需要第三方存储设备 成本非常高存储部署复杂 维护困难存在兼容性问题 2020 3 21 30 虚拟存储 分布式存储分布式文件系统 DistributedFileSystem 是指将同一网络中的不同计算机管理的物理存储资源 本地存储 通过网络组织起来 形成一个统一的共享文件系统 分布式文件系统的设计基于C S架构模式 客户端在访问文件时不需要知道它们的实际物理存储位置 即分布在多个计算机上的文件在用户面前就像使用本地存储一样 2020 3 21 31 虚拟存储 分布式存储特性透明性 物理存储位置和底层操作过程对用户透明开放性 提供标准访问接口 可操作 可移植可扩展性 基于分布式设计 可平滑扩容可用性 有数据冗余保障一致性 防止通信故障导致存储系统脑裂 2020 3 21 32 虚拟存储 分布式存储开源代表GoogleFileSystemGoogle为了存储海量搜索数据而设计的专用文件系统 HadoopDistributedFileSystem由Apache支持的开源分布式文件系统 具有高度容错性 提供高吞吐量的数据访问 适合大规模数据集上的应用 用于支持分布式计算 GlusterFS应用在集群系统中 具有很好的可扩展性 模块化设计 易于扩展和配置 2020 3 21 33 虚拟存储 虚拟存储存储虚拟化 StorageVirtualization 对硬件存储资源进行抽象化实现 屏蔽底层硬件的复杂性 对上层应用提供标准的存储访问接口 虚拟化的存储资源就像是一个巨大的 存储池 用户不会看到具体的磁盘 也不必关心自己的数据经过哪一条路径通往哪一个具体的存储设备 2020 3 21 34 虚拟存储 虚拟存储深信服虚拟存储基于GlusterFS分布式文件系统开发的面对存储虚拟化趋势的一款产品 模块化集成在虚拟化管理平台 桌面虚拟化VMP 服务器虚拟化aSV 上 通过网络整合管理VMP aSV集群内所有服务器的硬盘 系统盘除外 2020 3 21 35 虚拟存储 深信服虚拟存储将多台主机的物理硬盘组成存储池 统一调度分配 存储池化 IP网络 IP网络 2020 3 21 36 虚拟存储 深信服虚拟存储以VMP aSV集群为依托 基于分布式存储架构 可进行横向扩展 VS File File 2020 3 21 37 虚拟存储 深信服虚拟存储存储通信网络虚拟存储是基于网络的分布式存储 需要将所有主机通过IP网络 二层 组播 进行连接 组建存储通信网络 基本要求 通信稳定 延时不超过5ms 无丢包带宽足够 千兆或万兆局域网连接 2020 3 21 38 虚拟存储 深信服虚拟存储存储通信网络复用管理口使用VMP aSV管理口 默认ETH0 进行存储通信优点 部署简单 无需额外使用物理网口缺点 业务数据和存储数据之间容易出现带宽抢占注意 有多余网口的情况下 不能复用管理口 2020 3 21 39 虚拟存储 深信服虚拟存储存储通信网络复用管理口 2020 3 21 40 虚拟存储 深信服虚拟存储存储通信网络无链路聚合每台主机使用一个单独的网口互联 组建存储私网优点 业务数据和存储数据隔离缺点 存储私网没有冗余 链路故障时会导致存储不可用注意 两台主机部署时 可以用网线将存储通信网口直连起来 超过2台主机 需要用千兆交换机互联 如果跟其他网络使用同一个交换机 务必使用VLAN进行隔离 2020 3 21 41 虚拟存储 深信服虚拟存储存储通信网络无链路聚合 2020 3 21 42 虚拟存储 深信服虚拟存储存储通信网络单交换机链路聚合每台主机使用两个单独的网口组建存储私网存储通信网口全部接入到同一个二层交换机 千兆以上 VMP aSV主机间自动进行聚合 无需在交换机上配置聚合优点 双倍带宽 且具有链路冗余缺点 存在交换机单点故障风险 2020 3 21 43 虚拟存储 深信服虚拟存储存储通信网络单交换机链路聚合 2020 3 21 44 虚拟存储 深信服虚拟存储存储通信网络双交换机链路聚合每台主机使用两个单独的网口组建存储私网存储通信网口分别接入到两个二层交换机 千兆以上 VMP aSV主机间自动进行聚合 无需在交换机上配置聚合优点 双倍带宽 且链路和交换机都有冗余注意 两台主机两个网口直连属于双交换机链路聚合 2020 3 21 45 虚拟存储 深信服虚拟存储存储通信网络双交换机链路聚合 2020 3 21 46 虚拟存储 深信服虚拟存储副本VMP aSV平台上的虚拟机以qcow2文件的形式存储 文件在物理磁盘上保存的份数 称为 副本 虚拟存储支持2 3个副本通过多副本技术 增加数据冗余 避免磁盘或主机故障导致数据不可用 副本数量 副本保存的位置对虚拟存储上层的应用不可见副本数在虚拟存储初始化完成后 使用过程中不能再修改 2020 3 21 47 虚拟存储 深信服虚拟存储副本分布卷虚拟存储对上层应用可见的逻辑卷 VMP aSV读写文件是对分布卷进行操作的 由分布卷组成分布式存储 数据写入时先进行分布 分散到各个主机 复制卷复制卷将文件写入具体磁盘 通过副本间的同步复制实现数据冗余 每个复制卷包含的物理磁盘个数跟副本数量相同 一个复制卷下每个物理磁盘的数据内容完全一致 复制卷的最小组成单位是物理磁盘 即同一文件的不同副本只能保存在不同的物理磁盘上 2020 3 21 48 虚拟存储 深信服虚拟存储副本多副本 2020 3 21 49 虚拟存储 深信服虚拟存储2副本类似RAID0 1的实现方式优点 可承受单个磁盘故障 或多主机时单台主机离线 2020 3 21 50 虚拟存储 深信服虚拟存储2副本多主机2副本时 同一复制卷下的2个磁盘自动选择不同主机进行分布 2020 3 21 51 虚拟存储 深信服虚拟存储3副本要求至少3台主机 冗余度最高 缺点 可用存储空间仅为总磁盘容量的1 3 2020 3 21 52 虚拟存储 深信服虚拟存储3副本 2020 3 21 53 虚拟存储 深信服虚拟存储写入qcow2文件时 同时写入每一个副本 正常情况下副本数据会始终保持一致 读取qcow2文件时 采用就近原则 优先从当前主机读取副本 当前主机不存在副本 即跨主机时通过存储私网读取 2020 3 21 54 虚拟存储 深信服虚拟存储缓存盘借助SSD的高速读写优势 提升存储整体IO水平数据盘虚拟存储底层数据的硬件载体 一般采用大容量 高可靠性的企业级机械硬盘 数据盘数量是副本数量的整数倍 热备盘作为备用的数据盘 当数据盘出现故障时 自动替代故障磁盘使用 2020 3 21 55 虚拟存储 深信服虚拟存储缓存盘读缓存场景 一个虚拟机频繁读取相同数据 派生虚拟机共用同一个模板 基于同一个qcow2文件 不同虚拟机读取相同的数据块的概率很大 刚写入磁盘的数据 未来被读取的概率较大 注意 缓存的最小单位是数据块 Block 2020 3 21 56 虚拟存储 深信服虚拟存储缓存盘 VMP VM1 VM2 VM3 Block Block 读文件请求 未命中缓存 读相同文件 命中缓存 2020 3 21 57 虚拟存储 深信服虚拟存储缓存盘写缓存场景 存储通信网络带宽瓶颈 复制卷通过网络写入每个副本 会受到带宽限制 写入操作频繁时 复制卷无法实时写入每个硬盘 2020 3 21 58 虚拟存储 深信服虚拟存储缓存盘 上层写入数据请求到达SSD写缓存模块 SSD写缓存模块把数据写入到SSD磁盘 并获得返回值 SSD写缓存模块在确定数据写入SSD磁盘后 即立即返回上层模块写入成功 SSD写缓存模块在缓存数据累计到一定量后 从SSD磁盘读出数据 SSD写缓存把从SSD磁盘读出的数据批量回写到机械磁盘 2020 3 21 59 1234 存储分类介绍 虚拟存储介绍 虚拟存储维护 存储硬件配置 Contents 2020 3 21 60 虚拟存储维护1 掌握虚拟存储的故障处理方法2 掌握虚拟存储的扩容方法 2020 3 21 61 虚拟存储维护 故障处理磁盘故障处理主机故障处理主机 磁盘离线重建存储扩容磁盘扩容主机扩容扩容后数据平衡 2020 3 21 62 虚拟存储维护 磁盘故障处理替换磁盘当虚拟存储磁盘被误拔出时 会显示磁盘离线 此时立即插回 数据可以自动修复 当磁盘故障 不可用时 会显示磁盘故障 需要在集群内插入容量相同 或更大 的新磁盘 然后进行磁盘替换操作 2020 3 21 63 虚拟存储维护 磁盘故障处理替换磁盘 系统盘 缓存盘 数据盘 数据盘 数据盘 复制卷 数据盘 1 磁盘发生离线或故障2 使用新磁盘进行替换3 副本自动重建修复 2020 3 21 64 虚拟存储维护 磁盘故障处理替换磁盘可以拔出故障磁盘并在原磁盘位置插入新磁盘 或者在其他盘位插入新磁盘 插入新磁盘后 点击 更换磁盘 然后根据向导提示 对新磁盘进行初始化 替换完成后 副本会需要一段时间来自动重建 2020 3 21 65 虚拟存储维护 磁盘故障处理热备盘如果虚拟存储初始化时有预留 热备盘 则当存储中有数据盘发生故障时 会自动使用 热备盘 来替换故障磁盘 自动替换后 原故障磁盘仍然显示离线状态 需插入新磁盘按向导进行替换 替换完成后的新磁盘作为 热备盘 使用 2020 3 21 66 虚拟存储维护 磁盘故障处理热备盘 系统盘 缓存盘 数据盘 数据盘 热备盘 复制卷 热备盘 数据盘 1 磁盘发生离线或故障2 副本自动在热备盘上重建3 替换故障磁盘自动成为热备盘 2020 3 21 67 虚拟存储维护 主机故障处理替换主机集群内有主机离线或故障时 可以使用新的主机替换故障主机 新主机的版本必须和故障主机保持一致 硬件配置不可低于故障主机 包括CPU 内存 磁盘个数 磁盘容量 网口个数等 更换主机时新主机的ip不要和原主机相同 2020 3 21 68 虚拟存储维护 数据重建当磁盘离线或主机故障 在指定时间范围内无法及时恢复 如果再次发生其他故障 则可能导致数据丢失 数据重建是在2副本以上场景 复制卷的其中1个副本离线 不能及时恢复时 自动占用其他复制卷的可用空间 进行副本重建并同步 注意 重建会占用其他复制卷的磁盘 可能导致磁盘可用容量降低 同时重建过程会影响虚拟存储性能 2020 3 21 69 虚拟存储维护 数据重建 系统盘 缓存盘 数据盘 数据盘 数据盘 复制卷 数据盘 1 磁盘发生离线或故障2 超过指定时间没有替换3 副本自动选择空余磁盘重建修复 2020 3 21 70 虚拟存储维护 磁盘扩容当主机上空闲盘位插入新磁盘时 可以将其加入虚拟存储 进行磁盘扩容 扩容的磁盘数量必须是副本数的整数倍 如果是多台主机做集群 应把扩容新增的磁盘平均分配到各台主机 2020 3 21 71 虚拟存储维护 主机扩容当主机性能不足 或没有空余盘位来扩充存储时 可以增加主机进行扩容 主机扩容时 先将新主机加入当前集群 同时将新主机上的磁盘加入虚拟存储 进行初始化 2020 3 21 72 虚拟存储维护 主机扩容 系统盘 缓存盘 数据盘1 数据盘3 复制卷 系统盘 缓存盘 数据盘2 数据盘4 数据盘4 热备盘 1 新增主机加入集群 磁盘加入虚拟存储2 现有复制卷的副本会部分迁移到新磁盘3 新的复制卷会分到不同主机上产生4 如果有剩余的磁盘 可以作为热备盘 2020 3 21 73 虚拟存储维护 主机扩容 系统盘 缓存盘 数据盘1 数据盘2 数据盘3 复制卷 系统盘 缓存盘 数据盘4 数据盘5 数据盘6 复制卷 如果一次性新增副本倍数台主机 则直接在新主机上产生新的复制卷 2020 3 21 74 虚拟存储维护 数据平衡计划扩容之后 数据依然存在原磁盘上 数据读写的压力都集中在原磁盘上 新磁盘无法及时充分利用 导致资源浪费 通过数据平衡 可以将原磁盘上的部分数据迁移到新磁盘上 从原复制卷迁移到新复制卷 达到充分利用磁盘和主机资源的目的 只能对未在使用的文件进行平衡 正在使用的文件不会被平衡 如虚拟机已开机 其虚拟磁盘文件是不会被平衡的 数据平衡会消耗磁盘IO性能 2020 3 21 75 虚拟存储维护 数据平衡计划 系统盘 缓存盘 数据盘1 数据盘3 复制卷 系统盘 缓存盘 数据盘2 数据盘4 数据盘4 热备盘 假如数据盘1的使用率达到80 新增主机后数据盘4是新的0 则平衡后会将盘1的部分未使用的数据迁移到盘4 以文件为单位 这里数据盘2整体迁移到新主机 称为磁盘替换 以磁盘为单位 以保证副本均衡 2020 3 21 76 1234 存储分类介绍 虚拟存储介绍 虚拟存储