新版存储基础知识培训课件.ppt

存储基础知识培训 解决方案中心贺凯2015 4 什么是存储 存储网络架构存储基本组成Raid技术备份容灾软件功能 存储基础知识 什么是存储 存储系统是整个IT系统的基石 是IT技术赖以存在和发挥效能的基础平台 早先的存储形式是存储设备 可以包含两个方面的含义 一方面它是数据临时或长期驻留的物理媒介 另一方面 它是保证数据完整安全存放的方式或行为 存储就是把这两个方面结合起来 向客户提供一套数据存放解决方案随着服务器数量的增多 磁盘数量也在增加 且分散在不同的服务器上 查看每一个磁盘的运行状况都需要到不同的应用服务器上去查看 更换磁盘也需要拆开服务器 中断应用 于是 一种希望将磁盘从服务器中脱离出来 集中到一起管理的需求出现了 不过 一个问题 如何将服务器和盘阵连接起来 面临这样的问题 有厂商提出了SCSI协议 通过专用的线缆将服务器的总线和存储设备连接起来 通过专门的SCSI指令来实现数据的存储 后来发展到FC协议 这样 多个服务器可以通过SCSI线缆或光纤建立与存储系统的连接 这样的方式 我们称之为直接附加存储 DAS 存储基本知识 存储网络的存储架构DAS 直接附加存储 DirectAttachedStorage SAN 存储区域网络 StorageAreaNetwork NAS 网络附加存储 NetworksAttachedStorage 存储基础知识 DAS 直接附加存储 文件服务器 存储设备 应用服务器 存储设备 数据库服务器 存储设备 数据流 数据流 数据流 存储设备 RAID系统 磁带机和磁带库 光盘库 直接连接到服务器 传统的 最常见的连接方式 容易理解 规划和实施 没有独立操作系统 不能提供跨平台的文件共享 各平台下数据需分别存储 各DAS系统之间没有连接 数据只能分散管理 备份软件不能离开服务器支持 DAS的前期投资比较少 SAN 存储区域网络 文件服务器 应用服务器 存储设备 数据流 SAN 存储设备 存储设备 数据流 高可用性 高性能的专用存储网络 用于安全的连接服务器和存储设备并具备灵活性和可扩展性 SAN对于数据库环境 数据备份和恢复存在巨大的优势 SAN是一种非常安全的 快速传输 存储 保护 共享和恢复数据的方法 SAN是独立出一个数据存储网络 网络内部的数据传输率很快 但操作系统仍停留在服务器端 用户不直接访问SAN的网络 SAN关注磁盘 磁带以及联接它们的可靠的基础结构 NAS 网络附加存储 文件服务器 应用服务器 NAS存储设备 LAN 数据流 数据流 NAS本身装有独立的OS 通过网络协议可以实现完全跨平台共享 支持WinNT Linux Unix等系统共享同一存储分区 NAS可以实现集中数据管理 一般集成本地备份软件 可以实现无服务器备份功能 NAS内每个应用服务器通过网络共享协议 如 NFS Linux CIFS Windows 使用同一个文件管理系统 NAS关注应用 用户和文件以及它们共享的数据 磁盘I O会占用业务网络带宽 SAN和NASSAN和NAS经常被视为两种竞争技术 实际上 二者能够很好地相互补充 以提供对不同类型数据的访问 SAN针对海量 面向数据块的数据传输 而NAS则提供文件级的数据访问和共享服务 尽管这两种技术类似 但严格意义上讲NAS其实只是一种文件服务 NAS和SAN不仅各有应用场合 也相互结合 许多SAN部署于NAS后台 为NAS设备提供高性能海量存储空间 存储网络的存储架构 SCSI 小型计算机系统接口 SmallComputerSystemInterface 主流SCSI 3 最高数据传输率640MBps FC 光纤通信 用于计算机设备之间数据传输 传输率达到4Gb 8Gb 16Gb 光纤通道用于服务器共享存储设备的连接 存储控制器和驱动器之间的内部连接 iSCSI 互联网小型计算机系统接口 是一种在TCP IP上进行数据块传输的标准 iSCSI继承了两大最传统技术 SCSI和TCP IP协议 对应设备有 HBA卡 FCHBA iSCSIHBA FCSWITCHiSCSI FC存储路由器另 硬盘分为 机械盘 固态硬盘 SSD 主要接口协议 存储基本组成 存储基本组成 单控 盘位主机接口 存储基本组成 双控 存储基本组成 机头式 存储基本组成 接口 Raid技术 RAID基本概念 定义 RAID RedundantArrayofIndependentDisks 即独立磁盘冗余阵列 RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘 从而达到提升存储容量 读写性能和数据安全性的目的 根据不同的组合方式可以分为不同的RAID级别 可靠性 未使用RAID 一旦硬盘损坏 资料将丢失 作业将停顿 资料仍然存在 使用RAID RAID出现原因一 提高容量 未使用RAID 使用RAID 硬盘容量 单块硬盘容量 硬盘容量 单块硬盘容量xN RAID出现原因二 一旦硬盘损坏 资料将丢失 作业将停顿 提升速度 速度 Nx 单块硬盘的速度 Totalrequestexecutiontime SoftwaresetupAccessTimeDataTransferSoftwareCompletion RAID出现原因三 CPU运算速度飞速提高 数据读写速度不应该成为计算机系统处理的瓶颈 RAID基本概念 物理卷和逻辑卷 RAID10 RAID5 RAID由几块硬盘 物理卷 组成RAID可以多个硬盘按照指定容量创建一个或多个逻辑卷 便通过LUN LogicUnitNumber 来标识 一个逻辑卷对于主机来说就是一块硬盘 物理卷 物理卷 物理卷 逻辑卷 逻辑卷 多个物理卷上创建1个逻辑卷 多个物理卷上创建2个逻辑卷 LUN2 LUN3 RAID的级别RAID0 条带化 高可用 高读写 无冗余RAID1 镜像 50 空间利用率 高安全 数据写入效率有影响RAID3 1块盘做校验 其余盘做数据 写效率较低RAID5 数据校验信息均匀分散在每个盘上 解决并发写入时的瓶颈RAID6 2级冗余 支持数据的恢复和校验的恢复 代价高RAID10 RAID0 1 先镜像后条带化 50 利用率 解决读写和冗余RAID50 更高的容错 更快数据读取速率 磁盘故障影响吞吐量 重建时间较长 Raid技术 RAID0条带存储 Striping 原理 又称数据分条 即把数据分成若干相等大小的小块 并把它们写到阵列上不同的硬盘上 这种技术又称 Stripping 即将数据条带化 RAID0在读写时是以并行的方式对各硬盘同时进行操作 优点磁盘空间利用率最高在所有的级别中 RAID0的速度是最快的 缺点无冗余功能 如果一个磁盘损坏 则所有的数据都无法使用不适合关键业务 应用媒体编辑图像编辑需要高带宽的应用 RAID1镜像 双工 优点数据安全性相对其它RAID级 是最好的缺点磁盘利用率只有50 是所有RAID上磁盘利用率最低的一个级别 原理 即每个工作盘都有一个镜像盘 每次写数据时必须同时写入镜像盘 读数据时只从工作盘读出 一旦工作盘发生故障立即转入镜像盘 从镜像盘中读出数据 当更换故障盘后 数据可以重构 恢复工作盘正确数据 应用财务金融需要高数据可用性的应用 RAID3 条带分布 专用盘校验 原理 使用至少三块硬盘配置 在其中的一块硬盘上存贮专用的校验数据 当某块硬盘出现故障时 其它硬盘可以通过校验数据将有故障的硬盘的数据重新恢复出来 特点 数据以位或字节的方式存于各盘 分散记录在组内相同扇区的各个硬盘上 优点高可用性磁盘利用率较高 N 1 并行I O传输 顺序读性能较高缺点校验盘成为性能瓶颈每次读写牵动整个组 每次只能完成一次I O 应用流媒体服务器图像编辑视频编辑 RAID5 条带技术 分布式校验 原理 RAID5将所有校验的数据分别存贮在所有的硬盘上 每一个硬盘的不同地方既存贮数据 也存贮校验数据 当某块硬盘出现故障时 其它硬盘可以通过校验数据将故障的硬盘的数据重新恢复出来 优点高可用性磁盘利用率较高 N 1 没有固定的校验盘 奇偶校验信息均匀分布在阵列所属的所有磁盘中随机读写性能高允许在同一组内并发进行多个写操作缺点异或较验影响存储性能 应用文件及应用服务器数据库服务器Web E mail局域网服务器 RAID6 Doubleparitydrive 高级数据保护 特点 较高的数据冗余性能 超强的数据保护能力 可以应付多颗盘同时出错 优点 允许在同一组内并发进行多个写操作缺点 计算校验地址占用较多的处理时间 较低的写入速率 RAID性能比较 2019 12 19 27 可编辑 在线 近线 离线 在线存储是指存储设备和所存储的数据时刻保持 在线 状态 可供用户随意读取 满足计算平台对数据访问的速度要求 在线存储设备一般为磁盘和磁盘阵列等存储设备 价格相对昂贵 但性能较好 离线存储是对在线存储数据的备份 以防范可能发生的数据灾难 离线存储的数据不常被调用 一般也远离系统应用 所以人们用 离线 来生动地描述这种存储方式 近线存储 NearStore 主要定位于客户在线存储和离线存储之间的应用 就是指将那些并不是经常用到 或者说数据的访问量并不大的数据存放在性能较低的存储设备上 但同时对这些的设备要求是寻址迅速 传输率高 例如客户一些长期保存的不常用的文件的归档 数据备份手段一 硬件级备份硬件级的备份是指用冗余的硬件来保证系统的连续运行 比如磁盘镜像 双机容错等方式 如果主硬件损坏 后备硬件马上能够接替其工作 这种方式可以有效地防止硬件故障 但无法防止数据的逻辑损坏当逻辑损坏发生时 硬件备份只会将错误复制一遍 无法真正保护数据 硬件备份的作用实际上是保证系统在出现故障时能够连续运行 更应称为硬件容错 数据备份手段二 软件级备份软件级的备份是指通过备份软件将数据保存到其他介质上 当出现错误时可以将系统恢复到备份时的状态 由于这种备份是由软件来完成的 所以称为软件备份 用这种方法备份和恢复都要花费一定时间 但这种方法可以完全防止逻辑损坏 因为备份介质和计算机系统是分开的 错误不会复写到介质上 这就意味着 只要保存足够长时间的历史数据 就能够恢复正确的数据 数据备份手段三 人工手动备份人工级的备份最为原始 也最简单的备份 但如果要用手工方式从头恢复所有数据 耗费的时间恐怕会令人难以忍受 数据备份目的 重新利用 备份工作的核心是恢复恢复 Recovery 重新创建整个应用或计算环境过去的操作状态在应用或计算环境被破坏或其他原因导致的不能使用后 需要进行恢复恢复模式 完全恢复 小颗粒恢复 数据恢复 FileServer DatabaseServer BackupServers TapeLibrary Tapes RTO 恢复时间目标 在业务中断后的某一个时间点 业务的进程或应用服务必须恢复 确保业务正常进行 你能接受多长的宕机时间 RPO 恢复点目标 在已确定的RTO内 应用数据或文件系统信息必须恢复到某一个时间顺序点 你能接受丢失多少数据 什么是RTO RPO 数据保护时间轴 Failure出错时刻 12hrs 12hrs 12hrs 12hrs 12hrs 12hrs 什么是虚拟磁带库 VTL 用于备份 虚拟磁带库VirtualTapeLibrary是通过存储虚拟化技术将现有的磁盘存储系统虚拟成传统的磁带库系统 包括磁带库机械臂 磁带驱动器 插槽 为数据备份系统提供高可靠 高性价比的解决方案 通过固化了专门软件的控制器 使磁盘 阵列 对主机或应用软件体现为常规物理磁带库 也称作虚拟磁带库 标准的SCSI FC或iSCSI主机接口 采用易用的管理软件配置 管理虚拟磁带库设备 容灾基础知识 什么是灾难及容灾 灾难 是指已经发生 并导致系统中止运行 业务中断 给企业和客户造成重大影响的事件或事故 容灾 为了应对灾难对信息系统的破坏所采取的一系列措施 比如在生产系统相隔较远的异地 建立一套或多套功能相同的IT系统 互相之间可以进行健康状态监视和功能切换 当一处系统因意外 如火灾 地震等 停止工作时 整个应用系统可以切换到另一处 使得该系统功能可以继续正常工作 为什么需要备份容灾 备份容灾是保证业务连续性的最重要手段 911事件发生前世贸大厦有1200家企业 911事件一年后世贸大厦里的企业只剩400家 800家企业因无法存取重要的信息系统而倒闭 业务连续性的重要性 容灾层次 容灾存储系统一般分为哪3个层次根据业务恢复时间的长短将容灾划分为三个容灾层次 数据级 应用级和业务级 数据级容灾 是仅将生产中心的数据完整地复制到容灾中心的容灾方式 容灾中心往往只需要部署数据存储设备 应用级容灾 是指在数据级容灾的基础上 还可以接管生产中心的应用 容灾中心往往还包括服务器 网络等设备 业务级容灾 是指在应用级容灾的基础上 还可以接管生产中心的业务 容灾中心往往还包括办公环境 管理制度和人员等其他资源 容灾和备份的区别及作用 容灾指的是利用镜像或复制等技术来实现数据的同步 其同步前后数据格式一致 容灾数据可以直接不通过恢复进行使用 而备份采用的是备份软件技术来实现数据的备份 备份前后数据格式不一致 数据经过压缩和格式转换 备份数据必须恢复后才可使用 容灾的数据与生产数据实时或相差一定时间保持一致 即基本上容灾中心的数据同生产数据基本上是一样 而备份是按照设定的策略 定时定期对数据进行备份 保存的是历史生产数据 容灾是为防止生产数据丢失或数据中心遭受毁灭性灾难 恢复速度快 数据基本上就是发生事故那会的版本 备份一般是为了防止认为误操作或系统问题 保存的是历史数据 恢复相对长 ContinuousDataProtection持续数据保护是一套方法 CDP可以捕获或跟踪数据的变化 并将其独立存放在生产数据之外 以确保数据可以恢复到过去的任意时间点 持续数据保护系统可以基于块 文件或应用实现 可以为恢复对象提供足够细的恢复粒度 实现几乎无限多的恢复时间点 从数据保护时间上分为 CDP技术分为真CDP TrueCDP 和准CDP NearCDP 两类 什么是CDP技术 备份 快照 复制 CDP 快照 Snapshot 为指定的数据集创建一个完全可用的数据副本 它包含了副本在创建时刻 时间点 的数据映像快照实现方法 存储嵌入式快照 快照软件运行在网上的存储设备中基于主机的快照 快照软件运行在服务器中 通常驻留在操作系统级别的逻辑卷中 什么是快照 FileServer DatabaseServer BackupServers TapeLibrary Tapes 什么是复制 复制 Replication 通过网络 LAN WAN 把数据从一个地方传输到另一个地方复制的种类 数据块级别复制 文件级别复制 字节级别复制 复制模式 同步复制 要求每一个写入操作在执行下一个操作处理之前 在这两个地点都能完成 处理过程明显变慢 这种复制不切实际的 会影响生产系统性能 除非第二个系统物理上离主系统比较近 异步复制 在处理下一个操作前 不等待数据在复制目标系统中被记录 这种复制性能更好 更快 复制实现方法 存储嵌入式复制 复制软件运行在网上的存储设备中基于主机的复制 复制软件运行在服务器中 通常驻留在文件系统或在操作系统级别的逻辑卷中 产品背景 存储介质售价一直都在不停下降 却远远赶不上数据保存和备份的数据量的攀升速度 在这种环境下重复删除技术应运而生 重复数据删除是一种数据缩减技术 通常用在基于磁盘的备份系统 目的是为了减少存储系统中使用的存储容量 采用 重复删除 技术可以将存储的数据缩减为原来的1 15 从而让出更多的备份空间 不仅可以使磁盘上的备份数据保存更长的时间 而且还可以节约离线存储时所需的大量的带宽 用更少的空间存更多的数据 重复数据删除 卷拷贝远程同步镜像自动精简一主一备双活 软件功能 集群基础知识 什么是集群技术 所谓集群就是为客户机提供资源的一组计算机系统 常见集群技术一般包括三类 高可用集群 以减少服务器中断时间为目的的集群技术 高性能计算集群 以提高科学计算能力为目的的计算机集群技术 高扩展集群 带负载均衡策略的服务器群集 集群技术 至少将两个系统连接到一起 使两个或者以上的服务器能够像一台机器那样工作或者看起来好像一台机器 例如 一个有两台服务器生成的WEB服务器集群系统 它对每个终端用户是透明的 而且完全就像一台服务器在工作 集群概述 服务器A 服务器B 镜像盘 心跳线 公用网络 1 在服务器之间 通过网络方式镜像数据