存储基础培训.ppt

Infortrend存储基础知识培训 磁盘阵列 Infortrend广州办事处 1 什么是磁盘阵列 磁盘阵列简称RAID RedundantArraysofInexpensiveDisks 是由很多便宜 容量较小 稳定性较高 速度较慢磁盘 组合成一个大型的磁盘组 利用个别磁盘提供数据所产生的加成效果来提升整个磁盘系统的效能 磁盘阵列柜就是装配了众多硬盘的外置的RAID 简称阵列 盘柜 磁盘阵列 2 磁盘阵列发展1 内部存储 3 磁盘阵列发展2 外部存储 JBOD 4 磁盘阵列发展3 模块化存储 双控 5 磁盘阵列发展4 多处理器 Scaleup 6 磁盘阵列发展5 虚拟化 Scaleout 7 常见磁盘阵列系统 8 磁盘阵列系统装置 前视图 9 磁盘阵列系统装置 后视图 10 磁盘阵列系统装置 背板 11 阵列控制器内部结构 BlockDiagram Server ServersorSwitch SwitchesorZonesononeSwitch 12 阵列控制器外部结构 iSCSI主机控制器面板 光纤主机控制器面板 SAS主机控制器面板 13 Infortrend控制器缓存保护技术 CBM 缓存备份模块 BBU Flash备份模块CacheSafe技术Cachesafe技术可在突然断电的情况下将缓存中数据永久保存在FlashSSD中 不受传统的72小时保护机制限制 14 典型中端磁盘阵列扩展 15 数据存储架构DASNASSAN 16 DAS DirectAttachedStorage 存储设备直接连接到服务器 传统的 最常见的连接方式 容易理解 规划和实施 没有独立操作系统 不能提供跨平台的文件共享 各平台下数据需分别存储 各DAS系统之间没有连接 数据只能分散管理 备份软件不能离开服务器支持 DAS的前期投资比较少 文件服务器 存储设备 应用服务器 存储设备 数据库服务器 存储设备 LAN 数据流 数据流 数据流 17 NAS NetworkAttachedStorage NAS本身装有独立的OS 通过网络协议可以实现完全跨平台共享 支持WinNT Linux Unix等系统共享同一存储分区 NAS可以实现集中数据管理 一般集成本地备份软件 可以实现无服务器备份功能 NAS系统的前期投入相对较高 NAS内每个应用服务器通过网络共享协议 如 NFS CIFS 使用同一个文件管理系统 NAS关注应用 用户和文件以及它们共享的数据 磁盘I O会占用业务网络带宽 文件服务器 应用服务器 NAS存储设备 LAN 数据流 数据流 18 SAN StorageAreaNetwork SAN是独立出一个数据存储网络 网络内部的数据传输率很快 但操作系统仍停留在服务器端 用户不直接访问SAN的网络 SAN关注磁盘 磁带以及联接它们的可靠的基础结构 高可用性 高性能的专用存储网络 用于安全的连接服务器和存储设备并具备灵活性和可扩展性 SAN对于数据库环境 数据备份和恢复存在巨大的优势 SAN是一种非常安全的 快速传输 存储 保护 共享和恢复数据的方法 文件服务器 应用服务器 存储设备 LAN 数据流 SAN 存储设备 存储设备 数据流 19 存储网络的三种形态比较 20 存储架构适用分类 SAN 提供可用性 可管理性和扩展性目标应用 数据库 ERP OLTP灾难恢复数据仓储 NAS 易于安装和管理 低价位 目标应用 文件服务器集中 更换PDM CAD文件共享 DAS 只适用于小型商务 21 多路径 冗余路径管理软件能够解决哪些问题 避免存储链路单点故障保证在磁盘阵列控制器切换时数据访问的不间断多链路负载均衡提升存储系统访问性能 22 23 24 数据存储需求挖掘 25 广州原创动力数据集中存储 管理一体化解决方案 26 数据分层与数据分级 27 备份 恢复技术 28 备份 Backup 收集数据存储在非易失性的存储介质上 通常为可移动的介质 万一当原先的数据丢失或不能访问时 可以用来进行恢复 备份就是创建备份副本的操作 应用和用户不能直接访问备份副本 备份方式 LAN备份 LANFree备份 ServerFree备份 什么是备份 文件服务器 数据库服务器 备份服务器 磁带库 磁带 29 RTO 恢复时间目标 在业务中断后的某一个时间点 业务的进程或应用服务必须恢复 确保业务正常进行 你能接受多长的宕机时间 RPO 恢复点目标 在已确定的RTO内 应用数据或文件系统信息必须恢复到某一个时间顺序点 你能接受丢失多少数据 什么是RTO RPO 数据保护时间轴 Failure出错时刻 12hrs 12hrs 12hrs 12hrs 12hrs 12hrs 30 全备份 全备份 全备份是在某一个时间点上所有数据的一个完全拷贝 Fullbackup 全备份 备份类型 全备 31 全备份 增量 全备份 增量备份即对上次备份以后的最新变化数据的备份 IncrementalBackups 增量备份 备份类型 增量 32 全备份 差分 全备份 差分备份即对上一次全备份以后的所有变化数据的备份 DifferentialBackups 差分备份 备份类型 差分 33 合成全备份 合成全备份 将增量备份或差异备份合成一份全备文件 34 LAN环境下数据流走向 ApplicationServer LAN RAIDorJBOD TapeLibrary BackupServer 35 LAN free备份数据流的走向 LocalAreaNetwork Metadata BackupServer BackupClient 36 Server free数据流走向 Disk FibreChannel LocalAreaNetwork StorageAreaNetwork 37 产品背景 存储介质售价一直都在不停下降 却远远赶不上数据保存和备份的数据量的攀升速度 在这种环境下重复删除技术应运而生 重复数据删除是一种数据缩减技术 通常用在基于磁盘的备份系统 目的是为了减少存储系统中使用的存储容量 采用 重复删除 技术可以将存储的数据缩减为原来的1 15 从而让出更多的备份空间 不仅可以使磁盘上的备份数据保存更长的时间 而且还可以节约离线存储时所需的大量的带宽 用更少的空间存更多的数据 重复数据删除 38 依据数据处理方式的不同 分为以下两种 其一是在线处理 Inline DataDomain就是这一技术的代表厂商 这一方式中 数据在读进来之后 在存到磁盘之前就已经进行了重复数据删除 其二是以昆腾作为代表的后处理 Post processing 采用这一方式的话 数据在存到磁盘上后 才会进行重复数据删除 在存到磁盘前 数据没有减少 重复数据删除的处理方式 39 快照 Snapshot 为指定的数据集创建一个完全可用的数据副本 它包含了副本在创建时刻 时间点 的数据映像快照实现方法 存储嵌入式快照 快照软件运行在网上的存储设备中基于主机的快照 快照软件运行在服务器中 通常驻留在操作系统级别的逻辑卷中 快照 FileServer DatabaseServer BackupServers TapeLibrary Tapes 40 ContinuousDataProtection持续数据保护是一套方法 CDP可以捕获或跟踪数据的变化 并将其独立存放在生产数据之外 以确保数据可以恢复到过去的任意时间点 持续数据保护系统可以基于块 文件或应用实现 可以为恢复对象提供足够细的恢复粒度 实现几乎无限多的恢复时间点 从数据保护时间上分为 CDP技术分为真CDP TrueCDP 和准CDP NearCDP 两类 CDP技术简述 41 备份 快照 复制 CDP 42 Archive 归档 将相对不重要的数据转移到速度较慢并且价格便宜的存储介质上 是一种最原始却最为有效的节约成本的方式 数据归档集成了数据迁移 管理 收集 保存以及介质管理等功能 主要用于长久保存数据和文件以备日后查询取用 43 数据备份手段一 硬件级备份硬件级的备份是指用冗余的硬件来保证系统的连续运行 比如磁盘镜像 双机容错等方式 如果主硬件损坏 后备硬件马上能够接替其工作 这种方式可以有效地防止硬件故障 但无法防止数据的逻辑损坏当逻辑损坏发生时 硬件备份只会将错误复制一遍 无法真正保护数据 硬件备份的作用实际上是保证系统在出现故障时能够连续运行 更应称为硬件容错 44 数据备份手段二 软件级备份软件级的备份是指通过备份软件将数据保存到其他介质上 当出现错误时可以将系统恢复到备份时的状态 由于这种备份是由软件来完成的 所以称为软件备份 用这种方法备份和恢复都要花费一定时间 但这种方法可以完全防止逻辑损坏 因为备份介质和计算机系统是分开的 错误不会复写到介质上 这就意味着 只要保存足够长时间的历史数据 就能够恢复正确的数据 45 数据备份手段三 人工手动备份人工级的备份最为原始 也最简单的备份 但如果要用手工方式从头恢复所有数据 耗费的时间恐怕会令人难以忍受 46 备份需求挖掘 47 集群基础 什么是集群技术 所谓集群就是为客户机提供资源的一组计算机系统 常见集群技术一般包括三类 高可用集群 以减少服务器中断时间为目的的集群技术 高性能计算集群 以提高科学计算能力为目的的计算机集群技术 高扩展集群 带负载均衡策略的服务器群集 48 集群技术 至少将两个系统连接到一起 使两个或者以上的服务器能够像一台机器那样工作或者看起来好像一台机器 例如 一个有两台服务器生成的WEB服务器集群系统 它对每个终端用户是透明的 而且完全就像一台服务器在工作 集群概述 49 服务器A 服务器B 镜像盘 心跳线 公用网络 1 在服务器之间 通过网络方式镜像数据 不需要采购磁盘阵列 节约成本2 大数据量读写时 两台服务器会出现数据不同步3 镜像数据占用大量服务器资源 降低系统性能 无磁盘阵列 有磁盘阵列 1 双机集群的主流配置方式2 采用了共享存储 消除数据不同步的现象 系统性能不会降低3 多服务器集群常采用NAS模式实现存储共享 集群的存储系统 50 双机热备 磁盘阵列 心跳连接 公用网络 客户端 Active Standby 服务器A 服务器B 应用 双机热备是指两台计算机为某一目的组合在一起的技术 两台计算机构成系统的两个节点 当其中一个节点不可用或者不能处理用户请求的时候 系统自动将该节点资源转移到另一个节点处理 51 双机互备 磁盘阵列 心跳连接 公用网络 客户端 Active Active 服务器A 服务器B 应用A 应用B 52 构建适用的存储系统 Infortrend产品交流 53 1993年创立 致力于磁盘阵列控制器以及整机产品的研发 在美国 欧洲 亚洲多个国家设有分支机构 全球众多OEM合作伙伴 包括Quantum Adaptec Sun DotHill Toshiba Bosch HoneyWell 曙光 浪潮 联想中兴等知名企业 世界第3大 亚洲第1大磁盘阵列厂商拥有众多的专利技术 处于第三方存储产品市场的领先地位 多规格 多技术的磁盘阵被广泛应用到世界各地的众多领域 平均故障率业内最低 一 Infortrend公司简介 54 Infortrend公司实力 技术开发人员 3 项目管理 17 专利申请 7 TRIP PM EMC Safety EVTDVT ASICFirmware硬件机械设计软件 信号完整性 ASIC设计 12 Firmware设计 23 软件设计 15 硬件设计 22 EEhardwaredesign Utilitydesign机械设计14 Mechanismdesign Thermalteam 信号完整性 7 BoardsimulationHighFrequencysignalproblemsolvingEMC 安全 12 工程验证测试 13 设计验证测试 32 ProductMaturitytestEnvironmenttestHALT HASStest 坚实而强大的技术基础Total 177名核心技术研发人员 55 产品一站式设计与制造 100 自主研发 包括ASIC firmware 硬件和整机系统集成专业的设计 生产部门 每一部件都经过严苛测试Infortrent具有存储行业最长的产品线多项技术都是全球首发8Gb sFC hostRAIDarray 2009年2 5 driveRAIDarray 2007年SAS driveRAIDarray 2005SATA driveRAIDarray 2003 56 功能 Entry level Midrange High end 1U 4UFC iSCSI SAS SCSIhostSAS SATA FCdrives最大扩展224颗磁盘 基于EonStor硬件支持快照和卷拷贝 卷镜像 Scale out 横向扩展 存储虚拟化FC iSCSI主机同道SAS SATA磁盘 SSD固态磁盘 最大扩展1344颗磁盘 Infortrend产品之路 57 Infortrend里程碑 存储控制器OEM ODM300个型号全球销量200 000 EonStor入门级DAS SAN存储系统400个型号全球销量128 000 SANWatch存储管理软件 ESVA中高端虚拟化存储系统 EonStorDS入门级DAS SAN存储系统 加入数据保护软件 58 Source WorldwideDiskStorageSystems2007VendorShares YearinReview IDC 2007年磁盘存储排名 59 60 全球 入门级存储阵列供应商出货量所占市场份额 0 24999美元 全球 外接存储阵列供应商出货量所占市场份额 针对所有操作系统 2010年3月数据 来自Gartner 60 Infortrend产品亮点概览 整机模块化无线缆设计 RISC ASIC架构控制器 CacheSafe 绿色环保设计 多种管理 警示方式 智能磁盘降速80Plus认证电源 LCD前面板SANWatch一体化存储管理套件基于Java的WEB浏览器管理RS 232管理蜂鸣报警及指示灯 Email SNMP等方式 扩展能力 61 传承的高可用性硬件设计 无单点故障冗余热插拔部件PSU FAN RAIDController数据传输保障CacheSafe缓存保护技术杜绝系统断电造成的数据丢失多种管理及警示方式SANWatch一体化集成管理套件 RedundantPowerSupplies Fans RedundantControllers 62 快照及卷拷贝 镜像 远程复制 快照数千份指针型快照几秒种内恢复数据卷拷贝 镜像 远程复制卷拷贝 镜像实现本地备份远程复制实现数据容灾同步 异步两种复制模式 63 80 高效率电源提供高于80 的交直流转换效率磁盘drivespin down技术节省高达65 的power两段式风扇 动态冷却机制 绿色节能设计 Source datasheet specofeachstoragevender 64 EonStor系列产品概述 简易 稳定 实用 极富性价比的入门级磁盘存储1U 2U 3U 4U 12 16 24BaySATA SAS FC SSD多种磁盘规格融合6GbSAS FC8Gb ISCSI10Gb等尖端接口技术PowerPC 独立ASICXOR引擎FC SAN IP SAN DAS多种存储架构 65 EonStor系列产品结构 66 EonStorDS系列产品概述 稳健 可靠 高效的中端存储解决方案控制器2P1A 2PowerPC 1ASIC667 Active Active双活设计广泛的SAN连接性FC8Gb ISCSI10Gb支持AIX HP UX Solaris Linux Windows等众多系统平台 VmwareESX认证完善的多路径管理 Multipath 解决方案增强的数据保护功能 67 ESDS系列产品结构 DS DataService 68 EonStorDS系列产品特点 培训 验收 实施 高性能 增值 69 ESVA 开创存储新纪元 EnterpriseScalableVirtualizedArchitecture企业级可扩充的虚拟化存储系统架构 基于虚拟化技术的集群存储架构SCALE OUT UP架构 实现性能和容量的同步提升自动精简技术 Thinprovisioning 最大化存储利用率并行I O技术和多通道负载均衡机制最优化存储系统的性能关键任务优先QOS高级数据保护功能强化数据安全与业务连续性 70 ESVA虚拟化集群架构 71 传统通道带宽恒定不变 存储容量利用率低 Scale Up纵向扩展 单一系统CPU 单一系统内存 单一系统带宽 Scaleup纵向扩展 72 数据空间集中管理 ScaleOut横向扩展 73 向虚拟池添加子系统 ApplicationServer 2TB 2TB VirtualPool 迁移数据停机时间为0 2xBandwidth 74 从虚拟池中删除子系统 ApplicationServer 2TB 2TB VirtualPool 迁移数据停机时间为0 75 76 76 ESVA 分布式负载平衡 增强的Eon