华为OceanStorV3融合存储技术培训胶片

1、华为OceanStor V3融合存储技术培训胶片1目录OceanStor V3关键技术OceanStor V3应用场景OceanStor V3硬件架构423OceanStor V3产品介绍12OceanStor V3系列存储系统统一软件/硬件/管理平台5300/5500 V35600/5800 V36800 V33OceanStor V3系列存储系统规格表5300 V35500 V35600 V35800 V36800 V3基本规格最大磁盘数500750100012501500最大控制器数88888缓存（每控制器）16GB标准：24GB最大：48GB标准：32GB最大：64GB标准：64GB最

2、大：128GB标准：128GB最大：256GB最大IO模块数（每控制器）22886支持存储协议FC、FCoE、iSCSI、InfiniBand、NFS、CIFS、HTTP、FTP软件特性Smart系列效率提升软件SmartThin、SmartQoS、SmartTier、SmartMotion、SmartPartition、SmartCache*、SmartMulti-Tenant、SmartVirtualization、SmartMigration、SmartErase、SmartCompression*、SmartDedupe*、SmartQuota*Hyper系列数据保护软件HyperSn

3、ap、HyperClone、HyperCopy、HyperReplication、HyperLock主机软件UltraPath、ReplicationDirector存储管理软件DeviceManager，ReplicationDirector，eSight虚拟化特性虚拟机支持VMware、Citrix、Hyper-V、FusionSphere4目录OceanStor V3关键技术OceanStor V3应用场景OceanStor V3硬件架构423OceanStor V3产品介绍155300 V3/5500 V3 产品形态体系架构采用最新的pangea硬件平台5300 V3/5500 V3：

4、盘控分离（盘控一体）Active-Active 冗余双控制器产品特点高性能：PCIE3.0高速总线和SAS3.0高速IO通道高可靠性：全冗余设计内置BBU + 数据保险箱各种数据保护技术高扩展性：IO接口模块热插拔2U支持4张可拔插接口卡，2张板载接口卡绿色节能：CPU智能调频风扇精细化调速65600 V3/5800 V3/6800 V3 产品形态体系架构采用最新的pangea硬件平台5600 V3/5800 V3：盘控分离（独立机头）6800 V3：盘控分离（独立机头）Active-Active 冗余双控制器产品特点高性能：PCIE3.0高速总线和SAS3.0高速IO通道高可靠性：全冗余设计

5、内置BBU + 数据保险箱各种数据保护技术高扩展性：IO接口模块热插拔3U支持16张接口卡 / 6U支持24张接口卡绿色节能：CPU智能调频风扇精细化调速5600 V3/5800 V36800 V375300 V3/5500 V3 硬件架构电源/BBU/风扇一体化模块 1+1冗余 转换效率高达94% 支持-48V直流和240V高压直流接口模块 2个热插拔接口模块槽位 接口类型：8Gb/16Gb FC、GE、10GE TOE、10GE FCoE、12Gb SAS板载接口 5300 V3每控制器板载4GE 5500 V3每控制器板载48G FCSAS级联接口 每控提供2个SAS级联口85300 V

6、3/5500 V3 硬件系统架构业业务务子子系系统统Service channelManage channelPower supplyPCIe GEN38电源/BBU/风扇模块0电源/BBU/风扇模块1接口模块A0控制模块B机机电电子子系系统统PCIe GEN3812V12V接口模块A1接口模块B1PCIe GEN38接口模块B0控制模块A备注：BBU选配，根据写CACHE大小不同，BBU备份方式不同disk0disk1disk23disk24硬硬盘盘子子系系统统95600 V3/5800 V3 硬件架构BBU模块 5600 V3：1+1冗余；5800 V3：2+1冗余 支持交流电源掉电保护控

7、制模块 双控制器 自动变频，降低能耗 自带风扇模块（即风扇集成在控制模块中，但可以独立维护）管理模块 1+1冗余 支持热插拔 支持多控Scale-out互联，实现心跳电源模块 1+1冗余 转换效率高达94% 支持240V高压直流接口模块 16个接口模块槽位，支持热插拔 接口类型：8Gb/16Gb FC、GE、10GE TOE、10GE FCoE、12Gb SAS105600 V3/5800 V3 架构图系统插框BBU模块控制器电源模块管理模块接口模块115600 V3/5800 V3 后端接口示意图1235467891.电源模块2.管理模块3.USB（预留）4.管理网口5.维护网口6.串口7.

8、12Gb mini SAS HD8.8Gb FC9.GE说明：1、管理网络全互联，即一个管理网口可以管理A控和B控；2、串口有对应关系，SMM 0管理板的串口对应B控制器；SMM 1管理板的串口对应A控制器125600 V3/5800 V3 硬件系统架构业业务务子子系系统统Service channelManage channelPower supplyPCIe GEN38电源0BBU0BBU1电源1BBU2BBU3接口模块A0控制模块B管理接口模块A管理接口模块B管管理理子子系系统统机机电电子子系系统统PCIe GEN2812V12V接口模块A7接口模块B7PCIe GEN28接口模块B0控

9、制模块A风扇模块0风扇模块2风扇模块1风扇模块0风扇模块2风扇模块1备注：BBU选配，根据写CACHE大小不同，BBU备份方式不同136800 V3硬件架构BBU模块 3+1冗余 支持交流电源掉电保护控制模块 支持双控和四控两种配置 自动变频，降低能耗 自带风扇模块（即风扇集成在控制模块中，但可以独立维护）管理模块 1+1冗余 支持热插拔 支持多控Scale-out互联，实现心跳电源模块 1+1冗余，支持240V高压直流 转换效率高达94%接口模块 双控支持12个；四控支持24个接口模块模块； 支持热插拔 接口类型：8Gb/16Gb FC、GE、10GE TOE、10GE FCoE、12Gb

10、SAS146800 V3 架构图系统插框BBU模块控制器电源模块管理模块接口模块156800 V3 后端接口示意图1.USB（预留）2.管理网口03.管理网口14.维护网口5.串口6.12Gb mini SAS HD7.8Gb FC8.GE说明：1、管理网络全互联，即一个管理网口可以管理A控和B控；2、串口有对应关系，SMM 0管理板的串口对应B控制器；SMM 1管理板的串口对应A控制器172345689166800 V3硬件系统架构业业务务子子系系统统PCIe GEN38电源0BBU0BBU1电源3BBU2BBU3接口模块A0控制模块B管理接口模块A管理接口模块B管管理理子子系系统统机机电电

11、子子系系统统PCIe GEN3812V12V接口模块A5接口模块B5PCIe GEN38接口模块B0控制模块A风扇模块0风扇模块2风扇模块1风扇模块0风扇模块2风扇模块1电源1电源2PCIe GEN38接口模块A0控制模块DPCIe GEN38接口模块A5接口模块B5PCIe GEN38接口模块B0控制模块C风扇模块0风扇模块2风扇模块1风扇模块0风扇模块2风扇模块117普通硬盘框硬件架构硬盘模块电源模块级联模块硬盘模块风扇模块级联模块电源模块4U硬盘框（24盘位），支持24块3.5英寸硬盘2U硬盘框（25盘位），支持25块2.5英寸硬盘18高密硬盘框硬件架构系统插框电源模块风扇模块级联模块硬

12、盘模块4U高密硬盘框（75盘位）支持安装75块3.5英寸硬盘19高密硬盘框布局图I/O ModuleI/O ModulePowerPowerPowerPowerWidth=446mmI/O ModuleFanPowerDiskDiskDiskDiskDisk4UDepth=790mml高*宽*深：4U*446mm*790mml每个高密框最大支持的盘数：5x15=75lSAS 级联板： 1+1备份，支持独立维护；FanFanFanFanFanFanFanFanFanFanFanFan43210131211109857614Front viewTop viewBack viewSide viewS

13、AS 级联板级联板（I/O Module）SAS 级联板级联板（I/O Module）A10111213141234569780BCDE20目录OceanStor V3关键技术OceanStor V3应用场景OceanStor V3硬件架构423OceanStor V3产品介绍121RAID2.0+软件架构物理硬盘存储池PoolChunkCKG主机看见LUN多种类型硬盘同时存放于存储池每个硬盘空间被切分成精细粒度的块Chunk来自不同硬盘上的Chunk组成CKGLUN可在短时间内创建成功ExtentCKG被切分成更细粒度的空间分级不分级Volume不分级多个Extent组成Volumel华为R

14、AID 2.0+ ： 底层介质虚拟化 + 上层资源虚拟化，同时解决数据快速重构问题和资源的智能分配问题l数据快速重构：缩短数据重构时间，从10 小时到 30 分钟，使重构速度提升20倍，大幅降低重构过程对业务的影响和多盘失效的概率l存储池内所有硬盘参与重构，仅重构业务数据；由传统RAID多对一的重构模式转变为多对多快速重构模式22RAID2.0+重构原理23概念 虚拟快照是指源数据在某个时间点的一致性数据副本。快照技术的一种（一般指虚拟快照和LUN克隆），虚拟快照依赖于源LUN。技术特点l瞬间生成：存储系统可以在几秒钟内生成一个快照，获取源数据的一致性副本。l占用存储空间少：生成的快照数据并非

15、完整的物理数据拷贝，不会占用大量存储空间。所以即使源数据量很大，也只会占用很少的存储空间。应用场景l快速数据备份和恢复（应对误删、病毒等）l数据持续保护l数据分析、测试1. 虚拟快照激活之前，数据写入动作不变abcefg源LUN资源空间2. 虚拟快照被激活，创建映射表，记录数据映射关系1234567映射表3. 写前拷贝，新数据写入时，先将源LUN的旧数据块写入资源空间同时修改映射表，再将新数据写入源LUNdx4. 源LUN该位置数据块再次被修改时，新数据直接覆盖y5. 快照回滚d快照点非快照点快照时间点的数据HyperSnap工作原理HyperSnap（虚拟快照）24HyperClone工作原

16、理1.在初始同步时主LUN收到生产主机写请求，需要检查同步进度；2.若要写入位置的数据块尚未拷贝到从LUN，只需要写主LUN即可返回主机成功，稍后利用同步任务将整个数据块同步到从LUN；3.若要写入位置的数据块已经拷贝，需要分别写入主从LUN；4.若要写入位置的数据块正在拷贝，需要等待该数据块拷贝完成后分别写入主LUN和从LUN；5.初始同步完成后可以将主、从LUN分裂，这时主、从LUN都可以用于独立的数据分析及测试，主、从LUN数据的变化互不影响，只是用进度位图记录对应数据块的变化。优势和应用场景l主LUN损坏从LUN不受影响，一个主LUN可以有多个从LUNl主要用于数据备份和保护、数据测试

17、分析主LUN从LUN000111111进度位图abcdefghiabc初始同步j k已拷贝完成的块位图为“0”， 未拷贝完成和正在拷贝的位图为“1”jjk0el l0fghi分裂m n000011相同块位图为“0”， 不同块位图为“1”HyperClone工作原理概念 克隆是快照技术的一种，是源数据在某个时间点的完整副本，是一种可增量同步的备份方式。HyperClone（LUN克隆）25概念 存储系统中的源LUN数据拷贝到目标LUN中，支持在阵列间和阵列内的拷贝功能。 HyperCopy 全量拷贝工作原理l全量拷贝，即把源LUN数据从头到尾进行一次完整的至目标LUN的拷贝。l离线进行，如果复制

18、过程中源LUN收到写IO，则目标LUN上的数据可能不具备时间一致性；因此复制过程中需暂停对源LUN的写IO。 优势和应用场景l支持第三方存储l支持源LUN比目标LUN容量小的场景l阵列间或阵列内的数据迁移l数据备份1全量拷贝业务暂停源LUN目标LUNLUN拷贝1 2 34 5 67 8 91 2 34 5 67 8 9HyperCopy工作原理HyperCopy（LUN拷贝）26 概念 远程复制技术的一种，存储间实时的同步数据，最大限度保证数据的一致性，以减少灾难发生时数据的丢失量。 HyperReplication /S工作原理l建立同步远程复制之初，会启动一个初始同步，也就是将主LUN 数

19、据全量拷贝到从LUN；l初始同步完成以后，如果此时主LUN 收到生产主机写请求，按照如下流程进行I/O 处理：1.主站点接收生产主机写请求，记录这个I/O 对应数据块的差异日志值为“有差异”；2.主站点将写请求的数据写入主LUN（LUN A），同时利用配置好的链路将写请求发送到远端从站点；3.判断写LUN A和写LUN B的执行结果，如果都成功，则将差异日志改为“无差异”，否则保留“有差异”，在下一次启动同步时重新拷贝这一个数据块；4.向主机返回写请求完成。同步远程复制CacheCacheCacheCacheLUN ALUN B主站点从站点12223334HyperReplication/S工

20、作原理优势和应用场景l零数据丢失l复制比可达32:1（同步远程复制+异步远程复制之和）l主从存储可互为镜像l适用于本地或同城数据容灾HyperReplication/S（同步远程复制）27 概念 远程复制技术的一种，存储间周期性地同步数据，最大限度减少由于数据远程传输的时延而造成的业务性能下降。 HyperReplication/A工作原理l建立异步远程复制之初，会启动一个初始同步，也就是将主LUN 数据全量拷贝到从LUN；l初始同步完成以后，开始按照下面的流程进行I/O 处:1.每个复制周期启动时在主LUN（LUN A）和从LUN （LUN B）的缓存中产生新的时间片（TPN+1 和 TPX

21、+1）；2.主站点接收生产主机写请求；3.主站点将写请求的数据写入Cache 时间片TPN+1 中，立即响应主机写完成； 4.同步数据时，读取前一个周期主LUN A Cache 时间 片TPN 的数据，传输到从站点，写入LUN B Cache 时间片TPX+1 中；若主站点Cache写缓存达到高水位时会自动刷盘，此时时间片TPN 的数据会在盘上生成快照；5.同步时已刷盘的数据从快照中读取并复制到LUN B。异步远程复制CacheCacheCacheCacheLUN ALUN B主站点从站点125354N+1N+1N NX+1X+1X X1采用创新的多时间片缓存技术（专利号：CT/CN2013/

22、080203），实现秒级RPO秒级RPO实现异步远程复制工作原理优势和应用场景l性能影响较小，RPO可达到5秒l复制比可达32:1（同步远程复制+异步远程复制之和）l主从存储可互为镜像l适用于本地、同城、异地数据容灾HyperReplication/A（异步远程复制）28HyperMirror（卷镜像）卷镜像是一种数据冗余备份技术，可以为一个LUN创建多个镜像物理副本，对LUN提供持续的冗余备份保护，从而提高单个LUN的可靠性和可用性。功能原理l创建镜像LUN：将一个本地LUN或外部LUN变成镜像LUN，同时生成一个镜像副本；再为镜像LUN添加一个镜像副本，形成冗余备份l同步：初始同步：当创建

23、镜像LUN后，将镜像LUN中的数据全部拷贝到镜像副本中，之后对镜像LUN、镜像副本进行双写增量同步：当镜像副本从“分裂”或“异常断开”中恢复“正常”时，待恢复的镜像副本会增量拷贝镜像LUN变更的数据l分裂：分裂出去的镜像副本数据不可用，未分裂出去的镜像副本数据可用29SmartTier（智能数据分级）迁移模式提供手动和自动迁移模式。可设置IO监控时段和迁移时段迁移速度可提供三种不同级别的迁移速度：高、中、低迁移策略包括“自动迁移”、“向高性能层迁移”、“向低性能层迁移”、“不迁移”四种方式SmartTier的价值满足企业对性能和容量的双重需求，避免历史数据占用昂贵的存储介质，保证企业有效投入，

24、消除无用容量带来的能耗开销，降低企业TCO，得到最优性价比虚拟化混合负载模型（18 个Exchange 虚拟机，2 个数据库虚拟机，2 个应用虚拟机）达到26564的事务IOPS处理能力30传统存储华为存储SmartMotion系统上线N个月容量性能系统上线N个月容量性能容量性能容量性能系统刚上线容量性能系统刚上线技术原理l在线实时监控硬盘CK的使用率、IO等l定时迁移CK至“空闲”硬盘，通过迁移CK实现硬盘容量和性能的均衡l双重机制降低迁移对业务的影响： “优先级”和“流控”技术优势l实现存储资源智能水平流动，硬盘内部负载均衡l新加入硬盘时，数据和性能均衡分布l实现在调整过程中业务连续l维持

25、容量和性能动态均衡SmartMotion（智能数据迅移）3132MB32MB32MB32MB8KB数 据 量：32KB分配空间：256KB数 据 量：32KB分配空间：128MB利用率提升数50倍8KB8KB8KB8KB8KB8KB8KB1. 写操作Thin LUN2、查询映射表，进行分配或修改Pool用时再分配空间分配物理空间存储实际数据技术原理l写时分配：当分配空间不足时，默认以64KB粒度补配空间l映射表：逻辑单元和物理单元（即默认64KB粒度）之间通过映射表关联l读写重定向：通过映射表将读写逻辑单元的IO重定向到物理单元技术优势l高效分配策略：64KB分配粒度，针对小数据块场景，分配效

26、率更高l多样回收机制：支持VMware VAAI命令回收、Symantec Storage Foundation命令回收、Windows Server 2012命令回收、全零页面检测回收SmartThin（智能精简配置）32全零数据块/未使用空间非全零数据块/已使用空间主要技术1.当Thin LUN收到主机写请求时，先将该请求按照Grain粒度（即分配空间的粒度，64KB）进行拆分，并对所有Grain逐个进行零数据检测。2.查询Thin LUN的空间分配映射表，获取全零Grain的物理空间分配情况。3.如果全零Grain所在的逻辑地址还未分配物理空间，则直接返回该全零Grain写入成功，不需要

27、对其做写时分配操作。4.反之，如果全零Grain所在的逻辑地址已经分配物理空间，则触发释放该物理空间的操作，释放空间完成后返回该全零Grain写入成功。Thin LUN映射表POOL释放空间数据缩减33SmartQoS（智能服务质量控制）限制一般业务性能，避免扰邻启动限流策略一般业务性能冲高，关键业务受影响开启优先级控制 SmartQoS（智能服务质量控制）为不同的业务指定不同性能目标，以满足关键业务的运行。适用于多业务混合应用场景。l优先级策略：系统内部维护多个IO队列，队列按照高、中、低档次分类，通过控制前端并发、CPU、Cache、后端硬盘等环节进行IO排队处理l流控机制设置上限值：通过

28、限制IOPS、带宽、延时等，限制非关键应用的性能，避免非关键应用抢占过多存储资源34SmartQoS（智能服务质量控制）开启性能保障目标：目标：80008000l流控机制设置下限值：为关键应用设置最低性能目标（如IOPS、带宽、延时等），无论存储负载如何变化，系统尽快最大能力满足关键应用的最低指标35SmartPartition（智能缓存分区）SmartPartition（智能缓存分区）通过对系统核心资源缓存的分区，保证关键应用的性能技术原理l将存储缓存划分为多个大小不等的缓存分区l将不同应用分配到不同的缓存分区l系统自动调整每个缓存分区的主机并发和访盘并发，进而调整每个应用的服务质量效果l专

29、属缓存分区，实现业务隔离，提高可靠性l核心业务专属保障，充分利用缓存资源，大幅提升服务质量l适用于多业务混合应用场景36SmartVirtualization（智能异构虚拟化）EMCIBMHUAWEI 整合异构存储，充分利旧l充分利用现有存储系统，保护既有投资l统一访问界面，简化管理l通过整合，提升数据效能异构存储数据迁移，数据可用l异构存储数据迁移，将数据从陈旧存储系统上迁出，保证数据的可用性l跨级存储数据迁入，利用企业级功能特性，改善原有数据的存储效能l跨级存储数据迁出，将不活跃数据迁移至廉价存储上，降低TCO37SmartMigration（LUN迁移）应用场景l结合异构功能在线搬迁友商

30、数据lThin LUN和Thick LUN互换lRAID级别迁移技术原理l业务数据同步：通过双写和DCL来完成同步，保证迁移完成后的数据一致性lLUN信息交换：LUN ID不变，交换数据卷ID，使得迁移完成后的源LUN所指向的物理空间变成了目标数据卷，从而实现了用户无感知的业务迁移本端本端CacheCache133346源LUN对端对端CacheCache525DCL目标LUNPair源LUN目标LUNLUN ID数据卷ID00LUN ID数据卷ID00LUN ID数据卷ID01LUN ID数据卷ID11LUN ID数据卷ID11LUN ID数据卷ID10交换前交换中交换后LUN信息交换，改变

31、LUNID与数据卷ID的映射关系38SmartMulti-Tenant（多租户）租户管理员BTenant B租户管理员CTenant CDataDataDataDataDataData租户管理员ATenant ADataDataData存储管理员存储管理员：对阵列内所有资源进行管理，包括对所有租户的管理租户管理员：只能对租户内资源进行管理多租户特性有效隔离租户间的资源数据，将一部分资源的管理功能下放给各自的租户，由租户的管理员对租户内的资源进行自管理。功能原理l分权分域：租户管理员可以进行基本的磁盘（LUN）管理和性能监控存储管理员可以给租户分配磁盘（LUN），并分配租户管理员，以及对租户管理员进行管理l资源管理：存储管理员具有完全的资源管理权限，租户管理员仅提供资源查询能力。39SmartErase（数据销毁）SmartErase提供两种数据销毁方式：lDoD 5220.22-M：美国国防部提出的数据销毁标准，该标准提出了一种通过三次覆盖写对可写存储介质进行数据销毁的软件方法使用一个8位的字符进行所有地址覆盖写使用该字符的补码（0和1全反转的字符）进行所有地址覆盖写使用一个随机字符进行覆盖写l自定义：自定义覆盖写方式系统按照内部算法生成数据并使用该数据按照用户指定次数对LUN进行所有地址覆盖写可设置对LU