OceanStor 5000混合闪存系统技术白皮书-D

1、华为 OceanStor 5000 系列混合闪存存储系统技术白皮书华为 OceanStor 5000 V5 系列混合闪存存储系统技术白皮书目 录目 录 HYPERLINK l _bookmark0 摘要1 HYPERLINK l _bookmark1 简介2 HYPERLINK l _bookmark2 产品系列2 HYPERLINK l _bookmark4 客户价值3 HYPERLINK l _bookmark6 系统架构5 HYPERLINK l _bookmark7 硬件架构5 HYPERLINK l _bookmark9 多控 Scale-out.5 HYPERLINK l _boo

2、kmark11 硬件全冗余6 HYPERLINK l _bookmark12 门卫式数据加密（国内适用）7 HYPERLINK l _bookmark13 SED 数据加密（国外适用）7 HYPERLINK l _bookmark14 软件架构8 HYPERLINK l _bookmark17 块级虚拟化9 HYPERLINK l _bookmark19 SAN/NAS 一体化11 HYPERLINK l _bookmark20 负载均衡12 HYPERLINK l _bookmark21 数据缓存12 HYPERLINK l _bookmark22 端到端数据完整性保护13 HYPERLIN

3、K l _bookmark23 丰富软件特性13 HYPERLINK l _bookmark24 面向闪存的系统优化14 HYPERLINK l _bookmark25 精简高效 Smart 特性系列15 HYPERLINK l _bookmark26 异构虚拟化（SmartVirtualiztaion）15 HYPERLINK l _bookmark28 数据迁移（SmartMigration）17 HYPERLINK l _bookmark31 数据重删压缩（SmartDedupe&SmartCompression）18 HYPERLINK l _bookmark35 智能数据分级（Sma

4、rtTier）21 HYPERLINK l _bookmark37 块数据分级（SmartTier for Block）21 HYPERLINK l _bookmark38 文件数据分级（SmartTier for File）22 HYPERLINK l _bookmark40 智能精简配置（SmartThin）23 HYPERLINK l _bookmark42 智能服务质量控制（SmartQoS）23 HYPERLINK l _bookmark44 智能缓存分区（SmartPartition）25 HYPERLINK l _bookmark46 SSD 智能缓存（SmartCache）27

5、 HYPERLINK l _bookmark49 LUN 销毁（SmartErase）27 HYPERLINK l _bookmark51 多租户（SmartMulti-Tenant）28 HYPERLINK l _bookmark53 智能配额（SmartQuota）29 HYPERLINK l _bookmark55 智能数据迅移（SmartMotion）30 HYPERLINK l _bookmark57 数据保护 Hyper 特性系列31 HYPERLINK l _bookmark58 快照（HyperSnap）31 HYPERLINK l _bookmark60 LUN 快照（Hyp

6、erSnap For Block）31 HYPERLINK l _bookmark61 FS 快照（HyperSnap For File）32 HYPERLINK l _bookmark62 克隆（HyperClone）34 HYPERLINK l _bookmark64 LUN 克隆（HyperClone For Block）34 HYPERLINK l _bookmark65 FS 克隆（HyperClone For File）36 HYPERLINK l _bookmark66 远程复制（HyperReplication）37 HYPERLINK l _bookmark68 LUN 同步

7、远程复制（HyperReplication/S For Block）38 HYPERLINK l _bookmark69 LUN 异步远程复制（HyperReplication/A For Block）40 HYPERLINK l _bookmark70 FS 异步远程复制（HyperReplication/A For File）41 HYPERLINK l _bookmark71 阵列双活（HyperMetro）43 HYPERLINK l _bookmark73 阵列双活（HyperMetro For Block）43 HYPERLINK l _bookmark74 阵列双活（HyperM

8、etro For File）45 HYPERLINK l _bookmark75 一体化备份（HyperVault）47 HYPERLINK l _bookmark77 LUN 拷贝（HyperCopy）47 HYPERLINK l _bookmark79 卷镜像（HyperMirror）49 HYPERLINK l _bookmark81 WORM（HyperLock）51 HYPERLINK l _bookmark85 两地三中心（3DC）53 HYPERLINK l _bookmark87 最佳实践55 HYPERLINK l _bookmark88 A 附录56 HYPERLINK l

9、 _bookmark89 更多参考信息56 HYPERLINK l _bookmark90 如何反馈意见56 HYPERLINK l _bookmark91 缩略语表57华为 OceanStor 5000 V5 系列混合闪存存储系统技术白皮书1 摘要 1摘要华为OceanStor 5000 V5系列混合闪存存储系统（以下简称OceanStor V5中端存储系统） 是面向企业级应用的新一代统一存储产品。本文从产品定位、硬件架构、软件架构、特性方面详细介绍了OceanStor V5中端存储系统的关键技术，以及为客户带来的独特价值。华为 OceanStor 5000 V5 系列混合闪存存储系统技术白

10、皮书2 简介 2简介 HYPERLINK l _bookmark3 产品系列 HYPERLINK l _bookmark5 客户价值产品系列OceanStor V5中端存储系统包括如下型号：OceanStor 5110 V5、OceanStor 5300 V5、OceanStor 5500 V5、OceanStor 5600 V5、OceanStor 5800 V5。图 2-1 OceanStor 5110 V5/5300 V5/5500 V5 中端存储系统图 2-2 OceanStor 5600 V5/5800 V5 中端存储系统详细产品规格信息请参见： HYPERLINK /cn/prod

11、ucts/cloud-computing-dc/storage/massive-storage/5300-5500-5600-5800-v5 /cn/products/cloud-computing-dc/ HYPERLINK /cn/products/cloud-computing-dc/storage/massive-storage/5300-5500-5600-5800-v5 storage/massive-storage/5300-5500-5600-5800-v5。客户价值凭借面向云架构的存储操作系统、强劲的新一代硬件平台和丰富的智能管理软件， OceanStor V5中端存储系统在

12、功能、性能、效率、可靠性和易用性上都达到业界领先水平，很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求，广泛适用于政府、金融、电信、能源、媒资等行业。同时，OceanStor V5中端存储系统能够提供高效、灵活、丰富的备份、容灾解决方案，有效保证用户业务连续性和数据安全，为用户提供卓越的存储服务。极致融合：融会贯通，提升数据服务效率l闪存的融合：华为拥有最全面的闪存产品，能够实现不同类型，不同档次，不同代次的闪存实现互联互通；从数据面，管理面，运维面实现多层维度的闪存融 合，实现百万级IOPS的高性能低时延，同时又保障SSD的长期可靠性。lSAN与NAS的融

13、合：可同时兼容 SAN 和 NAS 两种服务，满足业务弹性发展需求，提升存储资源利用率，有效降低 TCO。将块与文件两种数据服务融会贯通， 不光能够实现多业务承载的能力，而且 SAN 与NAS 性能与功能业界领先。l存储资源池的融合：通过内置异构虚拟化功能，OceanStor V5中端存储系统能高效接管其它主流厂商存储阵列 ( 不同档位，不同种类，不同型号 )，并整合成统一的资源池，消除数据孤岛，资源可统一管理，自动化 & 服务编排；同时，还可以实现实现第三方设备迁移 0 中断，迁移操作工具化自动完成，耗时平均缩短 60%。l多数据中心的融合：融合网关，仲裁，网络的一体化双活； 组网更简单，双

14、活+HyperVault 3DC 等进一步保证核心业务连续性；从双活数据中心可平滑升级到3DC，提供两地三中心最高级别的业务连续性；可实现 64:1 的多级 DC，提供数据集中容灾与保障。稳定可靠：从产品到方案实现99.9999%高可用l多控制器负载均衡：OceanStor V5中端存储系统实现多个控制器间负载均衡，消除单点故障，实现系统高可用，保护业务稳定在线。同时可利用多个控制器并发加速同一主机业务，消除单控制器性能瓶颈，实现性能加倍。l独有的数据快速恢复技术：采用创新的块级虚拟化技术，1TB 数据重构时间从 10个小时降低到 30 分钟，与传统存储相比，因硬盘故障引起的数据失效风险降低9

15、5%。l丰富的数据保护方案：Hyper 系列数据保护特性包含快照、克隆、一体化备份、远程复制等数据保护技术，可以实现用户系统内、本地、异地以及多地的数据保护方案，实现 99.9999% 的可用性，最大程度保障用户业务连续性和数据可用性。l面向核心应用的SAN与NAS一体化双活保护：创新性的在业界率先推出一体化双活方案，OceanStor V5中端存储系统同时支持 SAN 与 NAS 双活，确保数据库与文件业务同时高可用。凭借 HyperMetro 免网关 Active-Active 双活，保障双活系统具备负载均衡的双活镜像以及无中断的跨站点接管，保障用户核心应用数据零丢失，业务零中断。此外，华

16、为 HyperMetro 双活方案能够平滑升级至两地三中心解决方案。极致性能：满足企业业务的性能弹性增长需求l面向闪存的存储架构：采用面向闪存的系统架构，基于闪存融合技术在CPU调 度、Cache、RAID以及系统与硬盘联动等方面专门针对闪存进行了设计，系统可对HDD和SSD介质智能感知，自动识别介质类型并动态选择最优系统算法适配， 确保存储系统处理大量业务访问时依然能够提供稳定低于1ms的I/O快速响应，保证用户关键应用的极致性能体验。l 匹配闪存设计的领先规格： OceanStor V5中端存储系统采用多核处理器，支持多种主机接口；控制器之间采用 PCIe 3.0 总线互联，并采用 12G

17、bps SAS 3.0 高速硬盘接口，满足视频、大文件等高带宽应用场景所需。l 灵活的扩展性：可线性扩展系统资源，能够平滑扩展至最大 16 个控制器、8TB 缓存，满足用户未来业务高速增长的数据需求，帮助用户实现投资收益最大化。华为 OceanStor 5000 V5 系列混合闪存存储系统技术白皮书3 系统架构 3系统架构 HYPERLINK l _bookmark8 硬件架构 HYPERLINK l _bookmark15 软件架构硬件架构OceanStor V5中端存储系统采用智能矩阵式多控架构，以控制框为单位横向扩展，达到性能和容量的线性增长。单个控制框采用双控冗余架构，双控间采用板载P

18、CIe 3.0实现双控缓存镜像通道，多控制框之间通过10GbE交换机或PCIE交换机实现Scale-out。控制框或硬盘框内的硬盘通过双端口连接到两个控制器，支持SAS接口的SSD、SAS、NL-SAS三种类型硬盘。通过BBU（Backup Battery Unit），在系统掉电时把Cache中的缓存数据持久化到数据保险箱上实现缓存数据的保护。多控 Scale-out全新的OceanStor V5中端存储系统拥有PCIe 3.0背板互联设计、后端SAS 3.0技术和Intel 新一代Skylake CPU所带来的高速通道和强劲的计算能力，灵活满足客户越来越高的性能需求。而中端与高端一样无单点故

19、障的设计和Scale-out的扩展能力，更是为只有有限预算的客户带来了高端存储才有的高可靠性和灵活扩展性。OceanStor V5中端存储系统采取控制框间IP互联或PCIE光互联架构设计实现横向扩展。控制框间的业务交换通道由10GbE以太网或PCIE交换网络承载。系统最大支持8个控制框，每个控制框包含2个控制器，整个系统最大支持16个控制器。每个控制器分别通过两个互为冗余的交换通道与系统中其它控制器进行互连实现数据转发。控制框内的两个控制器之间采用PCIe 3.0背板互联设计（如 HYPERLINK l _bookmark10 图3-1所示），由最多32 lane PCIe 3.0组成双控间的

20、高速镜像通道。图 3-1 双控 PCIe 3.0 互联在IP互联的集群组网中，交换通道支持交换和直连组网。交换组网中多个控制框之间通过10GbE以太网连接到两个冗余的数据交换机DSW（Data Switch）中，在DSW中实现数据交换，此种集群最大支持到16个控制器；在直连组网中，一个网卡上的2个网口分别连接到另外一个控制框的控制器，此种集群最大支持到4个控制器。由于交换链路采用双链路设计，保证集群数据交换网络的冗余性。采用IP互联可以为以后集群的扩展预留空间，更适合将来的集群弹性扩展。而双控间数据交换和镜像通道采用全PCIe 的互联架构，实现更加高效的数据交换。在PCIE互联的集群组网中，控

21、制器之间采用PCIe光互联设计，实现控制器间的业务交换。集群中所有控制器通过QSFP光缆连接到两个冗余的DSW中，在DSW中实现数据交换，采用全PCIe的互联架构的优势在于减少协议转换的延时，可以实现更加高效的数据交换。采用全光互联的设计一方面提高了长距离数据传输的可靠性，另外一方面对机柜之间的距离要求减少，有利于客户机房内部的机柜布局设计。硬件全冗余OceanStor V5中端存储系统所有组件与通道均为全冗余设计，无单点故障，各组件与通道均可独立完成故障检测、修复和隔离，确保系统稳定运行。表 3-1 硬件部件全冗余位置系统部件冗余情况故障影响控制框控制器1+1冗余性能按比例下降电源模块1+1

22、冗余无影响风扇模块有冗余（不同产品型号冗余程度不同）无影响BBU模块有冗余（不同产品型号冗余程度不同）无影响接口卡1+1冗余无影响管理板a1+1冗余无影响2U硬盘框级联板1+1冗余无影响电源模块1+1冗余无影响风扇模块1+1冗余无影响4U硬盘框级联板1+1冗余无影响电源模块2+2冗余无影响风扇模块5+1冗余无影响说明a. 仅适用于5600 V5/5800 V5。门卫式数据加密（国内适用）门卫式数据加密特性，由华为存储系统、门卫式加密机、密钥管理中心（KMC，Key Management Center）三个部件组成。门卫式加密机实现商密加解密算法和数据流程， 存储系统负责加密数据的存储，密钥管理

23、中心负责加密密钥的管理和生命周期控制。 说明门卫式数据加密机，只支持FC链路，不支持快照、克隆、远程复制、LUN迁移等增值特性，不支持NAS协议加密。SED 数据加密（国外适用）华为OceanStor V5中端存储系统支持SED（Self-Encrypting Drive，自加密硬盘）数据加密特性，通过配置自加密硬盘和内置密钥管理（存储系统自带密管系统）或者外置密钥管理（外部配置独立的密管系统），与存储系统配合完成数据静态加密。数据加密特性通过AES 256密码算法对存储系统上的用户数据进行加密，保证用户数据的保密性、完整性、可用性。内置密钥管理内置密钥管理是OceanStor V5中端存储系

24、统内嵌的密钥管理应用，提供对数据加密特性中自加密硬盘的AK的生命周期管理。内置密钥管理支持密钥产生、更新、销毁、备 份、恢复等功能。内置密钥管理易部署、易配置、易管理；在无更高安全要求，并且整个数据中心的密钥管理仅用于存储系统的场景下，建议选择内置密钥管理；无需再独立部署一套密管系统。外置密钥管理OceanStor V5中端存储系统支持外置密钥管理，采用第三方外部的KMS（Key Manager Server）对数据加密特性的密钥管理。外置密钥管理采用KMIP+TLS的标准协议。 在者数据中心多场景需要密钥集中管理时，建议选择外置密钥管理。外置密钥管理支持密钥产生、更新、销毁、备份、恢复等操作

25、。同时外置密钥管理支持双机模式，两个KMS之间会进行密钥的实时同步，保证密钥可靠性。自加密硬盘SED具备两层安全保护，分别使用AK(authentication key)和DEK(data encryption key)两个安全密钥。l AK认证原理：当在OceanStor V5中端存储系统上打开硬盘加密特性时，存储会打开加密硬盘的AutoLock功能，并使用由Key Manager分配的AK，此时硬盘的访问已由SED的AutoLock功能保护，只能由存储系统本身访问。硬盘每次接入时，需要存储系统从密管服务器获取硬盘的AK，如果与硬盘上的AK匹配，硬盘就将加密后的DEK解密，用于数据加解密。如

26、果AK与硬盘上的AK不匹配，则任何读写操作都将失败。l数据加密原理：当硬盘成功通过Autolock认证后，对硬盘进行读写时，硬盘通过自身的硬件电路和内部的数据密钥（Data Entrypt Key）完成写入数据加密和读取数据解密的功能。数据在写入硬盘之后，通过DEK的加密，变成加密信息。DEK本身无法获取，意味着硬盘被拆除后，通过机械读取的方式无法还原原始信息。软件架构OceanStor V5中端存储系统提供的软件包括存储系统端软件、维护终端软件和应用服务器端软件。这三部分软件相互配合，从而智能、高效、经济地实现各种存储业务、备份业务和容灾业务。存储系统软件结构如 HYPERLINK l _b

27、ookmark16 图3-2所示。图 3-2 OceanStor V5 中端存储系统软件架构框图存储系统端软件采用OceanStor OS专用操作系统，实现硬件管理和支撑存储业务软件的运行。存储系统通过基本功能控制软件实现基础的数据存储和读写功能；通过增值功能控制软件实现各种备份、容灾和性能调优等高级功能；通过管理功能控制软件实现对存储系统的管理功能。下面从块级虚拟化、SAN/NAS一体化、负载均衡、数据缓存、端到端数据完整性保护、软件特性等方面进行关键软件架构技术介绍。块级虚拟化块级虚拟化原理OceanStor V5中端存储系统采用RAID2.0+块虚拟化架构。不同于传统RAID固定成员盘的

28、做法，RAID2.0+是基于硬盘的块级虚拟化技术。阵列内所有的硬盘被划分为固定大小的CHUNK，系统自动随机选择多个硬盘的多个CHUNK按照RAID算法组成CKG，CKG直接分配给Volume或被划分为固定大小的数据块（Extent）分配给不同的Volume 使用。Volume对外体现为LUN或文件系统（File System，缩写为FS）。RAID2.0+ 如下图所示：图 3-3 RAID2.0+块虚拟化快速重构快速重构，每个物理硬盘的CHUNK会和多个硬盘的CHUNK组成RAID，单个硬盘故障后参与重构的硬盘比传统方式多很多，可以极大提高重构速度，最快可以达到每TB重构30分钟完成。以9块

29、硬盘RAID5 为例。当硬盘1损坏，造成CKG0和CKG1的数据损坏。系统随机选择CHUNK进行重构。如下图， 14和16两个CHUNK损坏，将随机选择POOL中的空闲CHUNK进行重构（如 HYPERLINK l _bookmark18 图3-4黄色方块），随机选择的CHUNK将保证尽量分布在不同的硬盘上。图 3-4 RAID2.0+快速重构示意图（一）如下图，随机选择硬盘6的61号CHUNK和硬盘8的81号CHUNK，数据将从其他成员盘重构到这两个CHUNK。图 3-5 RAID2.0+快速重构示意图（二）传统硬盘重构的瓶颈主要在目标盘（热备盘），因为所有成员盘将所有数据读出后重构数据会全

30、部写入到目标盘，其写带宽就成了整个重构速度的关键，比如一块传统2T 大容量硬盘，重构时间就是2T除以30M/S，也就是18个小时。而经过RAID2.0+块虚拟化后将有两个方面的提升：多块目标盘，如上例子就是两块目标盘，重构时间就将缩短为9小时，当CHUNK 数量和成员盘增加时，目标盘可以达到成员盘个数，所以重构速度将极大提升。按CHUNK重构，当故障盘上分配的CHUNK较少时，需重构的数据将大幅降低， 重构速度将进一步提升。RAID2.0+最快可以达到每TB重构30分钟完成，重构时间的缩短，将大大降低双盘失效的概率。硬盘负载均衡RAID2.0+技术将使硬盘自动负载均衡，Volume的数据被均匀

31、分布到阵列内所有的硬盘上，可以防止局部硬盘过热，提升可靠性。在参与业务读写过程中，阵列内硬盘参与度高，有效提升系统性能。最大化硬盘资源利用率最大化硬盘资源利用率：性能：在RAID2.0+环境中，LUN/文件系统基于资源池（Pool）创建，不再受限于RAID组磁盘数量，单个LUN/文件系统的性能可得到大大提升；容量：由于资源池中的磁盘数量不受限于RAID级别，免除传统卷管理技术环境下有些RAID组空间利用率高而有些RAID组空间利用率低的状况，并借助LUN/文件系统动态扩容，从而提升磁盘的容量利用率。提升存储管理效率易规划：无需花费过多的时间做存储预规划，只需简单地将多个硬盘组合成存储池，设置存

32、储池的分层策略，从存储池划分空间(卷)即可；存储池易扩容：当需要扩容存储池，只需插入新的硬盘，系统会自动的调整数据分布，让数据均衡的分布到各个硬盘上；卷易扩容：当需要扩容卷时，只需输入想要扩容的卷大小，系统会自动从存储池中划分所需的空间，并自动调整卷的数据分布，使得卷数据更加均衡的分布到所有的硬盘上。SAN/NAS 一体化OceanStor V5中端存储系统采用SAN/NAS一体化设计，不再需要NAS网关设备，一套软硬件同时支持SAN和NAS，支持NFS、CIFS、FTP、HTTP等文件访问协议，以及NDMP文件备份协议。NAS与SAN一样，同样支持16控的Scale-out，主机可以从任意1

33、 个控制器上的前端主机端口访问任意1个LUN或文件系统。统一存储的OceanStor V5融合平台架构如下图，文件系统和LUN是平行的出在Space子系统之上，下面是基于RAID2.0+的块虚拟化存储池子系统。在这个架构中，文件系统和LUN都直接与底层的Space子系统交互。文件系统架构是基于对象的，每个文件或文件夹是一个对象，每个文件系统是由对象组成的对象集。对于LUN来说，LUN分ThinLUN和传统的Thick LUN。两种LUN也都来自于Pool和Space系统，并没有建立在文件系统之上。这样简化的软件栈带来的存储效率比传统的统一存储架构效率要高，同时LUN和文件系统各自保持独立，互不

34、影响。图 3-6 OceanStor OS 软件平台架构示意图负载均衡SAN 负载均衡默认情况下，OceanStor V5中端存储系统自动将不同LUN均衡分配到不同控制器，LUN空间均衡打散到系统内所有硬盘。如果主机到存储阵列的每个控制器都有I/O路径，华为自研多路径软件UltraPath会优选LUN归属控制器的路径下发；如果没有优选路径，则IO下发到阵列后，系统会自动判断对应LUN业务应由哪个控制器处理，通过Smart Matrix智能矩阵将IO转发到对应控制器进行处理。通过将LUN均衡分配给不同控制器及LUN空间在全局范围均衡分布，使得不同控制器业务、硬盘压力相对均衡，配合华为自研多路径U

35、ltraPath选择最优路径下发IO，使系统性能达到了最优。NAS 负载均衡默认情况下，OceanStor V5中端存储系统自动将不同文件系统均衡分配到不同控制器， 文件系统空间均衡打散到系统内所有硬盘，使得不同控制器业务、硬盘压力相对均衡。OceanStor V5中端存储系统也同时提供DNS负载均衡特性，可根据业务负载智能地将主机NFS/CIFS/FTP客户端连接分发给配置在不同节点、不同端口上的业务IP进行处理， 从而提升系统的性能和可靠性。DNS负载均衡特性是指主机通过域名访问存储阵列的NAS业务时，先发DNS请求到阵列内置DNS服务器，根据域名获取IP地址。域名下包含多个IP时，内置D

36、NS服务器根据各IP所在的控制器的CPU利用率、端口带宽利用率、所在控制器的NAS连接数等，选择负载较轻的IP作为DNS响应返回给主机。主机收到DNS响应后，向目标IP发起业务请求。DNS负载均衡特性支持的负载均衡策略有轮循方式、按节点CPU利用率、按节点连接数、按节点带宽利用率、按节点综合负载。数据缓存l缓存分布：OceanStor V5中端存储系统的物理内存的使用分布情况为：物理内存 = 操作系统等占用缓存 + 读缓存 + 本地写缓存 + 镜像写缓存 + 业务特性占用缓存l缓存类型：OceanStor V5中端存储系统缓存分为读缓存、写缓存。读缓存：将已读取的数据保存在内存空间中（读缓存）

37、，当下次再次读取同一数据时就不必重新从磁盘上读取，从而提高速率。写缓存：将要写入磁盘的数据先保存在内存空间中（写缓存），当保存到写缓存中的数据达到一个阈值时，便将数据保存到硬盘中。通过读写缓存可以减少实际的磁盘操作，提升系统读写性能，同时有效的保护磁盘免于重复的读写操作而导致的损坏。写缓存没有使用时，系统所有缓存都可以用作读缓存。系统对读缓存有最小容量预留，以保证在写业务压力很大时，仍能保证读业务缓存资源可以使用。l缓存预取：OceanStor V5中端存储系统实现了多路顺序流识别算法，即在大量乱序和随机的IO中识别出顺序IO流，对顺序的读写IO流采用预取和合并算法，能优化多种应用场景的系统性

38、能。同时，OceanStor V5中端存储系统的预取算法实现了智能预取、固定预取、倍数预取等算法。智能预取能自动识别IO特征，根据IO特征决定是否预取、预取多大长度，确保产品性能能满足不同应用场景。系统默认采用智能预取算法，在某些I/O模型非常明确的应用场景，用户也可以配置固定预取或倍数预取算法，这两种算法支持由用户自行配置预取数据长度。l缓存淘汰：当系统缓存占用率达到阈值时，淘汰算法根据历史访问频率和当前的访问频率，计算数据块的热度，结合多路顺序流识别算法，选择合适的数据进行淘汰。另外根据用户的具体需要，可配置Volume的缓存优先级，还可以对具体业务调整每个IO的优先级。低优先级的数据，优

39、先淘汰；高优先级的数据缓存更多，保证数据命中率。端到端数据完整性保护ANSI T10 PI（Protection Information）标准提供了一种方法来校验访问存储系统过程中的数据完整性。这种检查通过T10标准中定义的PI字段来实现。该标准通过在每个扇区数据后加上8字节的PI字段来实现数据完整性检查。T10 PI通常用来保证存储系统内部的数据完整性。DIX（Data Integrity Extensions）进一步延伸了T10 PI的保护范围，实现了从应用到主机HBA的数据完整性保护，因此，DIX+T10 PI可以实现从应用到硬盘的完整的端到端数据保护。OceanStor V5中端存储系

40、统不但支持T10 PI来保证存储系统内部的数据完整性保护，而且支持从应用到硬盘的DIX+T10 PI端到端数据完整性保护。阵列对数据PI字段进行实时校验并下发，如果主机侧不支持PI，则阵列会在主机接口增加PI字段并下发。在存储系统中，PI跟随用户数据一起参与各种转发、传输并最终存储到磁盘介质中。数据被主机应用重新读出前，系统会通过数据PI检查数据的正确性和完整性，保证用户数据的可靠性。丰富软件特性OceanStor V5中端存储系统提供了用于系统效率提升的Smart软件系列和用于数据保护的Hyper系列软件：l效率提升系列（Smart系列）：在线重删（SmartDedupe）、在线压缩（Sma

41、rtCompression）、智能精简配置（SmartThin）、异构虚拟化（SmartVirtualization）、智能数据迅移（SmartMotion）、智能数据迁移（SmartMigration）、智能数据分级（SmartTier）、智能服务质量控制（SmartQoS）、智能缓存分区（SmartPartition）、数据销毁（SmartErase）、多租户（SmartMulti-Tenant）、SSD智能缓存（SmartCache）、智能配额（SmartQuota），主要为用户提供存储效率提升方面的功能，降低用户的TCO。l数据保护系列（Hyper系列）：快照（HyperSnap）、克

42、隆（HyperClone）、远程复制（HyperReplication）、双活（HyperMetro）、一体化备份（HyperVault）、LUN拷贝（HyperCopy）、卷镜像（HyperMirror）、WORM（HyperLock），主要为用户提供数据容灾备份相关的功能。同时支持丰富的两地三中心（3DC）解决方案。面向闪存的系统优化SSD盘优势在于随机IO性能好，时延低，劣势在与擦写次数有限；而HDD优势在于顺序IO性能好，无擦写次数限制。OceanStor V5中端存储系统对SSD盘与SSD/HDD混合存储进行了针对性优化，以达到更好的性能和可靠性。系统与自研SSD Firmware无

43、缝联动SSD由于采用Flash的原因，盘片内部会存在擦除操作，当盘片内部正在擦除时， 与擦除相同通道的其他数据不能读写，因此会造成大约12ms的时延，导致性能波动。华为存储系统采用华为自研SSD时，系统和盘片配合，协调多个硬盘轮流执行擦除操作，系统不选择从正在擦除的盘读取数据，而是通过RAID冗余从其他盘上读取数据，从而保证稳定的时延。Cache针对 SSD的智能“感知”针对SSD和HDD，华为存储系统采取不同的脏数据刷盘策略，充分发挥出各自优势：当经过华为认证的硬盘接入时，系统自动识别介质类型。针对SSD硬盘，系统按照LRU算法刷盘，降低算法计算复杂度（也降低了时延），延迟活跃数据的刷盘时间

44、，减少下盘次数，减小写放大，提升系统性能，同时也延长了SSD寿 命。多核性能优化在多核调度机制方面，针对NUMA架构进行性能优化，例如把单个IO的消息调度在一个CPU核上进行处理，减少多CPU间访问开销，提升CPU缓存命中率。在多线程运行效率上，通过数据结构的合理设计，避免多线程并发访问CPU L1Cache一个缓存单位（Cacheline）上的数据，消除CPU L1 Cache伪共享的问题，极大提升CPU L1 Cache利用效率，减小数据内存访问的CPU开销。华为 OceanStor 5000 V5 系列混合闪存存储系统技术白皮书4 精简高效 Smart 特性系列 4精简高效 Smart

45、特性系列 HYPERLINK l _bookmark27 异构虚拟化（SmartVirtualiztaion） HYPERLINK l _bookmark29 数据迁移（SmartMigration） HYPERLINK l _bookmark32 数据重删压缩（SmartDedupe&SmartCompression） HYPERLINK l _bookmark36 智能数据分级（SmartTier） HYPERLINK l _bookmark41 智能精简配置（SmartThin） HYPERLINK l _bookmark43 智能服务质量控制（SmartQoS） HYPERLINK l

46、 _bookmark45 智能缓存分区（SmartPartition） HYPERLINK l _bookmark47 SSD智能缓存（SmartCache） HYPERLINK l _bookmark50 LUN销毁（SmartErase） HYPERLINK l _bookmark52 多租户（SmartMulti-Tenant） HYPERLINK l _bookmark54 智能配额（SmartQuota） HYPERLINK l _bookmark56 智能数据迅移（SmartMotion）异构虚拟化（SmartVirtualiztaion）OceanStor V5中端存储系统提供异

47、构虚拟化特性SmartVirtualization来接管异构存储系统（包括其他华为存储系统和第三方厂商的存储系统），保护现有投资。使用SmartVirtualization后，本端存储系统能够将异构存储系统提供的存储资源当作本地存储资源进行使用并对其进行集中管理，无需关注存储系统间软件架构和硬件架构的差异。同时，结合SmartMigration特性还可以实现对异构存储系统中的数据进行在线迁移，帮助客户完成新老设备的更新换代和数据搬迁。工作原理通过把异构阵列映射到本端阵列，把异构阵列的存储空间通过eDevLUN（External Device LUN）的方式管理和利用起来。eDevLUN包括元数

48、据卷（Meta Volume）和数据卷（Data Volume）。元数据卷用于对eDevLUN的数据存储位置进行管理，其所需要的物理空间由本端存储系统提供。数据卷是对外部LUN数据的逻辑抽象，其所需的物理空间由异构存储系统提供，不占用本端存储系统空间。本端存储系统上创建的eDevLUN与异构存储系统上的外部LUN是一一对应的关系。应用服务器可以通过对eDevLUN的读写操作实现对外部LUN的数据访问。图 4-1 异构虚拟化技术示意图SmartVirtualization通过LUN伪装技术，将OceanStor V5中端存储系统的eDevLUN的WWN和Host LUN ID设置成与异构存储系统

49、上的LUN的信息一致，在数据迁移完成后，通过主机多路径软件实现在线LUN的无缝切换，从而在主机不中断业务的情况下完成数据迁移。应用场景l异构阵列接管用户的数据中心通过长期的建设，数据中心可能存在来自不同异构厂商的存储阵列。存储管理员可通过异构虚拟化接管功能，对现有设备进行管理、配置，达到保护原有投资的目的。l异构数据迁移对于数据中心中有些设备过保或者性能容量等不能再满足业务需求时，客户需要对存储更新换代。采用SmartVirtulization技术和SmartMigration技术，可以实现将客户原有数据在线迁移到OceanStor V5中端存储系统上，从而在不中断主机业务的前提先实现数据的平

50、滑迁移。l异构容灾如果客户业务数据分散在包含来自不同厂商存储设备的不同的站点，且对业务的持续性要求较高时，异构虚拟化和HyperReplication配合可以使异构阵列间的LUN数据做到互相备份，做到站点间的数据容灾。当灾难发生时， 能够通过互为备份的站点进行业务数据的接管和数据恢复。l异构数据保护客户异构阵列上的LUN数据可能受到病毒或其他原因导致LUN数据受到破坏。异构虚拟化结合HyperSnap技术技术可为异构LUN提供快照备份，快照瞬间完成，当数据被破坏后，可通过快照迅速的回滚到指定的快照时间点的数据，迅速恢复数据。数据迁移（SmartMigration）OceanStor V5中端存

51、储系统通过LUN迁移（SmartMigration）提供了智能化的数据迁移手段。可以在不中断原有业务的情况下实现将源LUN上的数据完整地迁移到目标LUN 上。LUN迁移不仅支持存储系统内部的数据迁移，还支持华为存储系统和与其兼容的异构存储系统之间的数据迁移。SmartMigration特性通过把源LUN的数据完整的复制到目标LUN，在复制过程中采用源LUN和目标LUN双写、差异日志记录等技术，复制完成后采用LUN信息交换由目标LUN接管源LUN业务，实现数据的在线迁移。SmartMigration的实现过程分为两个阶段：数据同步迁移前，客户需要配置迁移的源LUN和目标LUN。迁移开始时，数据由

52、源LUN复制到目标LUN。主机此时可以继续访问源LUN。主机写入源LUN数据时，系统首先在DCL（Data Change Log）中记录差异日志。写入的数据同时向源LUN和目标LUN双写。如果双写成功，系统清除DCL上此次写入LBA的记录。如果目标LUN写失败，存储侧将DCL上记录的未同步成功的数据拷贝至目标LUN，拷贝结束后返回主机写I/O完成；如果源LUN写失败，返回主机写I/O失败，主机重新下发数据至源LUN，但不写入目标LUN。LUN 信息交换数据复制完成后，主机IO将暂时悬挂，源LUN和目标LUN进行信息交换，具体原理如 HYPERLINK l _bookmark30 图4-2所示：

53、图 4-2 LUN 信息交换示意图由于LUN信息交换是瞬时完成的，因此主机无需中断业务，实现了用户无感知情况下的业务迁移。应用场景l结合SmartVirtualization 特性实现存储系统升级换代结合异构虚拟化技术，现有老旧设备上数据迁移到华为新阵列上，提升业务的性能和数据的可靠性；老旧设备可以是华为设备，也可以是其他存储厂商的设备。l由于容量、性能、可靠性调整等原因所需要的数据迁移。数据重删压缩（SmartDedupe&SmartCompression）数据重删压缩功能为文件系统和Thin LUN提供数据精简的服务。可以为客户节约空间的同时也减少了企业IT架构的TCO（Total Cos

54、t Ownership）。在线重删（SmartDedupe）OceanStor V5中端存储系统采用在线处理的方式实现了基于文件系统和Thin LUN的数据重删功能。在系统中，重删功能的粒度和文件系统或者ThinLUN的最小读写单元Grain保持一致。同时，由于用户在创建文件系统或者ThinLUN时可以指定Grain的大小（4KB64KB），OceanStor V5中端存储系统也即实现了基于不同粒度的数据重删功能。OceanStor V5中端存储系统进行重复数据删除处理的流程如 HYPERLINK l _bookmark33 图4-3所示。图 4-3 重复数据删除处理流程存储系统按照块大小进行

55、拆分。存储系统会将新写入的数据块与旧的数据块通过指纹库进行对比，如果指纹不同，当做是新数据块，写入。如果指纹不同：逐字节比较功能关闭（默认），存储系统会将旧有数据块直接指向新写入的数据块存储位置，而不分配空间。逐字节比较功能开启时，将之前写入的数据与当前的数据内容进行字节级比较，如果完全相同，则认为是重复数据块。如果不同，当做是新数据块。例如，文件系统中原有数据块为数据块A和数据块B。应用服务器写入数据块C和数据块D，数据块C与数据块B指纹信息一致，数据块D与与原有数据块A、B的指纹信息均不一致。采用不同的重复数据删除策略时，数据重删处理结果示意图如Figure 4-4所示。图 4-4 数据重

56、删处理结果在线压缩（SmartCompression）业界一般的压缩做法有在线压缩以及后压缩。存储系统实现了在线压缩，对新写入的数据在写盘前先进行压缩处理，再将压缩后的数据写盘，能有效的节省用户的空间。和后压缩（在数据下盘后再执行压缩）相比，在线压缩有以下优点：l更小的初始存储空间，降低客户初始投资。l更少的I/O, 适合有读写寿命限制的SSD磁盘。l在线压缩是在执行压缩后再打快照，能做到最大限度的节省存储空间。存储系统在进行数据压缩处理时，会根据用户设定的压缩策略进行不同程度的压缩。存储系统支持如下两种压缩策略：lFast策略：Fast策略是系统默认使用的压缩算法。该算法压缩速度快，但与De

57、ep策略相比压缩后空间节省效率低一些。lDeep策略：Deep策略可以获得空间节省效率的明显提升，但压缩和解压需要花费更长的时间。OceanStor V5中端存储系统的数据压缩处理过程如 HYPERLINK l _bookmark34 图4-5所示。图 4-5 数据压缩处理结果重删、压缩效果可叠加OceanStor V5中端存储系统的SmartDedupe和SmartCompression功能支持同时开启。当同时开启时，数据先经过重删再执行压缩，可以实现缩减效果的叠加，可以为用户节省更多存储空间。由于OceanStor V5中端存储系统采用在线处理的方式实现数据的重删和压缩，当用户开启重删压缩

58、功能时，只对后续写入的数据执行重删压缩；当关闭重删压缩功能时，之前重删过的数据不会被恢复成原来的格式。智能数据分级（SmartTier）块数据分级（SmartTier for Block）SmartTier是针对块存储的智能数据分级特性。SmartTier按照应用对性能的需求，将SSD，SAS和NL-SAS三种类型磁盘分别对应高性能存储层，性能存储层和容量存储层。每个存储层可以单独使用，也可以根据需要两两组合，或者三者组合在一起组成存储池提供数据存储空间。SmartTier进行LUN级别的智能化数据存放管理，以“extent”为单位，默认4MB（512KB 64MB可配）来统计和分析数据的活跃

59、度，将不同活跃度的数据和不同特点的存储介质动态匹配，并通过数据迁移将活跃度高的“繁忙”数据迁移至具有更高性能的存储介质（如SSD 硬盘），将活跃度低的“空闲”数据迁移至具有更高容量且更低容量成本的存储介质（如NL-SAS 硬盘）。SmartTier经历的数据监控、排布分析、数据迁移三个阶段，如下图所示：图 4-6 SmartTier 处理过程其中，数据监控、排布分析阶段由存储系统自动完成，数据迁移阶段通过用户手动触发或根据用户配置的定时策略触发。SmartTier提高存储系统性能并降低用户成本，满足企业对性能和容量的双重需求，避免历史数据占用昂贵的存储介质，保证企业有效投入，消除无用容量带来的

60、能耗开 销，降低企业TCO，得到最优性价比。文件数据分级（SmartTier for File）SmartTier是为了满足客户简化数据生命周期管理，提升介质利用率，降低客户成本而推出的面向文件系统的分级特性。它是基于用户自定义策略，以文件为粒度在不同介质中进行动态迁移的技术。企业存储的Storage Pool可以由多种介质（例如SSD、HDD）混合组成，SmartTier根据用户指定的策略（例如：文件名、文件大小、文件类型、文件创建时间、SSD使用率等），使数据可以在多种介质间流动，比如从高性能介质（例如SSD）自动迁移到大容量介质（例如HDD，包括SAS或NL-SAS）。原理如 HYPER