OceanStor 18000高端混合闪存存储产品白皮书

1、华为 OceanStor 18000 高端混合闪存存储系统技术白皮书华为OceanStor 18000 V5 高端混合闪存存储系统技术白皮书目 录目录 HYPERLINK l _bookmark0 摘要1 HYPERLINK l _bookmark1 简介2 HYPERLINK l _bookmark2 产品系列2 HYPERLINK l _bookmark3 客户价值3 HYPERLINK l _bookmark4 系统架构5 HYPERLINK l _bookmark5 硬件架构5 HYPERLINK l _bookmark6 后端全互连5 HYPERLINK l _bookmark11

2、PCIe Scale-out7 HYPERLINK l _bookmark12 硬件全冗余8 HYPERLINK l _bookmark13 门卫式数据加密（国内适用）9 HYPERLINK l _bookmark14 SED 数据加密（国外适用）10 HYPERLINK l _bookmark15 软件架构11 HYPERLINK l _bookmark17 块级虚拟化12 HYPERLINK l _bookmark19 SAN/NAS 一体化15 HYPERLINK l _bookmark20 负载均衡16 HYPERLINK l _bookmark21 数据缓存17 HYPERLINK

3、l _bookmark22 端到端数据完整性保护17 HYPERLINK l _bookmark23 丰富软件特性18 HYPERLINK l _bookmark24 面向闪存的系统优化18 HYPERLINK l _bookmark25 精简高效 Smart 特性系列20 HYPERLINK l _bookmark26 异构虚拟化（SmartVirtualiztaion）20 HYPERLINK l _bookmark27 数据迁移（SmartMigration）22 HYPERLINK l _bookmark28 LUN 迁移（SmartMigration for Block）22 HYP

4、ERLINK l _bookmark30 FS 迁移（SmartMigration for File）24 HYPERLINK l _bookmark31 数据重删压缩（SmartDedupe&SmartCompression）25 HYPERLINK l _bookmark34 智能数据分级（SmartTier）28 HYPERLINK l _bookmark35 块数据分级（SmartTier for Block）28 HYPERLINK l _bookmark36 文件数据分级（SmartTier for File）29 HYPERLINK l _bookmark38 智能精简配置（Sm

5、artThin）30 HYPERLINK l _bookmark39 智能服务质量控制（SmartQoS）31 HYPERLINK l _bookmark40 智能缓存分区（SmartPartition）32 HYPERLINK l _bookmark41 SSD 智能缓存（SmartCache）34 HYPERLINK l _bookmark43 LUN 销毁（SmartErase）35 HYPERLINK l _bookmark44 多租户（SmartMulti-Tenant）35 HYPERLINK l _bookmark45 智能配额（SmartQuota）37 HYPERLINK l

6、 _bookmark46 智能数据迅移（SmartMotion）38 HYPERLINK l _bookmark47 数据保护 Hyper 特性系列39 HYPERLINK l _bookmark48 快照（HyperSnap）39 HYPERLINK l _bookmark49 LUN 快照（HyperSnap For Block）39 HYPERLINK l _bookmark50 FS 快照（HyperSnap For File）40 HYPERLINK l _bookmark51 克隆（HyperClone）42 HYPERLINK l _bookmark52 LUN 克隆（Hyper

7、Clone For Block）42 HYPERLINK l _bookmark53 FS 克隆（HyperClone For File）44 HYPERLINK l _bookmark54 远程复制（HyperReplication）46 HYPERLINK l _bookmark55 LUN 同步远程复制（HyperReplication/S For Block）46 HYPERLINK l _bookmark56 LUN 异步远程复制（HyperReplication/A For Block）48 HYPERLINK l _bookmark57 FS 异步远程复制（HyperReplic

8、ation/A For File）49 HYPERLINK l _bookmark58 阵列双活（HyperMetro）52 HYPERLINK l _bookmark59 阵列双活（HyperMetro For Block）52 HYPERLINK l _bookmark60 阵列双活（HyperMetro For File）54 HYPERLINK l _bookmark61 一体化备份（HyperVault）57 HYPERLINK l _bookmark62 LUN 拷贝（HyperCopy）58 HYPERLINK l _bookmark63 卷镜像（HyperMirror）60 H

9、YPERLINK l _bookmark64 WORM（HyperLock）62 HYPERLINK l _bookmark67 两地三中心（3DC）65 HYPERLINK l _bookmark68 成功故事66 HYPERLINK l _bookmark69 附录67 HYPERLINK l _bookmark70 更多参考信息67 HYPERLINK l _bookmark71 如何反馈意见67 HYPERLINK l _bookmark72 缩略语表67华为OceanStor 18000 V5 高端混合闪存存储系统技术白皮书1 摘要 1摘要华为 OceanStor 18000 V5

10、高端混合闪存存储系统（以下简称 OceanStor 18000 V5 高端存储系统）是面向企业级应用的新一代统一存储产品。本文从产品定位、硬件架构、软件架构、特性方面详细介绍了 OceanStor 18000 V5 高端存储系统的关键技术，以及为客户带来的独特价值。华为OceanStor 18000 V5 高端混合闪存存储系统技术白皮书2 简介 2简介 HYPERLINK l _bookmark2 产品系列 HYPERLINK l _bookmark3 客户价值产品系列OceanStor 18000 V5 高端存储系统包括如下型号：OceanStor 18500 V5、OceanStor188

11、00 V5。图2-1 OceanStor 18000 V5 高端存储系统OceanStor 18000 V5 高端存储系统的详细产品规格信息请参见： HYPERLINK /cn/products/cloud-computing-dc/storage/massive-storage/18500-18800-v5 /cn/products/cloud-computing- HYPERLINK /cn/products/cloud-computing-dc/storage/massive-storage/18500-18800-v5 dc/storage/massive-storage/18500-

12、18800-v5。客户价值OceanStor 18000 V5 高端存储系统是华为最新一代的高端存储系统，为企业核心业务提供最高水平的数据服务。凭借业界领先的 SmartMatrix 2.0 系统架构、HyperMetro 免网关 A-A 双活、闪存优化技术、持续领先一代的硬件平台以及丰富的效率提升和数据保护方案，OceanStor 18000 V5 高端存储在可靠性、性能和解决方案方面都达到业界领先水平，满足了大型数据库 OLTP/OLAP、云计算等各种应用的数据存储需求，广泛适用于政府、金融、运营商、能源、交通、制造等行业，是企业核心应用的最佳选择。极致融合：搭载最新的 OceanStor

13、 OS 存储操作系统，OceanStor 18000 V5 高端存储系统进一步发挥融合优势，为用户提供融合的、可灵活调配的统一资源池，让用户数据 自由流动，帮助企业 IT 向云架构演进。闪存的融合：华为拥有最全面的闪存产品，能够实现不同类型，不同档次，不同 代次的闪存实现互联互通；从数据面、管理面、运维面实现多层维度的闪存融合，实现 600 万 IOPS1ms 的高性能低时延，同时又保障 SSD 的长期可靠性。SAN 与 NAS 的融合：可同时兼容 SAN 和 NAS 两种服务，满足业务弹性发展需求，提升存储资源利用率，有效降低 TCO。将块与文件两种数据服务融会贯通， 不光能够实现多业务承载

14、的能力，而且 SAN 与 NAS 性能与功能业界领先。存储资源池的融合：通过内置异构虚拟化功能，OceanStor 18000 V5 高端存储系统能高效接管其它主流厂商存储阵列（不同档位，不同种类，不同型号），并整合成统一的资源池，消除数据孤岛，资源可统一管理，自动化 & 服务编排；同时， 还可以实现实现第三方设备迁移 0 中断，迁移操作工具化自动完成，耗时平均缩短 60% 。多数据中心的融合：SAN 与 NAS 一体化双活实现跨数据中心的业务永续，组网更简单；从双活数据中心可平滑升级到 3DC，提供两地三中心最高级别的业务连续性；可实现 64:1 的多级 DC，提供数据集中容灾与保障。稳定可

15、靠：从产品到方案实现 99.9999%高可用4 控制器全对称控制框：采用智能矩阵式多控架构在控制框 6U 空间内集成 4 个控制器，并在无源背板互连基础上融合了 Cache 持续镜像和后端硬盘控制器全互连技术,实现业界领先的 4 控全冗余特性。控制框内 4 个控制器互为热备，即使在 3 个控制器故障的情况下也依然能够保证业务稳定运行，完全避免了传统高端存储在系统升级或者控制单元故障时的单点运行状态，最大程度保证关键应用的业务连续性。多控制器负载均衡：支持控制器间负载均衡，应用可通过多个控制器并发加速， 消除性能瓶颈，实现业务的压力均衡。全冗余硬件设计：所有组件与通道均为全冗余设计，无单点故障，

16、各组件与通道 均可独立完成故障检测、修复和隔离，确保系统稳定运行。独有的数据快速恢复技术：采用创新的块级虚拟化技术，1TB 数据重构时间从10 个小时降低到 30 分钟，与传统存储相比，因硬盘故障引起的数据失效风险降低 95% 。DIX+PI 端到端数据保护：提供基于 DIX+PI 的端到端数据完整性保护方案，保证了数据从应用系统到 HBA 卡到存储系统再到硬盘的完整性，实现了从应用到硬盘的端到端数据保护，有效的防止了数据破坏，为客户提供更深层次的业务保障。丰富的数据保护方案：Hyper 系列数据保护软件包含快照、克隆、一体化备份、远程复制、阵列双活等数据保护技术，能够满足用户系统内、本地、异

17、地以及多地的数据保护需求，实现方案级 99.9999% 的可用性，最大程度保障用户业务连续性和数据可用性。领先的 SAN 与 NAS 一体化双活方案：一套阵列同时支持 SAN 与 NAS 双活，确保数据库与文件业务同时高可用。凭借 HyperMetroA-A 双活，存储系统间可实现负载均衡的双活镜像以及无中断的跨站点接管，保障用户关键应用数据零丢失， 业务零中断，让客户的核心应用系统不受宕机困扰。免网关设计可有效降低用户 购置成本和部署复杂度，同时支持单套设备平滑升级到双活，并能进一步扩展至 两地三中心解决方案。极致性能：满足企业业务的性能弹性增长需求面向闪存的存储架构：采用面向闪存的系统架构

18、，基于闪存融合技术在 CPU 调度、Cache、RAID 以及系统与硬盘联动等方面专门针对闪存进行了设计，系统可对 HDD 和 SSD 介质智能感知，自动识别介质类型并动态选择最优系统算法适配，确保存储系统处理大量业务访问时依然能够提供稳定低于 1ms 的 I/O 快速响应，保证用户关键应用的极致性能体验。全面领先的性能和规格： OceanStor 18000 V5 高端存储系统采用多核处理器，前端可提供高达 384 个主机接口。内部采用新一代 PCIe 3.0 总线，并采用 12Gbps SAS 3.0 高速硬盘接口，满足用户核心数据库高并发和低延时访问的需求。灵活的扩展性：全面支持高速企业

19、级 SSD 驱动器，单系统可配置高达 32TB 缓存，9600 个硬盘驱动器，可提供 55PB 超大容量及业界最高 600 万 IOPS，性能及规格全面领先。华为OceanStor 18000 V5 高端混合闪存存储系统技术白皮书3 系统架构 3系统架构 HYPERLINK l _bookmark5 硬件架构 HYPERLINK l _bookmark15 软件架构硬件架构OceanStor 18000 V5 高端存储系统采用智能矩阵式多控架构，以控制框为单位横向扩展，达到性能和容量的线性增长。单个控制框采用四控冗余架构，四控间采用板载PCIe 3.0 实现双控缓存镜像通道，多控制框之间通过专

20、用数据交换机连接实现 Scale-out。硬盘框内的硬盘通过双端口连接到控制框中的 SAS 3.0 后端全互连接口卡上，同时支持四控共享访问，支持 SAS 接口的 SSD、SAS、NL-SAS 三种类型硬盘。通过BBU（Backup Battery Unit），在系统掉电时把 Cache 中的缓存数据持久化到数据保险箱上实现缓存数据的保护。后端全互连OceanStor 18000 V5 高端存储系统每个控制框包含 4 个控制器，4 个控制器直接通过机框无源背板上的 PCIe 3.0 高速通道互连，4 控以内的配置不需要通过外部线缆和交换机，部署更简单，可靠性更好，性能也更好。下 HYPERLI

21、NK l _bookmark7 面图 3-1 为控制框前视图，最上面是 4个 BBU，下面是 4 个呈“田”字分布的 4 个控制 HYPERLINK l _bookmark8 器；图 3-2 为控制框内部连接示意图。图3-1 OceanStor 18000 V5 控制框前视图图3-2 OceanStor 18000 V5 控制框内部连接示意图OceanStor 18000 V5 高端存储系统使用 SAS 3.0 后端全互连接口卡，该接口卡由控制框内 4 个控制器共享，与 4 个控制器都有连接。某一个控制器发生故障时，控制框到硬盘框的连接仍然是冗余的，后端连接的可靠性不会降低。 HYPERLIN

22、K l _bookmark9 下面图 3-3 为控制框后视图，中间 4 个槽位所插接口卡，即为后端全互连接口卡，高度为 4U HYPERLINK l _bookmark10 ；图 3-4 为后端全互连接口卡的连接示意图。图3-3 OceanStor 18000 V5 控制框后视图图3-4 OceanStor 18000 V5 后端硬盘连接示意图OceanStor 18000 V5 高端存储系统支持持续镜像（Persistent Cache）技术。控制框中的个控制器，正常情况下 A/B 控的 Cache 相互镜像，C/D 控的 Cache 相互镜像。当一个控制器故障后，假设 B 控故障，此时按照

23、传统设计，为了保证数据可靠性，A 控Cache 将转为透写，性能急剧下降，而持续镜像技术会将 A 控 Cache 数据重新镜像到C 或 D 控（由内部算法动态选择），以保证 Cache 数据可靠性，避免转透写带来的性能急剧下降。PCIe Scale-outOceanStor 18000 V5 高端存储系统采取多控智能矩阵（SmartMatrix 2.0）架构设计，控制器之间采用 PCIe 光互联设计，实现控制器间的业务交换。最大支持 8 个控制框，每个控制框包含 4 个控制器，整个系统最大支持 32 个控制器。每个控制器分别与 2 个交换平面通过 PCIe 光缆进行互连实现数据转发；此外，控制

24、框内的 4 个控制器之间还可以通过控制框背板上的 PCIe 互联通道进行数据转发。如下图所示（以 16 控为例）：每个控制器在 3 号槽位配置一张 PCIe 接口卡，每张卡有两个 PCIe 光口，分别用光缆连接到两个 PCIe 数据交换机（Data Switch，缩写为 DSW）（为避免图中连线太多，仅连接了 2 个控制框上的线缆）。图3-5 OceanStor 18000 V5 PCIe Scale-out 示意图（以 16 控为例）32 个控制器通过 QSFP 光缆连接到两个冗余的 DSW 中，在 DSW 中实现数据交换，采用全 PCIe 的互联架构的优势在于减少协议转换的延时，可以实现更

25、加高效的数据交换。采用全光互联的设计一方面提高了长距离数据传输的可靠性，另外一方面对机柜之间的距离要求减少，有利于客户机房内部的机柜布局设计；每台 PCIe 交换机提供 16 个 PCIe 交换端口，每个端口 8GB/s 的交换带宽，四台 PCIe 交换机共提供 512GB/s（4*16*8GB/s=512GB/s）的交换带宽；每个控制框内的 4 个控制器之间有 128GB/s(PCIe 3.0*64)的背板 PCIe 互联带宽，用于控制框内控制器之间的数据交换。则 OceanStor 18000 V5 高端存储系统 32 控配置下，总的系统交换带宽为1536GB/s（控制框内交换带宽 128

26、GB/s*8+跨控制框交换带宽 512GB/s=1536GB/s）。单个 18000 V5 高端存储系统的控制框，A 控与 B 控、C 控与 D 控之间的互联通道均为 2 条 PCIe Gen3 x8 链路（即 2 条 8 lane 的 PCIe 3.0 链路，对应双向带宽为 2*2*8*8Gbps）；A/B 控与 C/D 控之间的互联通道均为 1 条 PCIe Gen3 x8 链路（即 1 条 8 lane 的 PCIe 3.0 链路，对应双向互联带宽为 1*2*8*8Gbps）。所以，控制框内总互联带宽为 8*2*8*8Gbps=1024Gbps，即 128GB/s。硬件全冗余OceanS

27、tor 18000 V5 高端存储系统所有组件与通道均为全冗余设计，无单点故障，各组件与通道均可独立完成故障检测、修复和隔离，确保系统稳定运行。表3-1 硬件部件全冗余位置系统部件冗余情况故障影响机柜PDU1+1 冗余无影响控制框控制器1+3 冗余性能按比例下降电源模块2+2 冗余无影响风扇11+1 冗余无影响BBU3+1 冗余无影响接口卡1+1 冗余无影响管理板1+1 冗余无影响交换机数据交换机1+1 冗余无影响2U25 盘位硬盘框级联板1+1 冗余无影响电源模块1+1 冗余无影响风扇1+1 冗余无影响4U24 盘位硬盘框级联板1+1 冗余无影响电源模块1+1 冗余无影响风扇5+1 冗余无影

28、响门卫式数据加密（国内适用）门卫式数据加密特性，由华为存储系统、门卫式加密机、密钥管理中心（KMC，Key Management Center）三个部件组成。门卫式加密机实现商密加解密算法和数据流程，存储系统负责加密数据的存储，密钥 管理中心负责加密密钥的管理和生命周期控制。门卫式数据加密机，只支持 FC 链路，不支持快照、克隆、远程复制、LUN 迁移等增值特性， 不支持 NAS 协议加密。图3-6 门卫式数据加密组网示意图SED 数据加密（国外适用）华为 OceanStor 18000 V5 高端存储系统支持 SED（Self-Encrypting Drive，自加密硬盘）数据加密特性，通过

29、配置自加密硬盘和内置密钥管理（存储系统自带密管系统）或者外置密钥管理（外部配置独立的密管系统），与存储系统配合完成数据静态加密。数据加密特性通过 AES 256 密码算法对存储系统上的用户数据进行加密，保证用户数据的保密性、完整性、可用性。内置密钥管理内置密钥管理是 OceanStor 18000 V5 高端存储系统内嵌的密钥管理应用，提供对数据加密特性中自加密硬盘的 AK 的生命周期管理；支持采用 TPM（Trusted Platform Module）进行密钥保护。内置密钥管理支持密钥产生、更新、销毁、备份、恢复等功 能。内置密钥管理易部署、易配置、易管理；在无更高安全要求，并且整个数据中

30、心的密 钥管理仅用于存储系统的场景下，建议选择内置密钥管理；无需再独立部署一套密管 系统。外置密钥管理OceanStor 18000 V5 高端存储系统支持外置密钥管理，采用第三方外部的 KMS（Key Manager Server）对数据加密特性的密钥管理。外置密钥管理 采用 KMIP+TLS 的标准协议。 在数据中心多场景需要密钥集中管理时，建议选择外置密钥管理。外置密钥管理支持密钥产生、更新、销毁、备份、恢复等操作。同时外置密钥管理支 持双机模式，两个 KMS 之间会进行密钥的实时同步，保证密钥可靠性。自加密硬盘SED 具备两层安全保护，分别使用 AK(authentication ke

31、y)和 DEK(data encryption key)两个安全密钥。AK 认证原理：当在 OceanStor 18000 V5 高端存储系统上打开硬盘加密特性时，存储会打开加密硬盘的 AutoLock 功能，并使用由 Key Manager 分配的 AK，此时硬盘的访问已由 SED 的 AutoLock 功能保护，只能由存储系统本身访问。硬盘每次接入时，需要存储系统从密管服务器获取硬盘的 AK，如果与硬盘上的 AK 匹配， 硬盘就将加密后的 DEK 解密，用于数据加解密。如果 AK 与硬盘上的 AK 不匹 配，则任何读写操作都将失败。数据加密原理：当硬盘成功通过 Autolock 认证后，对

32、硬盘进行读写时，硬盘通过自身的硬件电路和内部的数据密钥（Data Entrypt Key）完成写入数据加密和读取数据解密的功能。数据在写入硬盘之后，通过 DEK 的加密，变成加密信息。DEK 本身无法获取，意味着硬盘被拆除后，通过机械读取的方式无法还原原始信息。软件架构OceanStor 18000 V5 高端存储系统提供的软件包括存储系统端软件、SVP 维护管理软件和应用服务器端软件。这三部分软件相互配合，从而智能、高效、经济地实现各种存储业务、备份业务和容灾业务。存储系统软 HYPERLINK l _bookmark16 件结构如图 3-7 所示。图3-7 OceanStor 18000

33、V5 高端存储系统软件架构框图存储系统端软件采用 OceanStor OS 专用操作系统，实现硬件管理和支撑存储业务软件的运行。存储系统通过基本功能控制软件实现基础的数据存储和读写功能；通过增值 功能控制软件实现各种备份、容灾和性能调优等高级功能；通过管理功能控制软件实 现对存储系统的管理功能。下面从块级虚拟化、SAN/NAS 一体化、负载均衡、数据缓存、端到端数据完整性保护、软件特性等方面进行关键软件架构技术介绍。块级虚拟化块级虚拟化原理OceanStor 18000 V5 高端存储系统采用 RAID2.0+块虚拟化架构。不同于传统 RAID 固定成员盘的做法，RAID2.0+是基于硬盘的块

34、级虚拟化技术。阵列内所有的硬盘被划分快速重构为固定大小的 CHUNK，系统自动随机选择多个硬盘的多个 CHUNK 按照 RAID 算法组成 CKG，CKG 直接分配给 Volume 或被划分为固定大小的数据块（Extent）分配给不同的 Volume 使用。Volume 对外体现为 LUN 或文件系统（File System，缩写为FS）。RAID2.0+ 如下图所示：图3-8 RAID2.0+块虚拟化快速重构，每个物理硬盘的 CHUNK 会和多个硬盘的 CHUNK 组成 RAID，单个硬盘故障后参与重构的硬盘比传统方式多很多，可以极大提高重构速度，最快可以达到每TB 重构 30 分钟完成。以

35、 9 块硬盘 RAID5 为例。当硬盘 1 损坏，造成 CKG0 和 CKG1 的数据损坏。系统随机选择 CHUNK 进行重构。如下图， 14 和 16 两个 CHUNK 损坏，将随机选择 POOL 中的空闲 CHUNK 进行重构 HYPERLINK l _bookmark18 （如图 3-9 黄色方块），随机选择的 CHUNK 将保证尽量分布在不同的硬盘上。图3-9 RAID2.0+快速重构示意图（一）如下图，随机选择硬盘 6 的 61 号 CHUNK 和硬盘 8 的 81 号 CHUNK，数据将从其他成员盘重构到这两个 CHUNK。图3-10 RAID2.0+快速重构示意图（二）传统硬盘重

36、构的瓶颈主要在目标盘（热备盘），因为所有成员盘将所有数据读出后重构数据会全部写入到目标盘，其写带宽就成了整个重构速度的关键，比如一块传统 2T 大容量硬盘，重构时间就是 2T 除以 30M/S，也就是 18 个小时。而经过 RAID2.0+块虚拟化后将有两个方面的提升：多块目标盘，如上例子就是两块目标盘，重构时间就将缩短为 9 小时，当CHUNK 数量和成员盘增加时，目标盘可以达到成员盘个数，所以重构速度将极大提升。按 CHUNK 重构，当故障盘上分配的 CHUNK 较少时，需重构的数据将大幅降低，重构速度将进一步提升。RAID2.0+最快可以达到每 TB 重构 30 分钟完成，重构时间的缩短

37、，将大大降低双盘失效的概率。硬盘负载均衡RAID2.0+技术将使硬盘自动负载均衡，Volume 的数据被均匀分布到阵列内所有的硬盘上，可以防止局部硬盘过热，提升可靠性。在参与业务读写过程中，阵列内硬盘参与度高，有效提升系统性能。最大化硬盘资源利用率最大化硬盘资源利用率：性能：在 RAID2.0+环境中，LUN/文件系统基于资源池（Pool）创建，不再受限于RAID 组磁盘数量，单个 LUN/文件系统的性能可得到大大提升；容量：由于资源池中的磁盘数量不受限于 RAID 级别，免除传统卷管理技术环境下有些 RAID 组空间利用率高而有些 RAID 组空间利用率低的状况，并借助 LUN/ 文件系统动

38、态扩容，从而提升磁盘的容量利用率。提升存储管理效率易规划：无需花费过多的时间做存储预规划，只需简单地将多个硬盘组合成存储 池，设置存储池的分层策略，从存储池划分空间(卷)即可；存储池易扩容：当需要扩容存储池，只需插入新的硬盘，系统会自动的调整数据 分布，让数据均衡的分布到各个硬盘上；卷易扩容：当需要扩容卷时，只需输入想要扩容的卷大小，系统会自动从存储池 中划分所需的空间，并自动调整卷的数据分布，使得卷数据更加均衡的分布到所 有的硬盘上。SAN/NAS 一体化OceanStor 18000 V5 高端存储系统采用 SAN/NAS 一体化设计，不再需要 NAS 网关设备，一套软硬件同时支持 SAN

39、 和 NAS，支持 NFS、CIFS、FTP、HTTP 等文件访问协议，以及 NDMP 文件备份协议。NAS 与 SAN 一样，同样支持 32 控的 Scale-out，主机可以从任意 1 个控制器上的前端主机端口访问任意 1 个 LUN 或文件系统。统一存储的 OceanStor V5 融合平台架构如下图，文件系统和 LUN 是平行的出在 Space 子系统之上，下面是基于 RAID2.0+的块虚拟化存储池子系统。在这个架构中，文件系统和 LUN 都直接与底层的 Space 子系统交互。文件系统架构是基于对象的，每个文件或文件夹是一个对象，每个文件系统是由对象组成的对象集。对于 LUN 来说

40、，LUN 分 Thin LUN 和传统的 Thick LUN。两种 LUN 也都来自于 Pool 和 Space 系统，并没有建立在文件系统之上。这样简化的软件栈带来的存储效率比传统的统一存储架构效率要高，同时 LUN 和文件系统各自保持独立，互不影响。图3-11 OceanStor OS 软件平台架构示意图负载均衡SAN 负载均衡默认情况下，OceanStor 18000 V5 高端存储系统自动将不同 LUN 均衡分配到不同控制器，LUN 空间均衡打散到系统内所有硬盘。如果主机到存储阵列的每个控制器都有 I/O 路径，华为自研多路径软件 UltraPath 会优选 LUN 归属控制器的路径下

41、发；如果没有优选路径，则 IO 下发到阵列后，系统会自动判断对应 LUN 业务应由哪个控制器处理，通过 SmartMatrix 智能矩阵将 IO 转发到对应控制器进行处理。通过将 LUN 均衡分配给不同控制器及 LUN 空间在全局范围均衡分布，使得不同控制器业务、硬盘压力相对均衡，配合华为自研多路径 UltraPath 选择最优路径下发 IO，使系统性能达到了最优。NAS 负载均衡默认情况下，OceanStor 18000 V5 高端存储系统自动将不同文件系统均衡分配到不同控制器，文件系统空间均衡打散到系统内所有硬盘，使得不同控制器业务、硬盘压力相对均衡。OceanStor 18000 V5

42、高端存储系统也同时提供 DNS 负载均衡特性，可根据业务负载智能地将主机 NFS/CIFS/FTP 客户端连接分发给配置在不同节点、不同端口上的业务 IP 进行处理，从而提升系统的性能和可靠性。DNS 负载均衡特性是指主机通过域名访问存储阵列的 NAS 业务时，先发 DNS 请求到阵列内置 DNS 服务器，根据域名获取 IP 地址。域名下包含多个 IP 时，内置 DNS 服务器根据各 IP 所在的控制器的 CPU 利用率、端口带宽利用率、所在控制器的 NAS 连接数等，选择负载较轻的 IP 作为 DNS 响应返回给主机。主机收到 DNS 响应后，向目标IP 发起业务请求。DNS 负载均衡特性支

43、持的负载均衡策略有轮循方式、按节点 CPU 利用率、按节点连接数、按节点带宽利用率、按节点综合负载。数据缓存缓存分布：OceanStor 18000 V5 高端存储系统的物理内存的使用分布情况为：物理内存 = 操作系统等占用缓存 + 读缓存 + 本地写缓存 + 镜像写缓存 + 业务特性占用缓存缓存类型：OceanStor 18000 V5 高端存储系统缓存分为读缓存、写缓存。读缓存：将已读取的数据保存在内存空间中（读缓存），当下次再次读取同一数据时就不必重新从磁盘上读取，从而提高速率。写缓存：将要写入磁盘的数据先保存在内存空间中（写缓存），当保存到写缓存中的数据达到一个阈值时，便将数据保存到硬

44、盘中。通过读写缓存可以减少实际的磁盘操 作，提升系统读写性能，同时有效的保护磁盘免于重复的读写操作而导致的损坏。写缓存没有使用时，系统所有缓存都可以用作读缓存。系统对读缓存有最小容量预 留，以保证在写业务压力很大时，仍能保证读业务缓存资源可以使用。缓存预取：OceanStor 18000 V5 高端存储系统实现了多路顺序流识别算法，即在大量乱序和随机的IO 中识别出顺序 IO 流，对顺序的读写 IO 流采用预取和合并算法，能优化多种应用场景的系统性能。同时，OceanStor 18000 V5 高端存储系统的预取算法实现了智能预取、固定预取、倍数预取等算法。智能预取能自动识别 IO 特征，根据

45、 IO 特征决定是否预取、预取多大长度，确保产品性能能满足不同应用场景。系统默认采用智能预取算法，在某些 I/O 模型非常明确的应用场景，用户也可以配置固定预取或倍数预取算法，这两种算法支持由用户自行配置预取数据长度。缓存淘汰：当系统缓存占用率达到阈值时，淘汰算法根据历史访问频率和当前的访问频率，计算 数据块的热度，结合多路顺序流识别算法，选择合适的数据进行淘汰。另外根据用户 的具体需要，可配置 Volume 的缓存优先级，还可以对具体业务调整每个 IO 的优先级。低优先级的数据，优先淘汰；高优先级的数据缓存更多，保证数据命中率。端到端数据完整性保护ANSI T10 PI（Protection

46、 Information）标准提供了一种方法来校验访问存储系统过程中的数据完整性。这种检查通过 T10 标准中定义的 PI 字段来实现。该标准通过在每个扇区数据后加上 8 字节的 PI 字段来实现数据完整性检查。T10 PI 通常用来保证存储系统内部的数据完整性。DIX（Data Integrity Extensions）进一步延伸了 T10 PI 的保护范围，实现了从应用到主机 HBA 的数据完整性保护，因此，DIX+T10 PI 可以实现从应用到硬盘的完整的端到端数据保护。OceanStor 18000 V5 高端存储系统不但支持 T10 PI 来保证存储系统内部的数据完整性保护，而且支持

47、从应用到硬盘的 DIX+T10 PI 端到端数据完整性保护。阵列对数据 PI 字段进行实时校验并下发，如果主机侧不支持 PI，则阵列会在主机接口增加 PI 字段并下发。在存储系统中，PI 跟随用户数据一起参与各种转发、传输并最终存储到磁盘介质中。数据被主机应用重新读出前，系统会通过数据 PI 检查数据的正确性和完整性， 保证用户数据的可靠性。丰富软件特性OceanStor 18000 V5 高端存储系统提供了用于系统效率提升的 Smart 软件系列和用于数据保护的 Hyper 系列软件：效率提升系列（Smart 系列）：在线重删（SmartDedupe）、在线压缩（SmartCompressi

48、on）、智能精简配置（SmartThin）、异构虚拟化（SmartVirtualization）、智能数据迅移（SmartMotion）、智能数据迁移（SmartMigration）、智能数据分级（SmartTier）、智能服务质量控制（SmartQoS）、智能缓存分区（SmartPartition）、数据销毁（SmartErase）、多租户（SmartMulti-Tenant）、SSD 智能缓存（SmartCache）、智能配额（SmartQuota），主要为用户提供存储效率提升方面的功能，降低用户的 TCO。数据保护系列（Hyper 系列）：快照（HyperSnap）、克隆（HyperCl

49、one）、远程复制（HyperReplication）、双活（HyperMetro）、一体化备份（HyperVault）、LUN 拷贝（HyperCopy）、卷镜像（HyperMirror）、WORM（HyperLock），主要为用户提供数据容灾备份相关的功能。同时支持丰富的两地三中心（3DC）解决方案。面向闪存的系统优化SSD 盘优势在于随机 IO 性能好，时延低，劣势在与擦写次数有限；而 HDD 优势在于顺序 IO 性能好，无擦写次数限制。OceanStor 18000 V5 高端存储系统对 SSD 盘与SSD/HDD 混合存储进行了针对性优化，以达到更好的性能和可靠性。系统与自研 SSD

50、 Firmware 无缝联动SSD 由于采用 Flash 的原因，盘片内部会存在擦除操作，当盘片内部正在擦除时， 与擦除相同通道的其他数据不能读写，因此会造成大约 12ms 的时延，导致性能波动。华为存储系统采用华为自研 SSD 时，系统和盘片配合，协调多个硬盘轮流执行擦除操作，系统不选择从正在擦除的盘读取数据，而是通过 RAID 冗余从其他盘上读取数据，从而保证稳定的时延。Cache 针对 SSD 的智能“感知”针对 SSD 和 HDD，华为存储系统采取不同的脏数据刷盘策略，充分发挥出各自优势：当经过华为认证的硬盘接入时，系统自动识别介质类型。针对 SSD 硬盘，系统按照 LRU 算法刷盘，

51、降低算法计算复杂度（也降低了时延），延迟活跃数据的刷盘时间，减少下盘次数，减小写放大，提升系统性能，同时也延长了 SSD 寿命。多核性能优化在多核调度机制方面，针对 NUMA 架构进行性能优化，例如把单个 IO 的消息调度在一个 CPU 核上进行处理，减少多 CPU 间访问开销，提升 CPU 缓存命中率。在多线程运行效率上，通过数据结构的合理设计，避免多线程并发访问 CPU L1Cache 一个缓存单位（Cacheline）上的数据，消除 CPU L1 Cache 伪共享的问题， 极大提升 CPU L1 Cache 利用效率，减小数据内存访问的 CPU 开销。华为OceanStor 18000

52、 V5 高端混合闪存存储系统技术白皮书4 精简高效Smart 特性系列 4精简高效 Smart 特性系列 HYPERLINK l _bookmark26 异构虚拟化（SmartVirtualiztaion） HYPERLINK l _bookmark27 数据迁移（SmartMigration） HYPERLINK l _bookmark31 数据重删压缩（SmartDedupe&SmartCompression） HYPERLINK l _bookmark34 智能数据分级（SmartTier） HYPERLINK l _bookmark38 智能精简配置（SmartThin） HYPERL

53、INK l _bookmark39 智能服务质量控制（SmartQoS） HYPERLINK l _bookmark40 智能缓存分区（SmartPartition） HYPERLINK l _bookmark41 SSD 智能缓存（SmartCache） HYPERLINK l _bookmark43 LUN 销毁（SmartErase） HYPERLINK l _bookmark44 多租户（SmartMulti-Tenant） HYPERLINK l _bookmark45 智能配额（SmartQuota） HYPERLINK l _bookmark46 智能数据迅移（SmartMoti

54、on）异构虚拟化（SmartVirtualiztaion）OceanStor 18000 V5 高端存储系统提供异构虚拟化特性 SmartVirtualization 来接管异构存储系统（包括其他华为存储系统和第三方厂商的存储系统），保护现有投资。使用 SmartVirtualization 后，本端存储系统能够将异构存储系统提供的存储资源当作本地存储资源进行使用并对其进行集中管理，无需关注存储系统间软件架构和硬件架构的差 异。同时，结合 SmartMigration 特性还可以实现对异构存储系统中的数据进行在线迁移，帮助客户完成新老设备的更新换代和数据搬迁。工作原理通过把异构阵列映射到本端阵

55、列，把异构阵列的存储空间通过 eDevLUN（External Device LUN）的方式管理和利用起来。eDevLUN 包括元数据卷（Meta Volume）和数据卷（Data Volume）。元数据卷用于对 eDevLUN 的数据存储位置进行管理，其所需要的物理空间由本端存储系统提供。数据卷是对外部 LUN 数据的逻辑抽象，其所需的物理空间由异构存储系统提供，不占用本端存储系统空间。本端存储系统上创建的eDevLUN 与异构存储系统上的外部 LUN 是一一对应的关系。应用服务器可以通过对eDevLUN 的读写操作实现对外部 LUN 的数据访问。图4-1 异构虚拟化技术示意图SmartVi

56、rtualization 通过 LUN 伪装技术，将 OceanStor 18000 V5 高端存储系统的eDevLUN 的 WWN 和 Host LUN ID 设置成与异构存储系统上的 LUN 的信息一致，在数据迁移完成后，通过主机多路径软件实现在线 LUN 的无缝切换，从而在主机不中断业务的情况下完成数据迁移。应用场景异构阵列接管用户的数据中心通过长期的建设，数据中心可能存在来自不同异构厂商的存储阵列。 存储管理员可通过异构虚拟化接管功能，对现有设备进行管理、配置，达到保护原有 投资的目的。异构数据迁移对于数据中心中有些设备过保或者性能容量等不能再满足业务需求时，客户需要对存 储更新换代。

57、采用 SmartVirtulization 技术和 SmartMigration 技术，可以实现将客户原有数据在线迁移到 OceanStor 18000 V5 高端存储系统上，从而在不中断主机业务的前提先实现数据的平滑迁移。异构容灾如果客户业务数据分散在包含来自不同厂商存储设备的不同的站点，且对业务的持续性要求较高时，异构虚拟化和 HyperReplication 配合可以使异构阵列间的 LUN 数据做到互相备份，做到站点间的数据容灾。当灾难发生时， 能够通过互为备份的站点进行业务数据的接管和数据恢复。异构数据保护客户异构阵列上的 LUN 数据可能受到病毒或其他原因导致 LUN 数据受到破坏。

58、异构虚拟化结合 HyperSnap 技术技术可为异构 LUN 提供快照备份，快照瞬间完成，当数据被破坏后，可通过快照迅速的回滚到指定的快照时间点的数据，迅速恢复数据。数据迁移（SmartMigration）LUN 迁移（SmartMigration for Block）OceanStor 18000 V5 高端存储系统通过 LUN 迁移（SmartMigration）提供了智能化的数据迁移手段。可以在不中断原有业务的情况下实现将源 LUN 上的数据完整地迁移到目标 LUN 上。LUN 迁移不仅支持存储系统内部的数据迁移，还支持华为存储系统和与其兼容的异构存储系统之间的数据迁移。SmartMig

59、ration 特性通过把源 LUN 的数据完整的复制到目标 LUN，在复制过程中采用源 LUN 和目标 LUN 双写、差异日志记录等技术，复制完成后采用 LUN 信息交换由目标 LUN 接管源 LUN 业务，实现数据的在线迁移。SmartMigration 的实现过程分为两个阶段：数据同步迁移前，客户需要配置迁移的源 LUN 和目标 LUN。迁移开始时，数据由源 LUN 复制到目标 LUN。主机此时可以继续访问源 LUN。主机写入源 LUN 数据时，系统首先在 DCL（Data Change Log）中记录差异日志。写入的数据同时向源 LUN 和目标 LUN 双写。如果双写成功，系统清除 DC

60、L 上此次写入 LBA 的记录。如果目标 LUN 写失败，存储侧将 DCL 上记录的未同步成功的数据拷贝至目标 LUN，拷贝结束后返回主机写 I/O 完成；如果源 LUN 写失败，返回主机写 I/O 失败，主机重新下发数据至源 LUN，但不写入目标 LUN。LUN 信息交换数据复制完成后，主机 IO 将暂时悬挂，源 LUN 和目标 LUN 进行信息交换，具体原理 HYPERLINK l _bookmark29 如图 4-2 所示：图4-2 LUN 信息交换示意图由于 LUN 信息交换是瞬时完成的，因此主机无需中断业务，实现了用户无感知情况下的业务迁移。应用场景结合 SmartVirtualiz