华为 OceanStor N8500 银行存储解决方案建议书

哈尔滨银行数据平台及数据分析项目技术建议书IssueV2.2Date2020-04-16华为技术有限公司版权所有 华为技术有限公司 2015。 保留一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。华为技术有限公司为客户提供全方位的技术支持，用户可与就近的华为办事处联系，也可直接与公司总部联系。华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼 邮编：518129网址：客户服务电话：0 4008302118客户服务传真：1客户服务邮箱：S目 录1 概述51.1 项目背景51.2 系统需求分析51.3 建设规模及目标51.4 方案设计原则62 系统设计方案82.1 系统组网82.2 软硬件配置清单93 方案技术特点及优势103.1 方案技术特点介绍103.2 方案优势164 相关产品介绍184.1 OceanStor N8500集群NAS存储系统介绍185 缩略语表22图目录图表 1 系统组网方案拓扑图7图表 2 配置清单8图表 3 N8500集群NAS系统高可用性示意图10图表 4 N8500集群NAS系统数据共享示意图11图表 5 N8500集群NAS系统高扩展性示意图121 概述1.1 项目背景哈尔滨银行新一代数据平台于2014年6月底成功上线，目前正在应用推广过程中，同时新一代数据平台二期工作也即将启动。新一代数据平台作为全行数据大集中的统一平台，承担了全行数据大集中、全行报表等关键功能，该平台的稳定高效运行，对全行业务管理能力的提升起着重要的作用。新一代数据平台的稳定、高效运行，有两方面的基本要求：一是数据质量高，确保新一代数据平台能够提供准确的数据；二是运行效率高，能够保证在第二天的工作时间及时为各级业务部门提供数据。1.2 系统需求分析本系统规划增加服务器和存储，及用途说明如下： 增加7台生产服务器，使用NAS连接存储。用于提高数据平台ETL性能和数据分发平台的性能。 增加5台开发测试服务器，使用NAS连接存储。测试网和生产网使用不同网段，物理隔离。 增加3台数据分析服务器，使用FC SAN的方式连接存储。数据分析工作需要频繁地进行数据处理，尤其是对整个数据库的操作较多。 增加1套存储系统，要求同时满足上述系统应用要求。1.3 建设规模及目标通过本期项目建设，需要达到如下标准和要求：1. 建立统一的存储平台，统一部署、统一管理、统一维护；2. 提供高性能的文件共享服务，并能够保证随着业务的高速发展，性能平滑扩展，使文件服务不会成为存储系统的瓶颈；3. 提供高性能的数据库服务，并能保证随着业务的发展，性能平滑扩展，满足大量信息的查询和检索。4. 高可靠应用，整套存储系统实现全冗余架构，无单点故障，关键设备、关键设备有冗余保护，最大程度提升系统可靠性；5. 系统支持在线动态扩容，以满足增长的存储业务需求；6. 提供高性价比的存储系统，在满足应用和扩展需求的前提下降低系统的初始投资和整体的运营费用；7. 针对不同安全保护级别的数据实现数据安全保护，实现资源合理最优的配置，同时可做到后续数据备份和容灾平滑过渡；1.4 方案设计原则结合哈尔滨银行的实际应用和发展要求，方案主要遵循以下原则进行设计：1. 高可靠性：对于存储的高可靠性应该从几个方面来进行考虑。首先，对于磁盘存储进行较高级别的RAID冗余。其次，磁盘阵列系统本身的设计中不能存在部件的单点故障。还有，磁盘阵列与应用系统之间的连接上也不能存在单点故障。2. 高性能：方案设计的集中存储不能以牺牲性能为代价，这需要对数据传输的各个过程具体分析性能瓶颈。3. 可扩展性：方案的可扩展性的要求表现在以下几方面：a) 容量的可扩展性：存储系统可以在现有容量的基础上，为未来的应用提供足够的扩展空间。b) 接口的可扩展性：随着用户业务的增长，有更多的服务器可以很方便地使用存储系统，以实现数据的集中存储和备份。c) 新技术的可扩展性：方案采用的硬件设备和软件产品都是业界相关领域的开放型主流产品，采取开放性模块化设计，当新的存储技术出现后，可以通过升级相应的模块实现向新技术的扩展。4. 兼容性：方案提供的磁盘阵列系统可以同时支持Windows、Linux、Unix等操作系统。5. 磁盘共享：磁盘共享的目的是节省投资。实际系统使用时，为了管理上的方便和安全，需要不同的系统独占各自的磁盘。为了满足共享上的需求，方案对每一业务系统规划出所需的存储空间，后续可很方便地针对每个业务系统存储空间扩容。6. 高性价比：首先要从系统的实用性角度出发，满足不同的业务系统的实际需要和前瞻性的同时，选择最高性价比的设计方案。7. 管理简便，操作简单，界面友好：良好的管理界面是方案设计所必需的。2 系统设计方案2.1 系统组网图表 1 系统组网方案拓扑图（1） 生产服务器和开发测试服务器通过千兆以太网连接N8500，N8500分别提供不同的NAS文件系统。（2） 生产网和测试网部署在不同的VLAN中，实现子网隔离。（3） 数据分析服务器通过8Gb FC-SAN网络连接N8500。（4） N8500配置30TB可用容量，满足当前容量需求。3 方案技术特点及优势3.1 方案技术特点介绍3.1.1 基于N8500的集群NAS存储技术高可用的集群NAS服务n 整个集群系统采用多节点全Active的工作模式同一时间有集群中的所有节点可以并发工作。由于存储空间对所有集群NAS引擎节点共享,可以保证一个甚至多个集群NAS引擎出现故障时业务不中断。当故障的集群NAS引擎恢复后，业务可以自动Failback，整个过程无需人工干预。n 全冗余设计整个存储系统的所有硬件部件采用全冗余设计，可在线更换。n 数据保护机制采用Cache同步机制，数据保险箱技术，以及全局锁管理机制。其中全局锁管理机制允许各个集群NAS引擎对同一个文件的不同部分同时修改。N8500集群NAS存储系统提供高可用的工作模式，如下图所示：图表 3 N8500集群NAS系统高可用性示意图高性能的集群NAS系统由于采用了多节点全Active的集群架构，在整个集群中，所有节点都是并发工作的，提高了资源利用率的同时，也大大提高了系统性能。随着业务发展，当集群NAS引擎成为了整个系统的瓶颈时，可以通过在线增加引擎节点方法使系统性能得到线性增长。集群在执行业务时，基于客户端连接，DNS（Domain Name Server）负载均衡将根据引擎节点的即时负载动态调节各节点业务IP的负载，使用相对空闲的设备，最大程度的扩充NAS系统负载承受能力，并将负载均分到各个节点。在2012年10月SPEC（标准性能评测机构）机构发布的测试值中，N8500 以超过300万的OPS成为业界领先的文件存储系统。集群NAS引擎间数据完全共享N8500集群NAS引擎可完全共享后端存储, 对热点数据的并发访问由多引擎分担，引擎之间资源充分利用，在任何NAS引擎出现故障的时候，都不会影响业务的情况，可以做到故障自动切换。图表 4 N8500集群NAS系统数据共享示意图可扩展的集群NAS系统支持集群NAS引擎和后端存储的性能和存储容量的灵活扩展。快速增加集群NAS引擎，使性能线性扩展，最多可扩展至24个集群NAS引擎,满足高性能需求。各集群NAS引擎还可通过提高硬件配置增加性能。支持扩展存储容量。通过单套存储阵列增加磁盘数量；增加存储阵列套数两种方式，存储容量从TB级扩展至PB级，最高可支持15PB容量。此外，N8500还支持灵活的主机端口配置，集群NAS引擎节点可选择配置GE端口和10GE端口。图表 5 N8500集群NAS系统高扩展性示意图3.1.2 基于N8500的其他软件特性1. 支持文件系统WORM文件系统企业级WORM功能提供对文件系统一次写入，多次读出，防止修改、删除文件系统中数据。WORM（Write only read many）是指一次写入，多次读出的技术。在N8500集群NAS存储系统中，对VxFS文件系统设置WORM，在WORM的保留时间范围内，不能够对文件进行修改、删除、移动操作，但是可以多次读取。数据写入之后不可重写，不可删除，保证企业的重要数据。2. 支持文件系统远程复制通过远程复制特性，更好的满足用户对容灾的需求。远程复制是容灾备份的核心技术，可以实现远程数据同步和灾难恢复。在物理位置上分离的存储系统，通过远程数据连接功能，可以在远程维护一套或多套数据副本。一旦灾难发生，分布在异地存储系统上的备份数据并不会受到波及，从而实现容灾备份功能。N8500支持异步远程复制，周期性地同步数据，最大限度减少由于数据远程传输的时延而造成的业务性能下降。异步远程复制的应用场景包含以下方面：l 主站点与从站点的存储单元一对一数据容灾用户在A地提供一套N8500系统，配套一台阵列，在B地提供一套N8500系统用于容灾，配套一台阵列。用户需要将A地的数据完全复制到B地，A地N8500系统提供业务。当A地发生灾难后，B地N8500系统接管业务。A地与B地之间的N8500系统创建远程复制，对A地文件系统提供数据容灾；A地N8500系统作为主站点，提供业务，B地N8500系统作为从站点，用于容灾。l 镜像场景数据容灾用户对数据安全性要求很高，需要做高可靠性数据容灾方案。用户在A地的业务系统提供了一套N8500系统，配套两台阵列用于镜像业务；在B地提供了一套N8500系统用于容灾，配套一台阵列。A地与B地之间的N8500系统只需要对主端一台存储单元到B地N8500存储单元创建远程复制，A地的数据可以复制到B地的N8500系统用于容灾。l 主站点与从站点存储单元多对多数据容灾用户对存储性能、容量要求很高等情况下，可能存在一套N8500系统配套多台存储单元。用户在A地的业务系统提供了一套N8500系统，配套多台阵列（阵列台数不超过4）用于生产业务；在B地提供了一套N8500系统用于容灾，配套多台阵列（阵列台数不超过4）。A地的N8500系统需要将主端多台阵列（阵列台数不超过4）复制到B地N8500系统用于容灾。A地的Pool（文件存储池）不能创建在两台存储单元，需要将A地Pool复制到B地的N8500系统。3. 支持文件系统NDMP备份N8500通过与支持NDMP协议的第三方备份软件对接，实现对N8500的备份和恢复。l 当已有支持NDMP协议的第三方备份软件时，N8500可以直接集成使用，节约用户投资。l 支持NDMP协议V4版本。l NDMP备份方式支持2-way备份和3-way备份。l 支持对N8500的文件系统和目录进行备份和恢复。l 备份类型支持完全备份、累积式增量备份和差异式增量备份。l 支持完全恢复、DAR（Direct Access Recovery）恢复和选择性恢复。l 备份介质支持VTL和物理磁带库。4. 支持RAID2.0+RAID2.0+是针对传统RAID的缺点，设计的一种满足存储技术虚拟化架构发展趋势的全新的RAID技术。该技术变传统固定管理模式为两层虚拟化管理模式，在底层块级虚拟化（Virtual for Disk）硬盘管理的基础之上，实现了上层虚拟化（Virtual for Pool）的高效资源管理。RAID2.0+采用底层硬盘管理和上层资源管理两层虚拟化管理模式，在系统内部，每个硬盘空间被划分成一个个小粒度的数据块，基于数据块来构建RAID组，使得数据均匀地分布到存储池的所有硬盘上，同时，以数据块为单元来进行资源管理，大大提高了资源管理的效率。l 虚拟池化设计，降低存储规划管理难度使用RAID2.0+技术的T系列存储系统，采用了领先的虚拟化技术，对存储资源进行池化设计，管理员只需要维护少量的存储资源池，所有的RAID配置在创建存储池时自动配置完成，同时，系统会自动根据制定的策略来智能管理和调度系统资源，大大降低了规划和管理的难度。l 增加LUN所跨硬盘数，大幅提升单LUN性能RAID2.0+技术支持由几十甚至上百块硬盘组成一个大的存储资源池，LUN基于存储池创建，不再受限于RAID组磁盘数量，宽条带化技术能够让单个LUN上的数据分布到很多不同的磁盘上，避免了磁盘热点，使得单LUN性能和容量都得到了大幅提升。如果当前存储的容量无法满足要求时，只需要简单向硬盘域中增加硬盘就可以完成存储池和LUN的动态扩容，提升了磁盘的容量利用率。l 空间动态分布，灵活适应业务变化RAID2.0+基于业界领先的块虚拟化技术实现，卷上的数据和业务负荷会自动均匀分布到存储池所有的物理硬盘上，借助于智能的Smart系列效率提升套件，T系列存储系统能自动根据业务所需的性能、容量、冷热数据等因素在后台进行智能调配，灵活地适应企业业务的快速变化。5. 支持SmartQoSSmartQoS能够对存储系统中的计算资源，缓存资源，并发资源以及硬盘资源的智能分配和调节，来满足多种不同重要性业务在同一台存储设备上的不同QoS要求。SmartQoS特性从以下三个方面来保证数据业务的服务质量：l IO优先级调度技术通过区分不同业务的重要性来划分业务响应的优先级。在存储系统为不同业务分配系统资源的时候，优先保证高优先级业务的资源分配请求。在资源紧张的情况下，为高优先级的资源分配较多的资源，以此尽可能保证高优先级业务的服务质量。当前用户可以配置的优先级分为高、中、低三个等级；l IO流量控制技术基于传统的令牌桶机制，针对用户设置的性能控制目标（IOPS或者带宽）进行流量限制，通过IO流控机制，限制某些业务由于流量过大而影响其它业务；l IO性能保证技术基于流量扼制的方式，允许用户为高优先级业务指定最低性能目标（最小IOPS/带宽或最大时延），当该业务的最低性能无法保障时，系统内部通过对其他低优先级业务的IO逐级增加时延的方式来限制其流量，从而尽力保障该业务的最低性能目标。6. 支持SmartPartitionSmartPartition的核心思想是通过对系统核心资源的分区，保证关键应用的性能。管理员可以针对不同的应用配置不同大小的缓存分区，系统将保证该分区中的缓存资源被该应用独占，并根据业务实际情况实时动态调配不同分区中的前后端并发，从而保证位于该分区的应用性能。SmartPartition还可以与其他QoS技术（如智能服务质量控制SmartQoS）相配合，从而达到更好的服务质量保证效果。缓存从类型上分为读缓存和写缓存。读缓存的主要作用是通过读预取及数据保有提高主机读IO的命中率；写缓存的主要作用是通过合并、命中、排序等手段提高访盘性能。不同的业务对读写缓存大小有不同的要求，SmartPartition支持用户单独为分区配置读、写缓存的大小，从而满足不同类型业务的要求。3.2 方案优势3.2.1 N8500集群NAS存储的优势1. 多节点全Active集群架构传统NAS架构多采用双控Active-Standby模式，一般同一时间只有一个控制器处于Active状态，资源利用率低。整套系统性能易达到瓶颈，且扩展困难。N8500集群NAS采用多节点全Active的集群架构，所有节点可并行工作。2. 多引擎间存储空间全共享由于传统NAS架构限制，每个控制器分别管理不同的存储空间，不能实现共享。当Active节点故障时，需要进行故障切换，此时，Standby节点需要进行一系列复杂切换工作，才能接收故障节点原有工作，成为新的Active节点。由于切换过程复杂，切换时间长，将影响上层业务。N8500所有NAS引擎可实现全共享，后端存储对于所有引擎来说都是可见的。因此，当某个引擎，甚至N-1个引擎发生故障时，其他引擎可以迅速接管故障节点工作。切换时间极短，用户无感知。3. 灵活的性能容量扩展传统NAS的引擎和存储单元紧耦合，存储控制软件与其他软件运行于同一控制器。当NAS引擎性能和存储单元性能达到瓶颈时，无法自由地扩展，只能采取堆叠的方式，既浪费成本，又影响了系统性能的稳定。N8500集群NAS存储系统可以支持灵活地在线扩展引擎节点和存储系统。引擎节点支持224个，通过平滑扩展，可以使性能得到线性增长。存储单元最大可扩展至15PB，在同类产品中具有较强的竞争优势。3.2.2 方案整体优势1. 非结构化数据集中存储，大大降低管理和维护成本。N8500集群NAS存储系统支持不同格式、不同大小的多种非结构化数据的集中存储。大大降低了维护成本。N8500可提供ISM的图形化管理界面，在同一ISM界面上统一管理所有集群NAS引擎和存储单元，支持图形化配置界面和实施监控系统软硬件状态，大大提升了管理效率。2. 卓越的文件处理能力，满足系统高性能需求。N8500针对小文件的读写性能优化，使得支撑大规模的业务游刃有余。集群NAS引擎可并发读写同一个业务空间，使得业务压力均匀分布在各个引擎上，消除热点引擎。3. 保障业务高可靠性和运行持续性N8500集群NAS存储系统所有硬件部件采取冗余设计，不会出现单点故障。集群NAS引擎采用多节点全Active集群架构，当出现引擎节点故障时，可以快速实现故障切换也可进行负载分担。4. 丰富的增值功能，降低投资成本特有的DST特性，实现了基于访问频度的自动数据分级，有效进行数据生命周期管理，节省成本。4 相关产品介绍4.1 OceanStor N8500集群NAS存储系统介绍4.1.1 产品概述 OceanStor N8500集群NAS存储系统随着信息化进程加快，数据急速增长，非结构化数据的增长速度更是远超预期。如何对海量数据的统一集中存储和高效简单管理，以便更好的适应业务的持续增长，对存储系统提出了更加严苛的要求。华为OceanStor N8500是一款面向企业应用的高性能集群NAS存储，能够满足政府、教育、媒体、金融、运营商等行业的应用需求，具有高性能、易扩展、高效数据管理和统一存储等特点。4.1.2 产品特点1. 高性能n 性能领先：在SPEC sfs2008基准评测NFS协议下性能达到3,064,602 OPS，是同类产品的2倍n 集群架构：多节点全Active集群技术，集群中所有节点可协同工作，实现对数据的并发访问n 全局共享存储空间：所有节点可以同时访问相同的存储空间；通过内置DNS实现负载均衡，将负载平均分配至集群节点上，提升节点资源利用率n 高可靠架构设计：所有部件均为冗余设计，无单点故障；数据保险箱技术、文件系统镜像等软件技术进一步提高系统可靠性2. 高扩展n 引擎节点可扩展：引擎节点可最大扩展至24节点，系统性能随引擎节点增加线性增长n 存储容量可扩展：存储容量最大可扩展至15PB3. 高效数据管理n 动态分级存储功能：基于文件访问频率、时间策略在不同存储介质之间实现双向动态迁移，对应用透明，降低企业投资成本n 动态数据缓存：通过使用闪存驱动器来扩展缓存并配合动态数据缓存技术，提升系统性能n 文件系统镜像功能：同一存储系统内可设置文件系统镜像，保存多份数据，提高在线数据的可靠性n 软配额/硬配额管理：实现灵活的用户空间分配和使用n 域管理：支持AD/NIS/LDAPn 多种数据保护技术：提供快照、拷贝、远程复制等多种增值特性4. 统一存储n 协议统一：包含SAN和NAS存储协议的统一存储，同一存储系统支持结构化和非结构化数据存储。支持iSCSI、FC、FCoE、NFS、CIFS、HTTP、FTP等多种存储网络协议n 管理统一：通过简洁的图形化界面，提供文件、块数据业务的统一管理。向导式的配置方式，协助用户轻松完成各项配置n 设备监控：图形化管理界面提供实时/历史性能统计功能，支持声、光、邮件等多种告警方式，随时掌控设备运行情况4.1.3 产品规格型号N8500硬件特性系统架构多节点全Active集群架构节点数2 24缓存/每节点基础版：16GB；标准版：24GB企业版：48GB；增强版：96GB，可扩展至192GBGE端口/每节点标配4 x GE，可扩展至16 x GE10GE端口/每节点最大支持6 x 10GE支持的硬盘类型SSD、SAS、NL-SAS物理存储容量可动态扩展，最大15PB软件特性RAID支持0、1、3、5、6、10、50文件系统大小可动态扩展，最大256TB存储协议FC、FCoE、iSCSI、NFS、CIFS、访问控制NIS、Microsoft Active Directory、LDAP其他协议NDMP LAN-FREE、SNMP、NTP、SMI-S文件增值特性LoadBalance（负载均衡）、Quota（配额）、Replication（文件系统远程复制）、企业级WORM块增值特性HyperSnap（快照）、HyperCopy（LUN拷贝）、HyperClone（克隆）、HyperReplication（同步/异步远程复制）、 SmartQoS（智能服