认证storage存储及实验手册v01第一章oceanstor方案介绍

1、版权所有 2017 华为技术有限公司第一章 OceanStor备份解决方案介绍前言l备份解决方案是华为存储解决方案中非常重要的一个方案，本课程重点介绍该方案中的基础概念。第2页版权所有 2017 华为技术有限公司目标l学完本课程后，您将能够：l了解OceanStor备份解决方案的定位与演进。l了解OceanStor备份解决方案的基础架构。l了解OceanStor备份解决方案的基本概念和特征。l了解OceanStor备份解决方案核心技术与优势 。l了解OceanStor备份解决方案的应用场景。目录1.概述概述2.OceanStor备份解决方案系统架构和组件备份解决方案系统架构和组件3.Ocean

2、Stor备份解决方案备份介质备份解决方案备份介质4.OceanStor备份解决方案备份分类备份解决方案备份分类5.OceanStor备份解决方案高级备份技术备份解决方案高级备份技术6.OceanStor备份解决方案应用举例备份解决方案应用举例第4页版权所有 2017 华为技术有限公司数据的安全性需求数据保护需求应用系统和数据越来越多的应用系统不断的上线，对各种数据的需求持续增加。企业和数据企业的业务运行越来越依赖于所存储的数据信息，且企业中关键数据量迅速增长。数据爆炸增长业务连续性需求第5页版权所有 2017 华为技术有限公司数据存储面临的挑战l各种灾难频发各种灾难频发l数据丢失影响数据丢失影

3、响:l当时倒闭：当时倒闭：55%。l两年内倒闭：两年内倒闭：29%。l-IDC调查报告。调查报告。90565026015508.92.805001000金融业证券业信用卡业点播业电子购航空订包裹运不同行业每小时停机损失单位：万美元导致系统崩溃导致重要信息丢失导致服务中断导致资金损失导致用户流失数据的安全性数据的安全性 业务的连续性业务的连续性 受到挑战！受到挑战！第6页版权所有 2017 华为技术有限公司每年的发生频率高低单次发生的损失 低高磁盘故障组件故障应用中断数据损坏自然灾害恐怖行动/国内动乱数据中心故障数据中心故障电源故障网络问题建筑火灾空调故障区域性灾难区域性灾难设备故障设备故障人为

4、破坏操作失误病毒升级故障逻辑错误逻辑错误同城数据中心同城容灾同城容灾异地数据中心异地容灾异地容灾主数据中心本地高可用容灾本地高可用容灾备份系统数据备份数据备份软件缺陷数据保护解决方案全景图第7页版权所有 2017 华为技术有限公司方案定位l方案定位：l降低备份方案的商务。l简化销售，归集典型场景，固化典型配置。l解决国内细分行业对备份方案的诉求。l目标市场：l国内政府行业。l全球企业市场。l运营商数据中心。第8页版权所有 2017 华为技术有限公司客户价值 31542客户价值客户价值华为存储快照备份华为存储快照备份多个备份域统一管理。运维成本降低50%。跨域管理跨域管理减少备份数据的传输量和存

5、储量。降低备份带宽和存储容量。重复数据删除重复数据删除满足细分行业对操 作系统和数据库备 份的需求。细分行业的兼容性支持细分行业的兼容性支持随时随地管理。零学习成本。WEBWEB化管理化管理缩短备份时间。业务零影响。成本降低50%。 目录1.概述2.OceanStor备份解决方案系统架构和组件3.OceanStor备份解决方案备份介质4.OceanStor备份解决方案备份分类5.OceanStor备份解决方案高级备份技术6.OceanStor备份解决方案应用举例第10页版权所有 2017 华为技术有限公司IP网络网络生产存储中心站点中心站点备份存储备份管理节点备份业务节点生产服务器 SAN分支

6、站点分支站点1 FC SAN生产服务器一体化备份设备生产存储异地备份站点异地备份站点备份存储备份管理节点备份业务节点生产服务器 SAN生产存储分支站点分支站点2 SAN生产服务器一体化备份设备生产存储分支站点分支站点N SAN生产服务器一体化备份节点生产存储 IP方案总体架构第11页版权所有 2017 华为技术有限公司备份系统组成生产存储备份介质备份服务器介质服务器生产中心生产中心SAN备份中心备份中心LAN备份客户端备份客户端需要备份的业务主机，一般需要备份的业务主机，一般需安装备份软件客户端代理需安装备份软件客户端代理程序程序(Agent)。备份介质备份介质用于存储备份数据的设备。用于存储

7、备份数据的设备。常见的备份介质：磁带库、常见的备份介质：磁带库、VTL、磁盘、磁盘阵列、光盘塔、云存储等。阵列、光盘塔、云存储等。备份管理系统备份管理系统含备份管理软件和备份管理服务器。含备份管理软件和备份管理服务器。自动发起备份作业，执行备份，读自动发起备份作业，执行备份，读取备份客户端的数据并把数据写入取备份客户端的数据并把数据写入到备份介质中。到备份介质中。备份网络备份网络备份数据流由备份客户端到备份服务器备份数据流由备份客户端到备份服务器的传输路径。的传输路径。一般是一般是TCP/IP网络或者网络或者FC光纤通道。光纤通道。CACACACAMACS备份客户端代理备份服务器MACACS介

8、质服务器数据库服务器应用服务器文件服务器应用服务器第12页版权所有 2017 华为技术有限公司备份管理系统功能和架构备份服务器介质服务器数据流控制/监控l监控备份作业、备份恢复作业的完成情况。l对于失败的备份作业能够提供故障分析的信息。备份介质管理备份介质管理备份策略管理备份策略管理备份作业监控备份作业监控l对磁带、VTL、磁盘等备份介质进行集中管理。l定义数据保留多长时间（保留策略）。l介质数据的自动过期管理（回收策略）。l备份系统工作的规则，如：l什么时候备份。l备份哪些业务主机。l备份业务主机上的什么内容。l数据备份到什么地方。备份介质池客户端代理第13页版权所有 2017 华为技术有限

9、公司备份管理系统功能和架构备份服务器介质服务器数据流控制/监控l监控备份作业、备份恢复作业的完成情况。l对于失败的备份作业能够提供故障分析的信息。备份介质管理备份介质管理备份策略管理备份策略管理备份作业监控备份作业监控l对磁带、VTL、磁盘等备份介质进行集中管理。l定义数据保留多长时间（保留策略）。l介质数据的自动过期管理（回收策略）。l备份系统工作的规则，如：l什么时候备份。l备份哪些业务主机。l备份业务主机上的什么内容。l数据备份到什么地方。备份介质池客户端代理第14页版权所有 2017 华为技术有限公司方案逻辑架构第15页版权所有 2017 华为技术有限公司l三层备份体系架构：三层备份体

10、系架构：客户端备份业务节点备份管理节点备份体系架构第16页版权所有 2017 华为技术有限公司备份管理节点主要功能：主要功能：维护所有的配置信息（客户端，介质代理，维护所有的配置信息（客户端，介质代理，备份设备等）。备份设备等）。维护管理用户的权限和软件许可。维护管理用户的权限和软件许可。管理所有的作业和历史任务记录。管理所有的作业和历史任务记录。提供提供WEBWEB和和GUIGUI服务。服务。CSMetaDataCommCell ConsoleSecurity & Licensing第17页版权所有 2017 华为技术有限公司备份业务节点主要功能：主要功能：客户端和备份存储间的数据传

11、输，负责客户端和备份存储间的数据传输，负责备份软件数据的写入和恢复数据的读取。备份软件数据的写入和恢复数据的读取。维护该业务节点上所有作业的索引信息维护该业务节点上所有作业的索引信息和索引缓冲区信息。和索引缓冲区信息。作业的索引信息会和备份任务一起写入作业的索引信息会和备份任务一起写入介质。介质。MAIndexCacheData Storage第18页版权所有 2017 华为技术有限公司备份客户端主要功能：主要功能：安装安装IDAIDA的主机被称为客户端。的主机被称为客户端。支持所有主要文件系统和应用。支持所有主要文件系统和应用。一个客户端能安装多个一个客户端能安装多个IDAIDA，但至少必须

12、安，但至少必须安装装1 1个基本模块。个基本模块。IDAIDA有多种类型，包括：有多种类型，包括： 基本模块（文件系统）。基本模块（文件系统）。 应用在线备份模块（应用在线备份模块（OracleOracle，SQLSQL等）。等）。 其他功能模块。其他功能模块。iDAApplication DataFile System Data第19页版权所有 2017 华为技术有限公司组网介绍l常见的数据备份系统主要有LAN-Base、LAN-Free、Server-Free、Server-Less等多种结构。lLAN-Base针对所有存储类型都可以使用，LAN-Free备份和Server-Free备份只

13、能针对SAN架构的存储。第20页版权所有 2017 华为技术有限公司LAN-BaseLAN备份管理节点备份业务节点生产系统GEFC数据流备份介质第21页版权所有 2017 华为技术有限公司LAN-FreeGEFC数据流LANSANLAN-free Backup备份管理节点备份管理节点生产系统备份客户端备份客户端业务节点业务节点生产存储备份介质第22页版权所有 2017 华为技术有限公司Server-FREEGEFC数据流LANSAN备份管理节点备份业务节点Server-free Backup生产系统代理服务器快照生产存储备份介质第23页版权所有 2017 华为技术有限公司Server-less

14、LANSAN备份管理节点备份业务节点 代理服务器生产系统GEFibre Channel数据流生产存储备份存储目录1.概述2.OceanStor备份解决方案系统架构和组件3.OceanStor备份解决方案备份介质4.OceanStor备份解决方案备份分类5.OceanStor备份解决方案高级备份技术6.OceanStor备份解决方案应用举例第25页版权所有 2017 华为技术有限公司备份介质l备份介质：l磁盘阵列。l磁带库。l虚拟带库。l光盘塔、光盘库。l云存储。l一体机：lHDP3500E。华为VTL系列物理磁带库华为HDP3500E华为存储阵列第26页版权所有 2017 华为技术有限公司磁带

15、库l优势：优势：l单位存储成本较低。单位存储成本较低。l可实现数据和读写装置分离，可离线保存。可实现数据和读写装置分离，可离线保存。l容量扩展性好。容量扩展性好。l出现时间长。出现时间长。l劣势：劣势：l备份和恢复性能较低。备份和恢复性能较低。l机械故障率高。机械故障率高。l易受环境影响而失效。易受环境影响而失效。l管理成本高。管理成本高。l适用于备份数据量不大，时间窗口宽裕，或希望将数据异地离线长期保存的场景。如HPMSL6060、IBM TS3310 等。第27页版权所有 2017 华为技术有限公司磁带库l优势：优势：l单位存储成本较低。单位存储成本较低。l可实现数据和读写装置分离，可离线

16、保存。可实现数据和读写装置分离，可离线保存。l容量扩展性好。容量扩展性好。l出现时间长。出现时间长。l劣势：劣势：l备份和恢复性能较低。备份和恢复性能较低。l机械故障率高。机械故障率高。l易受环境影响而失效。易受环境影响而失效。l管理成本高。管理成本高。l适用于备份数据量不大，时间窗口宽裕，或希望将数据异地离线长期保存的场景。如HPMSL6060、IBM TS3310 等。第28页版权所有 2017 华为技术有限公司磁盘l适用于数据量大，备份窗口相对较小，对备份设备的性能和可靠性要求很高的场合，如数据中心。产品如华为OceanStor V3系列、18000系列。l优势：l备份和恢复性能高。l故

17、障率低。l管理维护成本低。l劣势：l一次性投入高。l不能离线保存数据。第29页版权所有 2017 华为技术有限公司虚拟带库l需继承企业原有磁带备份架构和策略，又需提高备份速度的场景，如华为VTL6900。l优势：l可继承原有磁带存储系统架构。l性能较高。l存储性能较高。l管理方便。l劣势：l整体部署成本较高。l容量扩展性能较真实磁带库差。第30页版权所有 2017 华为技术有限公司光盘l优势：优势：l光驱、光盘的价格较低，具备成本优势光驱、光盘的价格较低，具备成本优势 。l光盘介质保存时间长。光盘介质保存时间长。l对保存环境要求较低。对保存环境要求较低。l劣势：劣势：l读写速度较低。读写速度较

18、低。l容量较低。容量较低。l通常不可反复擦写。通常不可反复擦写。l光驱数量有限，支持的并发用户数量也较少光驱数量有限，支持的并发用户数量也较少 。l适用于对速度要求不高，容量不大，不用经常擦写的场景，如教育、档案、图书馆、广电等行业，如SONYPDJ-1080。第31页版权所有 2017 华为技术有限公司云存储l适合备份数据量不是很大的业务，如OceanStor 9000 、 FusionStorage 。l优势：l对于终端客户，部署简单 。l无需管理备份介质，备份系统。l投资较小。l扩容方便。l劣势：l需要有传输到云端的足够带宽。l网络传输的成本较高，速度较慢。目录1.概述2.OceanSt

19、or备份解决方案系统架构和组件3.OceanStor备份解决方案备份介质4.OceanStor备份解决方案备份分类5.OceanStor备份解决方案高级备份技术6.OceanStor备份解决方案应用举例第33页版权所有 2017 华为技术有限公司备份类型 完全备份 累积增量式备 差异增量式备份Sun.Mon.Tue.Wed.Thu.Fri.Sat.Sun.l每天完全备份。l易于管理。Sun.Mon.Tue.Wed.Thu.Fri.Sat.Sun.l每周一天完全备份。l本周其余每天备份和完全备份的差异部分。Sun.Mon.Tue.Wed.Thu.Fri.Sat.Sun.l每周一天完全备份。l周其

20、余每天备份和上次备份的差异部分。第34页版权所有 2017 华为技术有限公司备份类型分析l完全备份：完全备份：l优点：能够基于上一次的完全备份快速恢复数据，恢复窗口小。优点：能够基于上一次的完全备份快速恢复数据，恢复窗口小。l缺点：所占用的存储空间大，每次备份耗时长，备份窗口大。缺点：所占用的存储空间大，每次备份耗时长，备份窗口大。l累积增量式备份：累积增量式备份：l优点：相对完全备份来说每次备份可以节约一个完全备份的存储空间，优点：相对完全备份来说每次备份可以节约一个完全备份的存储空间，备份窗口较小，恢复窗口较小。备份窗口较小，恢复窗口较小。l缺点：恢复时必须依赖上一次完全备份和本次的累积增

21、量式备份才能完缺点：恢复时必须依赖上一次完全备份和本次的累积增量式备份才能完整恢复数据，恢复时间较差异增量式备份较短。整恢复数据，恢复时间较差异增量式备份较短。l差异增量式备份：差异增量式备份：l优点：能够最大限度地节省存储空间，备份窗口小。优点：能够最大限度地节省存储空间，备份窗口小。l缺点：数据恢复时必须依赖上一次完全备份和每一次的差异增量式备份缺点：数据恢复时必须依赖上一次完全备份和每一次的差异增量式备份才能对数据进行完整恢复，恢复时数据重构较慢，恢复时间较长。才能对数据进行完整恢复，恢复时数据重构较慢，恢复时间较长。目录1.概述2.OceanStor备份解决方案系统架构和组件3.Oce

22、anStor备份解决方案备份介质4.OceanStor备份解决方案备份分类5.OceanStor备份解决方案高级备份技术6.OceanStor备份解决方案应用举例第36页版权所有 2017 华为技术有限公司OceanStor备份解决方案功能特性重复数据删除重复数据删除 多个备份域统一管理，减少各备份域独自管理难度，降低50%运维管理成本。跨域管理跨域管理备份域A备份域B快照备份快照备份 缩短备份时间，业务零影响，秒级恢复快照数据。硬件快照应用服务华为存储Data Store减少存储空间，节省带宽占用，降低整体成本投入。原始数据重复数据重删后数据备份服务器、备份存储一体化，单设备最大支持提供24

23、TB重删空间。一体化备份一体化备份备份服务器备份存储第37页版权所有 2017 华为技术有限公司备份一体化方案生产存储生产服务器一体化备份节点 SAN IPFC第38页版权所有 2017 华为技术有限公司统一管理Copy1A分支备份域ACopy1B分支备份域B自动同步元数据自动更新客户端和备份作业主备份域(报告)第39页版权所有 2017 华为技术有限公司数据保护Copy1ACopy1B主备份域主备份域Copy2ACopy2B共享备份业务节点MA组件多实例DASH CopyCopy 3A & 3BWANWAN分支备份域分支备份域A A分支备份域分支备份域B B第40页版权所有 2017

24、 华为技术有限公司物理布局DASH CopyMA_GRC3个个MA实例实例DASH CopyWANWANCOPY1COPY2COPY3COPY2COPY3COPY1MA_CellAMA_CellB分支备份域分支备份域A A分支备份域分支备份域B B主备份域主备份域第41页版权所有 2017 华为技术有限公司原理1.1.快照快照3.3.备份备份8 8 AMAM12 12 PMPM4 4 PMPM生产卷生产卷4.4.辅助拷贝辅助拷贝云云2.2.索引索引去重去重恢复层恢复层 ( (与存储设备紧密集成与存储设备紧密集成) )应用一致性副本确保快速恢复。应用一致性副本确保快速恢复。内容感知内容感知/ /

25、编目编目 （后台处理）。（后台处理）。能搜索数据并进行小颗粒恢复。能搜索数据并进行小颗粒恢复。保护层保护层 ( (任何磁盘存储任何磁盘存储) )每天装载快照，提取相关每天装载快照，提取相关内容创建备份副本。内容创建备份副本。去重、加密、校验。去重、加密、校验。法规遵从层法规遵从层选择内容存入到费用更低选择内容存入到费用更低的存储，进行长期保留，的存储，进行长期保留，提供去重、加密。提供去重、加密。提供云存储接口。提供云存储接口。自动发现文件系统、数据库、邮件系统所在的卷。发发现现静默应用、触发硬件快照，创建应用一致性的快照副本。快快照照对快照进行后台索引，确保应用恢复或小颗粒恢复。索索引引对快

26、照进行脱机备份，备份对生产服务器零影响。备备份份把重要数据拷贝到磁带或云存储，进行长期保存，满足审计、法规要求。法法规规能从恢复层、保护层和法规遵从层恢复数据。恢恢复复第42页版权所有 2017 华为技术有限公司本地快照备份snap3snap2snap1snap3snap2snap1snap3snap2snap1CSVMFS (VMDK)vCenterData Store PoolIntelliSnap Recovery Manager Snapshot Control保护保护恢复恢复 本地阵列本地阵列 基于阵列本地格基于阵列本地格式。式。 在阵列上创建在阵列上创建Snap/CloneSnap

27、/Clone。 索引的拷贝索引的拷贝 文件信息在索引文件信息在索引缓存（缓存（index index cachecache） 进行索进行索引。引。 可检索的快照。可检索的快照。 应用一致性应用一致性 Log Log 管理。管理。 DB Mount - DB Mount - Snap Mining Snap Mining (Obj)(Obj)。 本地阵列本地阵列 卷恢复。卷恢复。 通过通过Clone/Mount Clone/Mount 形式进行内容形式进行内容 回回写（写（copy copy backback）。）。 基于应用的恢复基于应用的恢复 DBDB恢复（恢复（RPORPO）。）。 Log

28、Log恢复。恢复。 DB Mount Obj DB Mount Obj Recovery ToolRecovery Tool。第43页版权所有 2017 华为技术有限公司快照副本保护1.1.快照快照3.3.备份备份生产系统8 AM8 AM 12 PM12 PM4 PM4 PM生产存储生产存储本地快照保护本地快照保护应用一致性副本确保快应用一致性副本确保快速恢复速恢复内容感知内容感知/ /编目，搜索和编目，搜索和细粒度恢复细粒度恢复4.4.辅助拷贝辅助拷贝Windows, Linux, UnixWindows, Linux, UnixVMware and MS HyperVVMware and

29、MS HyperV Exchange, SQL, Oracle, DB2, Exchange, SQL, Oracle, DB2, SAPSAP2.2.索引索引备份副本备份副本磁带磁带云存储云存储数据备份到存储介质数据备份到存储介质每天装载快照，提取内容创建每天装载快照，提取内容创建备份副本，并进行去重、加备份副本，并进行去重、加密、校验。密、校验。数据备份到离线存储数据备份到离线存储磁盘阵列磁盘阵列保护保护恢复恢复 挂载路径的操挂载路径的操作作 备份作业。备份作业。 ContainerizeContainerized / Chunksd / Chunks。 存储和位置是存储和位置是无关的无关

30、的 。 索引的拷贝索引的拷贝 仅相关联的文仅相关联的文件被提取和索件被提取和索引引/ /保存。保存。 全全SPSP拷贝。拷贝。 在线内容感知、在线内容感知、重删重删 & & 加密加密 通过通过CVCV恢复恢复操作操作 依靠依靠APP IDA APP IDA 。 跨服务器、跨服务器、BMRBMR、颗粒度、颗粒度恢复。恢复。 第44页版权所有 2017 华为技术有限公司原数据集合逻辑视图物理存储重复数据删重复数据删除除节省大量磁盘空间！对需要存储的数据，以块为单位进行哈希比对，对已经存储的数据块不再进行存储，只是用索引来记录该数据块。对没有存储的新数据块，进行物理存储，再用索引记录

31、，这样相同的数据块物理上只存储一次。通过索引，可以看到完整的数据逻辑视图，而实际上物理存储的数据却很少。重复数据删除的过程重删过程第45页版权所有 2017 华为技术有限公司重删分类重删分类目标端重删 在线重删 后处理重删全局重删并行重删第46页版权所有 2017 华为技术有限公司源端重删源端源端目标端目标端传送的是新数据块和老数据块的索引第47页版权所有 2017 华为技术有限公司目标端重删l目标端重删：l当数据从“源端”传输到“目标端”的过程中，把数据块传送到目标端，在目标端进行去重操作。l在目标端有两种处理方式：l在线处理方式（In-Line）：在数据块存储之前进行去重处理，优点是占用存

32、储空间较少，缺点是要影响数据传输性能。l后处理方式（Post-Processing）：先把数据块存储在缓存中，等系统空闲时再进行去重处理。优点是不影响数据传输性能，缺点是需要额外的存储空间。第48页版权所有 2017 华为技术有限公司全局重删Block SizeCompressionDDBGlobal Dedupe StoreRetentionGDPCopyStorage PolicyRetentionGDPCopyStorage PolicyRetentionGDPCopyStorage Policy全局去重存储策略全局去重存储策略第49页版权所有 2017 华为技术有限公司并行重删DDB-

33、G250 Mount Paths 2-8TBMediaAgent-2 (Primary)DDB and Data Mover RoleDDB-G150 Mount Paths 2-8TBMediaAgent-1 (Primary)DDB and Data Mover RolePartition 1Partition 2全局重删存储策略全局重删存储策略Data transferDDB Lookups21234556第50页版权所有 2017 华为技术有限公司并行重删DDB-G250 Mount Paths 2-8TBMediaAgent-2 (Primary)DDB and Data Mover

34、 RoleDDB-G150 Mount Paths 2-8TBMediaAgent-1 (Primary)DDB and Data Mover RolePartition 1Partition 2全局重删存储策略全局重删存储策略Data transferDDB Lookups21234556第51页版权所有 2017 华为技术有限公司基于重删的合成全备SFSFRead and Read and RehydrateRehydrateDDBDDBRehashRehashWrite Synth Full Write Synth Full MetadataMetadataUpdate Referenc

35、e countsUpdate Reference countsWeek 1Week 1Week 2Week 2F FInInInInInInInInInInSFSFInIn10 12 hrs processing10 12 hrs processingWeek 1Week 1Week 2Week 2Eliminate ReadEliminate ReadDDBDDBWrite Synth Full MetadataWrite Synth Full MetadataUpdate Reference countsUpdate Reference countsF FInInInInInInInInI

36、nInSFSFInInMinutes of processingMinutes of processingSFSFMA-备份业务节点 DDB-MA端重删数据库目录1.概述2.OceanStor备份解决方案系统架构和组件3.OceanStor备份解决方案备份介质4.OceanStor备份解决方案备份分类5.OceanStor备份解决方案高级备份技术6.OceanStor备份解决方案应用举例第53页版权所有 2017 华为技术有限公司l现网应用以虚拟机平台为主，备份性能低。l图书馆书籍分类数目多，缺乏统一的备份平台。l需要建立一个异地灾备中心，保证备份数据安全。业务挑战业务挑战l使用LAN_Base组网方式部署，采用Enterprise集中备份解决方案。l采用Simpana作为备份软件，华为存储作为本地备份介质及异地灾备中心备份介质。解决方案解决方案l不需要在每台虚拟机上安装代理软件，并及时自动发现新增虚拟机，保证了虚拟机平台的高效备份。l采用重复数据删除技术，大大降低了存储资源的占用。l通过远程复制技术，实现快速可靠备份。客户收益客户收益某国农业大学图书馆备份第54页版权所有 20