Data Ontap核心技术.ppt

1、DataOntap核心技术,河汉计算机有限公司 石志斌 Mail: MobileData Ontap,FAS存储操作系统 FAS系列 / V系列 / GX 核心技术 WAFL / Snapshot / Raid-dp / Flexvol etc. 开放存储协议 FCP / NFS / CIFS / ISCSI 统一存储 http / https / ftp / ndmp / snmp / smtp / telnet / rsh / ssh etc. 存储网络接口 FC - SAN Ethernet NAS, IPsan,存储单元划分,Aggr0,Aggr1,vol0,

2、vol1,vol2,vol3,物理磁盘,Aggregate (RAID组集合),存储单元名称与定义,Aggregate 每个控制器必须有独立的Aggregate 可以包含一个或多个RAID组 Volume NAS存储单元 虚拟化逻辑单元，可以动态缩放（20MB16TB） WAFL文件系统结构 LUN SAN/IPsan 存储单元 虚拟化，可以动态缩放 数据格式由主机定义,2020/8/4,NetApp Confidential - Do Not Distribute,5,专用操作系统和文件系统WAFL,WAFL 显著增强了RAID性能,WAFL将许多个写入IO聚合成少数大的磁盘IO并写入同一个

3、RAID条带 磁头机械移动的减少获得了极高的性能提升 NVRAM保证数据最终写入磁盘前不会丢失 与访问协议无关FCP,NFS,CIFS,ISCSI RAID4 或 RAID-DP,校验盘,一个条带,数据盘,Standard RAID 5, typical file system,This slide is most useful when its animation is viewed on the computer screen.,Single-parity RAID with WAFL,Parity,This slide is most useful when its animation

4、is viewed on the computer screen.,软件产品和功能介绍,Netapp创新的RAID技术,专用操作系统(Dataontap)和底层存储空间管理技术(WAFL),先进的数据快照(Snapshot)和快速恢复(Snaprestore)技术,先进的存储空间分配和组织技术(Flexvol),先进的数据克隆技术(Flexclone),应用系统存储访问优先级控制技术(Flexshare),先进的基于磁盘阵列的数据容灾技术(Snapmirror),先进的基于磁盘阵列的数据高可用技术(Metrocluster),异构平台的容灾技术(ReplicatorX),1,1,3,7,2,为

5、什么其他厂商不提供RAID4支持，RAID4本身存在什么不足? Netapp如何解决RAID4本身的不足?,3,9,1,2,2,1,3,3,2,1,1,1,2,2,5,8,8,3,3+1+2+3=9,9-3-1-3=2,11,5,1,2,D,D,D,D,P,不管是RAID4还是RAID5，都是基于单校验技术的RAID方法，只能防止因一块硬盘故障导致数据失效,Netapp采用的RAID技术之一：RAID4,RAID4 有一块专用的校验盘,用户数据,校验数据,图例,此块数据要从3修改为5,5,11,2,2,1,4,9,单校验RAID技术的RAID组重构,3,1,2,1,1,1,3,1,2,2,1,

6、3,3,1,2,2,D,D,D,D,RAID4 有一块专用的校验盘,9 3 1 3 =,2,5 1 1 1 =,2,8 2 3 2 =,1,7 1 1 2 =,3,RAID组的重构，会给用户带来如下的影响： 需要较长的时间完成，且硬盘越大，所需的时间越长 会严重消耗阵列的资源，特别是该RAID组内的硬盘读写资源，因此会严重影响性能 在重构期内，整个RAID组没有保护，如果再有一块硬盘失效会导致用户数据的丢失,3,1,2,1,1,1,3,1,2,2,1,3,3,1,2,2,9,5,8,7,7,12,12,11,D,D,D,D,P,DP,一个Raid组内可以同时坏两块硬盘 数据可靠性比RAID-4

7、 或 RAID-5 提高了 4000倍 由于WAFL的批次刷写技术，RAID-DP相比RAID4几乎没有性能损伤,Netapp采用的RAID技术之二：RAID DP,用户数据,水平交验数据,对角交验数据,图例,软件产品和功能介绍,Netapp创新的RAID技术,专用操作系统(Dataontap)和底层存储空间管理技术(WAFL),先进的数据快照(Snapshot)和快速恢复(Snaprestore)技术,先进的存储空间分配和组织技术(Flexvol),先进的数据克隆技术(Flexclone),应用系统存储访问优先级控制技术(Flexshare),先进的基于磁盘阵列的数据容灾技术(Snapmir

8、ror),先进的基于磁盘阵列的数据高可用技术(Metrocluster),异构平台的容灾技术(ReplicatorX),RAID 4 / DP：RAID组内添加硬盘不需要进行重构,3,1,2,1,1,1,3,1,2,2,1,3,3,1,2,2,D,D,D,D,RAID4 / DP: 专用的校验盘,只要新添加的硬盘所有位都格式化为0，把硬盘添加到RAID4中就不会改变各个条带的校验值，因此整个RAID组不需要重构,RAID5：RAID组内添加硬盘需要进行重构,3,5,2,1,2,1,1,8,1,3,2,1,3,7,1,3,2,1,3,8,D,D,D,D,9,1,2,2,2,D,RAID5 没有专

9、用的校验盘，所有的校验信息分散存储在所有硬盘上,0,0,0,0,0,D,5,0,8,2,7,1,1,8,为了保持RAID5分散存放校验信息的特点，新硬盘添加到RAID组后，整个RAID组需要进行长时间的重构，在这段时间内数据没有RAID保护，且会严重影响性能,软件产品和功能介绍,Netapp创新的RAID技术,专用操作系统(Dataontap)和底层存储空间管理技术(WAFL),先进的数据快照(Snapshot)和快速恢复(Snaprestore)技术,先进的存储空间分配和组织技术(Flexvol),先进的数据克隆技术(Flexclone),应用系统存储访问优先级控制技术(Flexshare)

10、,先进的基于磁盘阵列的数据容灾技术(Snapmirror),先进的基于磁盘阵列的数据高可用技术(Metrocluster),异构平台的容灾技术(ReplicatorX),快照 数据,生产 数据,Netapp数据快照技术：Snapshot,A,B,C,D,空闲空间池,生产 数据,A,B,C,空闲空间池,D,D,D,用户最关心的和数据快照相关的两个问题： 数据快照对性能的影响程度 数据快照所需消耗的存储空间,快照 数据,生产 数据,其它厂商的数据快照技术,A,B,C,D,用户数据,生产 数据,A,B,C,用户数据,数据快照专用存储空间,D,D,D,D,不同的数据快照实现的性能差别,CX500 pe

11、rformance with their snapshots goes to 40%,VeriTest: Network Appliance FAS3020 and EMC CX500: Comparison of Usability and Performance,2600,2730,2860,2990,3120,3250,3380,3510,Elapsed Time in Seconds,CX500 R & W,FAS3020 R & W,Netapp数据快照的优势,不管拍多少份快照，对系统性能没有任何影响 不需要给快照提前分配存储空间，这样就不会造成如下两种情况 给快照空间分配过大，造成

12、空间浪费 给快照空间分配过小，导致快照失效 可以对一份数据最多进行255份快照,如果我们只有一份快照,12:00,生产数据文件,数据快照文件,18:00,19:00,20:00,21:00,22:00,23:00,24:00,数据快照被更新，被病毒删除的文件也从该快照中删除，此快照失效，从这一点起，该快照失效，无法用来恢复被病毒删除的文件,16:00,17:00,如果我们有多份快照,生产数据文件,18:00,19:00,20:00,21:00,22:00,快照数据文件,我手里还有有效的数据快照用来恢复被病毒删除的文件,Netapp缺省的自动数据快照时间表 最近三天每个小时进行一次数据快照 三天

13、到七天每天进行一次数据快照 七天到一个月每个星期进行一次数据快照 一个月到一年每个月进行一次数据快照,快照 数据,生产 数据,Netapp快速数据恢复技术：Snaprestore,空闲空间池,生产数据根节点,快照数据根节点,生产数据独占的空间,快照数据独占的空间,共享的空间,图例,直接把快照数据 升格为生产数据,生产 数据,生产数据 整个损坏,恭喜 数据恢复完成,不需要任何的数据拷贝过程，只涉及到一些标志位的修改和数据块的释放，因此，不管需要恢复的数据量多大，都能在很短的时间内完成数据恢复,软件产品和功能介绍,Netapp创新的RAID技术,专用操作系统(Dataontap)和底层存储空间管理

14、技术(WAFL),先进的数据快照(Snapshot)和快速恢复(Snaprestore)技术,先进的存储空间分配和组织技术(Flexvol),先进的数据克隆技术(Flexclone),应用系统存储访问优先级控制技术(Flexshare),先进的基于磁盘阵列的数据容灾技术(Snapmirror),先进的基于磁盘阵列的数据高可用技术(Metrocluster),异构平台的容灾技术(ReplicatorX),存储虚拟化FlexVol,Aggregate 包含物理磁盘,传统的存储空间分配方式,3TB,1TB,1TB,2TB,2TB,总可分配存储空间,哎，都分光了，没有剩余存储空间,传统存储空间分配方式

15、导致的矛盾,3TB,ERP系统,1TB,CRM系统,办公自动化系统,2TB,生产管理系统,其它系统,2TB,未使用空间,1TB,图例,使用一段时间后的情景,传统存储空间分配方式导致的低使用率,40%利用率,嘿嘿，所有的存储空间还在我手里,Netapp的Flexvol技术所采用的先进的存储空间分配方式,最多使用3TB,最多使用1TB,最多使用1TB,最多使用2TB,最多使用2TB,总可分配存储空间,规定最大能使用的空间配额，不实际占用空间,图例,Netapp的Flexvol技术采用的使用多少分配多少技术,最多使用3TB,ERP系统,最多使用1TB,CRM系统,办公自动化系统,最多使用2TB,生产

16、管理系统,其它系统,最多使用2TB,未使用空间,还剩余的空间使用配额,已使用空间,图例,总可分配存储空间,最多使用1TB,在使用当中，采用使用多少分配多少的策略,还有这么多空间可以分配,Netapp FlexVol 自动精简配置技术,3TB,1TB,CRM系统,2TB,1TB,办公自动化系统,生产管理系统,2TB,其它系统,存储空间池,ERP系统,规定最大能使用的空间配额，不实际占用空间,图例,3TB+1TB+1TB+2TB+2TB,6TB,Netapp的FlexVol技术提高了存储空间的使用率,80%利用率,FlexVol提升 I/O 性能,原有的架构 卷的性能被它的磁盘数量限制,软件产品和

17、功能介绍,Netapp创新的RAID技术,专用操作系统(Dataontap)和底层存储空间管理技术(WAFL),先进的数据快照(Snapshot)和快速恢复(Snaprestore)技术,先进的存储空间分配和组织技术(Flexvol),先进的数据克隆技术(Flexclone),应用系统存储访问优先级控制技术(Flexshare),先进的基于磁盘阵列的数据容灾技术(Snapmirror),先进的基于磁盘阵列的数据高可用技术(Metrocluster),异构平台的容灾技术(ReplicatorX),快照 数据,生产 数据,克隆 数据,Netapp数据克隆技术Flexclone:克隆生产,A,B,C

18、,D,空闲空间池,1. 复制生产数据的根节点，产生一份快照数据,D,A,2. 复制快照数据的根节点，产生一份克隆数据,数据克隆完成，只需要拷贝根节点而不需要拷贝任何数据，可以实现秒级数据克隆,生产数据和克隆数据在逻辑上完全独立，各自可读可写，系统只需要额外的存储空间用来保存两者各自的变化数据即可,生产 数据,Netapp数据克隆技术Flexclone:克隆删除,B,C,D,空闲空间池,D,A,快照 数据,克隆 数据,A,其它厂商的数据克隆技术,生产 数据,B,C,D,A,B,C,D,A,1.从系统的空闲空间中分配一份和需要克隆的数据容量相等的空间,2.源数据和新分配的空间建立数据复制关系，进行长时间的数据复制把所有源