NetApp Data Ontap核心基础技术技术工程师培训

1、1,NetApp Confidential - Internal Use Only,DataOntap核心技术,Data Ontap,NetApp统一存储架构,Application,OS,Security,Volume Mgmt (RAID),NTFS/UFS,Disk Drivers,通用操作系统,核心技术：专用操作系统DataOntap,70万 行代码，代码精炼 功能不多，但是专注于数据存储，因为专所以高效 对病毒免疫,专用操作系统DataOntap,5000 万行代码，代码庞杂 功能繁多，但是大部分和数据存储无关，从而影响数据存储性能 开放系统，容易受病毒攻击,2020/9/14,Ne

2、tApp Confidential - Do Not Distribute,4,专用操作系统和文件系统-WAFL,高效支持所有协议,NetApp LUNs 是在Flex vol之内建立的具备磁盘块属性的数据对象ted within FlexVol volumes. NetApp在SAN环境和NAS环境提供同样的存储效率 通过 NetApp的统一架构, 单一系统可以提供SAN和NAS功能，并且易于再配置和改变应对业务挑战,Disk Drive,Data ONTAP Logical View,RAID Group,Aggregate,FlexVol,LUN,SATA,RAID-DP,Thin Pr

3、ovisioning Thin Replication Snapshot Copies Virtual Copies Deduplication,Abstraction Layer,Efficiency Feature,存储单元划分,Aggr0,Aggr1,vol0,vol1,vol2,vol3,物理磁盘,Aggregate (RAID组集合),存储单元名称与定义,Aggregate 每个控制器必须有独立的Aggregate 可以包含一个或多个RAID组 Volume NAS存储单元 虚拟化逻辑单元，可以动态缩放（20MB16TB） WAFL文件系统结构 LUN SAN/IPsan 存储单元

4、虚拟化，可以动态缩放 数据格式由主机定义,Data Ontap,NetApp统一存储架构 NetApp Raid 技术详解,1,1,3,7,2,为什么其他厂商不提供RAID4支持，RAID4本身存在什么不足? Netapp如何解决RAID4本身的不足?,3,9,1,2,2,1,3,3,2,1,1,1,2,2,5,8,8,3,3+1+2+3=9,9-3-1-3=2,11,5,1,2,D,D,D,D,P,不管是RAID4还是RAID5，都是基于单校验技术的RAID方法，只能防止因一块硬盘故障导致数据失效,Netapp采用的RAID技术之一：RAID4,RAID4 有一块专用的校验盘,用户数据,校验

5、数据,图例,此块数据要从3修改为5,5,11,2,2,1,4,9,RAID4：RAID组内添加硬盘不需要进行重构,3,1,2,1,1,1,3,1,2,2,1,3,3,1,2,2,D,D,D,D,RAID4 有一块专用的校验盘,只要新添加的硬盘所有位都格式化为0，把硬盘添加到RAID4中就不会改变各个条带的校验值，因此整个RAID组不需要重构,RAID5：RAID组内添加硬盘需要进行重构,3,5,2,1,2,1,1,8,1,3,2,1,3,7,1,3,2,1,3,8,D,D,D,D,9,1,2,2,2,D,RAID5 没有专用的校验盘，所有的校验信息分散存储在所有硬盘上,0,0,0,0,0,D,

6、5,0,8,2,7,1,1,8,为了保持RAID5分散存放校验信息的特点，新硬盘添加到RAID组后，整个RAID组需要进行长时间的重构，在这段时间内数据没有RAID保护，且会严重影响性能,单校验RAID技术的RAID组重构问题,3,1,2,1,1,1,3,1,2,2,1,3,3,1,2,2,D,D,D,D,RAID4 有一块专用的校验盘,9 3 1 3 =,2,5 1 1 1 =,2,8 2 3 2 =,1,7 1 1 2 =,3,RAID组的重构，会给用户带来如下的影响： 需要较长的时间完成，且硬盘越大，所需的时间越长 会严重消耗阵列的资源，特别是该RAID组内的硬盘读写资源，因此会严重影响

7、性能 在重构期内，整个RAID组没有保护，如果再有一块硬盘失效会导致用户数据的丢失,3,1,2,1,1,1,3,1,2,2,1,3,3,1,2,2,9,5,8,7,7,12,12,11,D,D,D,D,P,DP,一个Raid组内可以同时坏两块硬盘 数据可靠性比RAID-4 或 RAID-5 提高了 4000倍,Netapp采用的RAID技术之二：RAID DP,用户数据,水平交验数据,对角交验数据,图例,同样的情况在 RAID-6状态下,14,0%,5%,10%,15%,20%,Up to 5%,Up to 2.6%,Up to 17.9%,FC,ATA,FC,ATA,FC,ATA,17.9%

8、,1.7%,2.6%,.2%,5%,3%,ATA,Less than 1 in a billion,*介质或磁道损坏 + 第二块磁盘损坏的可能性 双校验 (在16块盘的RAIDDP磁盘组重构期间),Protected withRAID-DP,.0000000001%,*标准的磁盘更换率 (每年),*磁盘驱动器介质或磁道损坏几率 (300GB FC / 320GB SATA),*磁盘驱动器介质或磁道再有一块盘损坏的几率(在RAID4/5，8块磁盘的磁盘组重构的过程中),行业统计: 磁盘驱动器的更换率和磁盘介质损坏的几率随着磁盘容量的增大在不断的增加,*资料来源: Network Applianc

9、e,Data Ontap,NetApp统一存储架构 NetApp Raid 技术详解 底层空间管理技术和性能优化,C,底层存储空间管理技术,根,A,B,D,用户数据,空闲空间池,C,C,其它厂商底层存储空间管理技术在用户数据修改时所采用的技术,根,A,B,D,用户数据,空闲空间池,Netapp先进的底层存储空间管理技术：WAFL在用户数据修改时所采用的技术,根,A,B,D,用户数据,空闲空间池,C,C,1.从空闲空间池分配一个新的数据块,2.把修改以后的数据写入到新分配的数据块中,3.修改指针，从指向老数据块修改为指向新数据块,4.老数据块数据不做任何修改，直接返回空闲空间池,WAFL：所带来

10、的优越性能,其他厂商：RAID组的大小和性能成反比,硬盘,硬盘,硬盘,硬盘,硬盘,硬盘,硬盘,6D+1P的RAID5组：每个数据块的修改都要涉及到其它五块硬盘相同位置的数据块的读取，然后进行校验计算,RAID组越小，性能越好，因此其他厂商一般都建议用来存放生产数据的RAID5的硬盘组采用3D+1P或4D+1P大小,Netapp：RAID组的大小和性能成正比,硬盘,硬盘,硬盘,硬盘,3D+1P的RAID4组：每3个数据块的修改就要进行一次校验计算，产生一个校验块，这样6个数据快的修改就要进行两次校验计算，产生两个校验块,RAID组越大，性能越好，因此Netapp一般建议用户的RAID4硬盘组至少

11、采用6D+1P的大小,22,Data,Data,Data,Data,Parity,Parity,Data,WAFL 无需预先分配空间(元数据和数据同样对待），写条带条带到最近的可用块.,条带化到最近的可用块减少磁盘寻道，达到最好的磁盘性能，避免热点攀的产生!,WAFL将随机写转换成大的顺序写!,WAFL 文件系统和 Data ONTAP OS结合高性能RAID-6 (RAID-DP),Incoming Writes,NVRAM,Data,DRAM,Data Ontap,NetApp统一存储架构 NetApp Raid 技术详解 底层空间管理技术和性能优化 NetApp快照 恢复和克隆,快照 数

12、据,生产 数据,Netapp数据快照技术：Snapshot,A,B,C,D,空闲空间池,生产 数据,A,B,C,空闲空间池,D,D,D,用户最关心的和数据快照相关的两个问题： 数据快照对性能的影响程度 数据快照所需消耗的存储空间,快照 数据,生产 数据,其它厂商的数据快照技术,A,B,C,D,用户数据,生产 数据,A,B,C,用户数据,数据快照专用存储空间,D,D,D,D,不同的数据快照实现的性能差别,CX500 performance with their snapshots goes to 40%,VeriTest: Network Appliance FAS3020 and EMC CX

13、500: Comparison of Usability and Performance,2600,2730,2860,2990,3120,3250,3380,3510,Elapsed Time in Seconds,CX500 R write to copy out region,CopyOut 1,Continue writing data Block changes,Update snap pointer to copy out region,Update block on disk,One write requires: 1 read (old data) 1 write (old d

14、ata) 1 write (new data) 3x overhead,B,B,B1,Blocks in LUN,Others Snapshots,Take snapshot 1,74,NetApp Confidential - Internal Use Only,Blocks on the Disk,A,B,C,A,C,B1,CopyOut 1,Continue writing data,Take snapshot 2: Create copy out region 2,B1,Create pointers to old blocks and copy out,B,Blocks in LUN

15、,Others Snapshots,Take snapshot 1,75,NetApp Confidential - Internal Use Only,Blocks on the Disk,A,B,C,A,B1,CopyOut 1,Continue writing data,Take snapshot 2,B1,B,Continue writing data: Block changes,Old block written to all copy out regions,Update all snap pointers to copy out regions,Update block on

16、disk,One write requires: 1 read 3 writes,C2,C,C,C,C2,Blocks in LUN,Snapshot Comparison,The NetApp approach: Absolute minimum overhead Guarantees disk space efficiency No data movement Guarantees disk performance Enables more snapshots,76,NetApp Confidential - Internal Use Only,NetApp,Others,UsedDiskSpace,Space on disk is better Performance is better # of snapshots is better,Side-by-side comparison after two snapshots,Snapshot Performance,77,NetApp Confidential - Internal Use Only,Source: VeriTest: NetApp FAS3070 and