2019新存储基础知识培训PPT课件

2019新存储基础知识培训,存储基础知识培训,2019新存储基础知识培训,存储在数据中心的位置,存储,服务器硬件,网络,服务器,数据库,虚拟化,运行库,应用,安全及整合,9000,16控制器SAS和NVMe盘最大4TB缓存最大200/800盘,Dorado5000V3,Dorado6000V3,3288节点最大60PB容量最高400GB/s吞吐量,FusionStorage,块、文件、对象融合存储EB级容量扩展高密设计，单柜2PB+容量,2200V3/2600V3,18500/18800V5,8个控制器最大256GB缓存最大500块硬盘,28个控制器最大1TB缓存最大750块硬盘,28个控制器最大4TB缓存最大1,500块硬盘,28个控制器最大8TB缓存最大3,200块硬盘,5300V5/5500V5,6800V5,5600V5/5800V5,216个控制器最大16TB缓存最大9600块硬盘SPC-1：6,000,000IOPS,16控制器最大8TB缓存最大2400盘访问延迟低至500s,2019新存储基础知识培训,存储演进的历史：从附属于服务器，剥离成独立系统,Server,智能硬盘阵列(DAS),2019新存储基础知识培训,机械盘,2019新存储基础知识培训,企业SSD盘就是一套迷你存储，麻雀虽小五脏俱全,2019新存储基础知识培训,固态盘,SSD硬件结构原理,CELL结构,电子被困在浮置栅极中，电子的多少表示不同的数值擦除过程：漏极/源极加电压，将电子拉出浮置栅极写入过程：在控制栅极上加高电压，电子进入浮置栅极读过程：在源极和漏极之间加不同的电压，测试导通状态由于CELL大小、CELL间干扰的限制，2D芯片单位面积的容量受限3DNAND技术当前已经商用48层，明年商用64层,无高速旋转部件，性能高，功耗低后端支持多通道/多CE并发一次可响应多个IO请求典型响读应延迟约为50us,3DNAND架构,2019新存储基础知识培训,业界改良式StoragePool架构：RAID1.0,系统可靠性降低：Pool可靠性降为单RAID组的1/N,2019新存储基础知识培训,业界革命式StoragePool架构：RAID2.0+,LUN性能提升+重构速度提升,2019新存储基础知识培训,集中式存储架构,将多个LUN的负载或者同一个LUN的负载均衡在两个控制器上，避免性能瓶颈一控制器故障时，另一控制器在主机多路径软件配合下接管业务负载，确保不中断,写入数据在双控CACHE中各保存一份，避免单控故障导致数据丢失。每个控制板的后端分别接入物理磁盘的环路业务负载均衡，提升整体系统性能,SAS,SAS,CPU,CPU,CPU,CPU,Server,FCSAN,2019新存储基础知识培训,集中式存储硬件,5600V5/5800V5/5600FV5/5800FV5,5600V5/5800V5/5600FV5/5800FV5,6800V5/18000V5/6800FV5/18000FV5,6800V5/18000V5/6800FV5/18000FV5,2019新存储基础知识培训,集中式存储软件,2019新存储基础知识培训,分布式存储架构,FusionStorageObject,2019新存储基础知识培训,各类产品适用场景,集中式存储,分布式存储,数据库,虚拟化,灾备,海量文件,公有云,HPC,双活,主备容灾,两地三中心,备份,视频监控,节目制作,VDI,票据影像,生命科学,石油勘探,流体力学,碰撞分析,2019新存储基础知识培训,SAN、NAS和Object存储对比,FibreChannel/(iSCSI),协议层,存储层,NFS/CIFS/POSIX,FileSystem,ObjectSystem,HTTP/REST/SOAP/S3,直接数据访问，最低资源消耗，最高效率无数据语义，裸设备访问模式应用场景：低延时，少共享（不强调权限管理），如Oracle,共享文件和文件夹，树形结构，文件数量越多，目录层数越多文件访问应用场景：广泛共享基于文件的服务,扁平化结构，系统由用户管理，用户间数据隔离用户可以创建桶（就像文件夹）和上传或下载对象，可通过转发链接分享数据应用场景：互联网服务存储，数据归档或备份,iSCSI/FCSAN,NAS,Object,bucket,bucket,bucket,2019新存储基础知识培训,SAN存储网络,SNS222412,24端口,SNS224824,36,48端口,SNS309648,72,96端口,SNS5384最大512端口,SNS5192最大256端口,2019新存储基础知识培训,存储的可靠性,LEVEL1模块级可靠性,LEVEL2系统级可靠性,LEVEL3方案级可靠性,通过数据保护功能和容灾方案，解决系统级的数据保护和容灾,通过系统级可靠性设计，提供系统内的故障自愈和数据完整性保护,保证模块本身的可靠性,快照,克隆,主备容灾,双活,两地三中心,硬件冗余,RAID2.0+,T10PI,硬盘巡检,器件可靠性,硬盘抗震,整柜运输,硬盘防腐,多路径,后端环路,风扇震动隔离,掉电保护,缓存镜像,NVRAM,四控冗余,SSD可靠性,2019新存储基础知识培训,存储的性能,SPC-1：,eDesigner评估：,2019新存储基础知识培训,高端存储关键技术1四控冗余,容忍双点失效业务永续,2019新存储基础知识培训,高端存储关键技术2Cache持续镜像,2019新存储基础知识培训,Dorado关键技术一：全条带ROW写,闪存阵列控制器,无性能损失，SSD寿命延长3倍,完整的RAID条带,写入随机数据块,ROW重定向刷盘,旧块标记为待回收,P,Q,P,Q,P,Q,P,Q,传统存储控制器,等待刷盘的数据块,写入随机数据块,先读出旧数据和校验重算校验再写入硬盘读3次，写3次,P,Q,P,Q,2019新存储基础知识培训,Dorado关键技术二：重删压缩,2019新存储基础知识培训,概念虚拟快照是指源数据在某个时间点的一致性数据副本。快照技术的一种（一般指虚拟快照和LUN克隆），虚拟快照依赖于源LUN。技术特点瞬间生成：存储系统可以在几秒钟内生成一个快照，获取源数据的一致性副本。占用存储空间少：生成的快照数据并非完整的物理数据拷贝，不会占用大量存储空间。所以即使源数据量很大，也只会占用很少的存储空间。应用场景快速数据备份和恢复（应对误删、病毒等）数据持续保护数据分析、测试,虚拟快照激活之前，数据写入动作不变,a,b,c,源LUN,资源空间,虚拟快照被激活，创建映射表，记录数据映射关系,1,2,3,4,5,6,7,映射表,d,写前拷贝，新数据写入时，先将源LUN的旧数据块写入资源空间同时修改映射表，再将新数据写入源LUN,x,源LUN该位置数据块再次被修改时，新数据直接覆盖,y,快照回滚,d,快照点,非快照点,快照时间点的数据,HyperSnap工作原理,e,f,g,HyperSnap（虚拟快照）,2019新存储基础知识培训,HyperClone工作原理在初始同步时主LUN收到生产主机写请求，需要检查同步进度；若要写入位置的数据块尚未拷贝到从LUN，只需要写主LUN即可返回主机成功，稍后利用同步任务将整个数据块同步到从LUN；若要写入位置的数据块已经拷贝，需要分别写入主从LUN；若要写入位置的数据块正在拷贝，需要等待该数据块拷贝完成后分别写入主LUN和从LUN；初始同步完成后可以将主、从LUN分裂，这时主、从LUN都可以用于独立的数据分析及测试，主、从LUN数据的变化互不影响，只是用进度位图记录对应数据块的变化。优势和应用场景主LUN损坏从LUN不受影响，一个主LUN可以有多个从LUN主要用于数据备份和保护、数据测试分析,主LUN,从LUN,0,0,1,1,1,1,1,1,进度位图,a,b,c,d,e,f,g,h,i,a,b,c,初始同步,j,k,已拷贝完成的块位图为“0”，未拷贝完成和正在拷贝的位图为“1”,j,j,k,0,e,l,l,0,f,g,h,i,分裂,m,n,0,0,0,0,1,1,相同块位图为“0”，不同块位图为“1”,HyperClone工作原理,概念克隆是快照技术的一种，是源数据在某个时间点的完整副本，是一种可增量同步的备份方式。,0,HyperClone（LUN克隆）,2019新存储基础知识培训,概念远程复制技术的一种，存储间实时的同步数据，最大限度保证数据的一致性，以减少灾难发生时数据的丢失量。HyperReplication/S工作原理建立同步远程复制之初，会启动一个初始同步，也就是将主LUN数据全量拷贝到从LUN；初始同步完成以后，如果此时主LUN收到生产主机写请求，按照如下流程进行I/O处理：主站点接收生产主机写请求，记录这个I/O对应数据块的差异日志值为“有差异”；主站点将写请求的数据写入主LUN（LUNA），同时利用配置好的链路将写请求发送到远端从站点；判断写LUNA和写LUNB的执行结果，如果都成功，则将差异日志改为“无差异”，否则保留“有差异”，在下一次启动同步时重新拷贝这一个数据块；向主机返回写请求完成。,同步远程复制,Cache,Cache,LUNA,LUNB,主站点,从站点,1,2,2,2,3,3,3,4,HyperReplication/S工作原理,优势和应用场景零数据丢失复制比可达64:1（同步远程复制+异步远程复制之和）主从存储可互为镜像适用于本地或同城数据容灾同步远程复制链路自适应:根据链路情况同步、异步传输模式互转远程复制的源LUN支持快照的回滚,HyperReplication/S（同步远程复制）,2019新存储基础知识培训,概念远程复制技术的一种，存储间周期性地同步数据，最大限度减少由于数据远程传输的时延而造成的业务性能下降。HyperReplication/A工作原理建立异步远程复制之初，会启动一个初始同步，也就是将主LUN数据全量拷贝到从LUN；初始同步完成以后，开始按照下面的流程进行I/O处:每个复制周期启动时在主LUN（LUNA）和从LUN（LUNB）的缓存中产生新的时间片（TPN+1和TPX+1）；主站点接收生产主机写请求；主站点将写请求的数据写入Cache时间片TPN+1中，立即响应主机写完成；同步数据时，读取前一个周期主LUNACache时间片TPN的数据，传输到从站点，写入LUNBCache时间片TPX+1中；若主站点Cache写缓存达到高水位时会自动刷盘，此时时间片TPN的数据会在盘上生成快照；同步时已刷盘的数据从快照中读取并复制到LUNB。,异步远程复制,Cache,Cache,LUNA,LUNB,主站点,从站点,1,2,5,3,5,4,N+1,N,X+1,X,1,采用创新的多时间片缓存技术实现秒级RPO,秒级RPO实现异步远程复制工作原理,优势和应用场景性能影响较小，RPO可达到5秒复制比可达64:1（同步远程复制+异步远程复制之和）主从存储可互为镜像适用于本地、同城、异地数据容灾远程复制的源LUN支持快照的回滚,HyperReplication/A（异步远程复制）,2019新存储基础知识培训,卷镜像是一种数据冗余备份技术，可以为一个LUN创建多个镜像物理副本，对LUN提供持续的冗余备份保护，从而提高单个LUN的可靠性和可用性。,功能原理创建镜像LUN：将一个本地LUN或外部LUN变成镜像LUN，同时生成一个镜像副本；再为镜像LUN添加一个镜像副本，形成冗余备份同步：初始同步：当创建镜像LUN后，将镜像LUN中的数据全部拷贝到镜像副本中，之后对镜像LUN、镜像副本进行双写增量同步：当镜像副本从“分裂”或“异常断开”中恢复“正常”时，待恢复的镜像副本会增量拷贝镜像LUN变更的数据分裂：分裂出去的镜像副本数据不可用，未分裂出去的镜像副本数据可用,HyperMirror（卷镜像）,2019新存储基础知识培训,应用特点（Web-App-DB三层结构）对外提供域名访问；,逻辑架构,端到端双活数据中心逻辑架构,DCA,DCB,用户A主路径,用户A备路径,用户B主路径,用户B备路径,主DNS请求,备DNS请求,存储层双活,DB层双活建议采用物理机部署跨DC的多台DB服务器组成一个集群,Web、App层双活建议采用虚拟机部署；DC内的Web应用服务器(weblogic)组成一个虚拟化集群；Web服务器(apache)采用单机,负载均衡层SLB将本DC内的客户负载分担到多个Web服务器；,GSLB将不同客户负载分担到两个DC；,HyperMetro组网跨数据中心的存储集群,GSLB：GlobalServerLoadBalancingSLB：ServerLoadBalance,2019新存储基础知识培训,物理空间,存储实际数据,技术原理写时分配：当分配空间不足时，默认以64KB粒度补配空间映射表：逻辑单元和物理单元（即默认64KB粒度）之间通过映射表关联读写重定向：通过映射表将读写逻辑单元的IO重定向到物理单元,技术优势高效分配策略：64KB分配粒度，针对小数据块场景，分配效率更高多样回收机制：支持VMwareVAAI命令回收、SymantecStorageFoundation命令回收、WindowsServer2012命令回收、全零页面检测回收,SmartThin（智能精简配置）,2019新存储基础知识培训,异构存储数据迁移，数据可用异构存储数据迁移，将数据从陈旧存储系统上迁出，保证数据的可用性跨级存储数据迁入，利