一体化数据管理技术平台ppt课件

一体化数据管理技术平台-TrueCDP项目开发方案及计划,软件研发部CDP项目组,内容,一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap,什么是一体化架构？,基于平台的产品开发模式功能模块化形成基于功能模块的产品开发平台软件架构的一体化设计软件架构可扩展性比较强，容易添加新功能适用于基于平台的开发模式,一体化数据管理平台的想法,部署统一的解决方案。利用单一解决方案，提高了运营效率。与孤立、单独的单点解决方案相比，单一解决方案可共享一套通用技术引擎，所需资源比较少，而且更具成本效益。执行一整套数据管理功能。保护、归档、复制及搜索数据这一切只要借助一个统一的浏览器控制台，可集中及简化业务运营。管理整个企业的数据。简化所有应用程序、平台、设备和场地(从远程办事处到企业数据中心)上的数据管理功能。,一体化架构：LiveDPM,内容,一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap,产品开发介绍,产品开发代号:LiveDPM产品方向：持续数据保护、块级、容灾产品定位：中高端存储软件产品简介：CDP（ContinuousDataProtection）连续数据保护，可在数据发生任何变化时将数据有效地保护起来。CDP技术将传统着眼于“数据备份”的备份技术，推进到着眼于快速恢复、最少数据丢失的数据保护的新阶段。主要竞争对手：飞康CDP产品、EMCRecoverPoint产品形式：基于CentOS64位系统、兼容主流存储产品开发周期:2009年11月到2010年10月,产品架构,SAN,WAN,支持异构存储平台及异构操作系统，可将数据反复恢复至分钟级别!,LiveDPM:持续数据保护系统CDP:本地端持续性数据保护(ContinuousDataProtection)CRR:异地端持续性数据复制(ContinuousRemoteReplication),HistorySnapshot,HistorySnapshot,LiveDPM,LiveDPM,Localsite,Remotesite,CDP,CRR,STK,HP,IBM,HDS,EMC,产品需求,产品需求(续),内容,一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap,主要竞争CDP对比（Block级产品）,内容,一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap,.,TrueCDP实现,LD1,LD2,EthernetSwitch,s-11,SnapshotTime-ViewDisk,10:00,11:00,12:00,12:15,10:00,12:00,14:00,16:00,基于IO+快照的TrueCDP实现,Snapshot,Snapshot,Deletefile1,Addfile2,.,LiveDPM总体实现原理,应用,IO截获,数据复制发送,业务服务器,CDP服务器,容灾服务器,数据复制接收,IO日志保存,异步数据复制,异步数据接收,日志卷,镜像卷,原卷,镜像卷,日志卷,LiveDPM底层主要模块示意图,内容,一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap,技术难点和重点,业务服务器端磁盘IO截获同步和异步数据镜像技术断点续传功能磁盘位图功能CDP服务端IO日志保存TimeMark实现可写快照设计虚拟卷技术异步远程复制普通网卡引导,技术难点和重点：磁盘IO截获,技术难点：磁盘I/O截获需要使用底层磁盘过滤驱动技术来完成I/O的截获,技术难点和重点：同步和异步镜像-同步镜像,在IO写入本地磁盘同时将数据发送到远程只有确认远程数据收到才开始接收下一个IO安全、但影响性能采用无损数据压缩算法：LZW,技术难点和重点：同步和异步镜像-异步镜像,对主机性能影响小主机和镜像卷数据会有时间差，不一定同步数据先缓存到内存中如果在缓存的IO队列中有相同的block进行合并采用无损数据压缩算法：LZW,技术难点和重点：同步和异步镜像-同步续传设计,AutomaticHourlySnapshots,LiveDPM镜像卷,主机源数据卷,NewDataBlocksadded,StorageBlocksContaindata,NewDataBlocksadded,2,6,7,10点的时候，同步错误,2,6,7,1,4,7,10,2,5,8,11,3,6,9,12,用磁盘位图来记录磁盘数据变化当在同步的过程中，已经同步的数据如果被修改，先在位图中记录，然后重传重新同步则采用块校验的方式，先校验源盘与镜像盘数据是否一致(MD5)，只传校验不一致的块,技术难点和重点：IO日志保存,对代理端被保护盘的IO，需要在CDP服务端做保存。对每个被保护的原始卷都与之分配可变扩展的独立卷日志卷。我们利用LINUXLVM已经做好的功能做CDP上各种类型卷的创建、扩展、删除等等管理功能,技术难点和重点：IO日志保存(续),对代理端被保护盘的发过来过来的每一个IO，我们根据时间戳和扇区号对之在日志卷进行保存,被保护的磁盘或分区,代理端,此处我们基于LVM把IO做备份,写向不同的卷,技术难点和重点：IO日志保存-分级目录虚表,为了实现IO日志的在日志卷内增量保存，我们使用LVM的卷可扩展特性，从而可以少量逐渐增加预分配空间。为了方便从日志卷内方便找到原始卷内的任意的块号所在日志卷内的位置。我们借用INTELCPU的内存管理单元MMU的设计思路，MMU通过一个分级目录表实现不连续的物理内存地址到连续线性地址的映射。我们也仿照它为日志卷的管理引入-分级目录虚表采用64位中的44位来记录IO日志的变化，这40位就够我们对8000T(8K*240)大小的一个卷组作管理，目前来讲足够应用了，日后需要再扩展。,技术难点和重点：IO日志保存-分级目录虚表（续1）,技术难点和重点：IO日志保存-分级目录虚表（续2）,下面给出一个具体日志卷内块号变换的例子，我们以8k为目录块大小，64位表示地址（块号）：64位块号：0000000000000000000001011001110101101100010110010101111011001011好这个块号（地址）是在原始卷的，那么当新的块来覆盖的时候，新块被存在什么日志卷的什么地方呢：这个地址的根目录下标0101100111-359：找到根目录快，然后以8字节步长前进358次，得到一个8字节的块号，这块号是次目录块的地址。得到次目录的起始地址次级目录的偏移0101101100-364：如上办法得到3级目录的起始地址3级目录的偏移0101100101-357：如上办法得到4级目录的起始地址4级目录的偏移0111101100492：如上办法得到了实际的数据块的地址,技术难点和重点：IO日志保存-分级目录虚表（续3）,日志卷,2,6,7,9,10,1,12,2,6,7,9,10,1,12,技术难点和重点：IO日志保存-Timemark,原始卷,老的数据块从日志区中查找，根据分级目录虚表和TimeMark，数据块能够被一对一的找到，而且根据需要能够建立静态的索引表指向日志卷内固定块地址，从而提高挂载访问速度,Timemark,技术难点和重点：IO日志保存-快照可写,使用分级目录虚表，我们可以建立若干多快照，每个快照并不需要和原始卷或者被保护磁盘同样的大小。如果是只读快照，我们只要建立原始卷的分级目录虚表，把原始卷的数据块号一对一的映射到日志卷内块号即可，然后建立静态索引信息，加快块号的访问速度。对于可写快照，我们要使用写时拷贝技术并且给他分配独立的日志卷。最后，我们使用分级目录虚表使用少量的存储空间，通过共享只读数据块来虚拟逻辑卷，方便应用层使用操作系统支持的文件格式来Mount虚拟逻辑卷。,技术难点和重点：虚拟逻辑卷,如图所示，为了虚拟原始卷，拦截所有的块号请求，然后重定向，通过某个时间点，从日志卷查找，如果通过四级目录查找的过程得到空地址（块号），那么这一块就从原始卷里读，如果非空，它肯定指向日志卷上的某个有效块。这样就虚拟出来整个被保护的磁盘某时刻的快照,技术难点和重点：异步远程复制,需要将镜像卷和日志卷都远程复制,2,6,7,CDPServer,远程CDPServer,源卷,采用客户端与CDPServer类似的异步同步机制，使用位图来表示当前变化的块是否已经发送到远程,元数据,IO数据,日志卷,元数据,IO数据,根据时间顺序，逐渐拷贝元数据和IO数据,技术难点和重点：普通网卡引导,基于gPXE、微软Initiato、Sanbootconf(开源软件，为SANBOOT提供配置信息)在CDPServer根据快照设置Target(采用SCST实现)并且在CDPServer设置DHCP、同时在客户端采用Pxe引导,主要功能模块总结,内容,一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap,项目团队建设,项目里程碑计划,项目风险,产品风险/需求风险可能风险：因为市场需求的变更，对于产品的形式、功能要求等发生重大变化措施：在研发过程中持续保持和产品部等相关部门的沟通和交流。技术风险可能风险：1、需要实现突破的技术点非常多，可能无法完成。2、关键技术点无法满足性能的要求措施：1、加强关键技术点的预测试和评审。2、做好代码检查和质量管理人员风险可能风险：人员未到位、开发人员技术能力不足，人员离职措施：规范软件开发过程管理，加强项目组学习能力，有针对性的专业技能培训,方案总结,完成实现从NearCDP产品到TrueCDP产品，提高产品档次积累一个一体化开发平台Web开发一体化功能模块化掌握大量的核心技术突破十几项核心技术（磁盘、IO、快照、文件系统）从会使用到会模仿制造，0到1的突破为后续产品开发(VTL、重复数据删除)打下基础锻炼队伍培养一批在Windows和Linux底层开发人才,内容,一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap,Tr