Data Domain 技术和产品.ppt

1、A,1,Data Domain 技术和产品,Sherry Wang 王从容 System Engineer Cell:2,内容 Agenda,公司简介 技术起源 Origin of COS 技术和产品 Technology and Product,3,公司简介 Data Domain,Inc.,成立于 2001,Palo Alto,加利福尼亚, 现在Santa Clara 投资人: Greylock, NEA, Sutter Hill Ventures 成立之初人员来源: NetApp, Legato, Sun,Princeton University 产品第一次出厂

2、 (FCS) 2004年2月 已有4500 多套系统被安装。总容量超过432 PB 全球用超过2500多用户 专利 Efficient Data Storage 700 员工 （2008年10月） 全球有600多个销售伙伴,4,企业级数据保护系统 创立并定义“重复数据删除”理论 10000 安装实例 2500 客户 432 petabytes 数据处于DD保护之下 技术创新历史 “行业第一” ！,Data Domain: 领导者和创新者,A,5,市场占有(Dedupe),2007 Revenues,DataDomain: 60% 市场占有量,A,6,Data Domain Financials

3、 (USD Million),* IPO dated June 26, 2007,*,7,数据存储系统的通用架构,主存储设备,应用 服务器,数据库 服务器,邮件 服务器,文件 服务器,存放全部数据 (大量) 高性能数据存取 造价高 无保护,需要备份 全部数据恢复耗时长 高端设备可能有镜像,数据恢复设备 (COS, tape),备份 服务器,存放应用数据的影像 注重成本和空间的使用率 不在应用服务器的数据线上 备份软件存取 数据内容不直观 专有格式,备份软件管理数据保护 建立备份策略, 管理 catalog 数据以基本方式传输bulk transfer 用户不能直接使用unbrowsable,8

4、,备份容量的真实需求！,A,9,容量优化存储 (COS)市场预测,Source: Taneja Group Next Generation Data Protection Market Profile, 12/06,$M,10,备份/恢复现状调查,仅依靠磁带系统实现数据保护已经不能满足今天的需求 超过 80% 的情况要求在数据失效发生后的48小时内完成数据恢复 60-70% 的存储管理开销 是在备份/恢复领域 存储管理员的15% 的时间用于恢复操作 5-20% 备份/恢复作业失败 每年每TB磁盘存储产生的相应备份/恢复的成本为 $5,935 META Group, April 1, 2004,

5、11,备份设备比较(磁盘设备VS 磁带设备),12,技术起源,为用户解决什么问题？,13,数据保护面临的挑战 / 为何要无磁带化,需要新技术: 容量优化 Capacity Optimization,用磁盘做备份介质所面临的挑战,14,Data Domain 专有技术 COS,15,Data Domain 专有技术 COS,A,16,数据保留: 重复数据删除技术,H,I,J,BACKUP DATALOGICALESTIMATEDPHYSICAL REDUCTION,Monday Incr 50 GB 7-10 x 5 GB,Tuesday Incr 50 GB 7-10 x 5 GB,K,L,W

6、ednesday Incr 50 GB 7-10 x 5 GB,Thursday Incr 50 GB 7-10 x 5 GB,2nd FRIDAY FULL 1 TB 50-60 x 17 GB,FIRST WEEK 2.2 TB 7x-8x 287 GB,FRIDAY FULL 1 TB 2- 4x 250 GB,用很少的空间存储更多的备份数据.,TYPICAL RETENTION 10 x 30 x,A,17,长期保存数据: 用更少的空间存更多的数据,Week 1,BACKUP DATALOGICALESTIMATEDPHYSICAL REDUCTION,April 14 3.8 TB

7、10 x 366 GB,April 21 5.2 TB 12x 424 GB,April 28 6.6 TB 14x 482 GB,May 31 12.2 TB 17x 714 GB,June 30 17.8 TB 19x 946 GB,TOTAL 23.4 TB 20 x 1178 GB,April 7 2.4 TB 8x 308 GB,Over 1 year of retention in 3 of Data Domain protection storage.,Week 2,Week 3,Month 1,Month 2,Month 3,Month 4,July 31 23.4 TB 20

8、 x 1178 GB,A,18,数据恢复: 数据无损架构,其他 RAID6 NVRAM,备份数据的校验 CheckSum Dedupe, write to disk Verify, notify, self-heal,Protect Data at Rest Append-only FS Simple log structure Continuous scrub,Trust but verify hope is not a strategy.,A,19,设备维护和升级,NVRAM 72 小时掉电保护 Raid 6 保护 - 可以同时坏2块磁盘 Hot Spare 磁盘 更换磁盘自动rebuil

9、t 数据 升级简单,只需要半个小时 本地配置备件 如果控制器出现故障, 更换控制器后, 可以迅速重新读取数据,20,效果最佳的重复删除技术Dedupe: Data Domain SISLTM,Disk Spindles,Throughput,200 MB/sec,100 MB/sec,50 MB/sec,Most Dedupe Vendors,FC Drives: 2x SATA speed 3x-5x $SATA,SATA Drives,DD systems based on SATA,Data Domain,21,易于与现有架构集成,3U 15 500 GB SATA drives RAI

10、D 6 NVRAM N+1 Fan 2 - 4 Ports 5.1 - 15 TB File System SAN (Gateway to: EMC, HDS, Nexsan),CIFS, NFS, NDMP FC = VTL,Replication,无需中断系统运行进行实施.,22,Data Domain 的数据保护体系,FC,Backup Server,Primary Storage,GigE,LAN,SAN,Tape Library,仅用于长期归档,GB Eth NFS or CIFS,FC VTL,23,Datadomain容灾解决方案,客户端,生产 服务器,主存储,镜像存储,备份 服

11、务器,WAN,生产中心 备份设备,灾备中心 备份设备,Data Domain COS技术数据复制容灾架构 磁带用于长期归档 数据可从任何一方恢复 远程办公室无需磁带设备 节省95% 带宽以上 极大降低广域连接造价,24,Data Domain 数据保护解决方案（广域网入库）,数据中心,远程办公室 1,Clients,DD,DD,介质服务器,DD,Clients,Clients,备份服务器,DD,磁带库,存档,WAN Vaulting通过广域网数据入库,远程办公室 2,远程办公室 3,介质服务器,介质服务器,25,一个真实的金融客户应用实例,WAN,India,home,Boston,San F

12、rancisco,Backup Data,Backup Data,Backup Data,New York,home,DIR A,数据源: 远程站点,目的地: 数据中心,95- 99% Bandwidth Reduction,95-99%,1- 5%,95-99%,1- 5%,95-99%,1- 5%,True DR; lowers WAN costs; improves SLAs.,26,WAN DR: DD inline dedupe / replication,数据只有被存放的本地之外的其他地方才是安全的。 其他的D2D备份：远程数据的恢复通常是用镜像数据取代主数据,Replicate

13、during backup,Store to cache dedupe & replicate, or tape/truck,DR-Ready,Data Domain,Other D2D,TIME,27,Data Domain 专有技术 COS,利用用户现有的备份设施和备份软件 数据备份到磁盘并被 保存 在磁盘上，其造价与磁带相当 快速剔除数据冗余（deduplication) 外加传统数据压缩 20 x 在数据的保存期内可达到 数据可恢复性的持续检验 容灾环境下的数据异地复制 WAN Vaulting（入库） 自动得数据异地转移 使用有效资源 （广域网WAN，只复制压缩后的数据),28,In

14、dustrys Most Scalable Inline Dedupe Systems,Appliance & Gateway Series,DD510,DD530,DDX Array Series,DD580/DD580g,Replicator, VTL, OST & Retention Lock software options,DD565,Up to 16 Controllers Internal or External Storage,DD120,DD690/DD690g,29,DD500 系列,Performance,Reliability,Replication,Cost,30,总

15、结: 关键技术特征,与现有架构无缝集成 无需中断或替换现有设备 数据保留: 重复数据删除 以更少的空间存储更多的数据 数据恢复: 数据无损架构 Trust but verify hope is not a strategy 数据复制: 极大的降低对广域网的带宽需求 真正的灾难恢复解决方案 大为降低WAN使用成本 有效提高 SLAs 绿色环保: 只是传统备份产品耗电的2% -5%,31,Data Domain + 赛门铁克 战略伙伴联盟,公司高层的定期互动 60% DD 产品和NBU或Backup Exec 一起工作 和Netbackup一起支持新的面向磁盘存储的OST协议, 优化备份效率和远程

16、复制功能的灵活管理.,32,Data Domain 的部分客户,33,Data Domain 的部分客户,34,Data Domain 的部分客户,Scientific Design, Inc.,Och-Ziff Capital Management Group,Capital Management,35,Data Domain Financial Customers,36,测试结果(一) : 备份与恢复,BCV的数据每天凌晨12:00 实施同步,做营业数据库的全备。 备份数据量： 680GB 备份速度： 65M/S 备份时间： 3小时 此次测试取第二次的数据库备份数据做数据恢复： 测试结果：

17、 数据库恢复成功。 恢复速度： 82M/S 恢复时间： 2.5小时（包括recover时间）,37,测试结果(二) : 重复数据删除,从第二次备份开始重复数据删除的比率 30 备份的速度= 设备标称速度 以 NFS 格式把详单直接export到磁盘上重复数据删 除的比率远远大于数据压缩的比例 可以全局压缩, 从VTL和NFS 读入的数据可以互相使用重复数据删除技术 安装用户稳定使用的压缩比为: 20,38,中国用户,中国国家外汇管理局 贵州烟草 西南交通大学 大唐电力总公司 山西电力 辽宁铁法煤矿 奇瑞汽车 Sybase中国 阿斯利康中国 摩托罗拉中国（北京、南京、杭州） 国航 辽宁移动,长盛律师事务所 中国石油天然气公司 陕西省经济信息中心 苏州工业园 江西电信 宁波工商局 阿尔卡特贝尔 太平洋保险公司 赫斯基中国 江苏造船集团 ,39,成功案例（一） 贵州烟草,11个地市分公司将数据备份到DD，其中5个分公司将数据复制到省机关，另外6个分公司将数据复制到省公司，省公司和省机关之间再互相复制 备份软件：Legato 7.3 备份设备：13台DD410/430 WAN带宽：2Mb SDH 压缩比