云时代的存储及虚拟化技术交流.ppt

,云时代的存储及虚拟化技术交流,宏杉科技西区总itao,交流前几个小问题,有多少台服务器？存储？备份和容灾是怎么做的？有没有以下现象：多数服务器利用率很低，却需要经常购买新的服务器上线一个应用要很长时间实际业务热点与规划不符PC维护工作量大个人端数据涉密管理难有应用要发布到移动设备数据中心运营过程中最头疼的问题有哪些？您认为服务器加硬盘做RAID和存储有什么区别？,目录,宏杉科技简介为什么要用专业存储云时代的IT架构建设方向虚拟化数据中心及存储相关技术小结,服务器、PC：天河一号、曙光、浪潮、联想.,网络通信：华为、中兴、H3C、锐捷,存储需要自主创新：全球存储市场每年$500亿，中国存储市场每年￥100亿；是未来最大、增长最快的市场。中国当前排名前列的IBM、EMC、HP、HDS、DELL全部为国外企业，占据超过90%的市场，合资品牌和OEM产品占据8%的市场，自主厂商严重缺失；存储是决定数据安全、系统整体性能、IT系统架构的关键性产品；存储是自主创新空白，中国数据安全面临巨大风险。,存储：？,中国IT基础设施产业格局,5,宏杉科技的管理、研发、市场、供应链、用服团队骨干均来自原H3C公司存储产品线，是中国企业级存储产品开发经验最丰富、市场成就卓著的团队。2010年5月成立宏杉科技、总部在杭州。H3C自2005年进入存储领域，到2009年Q4，H3C自主开发存储产品年销售收入约$50M，超越HDS、Netapp、SUN等存储业界老牌厂商，销售份额排名中国市场第五（前四名分别为：IBM、EMC、HP、DELL），国产第一。在iSCSI存储领域，H3C开创了中国IPSAN市场，从2006年Q4H3C推出第一代存储产品后，连续三年在中国IPSAN市场排名第一(市场份额30%以上)。在存储市场最大的中端Midrange市场中，H3C已超越DELL位居第四，国产第一。截止到2009年12月，H3C在线运行的存储系统总和超过9000台，存储总装机容量超过70,000TB。在把握中国需求，帮助中国用户实现共享灾备和物联网时代的监控存储2个领域结合本土需求进行创新，从技术和市场上均超越国际品牌。,数据来自IDCChinaStorageReport2009,历史成绩卓越的本土专业化团队,老兵新传,目前中国唯一具有存储软、硬件全面核心自主知识产权的全内资、专业存储厂商。产品技术自主、可控。世界领先的硬件能力，MS5000主控板为12层设计，超4000元器件。自主设计的底层存储架构,百万行C语言代码。已申报18项国家专利，多项软件著作权。中央政府采购入围企业；中直机关采购入围企业。目前是SNIA（国际存储工业协会）唯一中国内资企业投票会员，是IEEE（国际电子电器工程师协会）会员，拥有专有的OUI地址段。国家十二五电子政务规划起草单位之一。国家电子政务内网方案起草和评审专家单位。,专业、自主：中国唯一,7,MS5000,MS3000,MS1000,ICMT,CRAID,IDDC,全系列硬件产品,ODSP软件平台,快照,复制,镜像,IDSM存储中间件,面向云计算面向物联网流媒体应用(广域监控)面向共享灾备,IDSM:IntelligentDataServiceManagement，智能数据服务管理,自主可控,ODSP:OpenDataStoragePlatform，开放式数据存储平台,高性能硬件架构，高/中/低端三大系列,主要研发方向,MS3300,高端存储,中端存储,低端存储,MS5080,MS1000,拥有国内存储企业中最完整的企业级存储产品线；单台设备覆盖10万数百万的产品区间；,MS5020/5040,单控制器最大16GB缓存最大266块硬盘CRAID0/1/10/5/6支持4个GE低功耗,MS3100,Intel64位处理器单、双控制器选配最大16GB缓存最大266/516块硬盘CRAID0/1/10/5/64个主机接口插槽,Intel多核64位处理器双控制器最大32GB缓存最大516/1016块硬盘CRAID0/1/10/5/64个主机接口插槽,IntelJasper处理器双控制器最大144GB缓存最大516/1016块硬盘CRAID0/1/10/5/64个主机接口插槽,IntelJasper处理器双控制器最大288GB缓存最大516/1016块硬盘CRAID0/1/10/5/64个主机接口插槽,唯一能与国外巨头抗衡的从高到低全线产品,打造最适合云计算时代的数据中心存储,田忌赛马，打造最优秀的中端存储将最先进的技术下移到用量最大的中端市场，打破国外巨头为中端存储人为制造的技术封锁针对虚拟化设计，轻松应对云计算时代的需求MS5000缓存容量高达288G，是国外同档次存储的5倍以上，系统内部带宽达到百G级，是国外同档次产品的2-3倍，特别适合虚拟化环境以CELL为中心的ICMT，轻松的应对云计算时代无处不在的动态热点。更有远程复制容灾，WSAN，SRM，CDP等方案保障虚拟化数据中心的数据安全和业务连续。,研发级现场服务，让用户高枕无忧,存储有其特殊性，对服务的要求比其他硬件都高存储目前是IT领域标准化和兼容性最差的产品。相比网络设备等硬件，存储跟上层服务器、操作系统、数据库等结合紧密，疑难杂症出现的概率相比其他硬件产品要高。国外厂商不可能派“大鼻子”研发到国内提供现场服务，远程登录导致的泄密屡见不鲜。宏杉与其他国内品牌不同,CRAID5组,Cell1,Cell2,Cell3,重建,CRAID:20年来RAID技术最重要的创新,90%的存储故障与硬盘相关CRAID5在多块磁盘发生介质错误时，保证数据不丢失！大幅度改进RAID算法，将RAID重建时间减少85%！,保留Cell,重建,整盘重建,拷贝,面向本土客户需求的快速创新能力,WSAN:唯一规模应用的、适合国情的“灾备云”方案,灵活的实现多点到一点灾备组网。有40-50用户共享统一灾备中心的历史案例。灵活的数据同步技术，各分支机构的应用系统相互独立，互不干扰。,国家级部委国家级电子政务内网国家水利部国家计生委国家住建部国家民政部东区浙江省建设厅浙江省公安厅浙江省计生委委浙江省监狱管理局浙江省经济信息中心浙江省台州档案局浙江省余姚城建档案馆浙江省海盐档案馆浙能温州电厂乔司监狱容灾备份,12,吴兴农村合作银行杭州市交通警察支队南昌铁路中院数字法庭南区广州荔湾区政府广州省高速公路管理局广东外语艺术职业学院广东省高速公路公司广东外语艺术职业学院广东药学院附属第二医院中山市公安局南头分局南宁市交警支队存储项目西区中国兵器工业集团公司中石油长庆油田采气五厂中钢集团西安重机有限公司甘肃省陇南市地震局,咸阳师范学院中国人民解放军边防学院中国兵器工业第203研究所西安市碑林区政府云南省运输管理局某军区三甲医院HIS系统文山州财政保山市财政文山市公共卫生信息管理曲靖供电公司云南艺术学院新校区北区中国航天科工集团信息研究院用友软件集团公司私有云IT黑龙江检察院信息查询系统赤峰电力SG186济南锅炉集团,宏杉新产品各行业典型案例,目录,宏杉科技简介为什么要用专业存储云时代的IT架构建设方向虚拟化数据中心及存储相关技术小结,为什么需要专业存储？,1、容量？有多少用户的业务数据超过2T？为服务器增加硬盘数量即可解决服务器外挂JBOD（盘柜）2、性能？数量众多的服务器使用率在10%以下服务器内多块硬盘通过RAID卡做RAID也提升性能（RAID卡诞生的原因：通过多个廉价磁盘实现更大容量、更快性能和坏盘容错）,3、设备共享，提升利用率？4、数据共享？文件服务器就可以做NAS的本质就是文件服务器，所谓NAS机头都是服务器，或者把NAS服务器虚拟化到存储控制器中,为什么需要专业存储？,如果只因为以上这4点原因，绝大多数用户都只需要服务器,为什么需要专业存储？,数据能丢吗?“我在服务器内部也可以做RAID，数据一样不会丢。”真是这样的吗？业务能停吗？双机高可用（HA）-盘阵诞生，大量应用服务器厂商高兴了，可以卖更多的服务器，顺便也卖点盘阵盘阵对服务器厂商来说是附属，从来没有花太多精力：OEM低端盘阵的产品形态：面向单一业务，小缓存，性能低，数据管理功能几乎没有或不可用,服务器与专业存储有啥区别？看硬件（控制器）,17,有的厂商把能装很多硬盘的服务器做成存储服务器当存储卖，能买吗？,服务器和专业存储有啥区别？看系统架构,SATADisk,SASDisk,SSDDisk,DDRIII内存,DDRIII内存,.,Jasper多核处理器,SAS控制器,SASExpander,PCIex840Gb,SASx424Gb,南桥,管理GE口,串口,指示灯,按键,SAS接口,SAS接口,SASx424Gb,存储控制器,RAID引擎,DMI,9根,256Gb,1GbiSCSI,10GbiSCSI,10GbFCoE,8GbFC,IO模块(IOH),QPI,IOSlot,IOSlot,PCIex840Gb,100Gb,主机通道,服务器和专业存储有啥区别？看数据管理,19,前端总线,后端总线,读缓存,写缓存,前端总线,后端总线,磁盘,CPU,CPU,CPU,CPU,读缓存,写缓存,镜像通道,主机接口,主机接口,磁盘接口,磁盘接口,数据流,数据管理涉及很多方面，在此仅以数据写入流向为案例进行分析,前端总线,后端总线,内存,磁盘,CPU,CPU,主机接口,磁盘接口,数据流,服务器,存储,全面看待服务器和专业存储的区别,为什么需要专业存储？,大集中、虚拟化、云计算、物联网应用数量和数据量迅速膨胀，数据中心走向大型化；存储从原来的前端只需接1-2台单任务服务器变成需要接入众多的物理或虚拟服务器、虚拟终端，众多高IO和高带宽应用混合，缓存、带宽、性能急需上台阶虚拟化环境下的漂移和HA等高级功能要求将原来装在服务器端的操作系统和数据完全虚化后转移到存储中，服务器端只承担简单的计算功能，存储成为整个IT系统性能、弹性、数据保护、业务连续的核心存储还需要支持众多的数据管理和保护功能：快照、镜像、远程容灾、自动精简配置、自动数据迁移等，更对缓存和性能提出新的要求,存储替代服务器成为主角不止是用户需要专业存储，服务器厂商也开始“慌忙”收购存储技术公司,离开专业存储，用户最关心的要素都是纸上谈兵！,IT基础架构层最重要的因素尽量少丢数据（RPO恢复点目标）尽量不停业务（RTO恢复时间目标）性能高+弹性大信息安全管理简单采购成本低运营成本低,目录,宏杉科技简介为什么要用专业存储云时代的IT架构建设方向虚拟化数据中心及存储相关技术小结,云,“云”像用水和电一样享用服务云是一种服务模式的描述，并不是IT人的发明经济学本质，是以信息交换为基础的全局性资源配置“云计算”像用水和电一样使用IT资源和服务用户重新将注意力聚焦到业务本身，而不是IT技术实现的分水岭构建私有云，租用公有云是用户提升自身业务竞争力的必然结果是IT走向成熟的必然结果,工业和信息化部和国家发展改革委于2010年10月18日联合印发关于做好云计算服务创新发展试点示范工作的通知，确定在北京、上海、深圳、杭州、无锡等五个城市先行开展云计算服务创新发展试点示范工作。原则：自主、可控、高效总体思路：加强统筹规划、突出安全保障、创造良好环境、推进产业发展、着力试点示范、实现重点突破主要内容：（一）针对政府、大中小企业和个人等不同用户需求，研究推进SaaS（软件即服务）、PaaS（平台即服务）和IaaS（基础设施即服务）等服务模式创新发展。可选择若干信息服务骨干企业作为试点企业，建设云计算中心（平台），面向全国开展相关服务。（二）以信息服务骨干企业牵头、产学研用联合方式，加强虚拟化技术、分布式存储技术、海量数据管理技术等核心技术研发和产业化。（三）组建全国性云计算产业联盟，形成云计算创新发展的合力。（四）加强云计算技术标准、服务标准和有关安全管理规范的研究制定。,25,政府力推云计算的原因及关注点,云，为中国提供了一个重要机遇，即跨越简单的物理集中阶段，直接进入资源整合和业务重构的高级阶段。,IT建设三朵“云”,基础架构云建设大型虚拟化数据中心，集中托管各部门应用横向建设公有云涉及安全、部门利益及中央、地方纵向管理，推进困难纵向行业内建设私有云比较可行灾备云建设集中共享的应用级/数据级灾备中心解决投资和人力缺乏的问题可以短期内成规模、可盈利的云应用高性能计算云为政府、企业、科研机构提供高性能计算服务公益性运营比较多被误导，建设最多、收效最小的建设模式,云时代的IT架构,服务器/计算池,存储池,接入多样化网络无边界,基础架构虚拟化桌面/应用虚拟化,使用者专注业务，无需关心技术实现,任何地点任何终端,数据中心,任何时间任何服务,云时代的IT基础架构建设核心是虚拟化的数据中心,目录,宏杉科技简介为什么要用专业存储云时代的IT架构建设方向虚拟化数据中心及存储相关技术小结,服务器虚拟化,OperatingSystem,Applications,虚拟化的关键特征,隔离,每一个虚拟机都与同在一个服务器上的其他虚拟机相隔离,用VMotion减少计划内宕机时间,在服务不中断的情况下进行有计划的服务器维护和升级迁移工作负载，资源利用率最大化,VMotion迁移虚拟机,共享存储,通过HA确保系统高可用,VMwareHA发生服务器故障时在其他的物理服务器上自动重启虚拟机客户优势对所有的应用实现了高可用性，并且成本很低不需要完全一致的重复硬件比传统的集群有更高的成本优势，同时易于使用和操作,资源池,X,共享存储,VMwarevSphere,X,通过FT确保应用高可用,共享存储,使用DRS进行资源优化,DRS是什么?跨资源池动态平衡计算资源基于预先设定的规则智能分配资源对客户的优势基于业务优先级分配IT资源动态添加硬件资源而避免在繁忙时段服务器的过载动态硬件维护能力简化运行，大幅度提高系统管理员的生产率,资源池,业务需求,共享存储,资源池,业务需求,关闭,群集需要的资源越少，就将工作负载整合到越少的服务器上将不需要的服务器置于待机模式工作负载需要增加时，再恢复服务器在线状态,保证服务级别的同时减少电力消耗虚拟机不中断、不停机,DPM：分布式电源管理,共享存储,虚拟化对节省能源的贡献,=,度电,元,使用专用的转换工具在线无缝地将物理系统转换为虚拟机,CitrixMetaframe服务器,MicrosoftIISWeb服务器,MicrosoftSQLServer,MicrosoftExchange服务器,物理机到虚拟机的迁移非常简单,SAN/NAS/iSCSI,VirtualCenter,虚拟化数据中心存储系统可靠性更加重要,应用VCB保护数据,VCB是什么?集中的、无代理的虚拟机备份将备份移出虚拟机减少备份代理和数量消除生产虚拟机的备份负载充分利用虚拟机快照功能支持SAN、iSCSI和NAS和主流的第三方的备份产品预集成客户优势在白天就可以执行备份任务,集中的、文件级的备份实现了简单、可靠的数据保护,集中的数据迁移器,存储复制+SRM实现虚拟化环境下应用级灾备,40,X86服务器,ESXServers,VC管理中心,SRM,SiteRecoveryManager服务,X86服务器,ESXServers,VC管理中心,SRM,受保护的虚拟机,生产中心,灾备中心,MS3000存储,MS3000存储,概述通过存储阵列远程复制与VMwareSRM融合，使VMware用户能够快速部署灾备系统，并实现数据同步和完美切换。按照预先的规划进行测试和一键切换容灾等级国家标准5级RPO180G,挑战业界难题：硬盘故障率高+RAID技术无创新,表：硬盘初始化/重建时间,测试环境：RAID5，15+1块硬盘,：1TBSATA磁盘在无流量压力下的重建时间！,据统计，存储系统的硬件故障90%以上是硬盘故障！,故障硬盘中，只有12%是完全的物理损坏，88%属于部分/完全可用,到第3年，相比中等压力的硬盘，空闲硬盘的故障率更高,随着硬盘容量的加大，RAID重建时间不断加长，数据丢失风险急剧加大。,硬盘第1年的故障率为2-5%，并随使用年限增加而增高,业界难题！,RAID：廉价磁盘冗余阵列，为了利用廉价磁盘实现高性能、大容量、更可靠而诞生的,CRAID5组,Cell1,Cell2,Cell3,数据盘,数据盘,数据盘,热备盘,重建,CRAID:基于Cell的RAID技术,CRAID大幅度改进RAID算法，将硬盘细化为上千个存储单元进行管理将RAID重建时间减少85%！CRAID5在多块磁盘发生介质错误时，保证数据不丢失！,IDDC主动探测和修复磁盘介质错误将硬盘故障导致的RAID失效几率减少80%！,IDDC:智能磁盘检测中心技术,保留Cell,重建,整盘重建,拷贝,CRAID：20年来RAID技术最重要的创新,LUN规划700GB，但初次实际使用300GB,LUN经过一年，数据增量为200GB,实际分配500GB,LUN,新增配置200GB,实际分配300GB,LUN,规划700GB的LUN，应用可识别,实际分配700GB,系统智能增配Cell,2,LUN再经过一年，数据再增长200GB，达到700GB的规划值,3,LUN,新增配置200GB,系统智能增配Cell,容量按需分配,自动分层存储/自动数据迁移,SSD,SAS15K转,SAS7.2K转,支持硬盘混插+基于CELL的自动迁移,56,网络复制,实现跨广域的远程灾备，应对各种自然灾难或人为破坏,快照拷贝,对某一时间点数据的完全拷贝，可用于备份、测试业务,支持高级数据管理功能,57,2010-2014年：FC仍将占据主导地位；FC、iSCSI、FCoE等多协议共存,来源：IDC2009Q4PRCStorageMarketOverview,1979,87,08,03,SCSI,2000,88,20102014,FC,iSCSI,FCoE,ESCON,1990,NFS,96,85,CIFS,传输协议从封闭到开放！,主机接口可配置,MS5000：虚拟化数据中心最佳选择/最好的中端存储,用友集团一期虚拟化平台的建设规模,办公物理服务器：28台,研发物理服务器：25台,U9