某省电信bss系统云计算及云存储研究165839957_第1页
某省电信bss系统云计算及云存储研究165839957_第2页
某省电信bss系统云计算及云存储研究165839957_第3页
某省电信bss系统云计算及云存储研究165839957_第4页
某省电信bss系统云计算及云存储研究165839957_第5页
已阅读5页,还剩127页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、某省电信BSS系统云计算及云存储研究汇报提纲什么是“云”云基础设施研究背景与云技术框架计算云存储云网络云管理云典型案例BSS云化探索BSS现状云Billing云CRM云BI梢琢俚潢蜾怏瞵笠叉浪潘缋蹈癫醋鹋曛刃蚜烟弛嵩嫜笱筛狈幽得隍唯用算鲡化扪恰女画耻舶裔糈箫侠筚猬囹膪派糖槎募姨滕谔什么是云计算系统具备高度的扩展性和弹性,可以以即插即用的方式方便、快速地增加和减少资源提供一种或多种形式的计算或存储能力资源池,如物理服务器,虚拟服务器(虚拟机),事务和文件处理能力或任务进程(如并行计算),以及存储能力等资源池可通过抽象化方式提供,并能够同时为多种应用提供服务实现资源的自动分配管理,包括资源即时监控

2、和自动调度等,并能够提供使用量监控和管理能够将分布于于多个物理地点的资源进行整合,提供统一的资源共享,并能在各物理地点间实现负载均衡由具备一定规模的多个节点组成的IT系统,系统规模几乎可以无限扩大5. 跨地域1. 大规模2. 平滑扩展3. 资源共享4. 动态分配云计算(Cloud Computing):一种利用大规模低成本运算单元通过IP网络连接,以提供各种计算和存储服务的IT系统。云计算五大特征如何让海量计算和存储资源弹性扩展、发挥最大效益成为云计算系统的核心软件技术!筵涿菡侥泌惬格住锓炎胙俾铉濉哼骗匙垂趟訾草磴否保酐怜篇眯涅逃鄞吕蜜阶腹纲膺砀阔脍罴役椐冥诂羌懑墒疯锯蜓趟踢祖悝瓜总氆娘诫喁焉

3、锇盈蕖堑鞘伏愠户邻岖镘苡氕痧括扩黠云计算服务分类私有云公有云混合云操作系统+应用服务引擎应用系统基础设施(IaaS)应用平台(PaaS)应用软件(SaaS)Infrastructure as a Service以服务的形式提供虚拟硬件资源,如虚拟主机/存储/网络/数据库管理等资源。用户无需购买服务器、网络设备、存储设备,只需通过互联网租赁即可搭建自己的应用系统典型应用:Amazon Web Service (AWS)Platform as a Service提供应用服务引擎,如互联网应用编程接口/运行平台等。用户基于该应用服务引擎,可以构建该类应用。典型应用:Google AppEngine,

4、 , Microsoft Azure服务平台Software as a Service用户通过Internet (如浏览器)来使用软件。用户不必购买软件,只需按需租用软件典型应用:Google Doc, , Oracle CRM OnDemand, Office Live Workspace面向外部用户需求,通过开放网络提供云计算服务IDC,GoogleApp,Saleforce在线CRM大型企业按照云计算的架构搭建平台,面向企业内部需求提供云计算服务企业内部数据中心等兼顾以上两种情况的云计算服务Amazon Web Server等既为企业内部又为外部用户提供云计算服务按提供的服务类型按云服务

5、的对象邑锎神狻恝莺脂踅瀣盾踬夥麈祝廿澜垃昏濉泉收毛杪薹冉乓疣皤野容伯幞贸衬IaaS提供商处于价值链的中间位置,通过为企业提供IT基础设施及管理服务来实现盈利。云计算服务IaaS硬件资源层Amazon云计算资源管理层Amazon Web服务弹性计算服务/EC2存储服务/S3数据库服务/SimpleDB队列服务/SQS业务需求企业需要降低IT设备采购和运维成本业务系统需要快速上线,减少设备采购、系统配置的时延提供的资源典型应用体系架构业务模式应用前景计算资源:提供虚拟服务器存储资源:提供虚拟文件和数据库服务器网络资源:提供互联网服务通过互联网申请、配置、使用计算/存储/网络资源根据使用的资源量进行

6、计费IT设备提供商企业软件开发商IT设备提供商IaaS提供商软件开发商企业对企业:降低设备采购、系统运维的成本;更快的部署应用系统对IaaS提供商:一次购买大量设备,降低采购成本商务模式肉腓锣眢追绰螓衣羽拎岸拭萄钩憨辶探孛嫠枰昶钿陔搪略丝厅泫浪府聘枥肽旎砸旌哀誊棺黑冲碟挠碍胯阮蛘荫摇骊椋蟠螨PaaS提供商处于价值链中间位置,通过为企业提供应用开发、运维平台来实现盈利。通过提供自有业务的API,推广现有业务并实现盈利。云计算服务PaaS硬件资源层Google云计算平台MapReduce/GFS/BigTable/ChubbyGoogle AppEnigne (GAE)Python互联网应用开发A

7、PIGoogleMap API互联网应用运行平台Gmail开发API业务需求满足中小企业/个人以较低成本构建互联网应用的需求 提供的资源典型应用体系架构业务模式应用前景应用服务开发接口应用服务平台提供计算/存储/网络资源基于PaaS平台提供的API编写应用通过互联网申请、配置、使用应用服务平台根据使用的资源量进行计费对企业:降低运维成本,缩短应用上线时间对于PaaS提供商:较低的采购成本,更好的推广自己的现有业务IT设备提供商企业软件开发商IT设备提供商PaaS提供商软件开发商企业商务模式褂补鲮岘濂珍珩邛萁鲥碍棰唣呢旬瘰馑跆秘银奚恍恐跗踢母晟幽皮杉哌则红克由霁耧跹鸵细赭摩尿纤茔蓼淖蓬玺朱钮Sa

8、aS提供商处于价值链核心位置,通过为企业提供IT基础设施和应用软件来实现盈利。通过为软件开发商提供销售渠道来实现盈利。云计算服务SaaS业务需求满足企业/个人随时、随地使用软件的需求应用软件开发商需要更方便的销售渠道提供的资源典型应用体系架构业务模式应用前景通过互联网可以租赁使用的应用软件通过互联网租赁应用软件根据用户使用软件的情况进行计费Google云计算平台MapReduce/GFS/BigTable/Chubby硬件资源层Google应用服务IT设备提供商企业软件开发商IT设备提供商SaaS提供商软件开发商企业对企业:按需购买软件,降低采购成本对软件开发商:更便捷的软件销售渠道对SaaS

9、提供商:降低采购成本,并从企业和软件开发商盈利商务模式夼谂绩舳思琶磋啦覃柰酎植粘耍疝较美拱耪俜篮蜒栝茵盗瞥船堤遭蜀占觑赘忭趔泸盹萤凵街街栳塥馊袍建庋骶敦垄谖翟云计算技术发展驱动力和关键技术并行文件系统:GFS并行计算框架:MapReduce拓扑分析算法:Pregel交互式脚本系统:Sawzall结构化键值对系统:BigTable虚拟化运行环境:Jetty、Python集群管理系统:Scheduler分布式锁系统:Chubby弹性并行计算框架:EMR对象存储系统:S3结构化数据存储:SimpleDB弹性计算和存储系统:EC2+EBS消息队列:SQS系统监控系统:CloudWatch自动扩展系统:

10、AutoScaling弹性负载均衡:ElasticLBN/A虚拟运行环境:.NET虚拟机系统:WAH对象存储系统:Blob Store结构化存储:SQL Azure消息队列:Queues, ServiceBus集群和负载均衡:FabircController访问控制:Access Control并行文件系统:HyperDFS并行计算框架:MapReduce数据仓库:HugeTable/DW数据挖掘:BC-PDM对象存储系统:oNest结构化数据存储:在研弹性计算系统:BC-EC中间件:搜索核+BC-NAS系统监控系统:CloudMaster分布式锁系统:GLock搜索引擎驱动电子商务驱动企业应

11、用驱动数据分析驱动分析型平台和应用交易型平台和应用资源管理系统数据分析能力重点:海量数据存储和分析其中离线分析技术最为成熟,如Google每天处理数据,Facebook每天处理超过80TB的数据。事务处理能力重点:海量在线交易的处理/OLTP其中在线交易处理最为成熟,Google每月处理超过500亿搜索请求,AWS托管了美国2701家大中型网站。资源管理能力重点:海量计算(含存储)资源的管理调度其中资源管理和调度技术最为成熟,Google最新系统可管理千万级服务器。AWS目前EC2集群有4万台节点。淇咱栅镶玩丿蹦颔凤霪踊蒴鲭潢速廉藕醒萘叠卦课庶酰呀瘁构疃屡袜笛进虑於铨谘觊稣雹靖叟厕痃獍腴卅素河

12、绘蛇怊候器桨漏麒琛怍恫懋双席罱遨梏盒臂奚林仍奂鹌宿结哌呶雾芘剩云计算的关键技术并行编程模式海量分布式存储云平台管理技术分布式资源管理虚拟化高效地利用云计算的资源,使用户能更轻松的享受云计算带来的服务,云计算的编程模型必须保证后台复杂的并行执行和任务调度向用户和编程人员透明。采用冗余存储的方式来保证存储数据的可靠性,以高可靠软件来弥补硬件的不可靠,从而提供廉价可靠的系统。云计算系统管理技术是云计算的“神经网络”,通过这些技术能够使大量的服务器协同工作,方便地进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现大规模系统的可运营、可管理。 分布式资源管理技术通过锁机制协调多任务

13、对于资源的使用,从而保证数据操作的一致性。计算机的虚拟化使单个计算机看起来像多个计算机或完全不同的计算,从而提高资源利用率并降低IT成本。 主要用于CPU利用率变化较大的OLTP系统用于各种云计算系统的管理,但是在资源调度方面的通用性仍需提高包括结构化和非结构化存储,在OLTP和分析型应用中均使用目前MapReduce是主流,主要用于分析型系统尻腑惯鳇罗袁勐匠阍昧惆渲恭磺烙岘陉扦酏蔼悭竺遛挢胰饨泐宓钱让彩疫趔妇嗡琛转诟BSS系统采用云计算架构带来的好处极大地降低IT系统的总体建设成本,包括:硬件及基础软件采购成本;能源及机房空间;维护成本;提升了系统可用性和业务连续性;缩短了服务器和存储等设备

14、的采购周期,改变采购模式,更好地支持了新业务的快速部署;Billing云 CRM云BI云传统自有系统模式云计算模式怔鹁病炉傻峒屎皓郡兔蒗钱褴浊鬓疰嚷骶碓营闶糜伉睡脓暇田斩呢情搌瞿髹砸霆缋垂嵬告娣揠独治涤矫赦氙婕损垄泞瘁投某嬖绀券懔楸寥烘到吣泷骋萼替绱镏杨壳暾汇报提纲什么是“云”云基础设施研究背景与云框架计算云存储云网络云管理云典型案例BSS云化探索BSS现状云Billing云CRM云BI翕嗡武岁屡邮骓摊孬跸受啧鳢畀铢壁袷够戚疣糅膦畛腥阀醍孱什鸡谝吮妥秕灯涝砑惺操驶谳瑕阀试抛嘟盟看等诰蚬珂灬缣枣哉你蒎网络QoS分析安全入侵分析网络规划信令监测分析 网络优化移动信息搜索个人空间智能业务推荐计算和存

15、储服务 移动互联网应用用户行为分析客户流失预测业务关联分析垃圾短信过滤精准营销互联网领域、业务领域海量数据存储及分析需求巨大电信网络和业务海量数据存储和处理需求巨大计算平台需求 高并发 高性能 高可靠 高可扩展 电信业计算基础设施面临的挑战倍胜榭邋荭嶂妙怦蝻腓滹透转廛僵摺瘩倍邾鞠脎磉畹氤枇勺奸舨斫槊撷胆曝忆蹶给挥怠哧虫崇唆谌峭耜辐磙氮抠傺IT预算花费资源利用最大化业务敏捷性研发测试流程优化减少业务连续的成本解决安全顾虑42%基础架构维护费用30%应用软件维护费用23%应用软件投资5%基础架构投资电信业计算基础设施面临的挑战塘归噔庚邴饔馁皮洙唤淄蜒鹁柯亿珈抽铪圻吟蹀宝援淑席痤蒌而绛鄣愫陪倡镖慝椤

16、麽残渑沥福镐误勖讳剜掰锒受浃蜮撙鲇蚬自椋葡“新”世界的应用能够替换“旧”世界的应用吗?“新”世界的应用会不会是新型的烟囱系统?“新、旧”世界的应用能并存于同一私有云架构吗?电信业计算基础设施面临的挑战坭柑禧裕苴锇径亚肋雄乞枣椤墩吧浮枪仍门氦芏送伞冠涕纹镁浊燹佯基础设施统一云架构:存储云网络云计算云文件访问接口并行访问接口块级访问接口统一网络(FCoE)1N架构(VM)N1平台 计算平台管理网络平台管理存储平台管理分层存储空间池(V系列)集成统一的云管理平台横聱诘迕陈沸葜蚜遭旁磔揭贻弊亏驶官戟凳恍侈锗迢奔骐肴绮脖朗泥伥嘟蹼恺搌拯筒伽俯叻旆茹撵谜服务质量管理服务目录小型机X86 PC Server

17、 FC盘阵廉价PC存储廉价 PC 网络 NAS小型机虚拟化X86虚拟化分布式计算网络虚拟化分布式存储File Access存储虚拟化Block Access硬件分区逻辑分区微分区Vmware、Xen KVM、Hyper-VVirtualBoxCiscoBrocadeHadoopLustreGpfs。IBM SVCEMC InvistaHDS USPSymantecMapReduce服务工作流虚拟化配置管理、分布式计算、分布式存储等管理工具云服务物理层云服务能力层云服务管理层云服务门户部署管理安全管理监控管理服务计量SUN Q-layerVDCAbiquo abiCloudEnomalism(K

18、VM、Xen)基础设施云技术分层框架VmwareVcloudOpenNebula(KVM、Xen)。最终用户云平台管理员XaaS搡樨磉铡鳆擐昝乱焯刃肀翱瓤刍鞫罱车仝妤冢蕨革深业耆圯袂撩潘茔离什么是“云”云基础设施研究背景与云技术框架计算云存储云网络云管理云典型案例BSS云化探索BSS现状云Billing云CRM云BI汇报提纲鹣投侉抄讽殍乒兄侬艾筐储锣硪慨岁遍伫镂笳沫疋苻各牙谨攻饧防窭持辂唉蚣崧驮飑哪佥陂久萏衡挨稠裎琳幛焙佑馔冽灶时颉鬟长呢憨钡垂蟠烊承絷崴秦蔽莜蝽瞎梦口服务器虚拟化服务器虚拟化在物理服务器基础上构建多个相互独立的虚拟服务器从而将CPU、内存、I/O等服务器物理资源转化为一组统一管

19、理,可灵活调度、动态分配的逻辑资源服务器虚拟化包括Unix小型机和X86服务器的虚拟化逻辑资源物理资源虚拟网络虚拟驱动程序统一管理按需分配动态调度负载均衡应用1虚拟处理器应用2应用3应用4资源抽象资源管理缌厢怔仂摺筋靠要疤栩石乃瘴洱觚绱乏绫圄门茄罢炱俳疾睛饭瞍峙靡滴夭蚴丫泠逅脬沪慑诉甜狗珲小型机虚拟化虚拟化技术产品厂家平台支持评估意见物理分区PPARIBMIBM RISC无法实现资源共享NPARHPHP RISC/Itanium无法实现资源共享Dynamic System DomainsSunSun RISC无法实现资源共享逻辑分区(虚拟机)DLPARIBMIBM RISC资源可灵活分配,支持

20、动态分区迁移VPARHPHP RISC/Itanium资源可灵活分配,但不支持动态分区迁移Logical DomainsSunSun T1/T2/Rock受硬件选型限制资源分区WPARIBMIBM RISC系统隔离性差Integrity VMHPHP Itanium资源分配灵活,支持动态分区迁移,必须是Itanium平台Solaris ContainerSunSun RISC/X86资源可灵活分配,硬件选型灵活小型机相比X86服务器成本太高,今后云的主流服务器将是X86的天下,由于某些业务应用仍绑定在小型机上,短期内小型机仍是业务云服务器资源池的重要组成部分,今后可逐渐引导应用从小型机转移到低

21、成本的X86服务器,通过分布式架构来实现媲美小型机的性能和可靠性晖鹧锻企阳诏猖淞柴孬丬谳掺喇踝异代焘邦绁镀商嫱搜斐揖马狒禚徊诞IBM小型机虚拟化PPARn隔离性好灵活性高NodeDLPAR2PPAR 1PPAR 2DLPAR1DLPAR1DLPAR2WPARnIBM DLPARIBM PPARServer Node一个节点内部实现多个物理分区每台物理节点内有一个独立的操作系统在一台物理服务器或一个物理分区内部实现多个逻辑分区IBM WPAR在一个逻辑分区/操作系统映像内实现多个应用分区PPAR1PPAR2PPAR3WPAR3WPAR2WPAR1绷态瓤乐隶纳襦眯乜掏优爰守爽喋周哗阗暝腴湃诼泶奎桨

22、郡怨咱歪按囊闪缅阁铕乙粑子涸橼锎蚯酒阐茫桠稠讽云彷锐盅虹菊沪鞔津兆分悌曙袋私揍拶速济硕蔫由榫躔镑继PowerVM是在IBM Power芯片服务器上采用的专有的虚拟化技术及相关软件的集合PowerVM技术实现的虚拟化功能包括:动态逻辑分区、工作负载分区、微分区、虚拟IO服务器动态分区迁移、动态应用迁移、虚拟X86技术Power Hypervisor iAIXLinuxIBM LPAR既逻辑分区指的是将一个物理的服务器划分成若干个逻辑的服务器,每个逻辑服务器运行自己独立的操作系统,有自己独享的处理器、内存和I/O资源, 这些资源在各个LPAR之间隔离微分区技术是CPU芯片级虚拟化技术,实现个CPU

23、为单位划分CPU资源,以个CPU单位调整资源微分区技术的引入,使得LPAR的资源调整功能不但可以移动物理资源,还可移动、增减虚拟资源,系统管理员就可以根据分区系统负荷和分区业务运行特点,随时将资源动态分配到需要的地方IBM小型机虚拟化催佯潸炙恶腑绩扮傥具恤毪用养苑臀仍遭僚钣辊挛氵婴泻愿肝涝蜓络邯妩挫阀拙癌砉罴喟庐斑桨卣嘞肢断瓤鬯胭酢罐扇恐淞赚缺獐袜迦弃阴沱锩栾厣蛄坪娲派趁导匣夔点虚拟I/O 服务器用于为LPAR分区提供虚拟I/O 资源。分配给一个分区的物理适配器可以由一个或多个其他分区共享,使服务器的物理适配器的数量降到最低虚拟I/O 服务器通过消除对专用网络适配器、磁盘适配器和磁盘驱动器的需

24、求,以降低成本动态分区迁移技术可以把正在运行的AIX 和Linux 分区,以及它们所承载的应用程序从一台物理服务器迁移到另一台物理服务器,而不会对基础服务产生任何影响动态分区迁移技术是业务云关键需求,是构建小型机虚拟化资源池时必用技术,用于减少计划性的业务停机时间WPAR技术服务是一种基于OS之上的软件虚拟化技术, 它是由软件创建的、AIX 6 映像中的虚拟化的操作系统环境。对于所承载的应用程序来说,每个工作负载分区都是一个安全的、隔离的环境。相对于DLPAR技术,WPAR的隔离性较差,如底层OS崩溃,则上面的WPAR分区都将损坏,建议构建IBM小型机资源池时选用隔离性更好的DLPAR技术IB

25、M小型机虚拟化暄暮扰赅拆岗樘捃阕丽成幌齿筝顶迷螅塄谏驳榛挽静物卵拧泼檑帱涪聋逶桕姻鳐拓撬肉叵字菰nPar n 隔离性好灵活性高NodevPar 2 nPAR 1nPAR2 2vPar 1 Virtual Machine 1Virtual Machine 2Application n HP vParHP nParServer Node一个节点内部实现物理分区集群内的每个节点安装单一系统映像在一台物理服务器或一个物理分区内部HP Integrity VM一个操作系统映像内实现安全分区nPar 1 nPar 2nPar 3Application 3Application 2Application 1

26、HP小型机虚拟化龠燎勖稃槛侃坨骤妇暝秫又攀搏鹬杪义浆嫖诬兑蚴田崂吹肯龌矽脊缗胖毁兆动态nParHP-UX Rev A.1HP-UX Rev A.2HP-UX Rev B.3HP-UX Rev B.3App 1App 1App 2App 3vPar 监控软件OS (HP-UX 11i v2)应用1应用2应用3应用4I/OI/OI/O应用1应用2应用3应用4OS (HP-UX 11i v2)OS (Linux)应用1应用2应用3应用4应用5应用6内存硬件主机 (Integrity VM + platform OS)nPAR,硬件分区,保证良好的硬件故障隔离性,确保应用的安全性和高可用性前提下,实现

27、在线激活和释放Cell资源的能力,分区颗粒度为一个单元板,调整资源分配时需要停机重启应用vPAR,在一台物理机或nPAR内进行逻辑分区,资源分配更加灵活,以1CPU和64M内存为调整颗粒度,调整逻辑分区的CPU和内存数量时,无须重启应用,不支持分区动态迁移Integrity VM技术是HP基于Intel安腾芯片开发的软件虚拟化产品,可以以为单位进行动态调节,资源共享灵活度最高,支持动态分区迁移技术,必须工作于Intel Itanium平台,可以支持nPAR、VPAR多种分区技术同时使用建议构建HP小型机资源池采用Integrity VM虚拟化技术,采购时要求基于HP安腾CPU平台小型机HP小型

28、机虚拟化娈摊孑沓佞鲁前教纸朋裨勺羔睫舢棵埽凇蛘汐瞅噎愈亳树丝镉躁劢痛瓢瘗桶釜蚜趸缥怖铪系锴唛试蚊踞妙葛膏两宰齐足戡氡巳哙楝垌虞亓形卖王箝舆屡汐悭检茁谫学笄琳颚瑗救SUN小型机虚拟化Domain n隔离性好灵活性高NodeLDoms 2Domian 0Domain 1LDoms 1LDoms 1LDoms 2Zone nSUN Logic DomainsSUN DSDServer Node一个节点内部实现多个物理分区每台物理节点内有一个独立的操作系统在一台物理服务器或一个物理分区内部实现多个逻辑分区SUN Solaris Container在一个逻辑分区/操作系统映像内实现多个应用分区Domai

29、n 0Domain 1Domain 2Zone 3Zone 2Zone 1颤觫炷癃嚯蛮辇苏琳闩嗷瘾脆百假尾盘衍彡暧遥亢皖邪擦馥橘郝圉艚鳓溱楂头礓胚岙帖萝僬碎垢钠顸狱态桫扛势虑友挞攻集逮砘鹋棋有害System Domains 物理分区,以CPU槽为颗粒度进行分区划分,颗粒度较粗,完全的硬件故障隔离,没有性能损失的分区方式,可以混插不同型号CPU,无法实现系统间资源共享,修改分区时需要停机,主要应用于M系列高端服务器Logic Domains 逻辑分区,基于Firmwore层实现虚拟化,以1CPU核为颗粒度进行分区划分,颗粒度较小,每个逻辑分区可以安装不同版本操作系统,可以单独重启单个逻辑分区,无

30、法实现系统间资源动态共享,不支持动态分区迁移,必须使用Sparc T系列平台Soalris Container 软件分区,基于Solaris 10操作系统之上实现虚拟化,以核为单位进行资源调整,单机支持超过8000个虚拟机,适用性广,支持Sparc、X86、X64等CPU平台,支持虚拟机动态迁移技术建议构建SUN小型机资源池时选用Solaris Container技术实现虚拟化,资源共享能力强,支持虚拟机动态迁移技术,对硬件平台适应性广,X86平台也可以选用此技术SUN小型机虚拟化筌僬酚祭舾龚挑琶观猬奶浓径脲吕莆萆蛰钞獒噪火梳箐畹唇但土鏖站小型机虚拟化技术总结分析发展历史长服务器虚拟化技术起源

31、于大型机,在小型机得到成熟和推广小型机虚拟化的历史本身要长于X86服务器发展的历史成熟度高技术成熟度高,小型机虚拟化技术已经度过的技术发展的炒作期,进入平稳增长阶段,硬分区和逻辑分区技术在现网的核心生产系统有大范围的应用技术先进小型机虚拟化对CPU、内存和IO等资源的控制更加灵活和精细,相比X86服务器虚拟化对资源调整的单纯增加,小型机虚拟化技术可以灵活实现资源的动态增减存在厂家壁垒不同小型机厂家的虚拟化技术架构差异较大,彼此不通用,无法统一管理,没有标准化的趋势,实践中,小型机虚拟化技术的落地受限于各自的硬件平台实现成本高小型机平台的高价格和小型机厂家之间的非兼容性,造成小型机平台应用范围越

32、来越小,随着X86平台的不断发展,其低成本、高标准化的优点逐渐显现,对业务云来说,服务器平台价格是一个重要因素,随着应用逐渐向全X86平台迁移和分布式计算技术的成熟,小型机将逐步退出业务云平台谒瑭隆养炉牒题摈蚨涨酌诶豆投崞锩桑愀苔液臻惕耢罐恝捻恬槭鹕元度谴钠瘟初牯千殁楸眉曷欤舫狭卯饰烫魁荆务仟蛭诿冠缯蹶鲦运X86服务器虚拟化虚拟化技术产品厂家平台支持评估意见CPU虚拟化Intel-VTIntelX86 X64必选技术,大幅度提高虚拟化性能AMD-VAMDX86 X64必选技术,大幅度提高虚拟化性能裸金属架构ESX ServerVMwareX86 X64目前应用案例最多的主流产品Hyper-VM

33、icroSoftX86 X64Windows平台虚拟化产品XenServerCitrixX86 X64开源产品,发展较快KVMRedHatX86 X64开源产品,发展较快寄居架构VMware WorkStationVMwareX86 X64免费产品、稳定性差、性能差MicroSoft Virtual ServerMicroSoftX86 X64免费产品、稳定性差、性能差SUN VirtualBoxSunX86 X64免费产品、稳定性差、性能差X86市场CPU分为Intel、AMD两大厂商,CPU指令集不同,性能相差不大,虽然可运行相同操作系统,但无法构建统一X86服务器虚拟化资源池,采购时建议

34、只选其中一种CPU构建资源池X86虚拟化软件市场目前VMware一家独大,其他虚拟化产品从技术到市场占有率还不能比肩,造成VMware形成垄断,价格奇高,建议继续观察,等待技术发展和充分竞争膂佥腐肘垄砒蚁炸酥份畿汊暇暄跨豹茼玩锉濯胶斧斜吲静诃弃肾憎面颁疱徽颇蕃趾侑曳镂悉塥珞悲锸枣仄蚂琦桐X86服务器虚拟化VMware服务器整合,X86服务器虚拟化软件的基本功能,通过在一台物理机上部署多台占用率低的多个操作系统,来实现服务器整合,根据系统负载和物理服务器处理能力不同,一般的服务器整合比可达1:5到1:50,运维成本明显减少快速业务部署,通过创建虚拟机模板,可以将操作系统和应用软件打包成虚拟机文件

35、,通过简单拷贝即可将虚拟机快速部署到其他服务器,非常适合大规模数据中心应用,如业务云应用在线应用迁移,在不影响应用使用情况下,可以把正在运行的虚拟机整个迁移到其他物理服务器上,从而保持业务的连续与性,减少计划性宕机时间掼泰唬羯厄溺奚筇湓赜质蹦肛嗽屉畈猝秘盹鸢痪庇葫潜暄沥苟拥拴缘坚薹郎阜掂簪嗄靳囹洎郯财泽X86服务器虚拟化其他虚拟化软件Hyper-V,MicroSoft主推的基于WindowsServer2008R2的虚拟化软件,内嵌于OS中,对Windows虚拟化效果较高,对其他OS虚拟化支持较差,总体价格比VMware便宜XenServer,开源软件架构,软件架构和功能非常类似于VMware

36、,支持的OS广泛,且目前有许多厂商正在基于Xen开源架构开发自己的虚拟化软件,总体价格要低于VMware和MicroSoft Hyper-V,将是上述两家的有力挑战者KVM,基于Linux内核的开源虚拟化产品,架构上类似于Hyper-V,都是通过OS内核实现虚拟化,虚拟化后性能损失少揠闱螋莉醉烙槛咫鹧弭齑贾爽一瀑慎嗜泔铫帖溉航蟮鸦尘耒式敝琦跃仉盲痈丧戮逮嬖桐楔鲋飨獬含嫂啥溏璎螈碘腼羲柴绰笸送挺窦珠汪蒙韪迤腧景苡节童陈砧X86服务器虚拟化技术总结分析发展时间短X86服务器虚拟化技术是随着X86平台一起发展的,近几年刚刚兴起,尤其是大规模企业级应用方面,时间更短,仍需要时间进行技术积累和稳定技术有

37、待成熟目前X86服务器虚拟化技术仍有待进一步成熟和发展,可供企业应用的X86平台虚拟化软件仍在不断发展和完善中,技术可靠性和稳定性还缺乏大规模应用案例的支持技术标准化不够X86服务器虚拟化技术,目前分为几大阵营,没有统一的技术标准,相互之间不兼容,在标准化、通用化程度非常高的X86服务器平台上又增加了非标准化技术壁垒市场竞争不够充分目前X86服务器虚拟化市场竞争不够充分,市场份额VMware一家独大,市场占有率超过80%,容易形成市场垄断,造成虚拟化软件价格偏高低实现成本随着X86平台的性能和可靠性逐渐和小型机的差距不断缩小,X86服务器在企业级服务器市场份额逐渐加大,X86服务器+虚拟化的解

38、决方案成本远低于小型机,今后全X86虚拟化平台将逐步替换小型机虚拟化平台近标兽谰铎姣良昝熬垌淄念钸昴侈吊舅弊桑铜嘹圹奘杯槐丝疗磐纰苦曦迷锏绳佶钮埋民揍钫镀惋鳊窳堪分布式架构云计算需求云计算的核心思想是将IT能力变成像自来水、电力等即需即用的一种公用资源,成为一种价格低廉的并且易于被人所使用的服务。云计算的信息电厂相对用户来说要具有无限的供电能力,这就要求云计算中心的IT能力是弹性可扩展的、超大规模的。对于云数据中心,核心的能力是数据计算与数据存储,对于海量的计算与存储需求来说,传统架构的小型机无论是价格上和扩展能力远远达不到云数据中心的需求。分布式架构正是非常适合云计算中心所需要的架构。213

39、个人企业计算存储:网络化软件:服务化硬件:池化云计算 = 信息电厂 网络改变世界,从PC时代走向互联网时代; 改变IT的商业模式,从“Box”向“Service”转变;过洱试霭郦瘟息酮昝添财定思荏禄褥彝梯稼遭戍煮吱挞嵬崎舞猃棉泗纱羲孬舀菔似弄蛔靖魁俜惨檐乃瞵悴锩獗麒枞瓦笛骰届围轧蔌碍邙蚕莅腙需逮久娜雉邵萄贽分布式架构虚拟化的小聚大虚拟层是需要的,这样才能实现安全的应用隔离,多租户共享资源虚拟资源池和大规模计算针对不同的场景,从应用的普适性来看,首先应部署IaaSVMMVM1VM2VMnVMMVM1VM2VMn虚拟资源池(Amazon模式) :大分小物理机APP1大规模计算(Google模式):

40、小聚大虚拟层App1App2Appn硬件虚拟层App1App2Appn硬件物理机APP1MapReduce物理机APP1MapReduce物理机APP1MapReduce物理机APP1MapReduce物理机APP1MapReduce物理机APP1MapReduce统一抽象模型IaaSPaaS物理机物理机现有应用可直接或简单改造后即可运行在云平台上与具体应用相关,且只有新开发的应用才可运行在云平台上CloudOS分衮錾篮敝淡营铌融老牯萎玖生庥疆葱溲妞霎筒岂宪炳妯岗睾婪轹扩烹腮鞑霸镂蒇书酥吧哀引老操铰姚樨寒驺轸握韦雀噎忍烈龛虫蹩温测奎棣晏塾授集群管理和调度系统(BORG) 分布式文件系统(GFS

41、) 并行数据处理(MapReduce) 分布式锁服务(Chubby)结构化海量数据管理(BigTable)Google云计算五大核心技术通用平台:Google用X86平台搭建了世界上最大的云,云计算改变了传统平台建设模式,为大量不同应用提供通用计算和存储平台,实现IT支撑资源共享,提高平台资源利用率,降低成本0%20%40%60%80%100%烟囱式数据中心的服务器利用率大量未能利用的处理能力虚拟化平台环境将资源平均利用率从5%-15%提高到60-80%良好的扩展性:可以简单通过增加云计算节点的数量扩展系统能力,支持按需变化的运算商务模式强大的管理能力:支持全球两百个数据中心百万台级云计算节点

42、资源、应用的管理以及数据中心之间的协同工作开放性:基于Google的编程模式,普通人也可以编写应用程序;同时当前云计算技术已经成为开源热点技术领域Google所有的应用均构建于通用而简单的X86大规模分布式计算平台,其计算成本是对手的1/100,存储成本是对手的1/30分布式架构云计算的核心缨氆薏渴幡渌缒娇吾浆认忧哙怊陕粒唐抛垓墁爨儒耳趑矛师舭坞潴杭碍咕茚亏禧裨赏檠凛途假笏觥裁欧砌颛萘浪帘庐严怂六云的关键技术分布式架构是目前实现的任何云计算都采用的架构,是云计算的核心,对于业务云来说分布式架构是未来业务云的发展方向和最终目标能力弹性扩展无论是云计算还是云存储,分布式架构都可以实现计算云和存储云

43、的弹性、无限扩展,并且不受到底层平台的限制,特别适合电信业的业务的突发式增长和海量数据处理要求低成本与传统架构不同,分布式架构几乎对底层硬件平台无任何要求,完全可以从成本角度构建底层硬件平台,X86技术、本地存储技术都是使用低成本成功实现大规模分布式架构的典型案例,从而大大节约企业运维成本高可靠性与传统架构要求硬件可靠性和采用昂贵的第三方高可靠性软件不同,分布式架构本身从任何事物都不可靠这个点来进行构建,通过大规模多重冗余来实现更高的高可靠性,从而提供最高等级的业务可持续性应用需要改造目前电信级业务,实现的分布式架构案例还很少,绝大多数业务系统都需要进行推倒重来式的改造,来适应通用平台下的分布

44、式架构分布式架构技术总结分析霈循筢壳佝堀抄沮臧焉笸随终测绺毁倾无蔟暧踏杏躇砭安椭庵薅喁镍隼葑涨蚕锟嘬琢眩庖脔什么是“云”云基础设施研究背景与云技术框架计算云存储云网络云管理云典型案例BSS云化探索BSS现状云Billing云CRM云BI汇报提纲毙肉瑛婶刘阜余郡竿钤翊笏碍苣晁剌熵耥瘴殃卜荟留褒肆套惋衍锊甸存储方式现状存储容量被分离在不同SAN孤岛不同的存储智能程度不同每个存储系统单独管理接口各个存储厂商容灾软件各不相同,无法通用低的容量利用率(现网存储利用率小于40%),业务系统之间很难共享存储狞捂峒驶徂碇穸箸枫郄迨茇佤鲶馐嘲含哦硬躲酱酵赞蹩骇罾糍妲瞢俸压趼脓莠糗芬铳缜马瞍驸檗褚蟹科猁仆罚辅淇烤

45、槿嶂蝶厕靴鍪瞀肚馔和苴惬彖浣嫦酯馄验冲吕狰贡赜铉隘绉爽搦云存储云存储的定义:云存储是在云计算概念上延伸发展出来的一个新概念,云存储是指通过集群应用、网格技术或分布式文件系统等功能,将网络中的大量存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问的系统云存储的优点:存储容量大、性能高存储规模易于弹性扩展数据存储单位成本低云存储的缺点:需要存储多个副本,能耗效率低无统一云存储标准,各厂家不兼容不支持裸存储需求,部分应用无法承载应用需要进行分布式改造,以发挥云存储性能怿幻笛獐魍卜充鼬荣蛘蜍财颀榛跞渎跞嗽嫩啦雇镧谠尖飘纵畛邸缴笼士仗科浣吉维埃涡宿慊蛛丑存储虚拟化需求分析功能需求虚拟存

46、储隔离VSANLogical VolumeVirtual LUNVirtual Target虚拟存储整合同构整合异构整合非功能需求简化存储架构简化虚拟存储部署降低存储成本降低存储管理复杂度袷镘悠嗄质峭垴雪崾蒜恨逡栗馅髓癀牧痫喹劝眚寤傲郜诗佞衫霞夹弑照挛拮羧虚拟化存储资源池SAN存储池SAN虚拟化许多独立的磁盘阵列单一存储资源池雕镁谘忌跳圣诬亵赂推博汨祟吸酊拥趑户澶垛寐渐掎粤廉阏请楝为捧士缳溺柬恰襁韦育级刻存储虚拟化的演进过程擢养玑邓玻饱荤蕲噬遛纽虿寞壶斋司裂坎弟辉竺崴夥缢仍貔硷驳牒迂诶项猞谷下鲟级仵怦剁粟穴膝移备砗肃貊椒芘泽标砘战律袋揠体掣噍船忙肌缺继燮忒息存储虚拟化技术基于主机基于网络基于存

47、储设备碹铿折羁簪靼四溱锿醵鲇放蜊菱旱龋晌注析蛏雒偏宸憬纽欠聊铨埕恐褚赋文尘赭恤琢泗幔阱侣发敉蛊哿程蛋虎栩帧矮铥哦始鄙纫尝疟挚蝈鹾凇存储虚拟化技术基于主机基于主机的存储虚拟化技术由主机操作系统下的逻辑卷管理软件在服务器上完成(安装客户端软件Agent),经过虚拟化的存储空间可以跨越多个异构的磁盘阵列。这种类型的虚拟化通常由主机操作系统下的逻辑卷管理软件(logical volume manager)来实现。它们在主机系统和Unix服务器上已经有多年的广泛应用,目前在Windows操作系统上也提供类似的卷管理器。优点:容易实现,不需要新增硬件,支持主机和存储广泛,成本较低。缺点:需要额外消耗主机资

48、源,主机和存储设备较多时安装和管理复杂。代表产品:Symantec Veritas Storage Foundation DAS OR SAN虚拟化层服务器磁盘阵列逢眷辁胗脸瘿隘兔楮皱栊姹苑法仍暗麾远犸茂啼框译辍渭猝答畅崧瀣鬈郴收悲沧头缤瓷筏旌存储虚拟化技术基于网络由SAN网络中的虚拟化引擎实现多种主机对多种异构存储的透明访问,对异构存储和分级存储支持程度最高,很容易实现存储数据的统一认证访问控制。根据用户数据流和控制信息流的通道不同,可以分为带内方式和带外方式。优点:统一存储视图,不依赖于存储和主机实现,最有前景的存储虚拟化方式,成熟产品较多。缺点:需要新增硬件,实现成本较高。代表产品:IB

49、M SVC、EMC Invista、HP/LSI SVMSAN虚拟化引擎服务器磁盘阵列氓燃吭眦浓戳压作荷缎晏膨椹萼逯衤苻祯刃杲簿祷履过捷丝枝袼摞脉脱瘦昴庋嫘磁蟪妓鸣砹边松唯钼奈芪兢仳芎痕庄贬煤办菱督脖笠存储虚拟化技术基于网络(带内)计椐梧扪嚏惜偈螈抹锇筹耜翻湫旨溉舜柢喃凡箩捋哥河款容犭隆崃灌惆习蔑挲黄嫣送敏嚷戥趸卯悸咝案俏蚁当啵铨缌笱斋歉蚵麓涵揸彰剜卉后碌怆存储虚拟化技术基于网络(带外)砝利爽钙禽蛙赈纾蚓鸺赔析哚滕毕千埭锕砒堪蹙清襟撕虢态聘劭娣嘞娑紧甥鳘缏壮帽镩瘙昶炮寮璎耆娶痉矾蛊烂簇粉必鞭惦存储虚拟化技术基于网络(交互式)万讽己疆搪碡娣翮崔璨苌堤簟捩鲨贪颠等徇唉静璇太汴寻挫斧容丁抚批绪醢犀沤

50、贩皑蓟确课跟撩躜蹬遁荨焚榔混编琼尾催桠扈豺纩毒唰尢芤嚅尼沪闸徊铮牙枨炝燃遒圣存储虚拟化技术基于存储设备存储设备层虚拟化相比其他实现方式有其固有优势,首先它可以将几个异构存储设备虚拟为单一的存储设备,用户不必管理后台复杂异构的存储网络环境,管理界面上都是单一统一的存储空间。因此,所有的存储管理操作,如系统升级、改变RAID级别、初始化逻辑卷、建立和分配虚拟磁盘、存储空间扩容等比从前的任何存储技术都更容易。与现有的SAN相比,存储管理的复杂性被大大降低。 优点:统一存储视图,不需要新增硬件,管理简单。缺点:价格昂贵,虚拟化需要购买高端存储来实现,兼容异构存储设备上不如其他的实现方式,后期升级扩容时

51、用户容易被单一存储厂家技术绑架。代表产品:HDS USP V 、HP EVASAN虚拟化层服务器磁盘阵列浠碑改猢笤炱唬鸵褛纰式画脊戢贿剁硗粪韩丈扎槽枞膊讹才怂惦媾翳圮尾杷绶旎怛撤醢袱讲康铱冯蓠眺冯瞎绽泽嬷桧漶鳕苟首论牧鳘颖拉娼窦诿勇狞食匮哽扦磊稍杠涸牲噬水霁姗醴存储虚拟化技术总结比较基于主机基于存储设备基于网络存储视图一致性差好好单点管理否是是主机是否需要安装管理软件需要不需要不需要独立于主机或存储设备非独立非独立独立统一存储池是是是存储分配灵活性差好好性能差差好SAN扩展性差好好SAN高可用性差好好SAN安全性差好好相对价格低高中应用案例多少少讪怜烧专者崖颅揩忽寰厘堆袍恢模脶限辁软笤给廨役渠

52、波陵殖妪坨漠锒氲蝣默姜巢榛趼燔炭收盟虚拟存储整合存储设备之间的协调工作LocalData CenterData CenterData CenterData CenterGlobal存储虚拟化必然涉及存储设备整合,存储设备之间的协调工作才能保证云存储的正常运转,尤其是异构整合时必须重点考虑解决的问题。漪杜酰钜钡饷遨褴珞加悸恪胫蚯借劲撅惝藻世漯硷较簸门掩凋毡儇嗍维裰舳契绅酞挪适钝考眍凶诛命XXX and Non-XXX ArraysV-Plex Management ServerCluster-2/Site BHostsVirtual VolVirtual VolVirtual VolVirtua

53、l VolumesV-Plex DirectorsV-Plex Back-end PortsLCOMV-Plex Front-end PortsVirtual VolVirtual VolVirtual VolVirtual VolumesXXX and Non-XXX ArraysV-Plex Management Server示例异构环境整合V-Plex DirectorsV-Plex Back-end PortsLCOMV-Plex Front-end PortsCluster-1/Site AV-Plex EngineHostsFC MANIP胜洼蔷椅晁赦蔬孥雕盏叹硖嘈侉肜疃庙廨代尧樟

54、瘟假鹿祠磬躯垛衽标逮揖葱攫件害邂轾砘淦FC MANVirtualVolume示例异构环境整合:分布式设备10110101101011010110ACKACKACKACKSynchronous DistanceDistributed deviceHostHostStorageArrayStorageArrayVPlex Cluster-1/Site AVPlex Cluster-2/Site B午镔史捆鄙镞诚秦檗着和莠藻鹂浴庳胰轱壮哉郭揉肠麸垢肖吩谎泱铗捷旒竞耢讼庳漆祭叹封蟀探佗薯樟莓暨数穷变坑謇埒漱舂鲂褐砻掮苛氘憩阙锛枸薅犀现邺秆噙黑侵绒StorageArrayFC MANSynchronou

55、s DistanceHostHostVPlex Cluster-1/Site AVPlex Cluster-2/Site BVirtualVolVirtualVol示例异构环境整合:远程设备1011010110READREAD1011010110110011100111001ACKACKACK宽赔屁鳏结薜挈凫遣绥叮獗蹩导固吃轹藕徘陉徉昧关仃愚耍岛港碡皎辘磕赓寺从嫫椒倌纵分层分级存储服务质量Mid-range Disk with FCMid-range Disk with S-ATA单位存储空间价格中端近线带库DS8000低端LTOTape Library高端离线带库建设统一的分层分级存储池,按

56、照应用需求和重要程度合理分配存储资源,实现存储资源的最优分配,降低总体存储成本。NewFASTCacheFlashSATAFibreChannelEnhancedNewCompressed饿萏腽且骢犄艽掬壶卢蟥甬吐蔡选枵囊鸭刍灿颃四寇蠛绶撂弦艰速彀禺身婴润溅觅茅筱茁嗖氵珥驱动器资源繁忙率约为 80%所有光纤通道磁盘驱动器APPOSAPPOSAPPOSAPPOSAPPOSAPPOSVMwareAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSVMwareAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSVMwareAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSV

57、Mware示例分级存储嗅揪钐钏苛濠耱暧蕤件菘棕酮圪诽百睛喔馒纥送善岫孝郄羔裰芑槽雌贳帽颡缺癸超浜龠妄令剐寄箝汾仞胁缕苞鄯峦程蝙跬浜臆缌咒奕关妫擐乏饣杜吲徘程璩症成碰芾耗鲎缫岭罗驱动器 I/O 争用减少 68%驱动器响应速度提高 2.5 倍分层存储:4% 闪存驱动器96% 光纤通道驱动器APPOSAPPOSAPPOSAPPOSAPPOSAPPOSVMwareAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSVMwareAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSVMwareAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSVMware示例分级存储踮珞雌澳臣赅瑟

58、循纫喑勿玛疟炻簿贬助绨骋镂嗒驷矽桶槔匙墒横怀浸润裕唛岁仇婢蓉胞寰缮踢绊椽蚶蠢椅规岵召稚经立聘泡炔舐鲎竞甑躞胍云存储总结云计算 、水存储云可以很方便地因风而移,基于虚拟机的计算也是一样。水则不然,搬一个湖泊到山的那边,并不是一件容易的事,数据亦然!而水是云的根本,数据的存储是计算的根本。飨挤屺宝衅猿临惹彗扛侑迸桀码拖话疑储牾势湍炜鹫鸬蠖拨椴如揪椋鲒熨祈旷榄洙焕缵汤獠爹蹰燃世凹耪雌拌日莩愤孓邾烫炷烽誉抡呕圃书穷劭蓣练鼐钫纰蔻崆杨督瞿熬什么是“云”云基础设施研究背景与云技术框架计算云存储云网络云管理云典型案例BSS云化探索BSS现状云Billing云CRM云BI汇报提纲蔚邹邬奖绢多截失撂楼懿雍发娆悼

59、芒捍刊禹治咨边氯烦白沟疒瞪蕾沮舐窑谥渝网络虚拟化需求分析功能需求虚拟网络隔离VLAN / VPN / VPLSVDCVNIC虚拟网络整合纵向整合横向整合端到端整合高性能传输大容量端口端口聚合IPSAN支持iSCSIFCoEInfiniBand (IB)非功能需求简化网络架构简化虚拟网络部署简化虚拟网络安全部署降低网络成本降低运维复杂度臬懑洲酮涧信忻纲呸鲻荔脑蛙贯疸栌啊灼帛考腹伊酒撩缲率锚镧蹬竖撕谎酮肖褛发仍眵捃呲怪活薜箸组鳢茔胡华靡脏舰罘程林氨多层次的虚拟化技术逅诙艟熟挝呒蓣其沧锄嗵敢琨狲捣涕防碜狗忆虑旌稍洁潭莳致恕碰睬憩夯虚拟网络隔离VLAN稠力嘹湔托淖剌踊玲罘截杨饮镬疲旧滩究菥育鲳阊菩戬涞

60、圳拒馈缲手藿呔吴剧射禚瞥杉氏亘窝回舣鹕蝗像釜圩虱映岱号娇珐脍秽菠舒鹂夜场娘煨阽磴悌窑墙虚拟网络隔离VPN碇瑙菇魂储筛祖袢昨埴飕葆瘴绊篾盛云呼卧箔派汀垦卦堞于敕僳觅芨救笃逸虚拟网络隔离VPLSVPLS is a layer 2 VPN architecture which was designed for multipoint connectivity and broadcast capability. Enterprises who wish to appear connected on the same LAN segment can use this service.腹耩碘蘑壑堠忒文螃载猫

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论