现代通信技术-云计算

1第6章下一代网络计算——云计算2人类对计算机资源的不变追求？？PowerfulScalableAccessibleReliable…233提纲云计算概述云计算体系结构云计算关键技术-虚拟化云计算关键技术-MapReduce云计算在北理4GartnerReportTop10StrategicTechnologyAreasfor2009VirtualizationCloudComputingServers:BeyondBladesWeb-OrientedArchitecturesEnterpriseMashupsSpecializedSystemsSocialSoftwareandSocialNetworkingUnifiedCommunicationsBusinessIntelligenceGreenInformationTechnology5GartnerReport6《纽约时报》租用亚马逊的云计算服务，使用基于云计算的开源软件Hadoop，将其自1851年以来的1100万份报道转变成可搜索的数字化文档，耗时仅一天。如果用传统方法，这项工作可能要数月才能完成。最近兴起的云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。7云计算4People云作为数据中心（多终端同步-透明）PC/笔记本客户端浏览器PDA/手机/相机电子相册CRM云作为运算中心拍出的相片立即编辑修改在线编写文档、报告随时随地写日志随时随地的身体健康状况监控musicpreferencesmapsnewscontactsmessagesmailinglistsphotoe-mailscalendarphonenumbersinvestmentsdatadevicesanywhereshared889企业云计算企业云计算fromSalesforce9101986年我国第一封Email560bps

现在的网络速度云计算的产生和演进11云计算的产生和演进计算能力的需求的增长12并行计算、分布式计算和网格计算13并行计算ParallelComputing是指同时使用多种计算资源解决计算问题的过程，其主要目的是快速解决大型且复杂的计算问题特点：把计算任务分派给系统内的多个运算单元大型机的多CPU和多存储器并行计算问题的特征将工作分离成离散部分，有助于同时解决随时并及时地执行多个程序指令（多条线同时运行）多计算资源下解决问题的耗时要少于单个计算资源下的耗时14分布式计算DistributedComputing所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。特点：把计算任务分派给网络中的多台独立的机器优点：稀有资源可以共享通过分布式计算可以在多台计算机上平衡计算负载可以把程序放在最适合运行它的计算机上15分布式计算一些流行的分布式项目SETI@Home：寻找外星文明RC-72：密码分析和破解，研究和寻找最为安全的密码系统Folding@home：研究蛋白质折叠，误解，聚合及由此引起的相关疾病Rosetta@home：蛋白质折叠项目，预测并设计蛋白质结构UnitedDevices：寻找对抗癌症的有效的药物GIMPS：寻找最大的梅森素数（解决较为复杂的数学问题）16网格计算GridComputing网格是利用互联网把地理上广泛分布的各种资源（包括计算资源、存储资源、带宽资源、软件资源、数据资源、信息资源、知识资源等）连成一个逻辑整体，就像一台超级计算机一样，为用户提供一体化信息和应用服务（计算、存储、访问等）

网格计算是分布式计算的一种，是分布式计算封装17什么是云计算CLOUD

COMPUTING18CloudComputingis…SaaSPaaSUtilityComputing19WhatCloudComputing“ISNOT”?ItisnotNetworkComputingApplicationandDataarenotconfinedtoanyspecificCompany’sServerNoVPNAccessEncompassesmultiplecompanies,multipleserversandmultiplenetworksItisnotTraditionalOutsourcingNotacontracttohostdataby3rdpartyHostingBusinessNosubcontractingforcomputingservicesforspecificoutsidefirm20SoexactlywhatCloudComputingis?AstyleofcomputingwheremassivelyscalableIT-enabledcapabilitiesareprovided"asaservice"overthenetworkAcquisitionModelServiceBasedBusinessModelUsageBasedAccessModelNetworkTechnicalModelDynamic21云计算云计算云计算是为用户提供无限计算资源的商业服务，是能够自我管理计算资源的系统平台，是应用服务按需定制、易于扩展的软件架构。并行计算分布式计算网格计算CPU运算资源存储资源网络带宽22云计算云计算（cloudcomputing），是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。2223云计算相关概念云云是一些可以自我维护和管理的虚拟计算资源，通常为一些大型服务器集群，包括计算服务器、存储服务器、宽带资源等等。云计算将所有的计算资源集中起来，并由软件实现自动管理，无需人为参与。这使得应用提供者无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。24计算资源的演进：从集中到分散再到集中全世界只需要5台电脑就足够了

——托马斯·沃森个人用户的内存只需640K足矣

——比尔·盖茨Thenetworkisthecomputer——JohnGage计算时代网络时代云时代25AttributesofCloudComputingDatastoredonthecloudSoftware&servicesonthecloud-AccessviawebbrowserBasedonstandardsandprotocols-Linux,AJAX,LAMP,etc.AccessiblefromanydeviceHardwareCentricSoftwareCentricServiceCentricPersonalPCClientServerCloudComputing26云计算特点超大规模：服务器群虚拟化：可以看作是一片用于计算的云高可靠性：冗余副本、负载均衡通用性：支撑千变万化的实际应用高可扩展性：灵活、动态伸缩按需服务：按需购买极其廉价：不再需要一次性购买超级电脑安全：摆脱数据丢失、病毒入侵方便：支持多终端、数据共享27云计算发展的障碍云计算目前的困境28云计算何时从云端到地面标准不统一Google、Amazon、IBM、微软等的平台互不兼容“云计算”之争

29云计算何时从云端到地面数据真的安全？云服务提供商的信誉——留后门？！面临着全世界的黑客——需要高强度的安全系统30云计算何时从云端到地面网络带宽3G尚未普及，费用极高31云计算何时从云端到地面耗电量巨大主旋律——节能减排终端设备的电池容量有限32云计算的几大形式云计算服务类形基础设施即服务（IaaS）软件即服务（SaaS）网络服务平台即服务（PaaS）管理服务提供商（MSP）商业服务平台云安全3333提纲云计算概述云计算体系结构云计算关键技术-虚拟化云计算关键技术-MapReduce云计算在北理3434CloudComputingFramework35基础设施即服务（实用计算、虚拟化）IaaS——InfrastructureasaService

是为IT行业创造虚拟的计算和数据中心，使得其能够把计算单元、存储器、I/O设备、带宽等计算机基础设施，集中起来成为一个虚拟的资源池来为整个网络提供服务。用多少算多少AmazonWebServices，简作AWS弹性计算云EC2（ElasticComputeCloud）——计算简单存储服务S3（SimpleStorageService）——存储RackspaceEucalyptusGoogle36Whatarethebenefits&challengesIaaS?37软件即服务SaaS——SoftwareasaServiceSaaS是一种基于互联网提供软件服务的应用模式。软件租赁：用户按使用时间和使用规模付费绿色部署：用户不需安装，打开浏览器即可运行不需要额外的服务器硬件软件（应用服务）按需定制38软件即服务SaaS产品SalesforceCRM阿里软件

GoogleappsAlexa排名：第一名Salesforce第二名阿里软件第三名铭万第四名金算盘第五名中企动力第六名神码在线第七名商务领航第八名友商网第九名八百客第十名39Whatarethebenefits&challengesofSaaS?BenefitsSpeedReducedup-frontcost,potentialforreducedlifetimecostTransferofsome/allsupportobligationsEliminationoflicensingriskEliminationofversioncompatibilityReducedhardwarefootprintStronggovernancerequiredtopreventlinesofbusinessfrompurchasingapplicationservicesexternallywithoutITinvolvement40平台即服务PaaS——PlatformasaService把服务器平台或开发环境作为一种服务提供的商业模式从系统定制到PaaS

的800app不再需要任何编程即可开发包括CRM、OA、HR、SCM、进销存管理等任何企业管理软件41Whatarethebenefits&challengesofPaaS?StronggovernancerequiredtopreventlinesofbusinessfrombuildingapplicationswithoutITinvolvement42SolutionsandvendorsareemergingdailyExternalIaaSUtilitySystemsManagementTools+UtilityApplicationDevelopmentDataSynapseUnivaUDElastraCloudServer3teraAppLogicVMWareIBMTivoliCassattParallelsHP/EDS(TBD)IBMBlueCloudSunGridJoyentSoftwareasaService(Saas)GoogleAppsZohoOfficeWorkdayMicrosoftOfficeLivePlatformasaServiceAmazonE2CSFGoogleAppEngineCogheadInternalIaaSHPAdaptiveInfrastructureasaServiceOracleOnDemandAppsNetSuiteERPSSFAEtelosLongJumpBoomiMicrosoftAzure*XenZuoraAriaSystemseVaptIBMWebSphereXDBEAWeblogicServerVEMuleRackspaceJamcracker4343提纲云计算概述云计算体系结构云计算关键技术-虚拟化云计算关键技术-MapReduce云计算在北理44RoleofOS4445传统服务器45WebServerWindowsIISAppServerLinuxGlassfishDBServerLinuxMySQLEMailWindowsExchange46虚拟服务器46VirtualMachineMonitor(VMM)layerbetweenGuestOSandhardware47虚拟化4748虚拟化历史481965IBMM44/44X

pagingsystem1965IBMSystem/360-67virtualmemoryhardware1967IBMCP-40(January)andCP-67(April)time-sharing1972IBMVM/370runVMunderVM1997ConnectixFirstversionofVirtualPC1998VMWareU.S.Patent6,397,2421999VMwareVirtualPlatformfortheIntelIA-32architecture2000IBMz/VM2001ConnectixVirtualPCforWindows2003MicrosoftacquiredConnectix2003EMCacquiredVmware2003VERITASacquiredEjascent2005HPIntegrityVirtualMachines2005IntelVT2006AMDVT2005XEN2006VMWareServer2006VirtualPC20062006HPIVMVersion2.02006VirtualIron3.12007InnoTekVirtualBox2007KVMinLinuxKernel2007XENinLinuxKernel49虚拟化Virtualization:Theabilitytorunmultipleoperatingsystemsonasinglephysicalsystemandsharetheunderlyinghardwareresources4950Lowutilizationmetricsinserversacrosstheorganization…Toomanyserversfortoolittlework51HighcostsandinfrastructureneedsMaintenanceLeasesNetworkingFloorspaceCoolingPowerDisasterRecovery52HeterogeneousEnvironments53动态迁移在不中断服务的情况下，将VM迁移到其他的物理服务器上分区在单一物理服务器上同时运行

多个虚拟机隔离在同一服务器上的虚拟机之间

相互隔离封装整个虚拟机都保存在文件中，而且可以通过移动和复制这些文件的方式来移动和复制该虚拟机虚拟技术:四大特性54动态迁移通过动态地将应用程序从一个服务器移动到另一个服务器，减少计划停机时间。通过允许您将工作负载从负载较重的服务器移动到具有空闲容量的服务器，可以应对不断变化的工作负载和业务需求。通过允许您简单地整合工作负载，并关闭不使用的服务器，减少能量的消耗。5455定义5556虚拟化架构VMwareESX,MicrosoftHyper-V,XenHardwareHypervisorVM1VM2Type1(bare-metal)HostGuestHardwareOSProcessHypervisorVM1VM2Type2(hosted)VMwareWorkstation,MicrosoftVirtualPC,SunVirtualBox,QEMU,KVMHostGuestBare-metalarchitecture-裸金属虚拟化结构Hostedarchitecture-主机虚拟化结构57虚拟化类型57完全虚拟化半虚拟化操作系统层虚拟化58全虚拟化Guestos内核不需要进行修改。GuestDomain不知道自己运行在Hypervisor上完全虚拟化技术的优点是有很好的兼容性，操作系统不用改动就能安装到虚拟服务器上；主要缺点是，hypervisor给处理器带来开销。59全虚拟化60准虚拟化guestos内核需要修改，能够与hypervisor协同工作。当GuestDomain是一个准虚拟化的虚拟机时，虚拟机的内核是被修改过的，它知道自己不是运行在真实的硬件上。其速度能力几乎不亚于未经过虚拟化处理的服务器；缺点是只适用于BSD、Linux、Solaris等某些开源操作系统，不适用于Windows等专有操作系统，兼容性差。61准虚拟化62操作系统层虚拟化

操作系统层虚拟化没有独立hypervisor层，主机操作系统本身负责在多个虚拟服务器之间分配硬件资源，并且让这些服务器彼此独立。操作系统层虚拟化的缺点是所有虚拟服务器必须运行同一操作系统(不过每个实例有各自的应用程序和用户账户)，灵活性比较差；优点是本机速度性能比较高，由于架构在所有虚拟服务器上使用单一、标准的操作系统，管理起来比异构环境要容易。63kvm64Xen3.0AvailablefromXenSource()InassociationwithUniversityofCambridge(http://www.cl.cam.ac.uk/Research/SRG/netos/xen/)Supportfor64-Bitand32-bitmachinesSupportsIntelVTLinuxsupportonly,WindowsexpectedlaterthisyearOpenSourceProduct–Oneofthemostactivelymaintainedprojectsintheopensourcecommunity$-FreeTarget:100virtualOSespermachine65XenArchitectureDomain0DomainUHypervisor6666提纲云计算概述云计算体系结构云计算关键技术-虚拟化云计算关键技术-MapReduce云计算在北理67海量信息处理你需要一个多大的硬盘？？68686969Howmuchdata?640K

oughttobeenoughforanybody.70WhatisMapReduce?Data-parallelprogrammingmodelforclustersofcommoditymachinesPioneeredbyGoogleProcesses20PBofdataperdayPopularizedbyopen-sourceHadoopprojectUsedbyYahoo!,Facebook,Amazon,…71WhatisMapReduceUsedFor?AtGoogle:IndexbuildingforGoogleSearchArticleclusteringforGoogleNewsStatisticalmachinetranslationAtYahoo!:IndexbuildingforYahoo!SearchSpamdetectionforYahoo!MailAtFacebook:DataminingAdoptimizationSpamdetection72Example:FacebookLexicon73Example:FacebookLexicon74WhatisMapReduceUsedFor?Inresearch:AnalyzingWikipediaconflicts(PARC)Naturallanguageprocessing(CMU)Bioinformatics(Maryland)Particlephysics(Nebraska)Oceanclimatesimulation(Washington)<Yourapplicationhere>75MapReduceGoalsScalabilitytolargedatavolumes:Scan100TBon1node@50MB/s=24daysScanon1000-nodecluster=35minutesCost-efficiency:Commoditynodes(cheap,butunreliable)CommoditynetworkAutomaticfault-tolerance(feweradmins)Easytouse(fewerprogrammers)76TypicalHadoopCluster40nodes/rack,1000-4000nodesincluster1Gbpsbandwidthinrack,8GbpsoutofrackNodespecs(Facebook):

8cores,16GBRAM,8x1.5TBdisks,noRAIDAggregationswitchRackswitch77TypicalHadoopCluster78GoogleServer7879ChallengesCheapnodesfail,especiallyifyouhavemanyMeantimebetweenfailuresfor1node=3yearsMTBFfor1000nodes=1daySolution:Buildfault-toleranceintosystemCommoditynetwork=lowbandwidthSolution:PushcomputationtothedataProgrammingdistributedsystemsishardSolution:Userswritedata-parallel“map”and“reduce”functions,systemhandlesworkdistributionandfailures80HadoopComponents81HadoopDistributedFileSystemFilessplitinto64MBblocksBlocksreplicatedacrossseveraldatanodes(usually3)Namenodestoresmetadata(filenames,locations,etc)Optimizedforlargefiles,sequentialreadsFilesareappend-onlyNamenodeDatanodes1234124213143324File182MapReduce82“Work”w1w2w3r1r2r3“Result”“worker”“worker”“worker”PartitionCombine83MapReduceProgrammingModelDatatype:key-valuerecordsMapfunction:(Kin,Vin)

list(Kinter,Vinter)Reducefunction:(Kinter,list(Vinter))

list(Kout,Vout)84Parallel/DistributedComputingProgrammingModelInputsplitshuffleoutputMapReduceProgrammingModel85读入数据:

key/value

对的记录格式数据Map:从每个记录里extractsomethingmap(in_key,in_value)->list(out_key,intermediate_value)处理inputkey/valuepair输出中间结果key/valuepairsShuffle:混排交换数据把相同key的中间结果汇集到相同节点上Reduce:aggregate,summarize,filter,etc.reduce(out_key,list(intermediate_value))->list(out_value)归并某一个key的所有values，进行计算输出合并的计算结果(usuallyjustone)输出结果MapReduceProgrammingModel8686WordFrequenciesinWebpages输入：onedocumentperrecord用户实现map

function，输入为key=documentURLvalue=documentcontentsmap输出(potentiallymany)key/valuepairs.对document中每一个出现的词，输出一个记录<word,“1”>8787Examplecontinued:MapReduce运行系统(库)把所有相同key的记录收集到一起(shuffle/sort)用户实现reduce

function对一个key对应的values计算求和sumReduce输出<key,sum>

8888MapReduceRuntimeSystem89Example:WordCountdefmapper(line):

foreachwordinline.split():output(word,1)defreducer(key,values):output(key,sum(values))90WordCountExecutionthequickbrownfoxthefoxatethemousehownowbrowncowMapMapMapReduceReducebrown,2fox,2how,1now,1the,3ate,1cow,1mouse,1quick,1the,1brown,1fox,1quick,1the,1fox,1the,1how,1now,1brown,1ate,1mouse,1cow,1InputMapShuffle&SortReduceOutput91FaultToleranceinMapReduce1.Ifataskcrashes:RetryonanothernodeOKforamapbecauseithadnodependenciesOKforreducebecausemapoutputsareondiskIfthesametaskrepeatedlyfails,failthejoborignorethatinputblock92