《物联网导论》课件-第9章 云计算

第9章云计算2025/10/1724.1网格计算4.2云计算

本章内容网格计算信息孤岛是指相互之间在功能上不关联互助、信息不共享互换以及信息与业务流程和应用相互脱节的计算机应用系统。信息孤岛网格定义在通信学中，网格是一种用于集成或共享地理上分布的各种资源（包括计算机系统、存储系统、通信系统、文件、数据库、程序等），使之成为有机的整体，共同完成各种所需任务的机制。网格是利用互联网把地理上广泛分布的各种资源（包括计算资源、存储资源、带宽资源、软件资源、数据资源、信息资源、知识资源等）连成一个逻辑整体，就像一台超级计算机一样，为用户提供一体化信息和应用服务（计算、存储、访问等），虚拟组织最终实现在这个虚拟环境下进行资源共享和协同工作，彻底消除资源“孤岛”，最充分的实现信息共享。2025/10/177网格特点分布和共享网格资源一定是分布的网格计算一定是分布式计算网格环境一定是分布式环境网格资源一定是充分共享的分布是硬件物理特征，共享是软件逻辑特征2025/10/178自相似性网格的局部和整体之间存在着一定的相似性局部往往在许多地方具有全局的某些特征而全局的特征在局部也有一定的体现不同层级的计算中心在计算能力上呈现差异不同层级的管理结点在管理功能上呈现差异2025/10/1792025/10/1710动态性和多样性动态性包括动态增加和动态减少两个方面动态增加——可扩展性：系统计算规模会逐渐增大，需要在网格资源规模不断扩大、应用不断增大的情况下，不能降低网格计算的性能动态减少——任务迁移动态适应性：资源管理必须能够动态监视和管理网格资源，从可利用的资源中选取最佳资源服务网络资源是异构的和多样的网格环境中可以有不同体系结构的计算机系统和类别不同的资源2025/10/1711自治性和管理的多重性网格中的资源首先是归自身所有者拥有的（自治性的来源），网格资源也必须接受网格的统一管理（管理的多重性）网格管理的自治性是指网格允许资源拥有者对他的资源有自主的管理能力网格管理的统一性是指网格资源为了完成相互之间的共享和互操作，必须接受网格的统一管理网格管理多重性是指一方面它允许网格资源的拥有者对资源具有自主性管理，另一方面又要求网格资源必须接受网格的统一管理2025/10/1712鉴别网格的三个指标在非集中控制的环境中协调使用资源：网格整合各种资源，协调各种使用者，这些资源和使用者在不同控制域中，网格还解决在这种分布式环境中出现的安全，策略，使用费用，成员权限等问题使用标准，开放，通用的协议和接口：网格建立在多功能的协议和接口之上，这些协议和接口解决认证，授权，资源发现和资源存取等基本问题得到非平凡的服务质量：网格允许它的资源被协调使用，以得到多种服务质量，满足不同使用者需求，如系统响应时间，流通量，有效性，安全性，及资源重定位，使得联合系统的功效比其各部分的功效总和要大得多2025/10/1713网格的分类从网格应用主体可以将网格划分为：科学研究网格，地球系统网格、军事网格、物理网格、教育网格、游戏网格，制造网格等按层次分类可以将网格划分为：资源网格、信息网格和知识网格三个层次，计算网格和数据网格可以看作是不同类别的资源网格2025/10/1714计算网格强调计算力的获取和管理等数据网格强调数据的存储、管理、传输和处理信息网格强调信息的存储、管理、传输和处理知识网格强调知识的存储、管理、传输和处理2025/10/1715国内外网格研究概况国外政府支持的网格研究开发计划2001年8月，美国NSF宣布了至2003年建成基于Grid技术的“分布式万亿级设施”（DistributedTerascaleFacility，简称DTF，又称TeraGrid）重大科研项目。它将NCSA、SDSC、阿尔贡国家实验室、加州理工学院四个不同地区结点的超级计算机和海量存储资源通过40Gbps光纤网互联，构成了一个具有600TB磁盘容量、3300个Intel微处理器（Itamin、McKinley）的13.6Tflop的虚拟超级计算机。它支持计算密集型、数据密集型和通讯密集型的应用，其主要应用领域为气候、环境资源、地震、发动机模拟、生物、材料等科学计算和工程模拟应用2025/10/1716欧洲国家在2001年开始也正式启动了网格研究的一系列项目。其中英国的e-Science计划较为著名。英国政府非常重视网格技术的研究，他们认为网格是WorldWideWeb的必然后继者，投资2亿英镑左右支持网格研究项目，并确定了用网格计算技术构建e-Science，为大规模科学研究提供基于Internet的分布式全球合作计算环境，其应用领域包括粒子物理、生物信息学、气候环境变化、工程系统设计等多学科领域。e-Science计划联合许多大学、国家级研究所和工业界共同完成多学科的大规模科学研究的信息基础设施和环境2025/10/1717欧洲数据网格EuropeanDataGrid（EDG）是一个国际性大型研究和技术发展项目，于2000年12月由欧盟提供一千万欧元资金启动，项目完成期限为3年。由CERN（EuropeanOrganizationforNuclearResearch）领导，另外还包括ESA(EuropeanSpaceAgency)，法国CNRS(CentreNationaldelaRechercheScientifique)，意大利INFN、荷兰NIKHEF和英国PPARC等五个主要合作伙伴和欧洲各国的15个相关研究机构。DataGrid主要针对CERN的高能物理应用，解决海量数据的分解存贮和处理问题，提供一种突破地理局限，允许分布在世界各地的工作者交互、共享数据和设备，共同开展科学研究的合作环境2025/10/1718国内网格研究中国国家网格（CNGrid）建立以科学研究、经济建设、社会发展和国防建设急需的重要应用网格，在网格技术方面达到世界先进水平，大幅度地提高我国的综合国力和国际竞争能力“中国教育科研网格”（ChinaGrid）是教育部“十五”211工程公共服务体系建设的重大专项中科院计算所“织女星网格”计划2025/10/1719国外产业界的网格研究概况2002年Globus小组和IBM联合提出OGSA的网格体系结构，将WebService和Grid相结合，为网格扩展到更多的应用领域提供支持。这种结构的提出意味着大型商业公司将正式开始大规模进入网格产品的研制当中。2002年10月IBM宣布新的战略，全面转向E-BusinessOnDemandComputing战略。IBM的OnDemandComputing计划将整合其包括硬件、存储、网络计算在内的IT基础设施，网格、数据库、中间件和操作系统，以及业务咨询服务，针对企业级的IT应用及业务流程变革，提供一种前所未有的按需使用。OnDemand综合计算、数据存储、管理、网格、中间件等技术，提供一个全面的综合服务，其特性是开放、集成、虚拟和自主。OnDemand将开辟信息工业的新局面。为此IBM每年斥资100亿美元2025/10/1720微软近几年积极参加网格论坛的标准化和研究工作，大力增加研究开发经费，试图推出网格操作系统与网格用户界面。比尔盖茨认为，现在的桌面操作系统、服务器操作系统有很多缺点，它们将会被微软的Internet操作系统，或者叫分布式操作系统。微软将集成网格计算、中间件、多媒体等技术，构造一个无缝的下一代网络操作系统。值得注意的是微软的技术途径比较独特，往往是封闭自行开发，不符合标准化和开放性原则，尽管.Net在这个方面有所改观2025/10/1721九十年代提出的“网络就是计算机”是SUN公司一直坚持的理念和设计原则，它和网格概念相一致。2001年SUN推出了自己SunGridComputing计划和SunGridEngine产品，正在设计、开发和试验公用计算设施（Publicutilitycomputing）的基本单元产品。同时在中间件方面，SUN提出的基于Java的J2EE开放体系结构得到工业界的普遍认同，其产品成为业界的主流。2002年SUN整合其网格计算技术、中间件技术、目录服务技术、WebService等各个技术和产品，提出了下一代开放网络的架构SunONE/N1，以向企业提供按需服务的能力2025/10/1722HP公司也提出了UtilityComputing计划和UtilityDataCenter产品Oracle公司2002年11月推出面向网格的基于Globus的数据库应用工具加拿大的Platform公司较早地转向网格计算，在网格论坛中联合提出计算网格的NPI结构和标准，也推出商业版的Globus系统Avaki公司实现了基于网格软件Legion系统的网格产品2025/10/1723网格的发展历程第二阶段第一阶段第三阶段第四阶段-19951996-20002001-2007-网格萌芽期

以千兆位网络试验床与元计算，将超级计算机结点连接代表项目：FAFNER/I-WAY网格的早期试验

开创性和奠基性的工作：支持大规模数据与计算应用中间件开发；计算网格体系结构代表性项目：Globus/Legion网格发展期

标志性工作：OGSA标准制定，WSRF标准出台，WS-I+标准制定网格商业化云计算-19952025/10/1724网格计算的起源日益增长的计算力需求各行各业对于计算机计算力的需求不断膨胀无论创造出功能多么强大的计算机，都没有办法满足用户更加快速增长的对计算力的需求不断发展的计算力向上增长的方向（Scaleup）consolidatedplatforms高性能服务器横向发展的方向（Scaleout）Distributedplatforms同构的集群（cluster）2025/10/17252010年5月全球超级计算机500强排名中，排名首位的是美国橡树岭国家实验室的“美洲虎”(Jaguar)，计算速度为每秒钟1.76千万亿次(PFlops)浮点运算，中国深圳国家超级计算机中心的“星云”排名第二，计算速度为每秒钟1.27千万亿次(PFlops)浮点运算美国劳伦斯里弗莫尔国家实验室(LawrenceLivermoreNationalLaboratory)和IBM将于2011年部署Sequoia超级计算机，计算速度高达每秒钟20千万亿次(PFlops)浮点运算2025/10/1726传统的计算模式传统的计算模式一旦确定一个计算系统，不管处理能力多么强大，计算资源（包括存储能力、I/O等）始终是有限的、固定的2025/10/17272025/10/1728传统计算模式的致命缺陷计算机使用率低下权威统计数据表明：服务器使用效率15%-60%矛盾用户不断寻求更高计算力的支持新的计算服务器使用率低下，闲置和浪费严重如何解决？2025/10/1729电力网的启发来源于电力网powergrid现今使用电力资源时，只需将插头与电源插座接通，电力资源就会源源不断地按照需求进行供应我们根本不需要关心使用的电力来自何处2025/10/17302025/10/17312025/10/17322025/10/1733网格计算构想利用网络把分散的计算资源组织成为一个“虚拟超级计算机”，以实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享这样的“虚拟超级计算机”具有两大优势：数据处理能力超强，充分利用网络上的闲置能力实现这样的构想就需要在个人、组织和资源之间的实现安全、协调的资源共享，来创建虚拟的动态组织，使连接到网格的每个人都能进行合作和资源共享目的：利用网格技术解放计算力2025/10/1734网格计算概念图2025/10/1735网格计算vs.传统计算网格计算是一种虚拟化的计算2025/10/1736网格计算的终极目标用户在使用计算资源时，只需接入网格环境，能够按照需要使用所有资源，包括计算资源、存储资源、数据资源等等——ComputingOnDemand（按需计算），而不必知道这些资源的组织形式和所在地域现有的网络技术远远不能实现这样的目标现有的网络技术仅仅实现信息的共享和获取网络技术仅仅是网格计算的通信基础网格计算是问题求解中一种新的计算模式2025/10/1737WhatisGrid？“Acomputationalgridisahardwareandsoftwareinfrastructurethatprovidesdependable,consistent,pervasive,andinexpensiveaccesstohigh-endcomputationalcapabilities.”-IanFosterandCarlKesselman,19982025/10/1738网格的定义网格是一个集成的计算与资源环境，或者说是一个计算资源池网格能够充分吸纳各种计算资源，并将它们转化成一种随处可得的、可靠的、标准的同时还是经济的计算能力这里的资源除了各种类型的计算机，还包括网络通信能力、数据资料、仪器设备、甚至是人等各种相关的资源狭义的网格资源仅指分布的计算机资源2025/10/1739WhatisComputing？ParadigmsofComputingDistributedComputingCooperativeComputingAgileComputingPervasive/UbiquitousComputingServiceComputingMobileComputingGridComputingDependableComputingParallelComputingAutonomic/AutonomousComputing…2025/10/1740理论、计算与实验是科学领域中最为基本的研究手段和应用方式围绕以“计算”(Computing)为主题的理论与应用研究是计算机应用领域中的核心问题之一在计算机应用领域中，计算的概念具有非常泛化的含义所有针对具体问题求解的行为和操作都可以看作是计算的具体表现形式；从本质上而言，计算过程是一种基于特定理论基础与应用技术的计算机化的运算行为或任务执行过程针对特定问题的计算工具、计算环境都可以为计算主体提供有效的技术支撑计算机化的问题求解环境，则为计算过程的有序开展提供了非常有效的技术手段和环境支持。2025/10/1741WhatisGridComputing？基于网格的问题求解就是网格计算网格计算是在分布、异构、自治的网络资源环境上动态多虚拟组织之间的一个协调的共享资源和解决问题的过程2025/10/1742基本理解利用互联网把分散在不同地理位置的多个计算资源通过逻辑关系组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”并联而组成的“一张具有超级计算能力的网格”网格计算使得每一位将自己的计算机连接到网格上的用户，也就“拥有了”这台超级计算机，然后就可以随时随地地调用其中的计算和信息资源，在获得一体化信息服务的同时，最大限度的实现资源共享2025/10/1743网格计算的主要目的设计一种能够提供以下功能的系统：提高或拓展企业内所有计算资源的效率和利用率，满足最终用户的需求，同时能够解决以前由于计算、数据或存储资源的短缺而无法解决的问题建立虚拟组织，通过让他们共享应用和数据来对公共问题进行合作整合计算能力、存储和其他资源，能使得需要大量计算资源的巨大问题求解成为可能通过对这些资源进行共享、有效优化和整体管理，能够降低计算的总成本通过任何一台计算机都可以提供无限的计算能力，可以接入浩如烟海的信息2025/10/1744网格计算要求可靠性要求网格提供的计算能力必须保证是持续、稳定和安全的网格资源的动态变化是透明的满足各种形式的安全要求：数据传输的加密/权限认证等标准化要求网格资源之间应该有一个统一的可以相互访问的接口或者协议标准网格对用户提供的计算能力可以用一种统一的方式访问易访问性要求任何时间、任何地点，以自己习惯的统一的方式访问和使用网格资源网格资源随处可得价格低廉的要求2025/10/1745网格计算的意义突破了计算能力大小的限制突破了地理位置的限制打破了传统的共享和协作方面的限制传统的共享其实仅限于信息共享网格计算按需共享和整合了各种计算资源，有效聚合和广泛共享了计算资源、数据资源和服务资源等实现了从信息共享到资源共享的飞跃是网格技术与网络技术的本质区别2025/10/1746主要应用领域科学领域分布式超级计算高吞吐率计算数据密集型计算社会经济生活领域基于广泛信息共享的人与人交互更广泛的资源贸易网格是一种面向问题和应用的技术，随着网格技术的不断完善和应用领域的不断扩展，网格可以在更多的领域得到应用，发挥更大的作用。现阶段的云计算已经全面进入各种层面的领域应用2025/10/1747网格计算的应用群体科学研究领域：计算科学家和工程师实验科学家社会和经济团体协会公司人类公共问题研究机构等云计算的应用群体Everybody2025/10/1748网格应用实例SETI@home1999年5月17，一项由美国加州大学伯克利分校开展的寻找地球外生命迹象的科学项目基本信息波多黎哥Arecibo的无线电望远镜专门用于收集相关信息观测自1998年10月开始，每天收集约35G资料，因为当时该处没有足够的网络带宽，因此只能录制磁带，以传统邮寄的方式送达伯克利，资料再分割成每单位约350K如此海量的数据如何得到及时有效的处理？2025/10/1749借助于网格计算来完成利用联网PC的闲置能力分析世界上最大的射电望远镜获得的数据，以帮助科学家探索外星生物，其计算模式的实质就是网格计算伯克利将收到的资料再分割成每单位约350K，透过Internet传送到参与者的电脑，借分散运算来处理庞大的资料2025/10/1750项目进展情况从SETI@home项目正式启动以来，已经有300万志愿者参加了这个项目他们从指定的站点下载射电望远镜收集的信息的片断，用自己的计算机运行分析，从中寻找宇宙中生命的迹象总处理数据量达到了15T，平均每位参与者让自己的电脑为SETI@home工作了17个半小时，这相当于使用一台PC机工作482023年，相当于使用超级计算机工作48年这个项目充分利用了分布在世界各地计算机的力量，虽然整个计划耗资只有50万美元，却拥有强大的威力2025/10/1751从SETI@home项目归纳出网格计算用于科学计算的大致流程政府或者研究部门将一项需要巨大运算量的任务以程序和数据的形式提交给服务器服务器将数据和程序代码分成更小的部分，也称“子任务”PC机安装一种特殊的客户程序，它们能自动同服务器联络，利用空闲时间自动下载和处理子任务子任务处理完后的结果被送回服务器。然后，客户程序下载新的子任务，继续处理一旦所有的子任务处理完毕，服务器就将各种结果汇总，生成最后的报告，并把最终结果发回提交人云计算CloudComputing什么是云计算？最开始，人们使用算盘后来，人们用电脑再后来，人们有了网络再后来，中国人口大爆炸，男的比女多的三千多万人没事干，都去上网。于是服务器吃不消了。人们就发明了更好的技术，用更好更多的服务器再后来，人更多了，于是服务器也更多了。但事实上这样的效果并不好，过度繁重的结构加大了网站设计和构架的难度，而且越是复杂的系统越是不稳定。有可能一个出问题，这样一个完整的系统就彻底挂掉。如果考虑到系统的崩溃情况，那势必要引入一个更复杂的方案来保证不同的服务器可以做不同的支援。这是一个无解的循环，大量的计算资源被浪费在无限制的互相纠结中，很快到了瓶颈。人们想，那我不用这么乱七八糟复杂的系统，我用个无敌的服务器不就好了？可是，太贵了……于是人们突然想到了一个好办法：把所有计算资源集结起来看成是一个整体(一朵云)，通过并发使用资源完成操作请求。每个操作请求都可以按照一定的规则分割成小片段，分发给不同的机器同时运算，每个机器其实只要做很小的计算就可以。最后将这些机器的计算结果整合，输出给用户。对用户看来，他其实根本面对的不是许多机器，而是一个似乎真正存在的计算能力超强的单个服务器。事实上这个服务器是不存在的，但它拥有着成千上万台服务器的能力。云计算突飞猛进云计算的定义

Wiki定义：云计算是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。云计算的定义

美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。云计算发展现状Amazon研发了弹性计算云EC2（ElasticComputingCloud）和简单存储服务S3（SimpleStorageService）为企业提供计算和存储服务。诞生两年时间，Amazon上的注册开发人员就多达44万人，其中包括为数众多的企业级用户。应用案例：纽约时报使用亚马逊云计算服务在不到24个小时的时间里处理了1100万篇文章累计花费240美元如果用自己的服务器，需要数月和多得多的费用云计算发展现状Google搜索引擎建立在分布在30多个站点、超过200万台服务器构成的云计算设施的支撑之上，这些设施的数量正在迅猛增长。Google的一系列成功应用，包括Google地球、地图、Gmail、Docs等也同样使用了这些基础设施。目前，Google已经允许第三方在Google的云计算中通过GoogleAppEngine运行大型并行应用程序。Hadoop模仿了Google的实现机制。云计算发展现状IBM在2007年11月推出了“改变游戏规则”的“蓝云”计算平台，为客户带来即买即用的云计算平台。IBM正在与17个欧洲组织合作开展名为RESERVOIR云计算项目，以“无障碍的资源和服务虚拟化”为口号。欧盟提供了1.7亿欧元作为部分资金。2008年8月，IBM宣布将投资约4亿美元用于其设在北卡罗来纳州和日本东京的云计算数据中心改造。IBM计划在2009年在10个国家投资3亿美元建13个云计算中心。云计算发展现状微软于2008年10月推出了WindowsAzure操作系统。Azure(译为“蓝天”)是继Windows取代DOS之后，微软的又一次颠覆性转型。Azure的底层是微软全球基础服务系统，由遍布全球的第四代数据中心构成。目前，微软已经配置了220个集装箱式数据中心，包括44万台服务器。云计算发展现状中国2008年，IBM先后在无锡和北京建立了两个云计算中心；阿里巴巴成立了阿里云公司。还有许多公司触云：腾讯、盛大、广达、800APP、世纪互联…中国移动研究院已经建立起1024个CPU的云计算试验中心；中国电信、中国联通都有相应动作。华为、中兴都转入了云计算研发。2008年11月25日，中国电子学会专门成立了云计算专家委员会。2009年5月22日，中国电子学会隆重举办首届中国云计算大会，1200多人与会，盛况空前。2010年5月，将举办第二届，规模将达3000人。2009年12月，举办中国首届云计算学术会议。2010年5月，举办了第二届中国云计算大会一是萌芽期（TechnologyTrigger）又称感知期，人们对新技术产品和概念开始感知，并且表现出兴趣；二是过热期(PeakofInflatedExpectations)，人们一拥而上，纷纷采用这种新技术，讨论这种新技术。典型成功的案例往往会把人们的这种热情加上把催化剂；三是低谷期(TroughofDisillusionment)，又称幻想破灭期。过度的预期，严峻的现实，往往会把人们心理的一把火浇灭；四是复苏期(SlopeofEnlightenment)，又称恢复期。人们开始反思问题，并从实际出发考虑技术的价值。相比之前冷静不少；五是成熟期(PlateauofProductivity)，又称高原期。该技术已经成为一种平常。CHINA这里所谓的层次，是分层体系架构意义上的“层次”。IaaS，PaaS，SaaS分别在基础设施层，软件开放运行平台层，应用软件层实现云计算服务 IaaS（InfrastructureasaService），即基础设施即服务。 消费者通过Internet可以从完善的计算机基础设施获得服务。这类服务称为基础设施即服务。基于Internet的服务（如存储和数据库）是IaaS的一部分。Internet上其他类型的服务包括平台即服务（PlatformasaService，PaaS）和软件即服务（SoftwareasaService，SaaS）。PaaS提供了用户可以访问的完整或部分的应用程序开发，SaaS则提供了完整的可直接使用的应用程序，比如通过Internet管理企业资源。 PaaS(Platform-as-a-Service)：平台即服务。PaaS实际上是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。 平台通常包括操作系统、编程语言的运行环境、数据库和Web服务器，用户在此平台上部署和运行自己的应用。用户不能管理和控制底层的基础设施，只能控制自己部署的应用。 SaaS(Software-as