云计算趋势介绍

1、云计算趋势介绍一、导致云计算的大背景二、云计算热点分析三、云计算对信息产业的影响四、搭建开源Hadoop云平台一、导致云计算的大背景从图灵计算到网络计算的演化Everything is over I P V4 V6 WEB Web1.0 WEB ServicesWeb2.0WWW1989Mosaic1993Packet Switching 1964ARPANET1969TCP/IP1974Internet1984Hypertext1965eCommerce1995Semantic Web1999Utility Computing2000CloudComputing2007 图灵论文 74年 （

2、1936年） 计算机 66年 （1944年） 鼠标交互式计算 46年 （1964年） 互联网 26年 （1984年） 万维网 21年 （1989年） 网络科学 12年 （1998年） 维基百科 9年 （2001年）技 术 路 线 图Wiki2001ServicesWeb 3.0mouse1964互联网环境软件作为服务 催生云计算的大背景大众参与计算5互联网环境软件作为服务 云计算就是互联网环境下，软件作为服务的大众计算大众参与计算蒸发：服务的发布水气凝结成云滴降水：按需即取Cloud Ecosystem云滴聚集成云水库：“云数据中心”阳光：用户需求云滴：服务云：服务的聚合类比水的生态循环，水流

3、云在，看基于网络的信息服务和信息流动。互联网是什么？互联网成为人人感知和认知不可或缺的装备，人的感知能力和认知能力挣脱了时间和距离的束缚，得到极大地延伸；互联网成为人与人之间沟通的不可或缺的装备，人与人之间、人与社会之间沟通质量和效率得到极大地提升；互联网正在向物联网渗透(CPS)。互联网是什么？互联网是人类二十世纪最伟大的发明，它改变了人类的生活方式、工作方式和休闲方式，改变了社会的民主、教育、经济、商务、健康与娱乐机制；它还显示了适应甚至激励技术和应用转变的巨大能力，已经成为推动社会变革和技术创新的最强大的发动机。 from NetSE Agenda, NSF, Sept 2009互联网

4、世界上最大的计算机互联网 图灵机互联网不是什么？云计算的定义 云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。云计算到底是什么？ 云计算有什么特点？在动态、多机构参与的虚拟组织中协同共享资源和求解问题 同时使用多种计算资源解决计算问题的过程 将需要巨大计算能力的问题分成许多小部分进行处理，最后综合结果分布式计算 并行计算网格计算 云计算云计算特点目标功能超大规模 虚拟化高可靠性 通用性 高可伸缩性 按需服务 极其廉价云计算服务类型SaaS0302PaaS01IaaS将硬件设备等基础资源封装成服务供用户使用 对资源的

5、抽象层次更进一步，提供用户应用程序运行环境 针对性更强，它将某些特定应用软件功能封装成服务 1、欧盟第七框架计划（FP7）2、欧盟视觉云（Vision）项目3、英国政府云（G-Cloud）1、十二五战略新兴产业2、云计算创新发展试点示范工作3、“中国云”国家规划即将推出 韩国云计算全面振兴计划 日本总务省云计算特区程 澳大利亚政府：出台云计算战略1、美国能源部麦哲伦（Magellan）项目2、美国航天局（Nebula）项目研发了弹性计算云EC2（Elastic Computing Cloud）和简单存储服务S3（Simple Storage Service）为企业提供计算和存储服务 收费的服务

6、项目包括存储空间、带宽、CPU资源以及月租费 诞生不到两年的时间内，Amazon的注册用户就多达44万人，其中包括为数众多的企业级用户 Google搜索引擎建立在分布在30多个站点、超过200万台服务器构成的云计算设施的支撑之上，这些设施的数量正在迅猛增长Google的一系列成功应用，包括Google地球、地图、Gmail、Docs等也同样使用了这些基础设施目前，Google已经允许第三方在Google的云计算中通过Google App Engine运行大型并行应用程序Hadoop模仿了Google的实现机制IBM在2007年11月推出了“改变游戏规则”的“蓝云”计算平台，为客户带来即买即用的

7、云计算平台。IBM正在与17个欧洲组织合作开展名为RESERVOIR云计算项目，以“无障碍的资源和服务虚拟化”为口号。欧盟提供了1.7亿欧元作为部分资金。IBM 已在全球范围内建立了 13个云计算中心，并且已帮助数个客户成功部署了云计算中心 微软于2008年10月推出了Windows Azure操作系统。Azure(译为“蓝天”)是继Windows取代DOS之后，微软的又一次颠覆性转型。微软在2010年10月的PDC大会上，公布了Windows Azure云计算平台的未来蓝图，跳出单纯的基础架构作服务的框架，将Windows Azure定位为平台作服务 中国2008年，IBM先后在无锡和北京建

8、立了两个云计算中心阿里巴巴成立了阿里云公司。还有许多公司触云：腾讯、盛大、广达、 800APP、世纪互联中国移动研究院已经建立起1024个CPU的云计算试验中心；中国电信、中国联通都有相应动作。华为、中兴都转入了云计算研发作为云计算技术的一个分支，云安全技术通过大量客户端的参与和大量服务器端的统计分析来识别病毒和木马，取得了巨大成功 2008年11月25日，中国电子学会专门成立了云计算专家委员会 2009年5月22日，中国电子学会隆重举办首届中国云计算大会，1200多人与会，盛况空前。2010年5月，将举办第二届，规模将达3000人; 2009年12月，举办中国首届云计算学术会议 2010年至

9、今每年5月，已连续举办六届中国云计算大会二、云计算热点分析云里雾里看不清？热点一：虚拟计算通过超算中心获得虚拟计算能力23 Virtualization is a term that refers to the abstraction of computer resources. (Wikipedia)什么是虚拟化？虚拟化技术早就存在操作系统是运用虚拟化技术弱化软件运行环境与硬件平台之间的依赖，甚至完全隔离中间件是运用虚拟化技术弱化应用软件与软件运行环境之间的依赖， 甚至完全隔离无需关心计算中心的地理位置计算资源的虚拟化在网络时代迅速发展无需关心计算平台的操作系统以及软件环境配置与管理无需关心

10、特定应用软件的服务方式（如是否被他人同时租用） 软件工程向需求工程倾斜，互联网环境下软件作为服务，使得用户以更自然的交互方式，表达要求得到的个性化服务：服务器托管的时代已近尾声：身边的云计算网络搜索服务网络Office多租赁的CRM计算能力的标准化租用：虚拟PC虚拟机如何实现要求的计算服务?虚拟机在物理机上的再分布问题是一个NP（非确定性多项式）难题高性能计算机能否服务虚拟计算？虚拟服务器超算中心负荷的自动调节要求超算功能的专一化，绿色计算的要求迫使高功耗、高性能计算机向高效用计算中心发展会不会有万能的虚拟机？互联网计算资源的虚拟化，使得端产品 iX摆脱了传统的胖配置带来的系统升级开销，端产品

11、 iX更加简洁、灵活、多样。28热点二 云存储 面向存储服务的超储中心如何看待虚拟计算资源？ 以提供CPU计算能力为主 以提供存储能力为主， 以提供通信带宽能力为主30面向存储服务的超储中心云存储：改变传统的“隶属于主机的存储设备”，把超储中心作为重要节点直接联到互联网，通过虚拟存储管理，实现面向互联网大众用户的存储服务，构成个性化虚拟存储。存储内容的多样性和异构性面向存储服务的超储中心虚拟存储管理的重点在于海量存储资源的动态调度、存储区迁移和多用户存取控制。热点三 云计算标准 云计算的出现并不颠覆现有标准 也不存在云计算的专用标准Web服务基础标准Web服务特性：可描述、可分布、可查找、可调

12、用、可绑定、可组合SOAP：简单对象访问协议WSDL: Web服务描述语言UDDI: 服务注册与发现协议互操作标准是云计算的主要标准35网络互连：TCP/IP服务互操作：MFI信息互通：HTTP、HTML等WWW对互操作的要求：普适、易懂、易用互联网环境下的软件服务，以松耦合的互操作方式实现随需而变36服务服务服务服务服务36面向领域，服务聚合，满足社区需要用户和服务之间互操作可松可紧37规范化表达互操作的元模型框架（MFI，Metamodel Framework for Interoperability） 用户服务需求的元描述用RGPS表示角色服务目标流程通过R G P S描述的互操作元模型

13、框架38RR 角色对接 需求方服务方特定用户简单服务我是谁？想做什么？我为谁？能做什么特定用户要求简单服务的情况目标对接 GG通过R G P S描述的互操作元模型框架39RR 角色对接 需求方服务方用户群简单服务我们是谁？想做什么？我为谁？能做什么用户群要求简单服务的情况目标对接 GG中国在MFI系列标准的研制中发挥了领导作用40标准制定由中国、日本、韩国和英国承担，美国、加拿大、澳大利亚、德国等23国参与讨论，12个国家参与投票英国&日本: MFI-1（ISO已正式发布）日本&韩国: MFI-2 （未正式发布）日本&加拿大：MFI-4 （未正式发布）中国 &日本：MFI-3 （ISO/IEC

14、 19763已正式发布），中国：MFI-5、MFI-7、MFI-8和MFI-9（正在研制）41Metamodel for Ontology RegistrationMetamodel for Model MappingRegistration ProcedureISO/IEC 19763 (MFI)RGPS-based On-Demand Model SelectionMetamodel for P model RegistrationMetamodel for S model RegistrationMetamodel for R/G RegistrationMFI-3MFI-9MFI-8M

15、FI-5MFI-7MFI-4MFI-6MFI-2MFI-1Reference ModelCore Model中国主持研制通过R G P S描述的互操作元模型框架42RR 角色对接 需求方服务方我是谁？想做什么？我为谁？能做什么特定用户要求组合服务的情况目标对接 GG服务3服务2服务1服务流程流程对接 如何做？用什么做？PP服务对接 SS黄色框表示可缺省，也可是服务方P和S中的子集通过R G P S描述的互操作元模型框架43RR 角色对接 需求方服务方我们是谁？想做什么？我为谁？能做什么用户群要求组合服务的情况目标对接 GG服务3服务2服务1服务流程流程对接 如何做？用什么做？PP服务对接 SS

16、黄色框表示可缺省，也可是服务方P和S中的子集通过R G P S描述的互操作元模型框架44RR 角色对接 需求方服务方我是谁？想做什么？我为谁？能做什么需求方是服务，要求得到组合服务的情况目标对接 GG服务3服务2服务1服务流程流程对接 如何做？用什么做？PP服务对接 SS服务热点四 云安全云计算本身安全不安全？云计算为改善安全能做出什么贡献？因为有社会服务的需求，信息才上网。否则不必上网！云计算不是专门为了解决安全问题的新式武器，它不能避免软件中出现漏洞，网络上出现病毒等。云计算把安全作为服务的形式（SECaaS），实现安全服务的专业化、社会化，改变当前人人都在打补丁、个个都在杀病毒的状况还可

17、以把备份作为服务的形式，实现专门的云备份服务人们普遍关心的云安全，实际上是云计算中的信任管理。如何理解可信任？信任是个社会问题 信任是个技术问题 X社会问题可以通过技术协助解决 基本理念互联网也好，云计算也好，只要在网络中存在有人机交互，存在有社区，安全和可信就成为它的一项品质，是社区和社区演化所累积出来的品质。身边的事实人们普遍认为：淘宝网比QQ可信，支付宝又比淘宝网可信 有人认为：瑞士银行比工商银行可信，工商银行又比地下钱庄可信 云安全：云计算中的信任管理图灵机时代以正确性为核心的软件理论、方法、技术和机制，不足以构造出适应互联网的开放、动态环境下的信任管理，图灵机无法描述交互式计算。信任

18、不是一次性测试出来的，也不是依靠一套固定指标测出来的，它是社区运作过程中累积出来的品质，是消除一个个不可信要素的过程，如维基百科中参与者的信任管理互联网与传统媒体的差别，在于其民主性所形成的由下而上的力量！这种力量是建立信誉的最基本、最重要的保证数据着色和云水印数据拥有方和存储服务方之间形成一定的数据使用约定，通过双方的信誉和双约束的手段，共同解决数据的合理使用。通过云水印对用户数据进行着色，特定的颜色为特定的用户所有，保证用户对数据的所有权，又不影响数据的有效使用。EnForwardCloudGeneratorVirtual StorageUser Data Data Coloring Co

19、lored Data Color MatchingColored Data cloud dropsBackwordCloudGeneratorEnExHeCloud Drops ExtractingExHeService providerDataownerConfirmation通过云水印进行数据着色流程图Negotiation热点五 云计算平台云计算平台的架构从一个绕口令谈起如何理解SaaS,PaaS,and IaaS云计算平台如何架构对SaaS的更深理解SaaS 是软件工程的大转身，从面向实现转为面向服务的大转身所有服务都可以是自治的、跨平台的、位置不敏感的、不依存特定用户的、可再绑定的S

20、aaS、PaaS、IaaS 不构成层次关系，SaaS是根本, 因为SaaS，才有PaaS和IaaS云计算平台的架构服务的规模化、集约化和专门化导致互联网上出现各种各样的云计算平台当前，云计算平台以服务器集群为主服务器平台的典型架构eSOA从SOA到SOC 服务计算导致用户只为自己所得到的服务付费。服务高度综合、集中、并专业化。一方面，龙头服务企业凸显；另一方面，又能够满足无穷无尽社区表现出的长尾市场的多样化需求。三、云计算对信息产业的影响大量的中小企业软件开发商面临着工作平台、工作对象、工作方式的重组:在云计算的大潮中要么做大做强服务，成为“大款” ；要么“傍大款”，依附发展；否则被淘汰。影响

21、一：信息产业面临重新洗牌面向单机面向网络面向软件面向服务软件工程需求工程工作平台：工作对象：工作方式： 如同电力时代高压传输问题解决之后大规模甚至超大规模核电厂的建立一样，信息时代做大做强了的大规模甚至超大规模的数据中心、存储中心、软件中心、计算中心、媒体中心、娱乐中心、安全中心的建立，势必成为未来云计算的基本要素。云计算使得信息服务的社会化成为可能，改变并精细化了大众需求，催生新的市场和新的服务业；软件产业结构发生变化，基于内容的信息服务业所占比重越来越大：单机的系统软件和中间件所占比重逐渐减小，软件依附于应用；嵌入式软件更加个性化、柔性化。 影响二：软件产业结构面临调整2009年我国软件产

22、值构成分析如：诗词消费群体，My MP3，个人匹配兴趣搜索引擎等 用户只为自己所得到的服务付费。基于内容的服务（如音乐服务、视频服务、交通服务、客户关系管理服务、安全服务等）在高度综合、集中、专业化的同时，又高度分化、碎片化、精细化。一方面，龙头服务企业凸显；另一方面，又能够满足无穷无尽社区表现出的长尾市场的多样化需求。基于内容的服务高度精细化、碎片化舞剧服务中心歌剧服务中心京剧服务中心地方剧服务中心二人转服务中心赵本山文艺作品服务中心出现各种各样开源、开放的软件合作开发社区。淡化软件产品的生命周期，软件在线更新，贴近用户新需求，强调软件的演化。软件频繁地被重用和重组，在第一时间满足客户需求。

23、影响三：软件开发的组织方式面临变革移动互联网的带宽迅速增长移动互联网的实时性、交互性、低成本、个性化和位置感知能力，形成移动用户迅速增长的服务需求云计算是物联网的基础影响四：移动互联网上云计算来得更快68以网络购物的信誉评价为例。万维网上的知名服务吸引了大众普通参与开发，确保了服务质量，扩大了应用覆盖范围，如维基百科。影响五：大众普遍参与形成群体智慧网络环境下泛在的计算手机、游戏机、数码相机、电视机、上网本、笔记本电脑等功能交叉，差别细微，出现更多四不像的产品端产品 iX 更加简洁、多样，个性化对于端设备制造商而言：通过I/O接口连接网络的端设备必须具备灵活的功能，能方便地进行功能的柔性重组，

24、解决广义的“最后一公里”问题。影响六：网络端设备多元化个性化云计算在中国：服务提振经济四、搭建开源HADOOP云平台Hadoop简介 HadoopApache开源组织的一个分布式计算框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，为应用程序提供了一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统 Hadoop云计算系统Google云计算系统Hadoop HDFSGoogle GFSHadoop MapReduceGoogle MapReduceHadoop HBaseGoogle BigtableHadoop ZooKeeperGoogle ChubbyHadoop

25、PigGoogle SawzallHadoop云计算系统与Google云计算系统 Hadoop简介开源项目Lucene：Java开发的开源高性能全文检索工具包 开源项目Nutch：第一个开源的Web搜索引擎 Hadoop Hadoop简介Hadoop项目组成 （1）Hadoop Common（2）Avro（3）Chukwa（4）HBase（5）HDFS（6）Hive（7）MapReduce（8）Pig（9）ZooKeeper Hadoop优点 （1）可扩展（2）经济（3）可靠（4）高效设计前提与目标 设计前提与目标硬件错误是常态而不是异常 流式数据访问 超大规模数据集 简单一致性模型 移动计算

26、比移动数据更简单 异构软硬件平台间的可移植性 体系结构 HDFS主从结构体系NameNode：主控制服务器，负责维护文件系统的命名空间（Namespace）并协调客户端对文件的访问，记录命名空间内的任何改动或命名空间本身的属性改动 DataNode：负责它们所在的物理节点上的存储管理 保障可靠性的措施 1冗余备份每个文件存储成一系列数据块（Block），默认块大小为64MB（可配置）。为了容错，文件的所有数据块都会有副本（副本数量即复制因子，可配置） 2副本存放采用机架感知（Rack-aware）的策略来改进数据的可靠性、可用性和网络带宽的利用率 复制因子为3时数据块分布情况 保障可靠性的措施

27、 3.心跳检测NameNode周期性地从集群中的每个DataNode接受心跳包和块报告，收到心跳包说明该DataNode工作正常 4.安全模式系统启动时，NameNode会进入一个安全模式。此时不会出现数据块的写操作 5.数据完整性检测 HDFS客户端软件实现了对HDFS文件内容的校验和（Checksum）检查 保障可靠性的措施 6.空间回收 文件被用户或应用程序删除时，先把它移动到/trash目录里；只要还在这个目录里，文件就可以被迅速恢复 7.元数据磁盘失效NameNode可以配置为支持维护映像文件和事务日志的多个副本，任何对映像文件或事务日志的修改，都将同步到它们的副本上 8.快照 快照

28、支持存储某个时间的数据复制，当HDFS数据损坏时，可以回滚到过去一个已知正确的时间点。HDFS目前还不支持快照功能 逻辑模型MapReduce处理的任务基本要求：待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理 映射阶段，用户输入的数据分割为M个片断，对应M个Map任务。每一个Map操作的输入是数据片断中的键值对集合，Map操作调用用户定义的Map函数，输出一个中间态的键值对 集合。接着，按照中间态的K2将输出的数据集进行排序，并生成一个新的元组，按照K2的范围将这些元组分割为R个片断 化简阶段，每一个Reduce操作的输入是一个片断，Reduce操作调用用户

29、定义的Reduce函数，生成用户需要的键值对进行输出 实现机制 实现机制1分布式并行计算2本地计算3任务粒度4Combine（连接）5Partition（分区）6读取中间结果7任务管道在Linux系统中安装Hadoop 1安装环境配置1）安装Linux虚拟机 安装软件VMware Workstation v7.1.3 2）安装SSH $ sudo apt-get install ssh3）安装Java $ cd /usr/java/ $ /mnt/hgfs/share/jdk-6u24-linux-i586.bin4）解压Hadoop安装包 $ tar zxvf /mnt/hgfs/share

30、/hadoop-0.20.2.tar.gz5）编辑conf/hadoop-env.sh文件$ vi conf/hadoop-env.sh2安装步骤 1）单机模式 默认情况下，Hadoop被配置成一个以非分布式模式运行的独立Java进程，适合开始时做调试工作WordCount实例 $ mkdir input $ cd input $ echo hello world test1.txt $ echo hello hadoop test2.txt $ bin/hadoop jar hadoop-mapred-examples-0.20.2.jar wordcount input output 查看

31、执行结果 $ cat output/*在Linux系统中安装Hadoop 2安装步骤 2）伪分布式模式 用不同的Java进程模拟分布式运行中各类节点 （1）Hadoop配置 在Linux系统中安装Hadoop core-site.xml配置文档hdfs-site.xml配置文档mapred-site.xml配置文档 （2）免密码SSH设置 生成密钥对 $ ssh-keygen -t rsa 一直按【Enter】键，按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中 进入.ssh目录 $ cp id_rsa.pub authorized_keys 执行$ ssh localhost，

32、可以实现用SSH 连接并且不需要输入密码 在Linux系统中安装Hadoop 将密钥对保存在.ssh/id.rsa文件中 在Linux系统中安装Hadoop （3）Hadoop运行 （a）格式化分布式文件系统 $ bin/hadoop namenode format （b）启动Hadoop守护进程 $ bin/start-all.sh 成功执行后将会在本机上启动NameNode、DataNode、JobTracker、TaskTracker和Secondary NameNode 5个新的Java进程 （c）运行WordCount实例 $ bin/hadoop dfs copyFromLocal

33、 input in $ bin/hadoop jar hadoop-mapred-examples-0.20.2.jar wordcount in out 查看Hadoop分布式文件系统上数据处理的结果 $ bin/hadoop dfs -cat out/* 把输出文件从Hadoop分布式文件系统复制到本地文件系统查看 $ bin/hadoop dfs -get out output $ cat output/* （d） 停止Hadoop守护进程。最后需要停止Hadoop守护进程 $ bin/stop-all.sh3）完全分布式模式 （1）配置NameNode和DataNode （2）在所有的

34、机器上建立相同的用户grid $ useradd -m grid $ passwd grid （3）SSH配置 在所有机器上建立.ssh目录 $ mkdir .ssh 在ubuntunamenode上生成密钥对 $ ssh-keygen -t rsa在Linux系统中安装Hadoop 配置ubuntunamenode的/etc/hosts ubuntudata1和ubuntudata2的hosts配置 （3）SSH配置 然后一直按【Enter】键，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中 $cd /.ssh $cp id_rsa.pub authorized_keys $scp authorized_keys ubuntudata1:/home/grid/.ssh $scp authorized_keys ubuntudata2:/home/grid/.ssh 最后进入所有机器的.ssh目录，改变authorized_keys文件的许可权限 $chmod 644 authorized_keys（4）在所有机器上配置Hadoop 在ubuntunamenode上配置 （a）编辑core-site.xml、hdfs-si