中国电信云计算探索与应用实践

云计算的探讨和应用21234目录5什么云计算KevinHartig：云是一个庞大的资源池，你按需购置；云是虚拟化的；云可以象自来水，电，煤气那样计费。JanPritzker：云计算是用户友好的网格计算。3农村城市化开展云计算-网格计算的开展4网格计算云计算MPIMAP-Ruduce，Dryad异构资源同构资源不同机构单一机构虚拟组织虚拟机科学计算为主数据处理为主高性能服务器服务器、PC标准化无标准科学界商业应用云计算的使用方式将计算和存储等资源以效劳的方式提供，用户按需使用，按用量付费5云计算关键特征云计算-关键特征按需扩展和使用快速获得效劳通过互联网提供自助式效劳按使用量付费6云计算-交付模型PC硬件资源〔PowerPC、x86、ARM〕操作系统Linux、Windows、UNIX 开发环境C、C++、Java、Python、Perl等软件应用运行库〔.Net、JRE〕SaaSPaaSIaaS基于互联网Cloud共享资源7云计算-部署模型公有云：简单来说，公有云效劳指的是用户通过互联网从第三方供给商获取的云计算效劳。私有云：私有云具备公有云计算环境的许多优点，如灵活性强、以效劳为根底等。社区云：社区云由一群共享利益〔如特定平安需求或共同目标〕的企业管理和使用。混合云：混合云是公有云和私有云的融合，且两者可互操作。8云计算-架构9101234目录511虚拟化领域效劳器虚拟化网络虚拟化应用虚拟化客户端虚拟化降低系统复杂度，提高资源利用率，动态划分服务资源，动态部署资源池，统一管理，数据更加安全存储虚拟化网络容量的优化，网络各节点优化交付模式的改变，应用能力的按需提供降低终端成本，满足客户动态需求概念：分布式存储系统是分布式计算环境的根底架构之一，它把分散在网络中的存储资源以统一的视点呈现给用户，简化了用户访问的复杂性，加强了分布系统的可管理性，也为进一步开发分布式应用准备了条件。基于云数据中心的分布式存储系统构建在大规模效劳器群上，面临以下几个挑战：1〕效劳器等组件的失效将是正常现象，需解决系统的容错问题；2〕提供海量数据的存储和快速读取；3〕多用户同时访问文件系统，需解决并发控制和访问效率问题；4〕效劳器增减频繁，需解决动态扩展问题；5〕需提供类似传统文件系统的接口以兼容上层应用开发，支持创立、删除、翻开、关闭、读写文件等常用操作。12GFS的设计理念效劳器DOWN机作为常态文件用块存储每个块固定为64MB通过冗余解决可靠性问题每个块同时拷贝在3个块效劳器上主效劳器负责协调访问和保存元数据简单化的集中管理定制化的API无数据缓存较大文件块和流式读取使得缓存效果不佳13GFS体系结构14 对于并行编程而言，核心的问题是如何把一个大的应用程序分解成假设干可以并行处理的子程序。有两种可能处理的方法，一种是分割计算，即把应用程序的功能分割成假设干个模块，由网络上多台机器协同完成；另一种是分割数据，即把数据集分割成小块，由网络上的多台计算机分别计算。目的是实现分布式计算，让几个物理上独立的组件作为一个单独的系统协同工作，这些组件可能指多个CPU，或者网络中的多台计算机。15复杂，很难入门如何简单化Map/Reduce用于大规模数据并行处理数据量大〔超过1TB〕在成百上千个CPU上并行处理用户只需实现下面接口 map(in_key,in_value)-> (out_key,intermediate_value)list reduce(out_key,intermediate_valuelist)-> out_valuelist16Catinput|grepxxx|sort|uniq–c|cat>output架构17实现原理1819分布式数据库是对海量数据进行存储和管理。分布式数据库是一组结构化的数据集，逻辑上属于同一系统，而物理上分散在用计算机网络连接的多个场地上，并统一由一个分布式数据库管理系统管理。与集中式或分散数据库相比，分布式数据库具有可靠性高、模块扩展容易、响应延迟小、负载均衡、容错能力强等优点。BigTable的设计理念面向网页数据的发布、搜索和浏览等特定处理的需要，简化数据管理系统的设计，并提高性能不支持关联不支持SQL查询简化数据的一致性管理网页数据的管理对一致性要求不高简化事务管理网页数据的处理〔搜索、发布〕对事务管理要求不高面向海量数据管理要求设计分割和合并管理机制〔基于元数据〕设计自动伸缩功能〔根据数据量调整资源用量〕20Bigtable根本架构21 在分布式系统中，对共享资源的并行操作可能会引起丧失修改、读脏数据、不可重复读等数据不一致问题，这时需要引入同步机制，控制进程的并发操作。2223基本架构组成：客户端+5个效劳器〔Chubby单元〕；主效劳器机制：5个效劳器〔Chubby单元〕，只有一个主效劳器，租续期内所有的客户请求都是由主效劳器来处理的；客户端定位主效劳器：DNS请求。Chubby的设计目标主要有以下几点。1〕高可用性和高可靠性。这是系统设计的首要目标，在保证这一目标的根底上再考虑系统的吞吐量和存储能力。2〕高扩展性。将数据存储在价格较为低廉的RAM，支持大规模用户访问文件。3〕支持粗粒度的建议性锁效劳。提供这种效劳的根本目的是提高系统的性能。4〕效劳信息的直接存储。可以直接存储包括元数据、系统参数在内的有关效劳信息，而不需要再维护另一个效劳。5〕支持通报机制。客户可以及时地了解到事件的发生。6〕支持缓存机制。通过一致性缓存将常用信息保存在客户端，防止了频繁地访问主效劳器。24Chubby客户端与效劳器端的通信过程251234目录5云计算商用-开源比照26云计算开源-HadoopHadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。Google的开源实现HDFS是GoogleFileSystem〔GFS〕的开源实现;MapReduce是GoogleMapReduce的开源实现;HBase是GoogleBigTable的开源实现。27云计算开源-EucalyptusEucalyptus工程〔ElasticUtilityComputingArchitectureforLinkingYourProgramsToUsefulSystems〕是AmazonEC2的一个开源实现，它与商业效劳接口兼容。和EC2一样，Eucalyptus依赖于Linux和Xen进行操作系统虚拟化。Eucalyptus是加利福尼亚大学〔SantaBarbara〕为进行云计算研究而开发的28OpenNebula云计算开源-10genMongoDB

10gen既是一个云平台，又是一个可下载的开放源代码包，可用于创立您自己的私有云。10gen是类似于AppEngine的一个软件栈，它提供与AppEngine类似的功能―但有一些不同之处。通过10gen，可以使用Python以及JavaScript和Ruby编程语言开发应用程序。该平台还使用沙盒概念隔离应用程序，并且使用它们自己的应用效劳器的许多计算机(当然，是在

Linux上构建)提供一个可靠的环境。MongoDB是一个高性能的面向文件的开源数据存储工程。十分容易部署，管理和使用。可以通过网络访问，并且由C++语言编写。主要包含的功能特性有易存储对象类型的数据，完全索引支持，查询支持，复制和故障恢复支持，高效的二进制数据存储，自动处理碎片提高云层次上的扩展性。高性能，可扩展，适当的功能使这个工程的主要设计目标。29301234目录5电信云计算总体开展规划初步构建包含IaaS、PaaS和AaaS的完整效劳体系。IDC信息化应用云服务PaaS开放平台战略合作ＳａａＳ／ＡａａＳＰａａＳＩａａＳ商务领航号百弹性存储服务弹性计算服务切入点产品平台开展规划合作厂家IBM微软微软IBMHadoopIBMVMWareXen２００９－２０１2SaaS软件效劳天翼软件广场/OneApp移动互联网云服务内部试验平台SCE及开放API灾备与恢复弹性大容量数据库先试点后推广，初步形成价值链；内部应用：以提升性能为目的IaaS先试点再规模开展；内部应用：以提升资源效益为主IT系统整合移动互联网基础设施整合外部开放平台号百整合内部海量数据处理平台内部应用31321234目录5亚马逊云计算AWS-商业应用

33弹性计算云EC2 一部具有无限采集能力的虚拟计算机，用户能够用来执行一些处理任务。简单存储效劳S3 一个很大的磁盘驱动或一个SAN。简单数据库效劳SimpleDB 为复杂的，结构化数据建立的，支持数据的查找、删除、插入等操作。微软Azure虚拟化平台-Xen与KVM

34HadoopHDFS->GFS分布式文件系统

35HadoopHDFS->GFS分布式文件系统(read)

36HadoopHDFS->GFS分布式文件系统(write)

37HadoopHDFS操作命令38HadoopMapReduce->googleMapReduce工作流39SHELL:~>catinput|grepxxx|sort|uniq-c|cat>outputmapReduce：

Input|Map|Shuffle&Sort|Reduce|OutputInput：一个HadoopMapReduce应用通常需要提供一对通过实现合适的接口或抽象类提供的Map和Reduce函数，还应该指明输入/输出的位置（路径）和其他一些运行参数。此外，此阶段还会把输入目录下的大数据文件切分为若干独立的数据块。Map：MapReduce框架把应用作业的输入看为是一组<key,value>键值对，在Map这个阶段，框架会调用用户自定义的Map函数处理每一个<key,value>键值对，生成一批新的中间<key,value>键值对，这两组键值对的类型可能不同。Shuffle&Sort：为了保证Reduce的输入是Map排好序的输出。在Shuffle阶段，框架通过HTTP为每个Reduce获得所有Map输出中与之相关的<key,value>键值对；而在Sort阶段，框架将按照key的值对Reduce的输入进行分组（因为不同map的输出中可能会有相同的key）。通常Shuffle和Sort两个阶段是同时进行的，Reduce的输入也是一边被取回，一边被合并的。Reduce：此阶段会遍历中间数据，对每一个唯一key，执行用户自定义的Reduce函数（输入参数是<key,(listofvalues)>），输出是新的<key,value>键值对。Output：此阶段会把Reduce输出的结果写入输出目录的文件中。这样，一个典型的MapReduce过程就结束了。HadoopMapReduce->googleMapReduce执行过程40HadoopMapReduce->googleMapReduce并行执行41HadoopMapReduce执行例子监控42://3:50030/jobtracker.jspHadoopZooKeeper->