附件1：云计算技术应用（云计算主要支撑技术）

云计算关键技术

云计算关键技术相信你一定使用过至多种Google所提供的各类网络服务，其中都隐含云计算技术。通过平行处理技术，将网络用户所下达的指令分派给成千上万台的计算机同时运行（Google从未透露它到底有多少台计算机在其遍布全球的数据中心里运行），让用户即使是在大量计算或访问高容量数据时，也能够很有效率地回传数据给用户。例如，通过云计算技术，尽管同时有上百万封的电子邮件在Gmail

系统中发出，Gmail

的任何一位用户登录系统后，都可以在几秒钟内立即接收到对方所发出的邮件。你是否曾经想过Google所使用的云计算技术到底是什么？Google的云计算，源于三项关键技术，它们依序是：GFS(GoogleFilesystem）分布式文档系统、MapReduce

分布式计算以Bigtable

分布式数据库。

GFS己应用于Google内部上千上万台的存储系统上，可以在数千台计算机间快速处理数据，以满足Google庞大的数据处理需求。MapReduee:“将数据化简处理”.所以MapReduce

分布式计算技术的内涵就是先将数据进行比对分类，然后将相同的数据简化处理的一种计算机程序模型，若程序设计时应用此MapReduee

技术，即使是没有大型分布式程序设计经验的工程师，也可以自动处理存在于庞大计算机服务器集群（Clusters）间高达Tetabytes(ITB=1000GB）等级的计算数据量，该论文宣称MapReduee

技术己经使用于Google的服务器集群中，每日进行庞大的搜索数据计算。Bigtable

是专门应用于管理大型分布式存储系统的结构化数据库，该分布式数据库可以轻易伸缩到petabytes(lPB=1000TB）等级的结构化数据大小。Bigtable

当前已应用于Google的搜索数据需要存储大量数据的网络服务应用上，以符合大型分布式系统所需的高性能数据处理与存储需求。近年来，Google努力完备与强化发展大型分布式系统的关键技术后，终于在2007年与IBM及众多美国大学开始进行云计算研究计划。在美国麻省理工学院、史丹佛、柏克莱加大、卡内基梅隆、马里兰和西雅图华盛顿大学推广云计算，从而引爆了对CloudComputing（云计算）一词的热烈讨论，学生可以通过网络开发各项以大规模计算为基础的研究计划。例如，华盛顿大学的学生甚至己经编写出可扫描内容庞大的维基百科，以及辨识垃圾条目的程序，并根据真实的地理位置编排全球新闻标题。

因为Google开发的GFS、MapReduee

与Bigtable

三大关键技术作为大型分布式云计算的基石，使得云计算概念开始绵延不断地发展下去，其中最重要的演进是，ApacheopenSourceProject开放源代码的搜索引擎Nutch

创始人DougCutting，将Google提出的MapReduce程序模型运用到Nutch

搜索引擎上，随后Nutch

衍生出专注于开发全文数据检索的函数库Lucene

项目。

随着近年来云计算概念的快速散播，Hadoop

如今已成为切入云计算技术最重要的运作平台，任何企业或机构有批次处理海量数据的需求时，都可以自行利用Hadoop

建置一个云计算系统来分析数据。因为Nuteh

与Lucene

强大的搜索功能及开放源代码特性，成立了Hadoop

项目延伸Nutch

与Lucene

搜索功能的开发。Yahoo利用Hadoop

项目所开发出来的云计算技术，在2千台服务器上面，运行超过1万个Hadoop

虚拟机器，来处理超过5Petabytes

的网页内容，分析超过1兆个网络连接，创建全球网际网络的Webindexing网页索引数据超过300TB，这个数据今日还在爆炸性增长中。因为Hadoop

云技术以及Hadoop

同样秉持开放源代码的精神，随着近年来云计