云计算的相关技术及其影响

云计算的相关技术及其影响摘要：云计算是以虚拟化技术为基础，以网络为载体提供基础架构、平台、软件等服务为形式，整合大规模可扩展的计算、存储、数据、应用等分布式计算资源进行协同工作的超级计算模式。云计算自从被提出以来，飞速发展，目前已经有了一些可用的云计算服务，同时，作为一种全新的互联网应用模式，云计算将成为未来人们获取服务和信息的主导方式。云计算受广泛的推崇，是因为它可利用最小化的客户端实现复杂高效的处理和存储的特点，而支撑云计算发展的是与之密切相关的硬件及软件方面的技术，本文就此对云计算的相关技术进行了总体的概述和分析，同时阐述了云计算对信息时代发展的影响。关键字：云计算；分布式；并行计算；编程模式；海量数据存储 随着互联网时代信息与数据的快速增长，科学、工程和商业计算领域需要处理大规模、海量的数据，对计算能力的需求远远超出自身IT架构的计算能力，这时就需要不断加大系统硬件投入来实现系统的可扩展性。另外, 由于传统并行编程模型应用的局限性，客观上要求一种容易学习、使用、部署的新的并行编程框架。在这种情况下，为了节省成本和实现系统的可扩放性，云计算的概念被提了出来。云计算是基于互联网的计算，能够向各种互联网应用提供硬件服务、基础架构服务、平台服务、软件服务、存储服务的系统。通常云系统由第三方拥有的机制提供服务，用户只关心云所提供的服务，对于云计算的具体技术并不了解，而事实上只有了解相应的技术才能是云计算得到更好的应用和发展。云计算是虚拟化、基础设施即服务、平台即服务、软件即服务等概念混合演进并跃升的结果，也是分布式计算、网格计算和并行计算的最新发展，或者说是这些计算机科学概念的商业实现。区分相关计算形式间的差异性，将有助于我们对云计算本质的理解和把握。 1、云计算与分布式计算分布式计算是指在一个松散或严格约束条件下使用一个硬件和软件系统处理任务，这个系统包含多个处理器单元或存储单元、多个并发的过程、多个程序。一个程序被分成多个部分，同时在通过网络连接起来的计算机上运行。分布式计算类似于并行计算，但并行计算通常用于指一个程序的多个部分同时运行于某台计算机上的多个处理器上。所以，分布式计算通常必须处理异构环境、多样化的网络连接、不可预知的网络或计算机错误。很显然，云计算属于分布式计算的范畴，是以提供对外服务为导向的分布式计算形式。云计算把应用和系统建立在大规模的廉价服务器集群之上，通过基础设施与上层应用程序的协同构建以达到最大效率利用硬件资源的目的以及通过软件的方法容忍多个节点的错误，达到了分布式计算系统可扩展性和可靠性两个方面的目标。2、云计算与网格计算如果单纯根据有关网格的定义“网格将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体，为用户提供更多的资源、功能和服务”，云计算与网格计算之间就很难区别了。但从目前一些成熟的云计算实例看，云计算与网格计算有一定的差异。网格计算强调的是一个由多机构组成的虚拟组织，多个机构的不同服务器构成一个虚拟组织为用户提供一个强大的计算资源；云计算主要运用虚拟机(虚拟服务器)进行聚合而形成的同质服务，更强调在某个机构内部的分布式计算资源的共享。在网格环境下无法将庞大的计算处理程序分拆成无数个较小的子程序在多个机构提供的资源之间进行处理，而在云计算环境下由于确保了用户运行环境所需的资源，将用户提交的一个处理程序分解成较小的子程序在不同的资源上进行处理就成为研究与开发可能。在商业模式、作业调度、资源分配方式、是否提供服务及其形式等方面，两者差异还是比较明显的。 3、云计算与并行计算简单而言，并行计算就是在并行计算机上所做的计算，它与常说的高性能计算、超级计算是同义词，因为任何高性能计算和超级计算总离不开并行技术。并行计算是在串行计算的基础上演变而来，它努力仿真自然世界中，一个序列中含有众多同时发生的、复杂且相关事件的事务状态。近年来，随着硬件技术和新型应用的不断发展，并行计算也有了若干新的发展，如多核体系结构、云计算、个人高性能计算机等。所以，云计算是并行计算的一种形式，也属于高性能计算、超级计算的形式之一。作为并行计算的最新发展计算模式，云计算意味着对于服务器端的并行计算要求的增强，因为数以万计用户的应用都是通过互联网在云端来实现的，它在带来用户工作方式和商业模式的根本性改变的同时，也对大规模并行计算的技术提出了新的要求。由云的相关计算形式可以看出，云计算是一种新型的超级计算方式，以数据为中心，是一种数据密集型的超级计算。在数据存储、数据管理、编程模式等多方面具有自身独特的技术。同时涉及了众多其他技术，如虚拟化技术、云计算平台管理技术、信息安全管理技术等。下面针对云计算特有的技术进行介绍：1、Map Reduce编程模式为了用户能方便、自由地享受云计算带来的服务，能利用编程模型编写简单的应用程序来满足要求，所以云计算的编程模型应尽量地简单易学，Map Reduce这种新兴的编程模型就是适合云计算的。Map Reduce是由Google提出来的，用来开发Google搜索结果分析时大量计算的并行化处理，它支持在服务器集群上的规模庞大的数据集的并行计算。该模型架构设计是受到函数式程序设计中的两个常用Map(映射)函数和Reduce(化简)函数的启发，首先通过Map将数据分割成不相关的区块，调配给网络上的多个计算机来处理，以便实现分布式的运算效果，然后通过Reduce将多个计算机的处理结果汇总输出。因此，用户只需要提供自己编写的Map 程序和Reduce程序就可以在服务器集群上进行大量的分布式数据处理。2、海量数据存储技术为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。分布式技术最早由Google 向全球用户提供搜索服务的，它利用的是可以让多达百万台的低能计算机协同工作的分布式架构。云计算平台由许多服务器组成，同时需要并行地为多个用户提供服务，因此云计算采用分布式的方式对网络上的海量数据进行存储，而分布式的存储方式适合云计算的多用户的特点。它通过安全的冗余存储技术，应用存储系统的高容错性进而提高数据存储的可靠性，也保证了云计算存储的高吞吐率，能够保证系统同时满足大量用户的需求，并行地为大量用户提供服务。3、海量数据管理技术云计算系统对大数据集进行处理、分析向用户提供高效的服务。因此，数据管理技术必须能够高效地管理大数据集。其次，如何在规模巨大的数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题。云计算的特点是对海量的数据存储、读取后进行大量的分析，数据的读操作频率远大于数据的更新频率，云中的数据管理是一种读优化的数据管理。因此，云系统的数据管理往往采用数据库领域中列存储的数据管理模式，将表按列划分后存储。云计算的数据管理技术中最著名的是谷歌提出的Big Table数据管理技术。Big Table 是一种为了管理结构化数据而设计的分布式存储系统，这些数据可以扩展到非常大的规模，例如在数千台商用服务器上的达到PB( Petabytes )规模的数据Big Table对数据读操作进行优化，采用列存储的方式，提高数据读取效率。Big Table 中的数据项按照行关键字的字典序排列，每行动态地划分到记录板中。每个节点管理大约100个记录板，时间戳是一个64位的整数，表示数据的不同版本。列族是若干列的集合，Big Table中的存取权限控制在列族的粒度进行。Big Table 在执行时需要三个主要的组件：链接到每个客户端的库，一个主服务器，多个记录板服务器。主服务器用于分配记录板到记录板服务器以及负载平衡，垃圾回收等。记录板服务器用于直接管理一组记录板，处理读写请求等。为保证数据结构的高可扩展性，Big Table 采用三级的层次化的方式来存储位置信息。其中第一级的Chubby file 中包含Root Tablet的位置，Root Tablet有且仅有一个，包含所有METADATA tablets的位置信息，每个METADATA tablets包含许多User Table的位置信息。当客户端读取数据时，首先从Chubby file中获取Root Tablet的位置，并从中读取相应METADATA tablet的位置信息。接着从该METADATA tablet中读取包含目标数据位置信息的User Table的位置，然后从该User Table中读取目标数据的位置信息项。据此信息到服务器中特定位置读取数据。这种数据管理技术虽然已经投入使用，但是仍然具有部分缺点。例如，对类似数据库中的Join操作效率太低，表内数据如何切分存储，数据类型限定为string类型过于简单等。而微软的Dryad LINQ 系统则将操作的对象封装为. NET类，这样有利于对数据进行各种操作，同时对Join进行了优化，得到了比Big Table+ Map Reduce更快的Join速率和更易用的数据操作方式。云计算以强大的科学技术为支撑，具有极大的优势，这在信息时代算是一种革新，而这一革新将会给我们身边的一切带来巨大变革。从云计算的优势来看，主要有以下几个方面：1）降低用户电脑的成本。用户不需要购买非常高端的电脑来运行云计算的Web应用程序，因为这些应用程序在云上面，而不是在本地运行，所以桌面PC就不需要传统桌面软件所要求的处理能力和存储空间。2）改善性能。因为大部分的软件都在云上面运行，所以用户的电脑就可以节省更多的资源，从而获得更好的性能。此外，由于“云”中的服务只用支持单一环境，从而运行更快。3）降低IT基础设施投资。大型组织的IT部门也能通过向云迁移降低成本，通过利用云的计算和存储能力替代内部的计算资源，企业可以减少IT的初期投资。对于那些需要处理高峰负载的企业，他们也不再需要购买设备应付负载峰值，这种需求可以通过云计算轻松处理。4）减少维护问题。云计算能够为各种规模的组织显著地降低硬件和软件的维护成本。硬件都由云计算提供者管理，所以组织基本上不用再进行硬件维护，系统软件等也是同样的情况。5）减少软件开支。由于各种成本的降低，一般基于云计算的服务收费都要比传统的软件要低，而且许多公司（例如Google）都免费提供其Web应用程序。6）即时的软件更新。另一个跟软件相关的优势是用户不用再面对陈旧的软件和高昂的升级费用。基于Web的应用程序都自动更新，用户每次使用这个程序，得到的都是最新的版本。7）计算能力的增长。这是显而易见的，当用户与云计算系统联接之后，可以支配整个云的计算能力。8）无限的存储能力。类似地，云提供事实上无限的存储能力。9）增强的数据安全性。在桌面电脑上，硬盘崩溃可能损坏所有有用的数据，但是云里面一台电脑的崩溃不会影响到存储的数据，这是因为云会自动备份存储的数据。10）改善操作系统的兼容性。不同操作系统之间的数据共享是非常麻烦的，但是对于云计算，重要的是数据，而不是操作系统，用户可以将Windows连接到云其他不同的操作系统共享文档和数据。11）改善文档格式的兼容性。由Web应用程序创建的文档可以被其他任何使用该应用程序的用户读取，当所有人都使用云进行文档和应用的共享时将存在格式的不兼容性问题。12）简化团队协作。通过共享文档可以进行文档合作，对许多用户来说，这是云计算最重要的优点之一是允许许多用户非常容易地进行文档和项目的合作。简单的团队合作意味着可以加快大多数团体项目的进度。同时也让分布在不同地理位置的团队合作变得可能。13）没有地点限制的数据获取。通过云计算，用户不需要将文档随身携带，所有的数据都在云中，只需要一台计算机和网络连接就可以获取。总结云计算的优势，我们不难看出，无论对于用户还是服务的提供商来说，云计算的发展都具有巨大的潜力，正因其广泛的应用，才逐步地改变了传统的信息处理方式以及信息产业开发方向。首先，与我们直接相关的是改变信息处理及储存理念。目前，我们大部分人仍然在使用PC处理文档、存储资料，通过电子邮件或者移动存储介质与他人分享信息。一旦PC硬盘或者移动存储介质坏了，他们会因为资料丢失而束手无策。而在“云计算”时代，“云”会替我们做储存和处理工作。届时，我们只需要能连接上网的终端设备，不需关心储存或计算发生在哪朵“云”上，但一旦有需要，我们可以在任何地点用任何设备，快速地计算并找到这些资料，再也不用担心资料丢失。同时，基于云计算平台，用户可将一个实时动态的全社会数据库与应用完美结合，无需再安装任何应用软件，这时云端扮演了动态变化的智能知识库和服务提供商的角色，它不但节省了用户终端资源，而且免去了维护的环节，有了“云”，用户可通过网络连接到对应的服务器直接调用软件，这将有效降低终端软件使用成本，同时还可避免安装和随时更新的麻烦。通过云计算平台，用户可以把互联网实时出现的信息利用起来，未来的终端设备使终端需求与服务器之间做一个结合，省去安装插件等中间环节，为用户带来享受云计算服务快捷体验。最后，对于IT产业发展来说，在未来十年中，云计算带来的产业变化主要体现在五个方面：1）信息产业从PC时代走向互联网时代，而产业也将从PC时代的应用为中心走向以数据为中心；2）PC机的定义将发生很大的改变；3）计算的架构从过去集中于PC或服务器的某一“端”走向“云”+“