云计算相关论文

目录综合评论云计算及其关键技术邓倩妮陈全02未来需要云计算姚继锋07伯克利云计算白皮书（节选）卢大勇等译10高性能计算技术并行图形绘制技术综述韩伟杰李晓梅张文16大规模数据密集型系统中的去重查询优化宋怀明安明远等21基于共享内存的机群服务检查点机制研究梁毅王磊等28一种改进的调度策略研究刘胜飞张云泉36浅析软件编程杜晓梅肖华云43高性能计算应用年上海超级计算中心基础科学用户研究进展王涛编译46流固耦合问题并行求解的研究李政金先龙等50交流之窗主机系统信息安全的分析及研究薛刚54科学计算应用软件系列介绍介绍及其在“魔方”上的性能测试和比较寇大治刘源王奉超59工程计算应用软件系列介绍火灾动态模拟器软件介绍李萍63要闻集锦有望实现远距离传输肖湄09计划用制造千万亿次超级计算机李苏27国家实验室将部署蓝色基因超级计算机卢大勇66年高性能计算的五大趋势金溪671领域应用场景科研地震监测海洋信息监控天文信息计算处理医学信息分析海量病历存储分析医疗影像处理网络安全病毒库存储垃圾邮件屏蔽图形和图像处理动画素材存储分析高仿真动画制作海量图片检索互联网服务在线实时翻译网络检索服务2高性能计算发展与应用年第一期总第二十六期云计算及其关键技术l邓倩妮上海交通大学计算机系上海l陈全上海交通大学计算机系上海摘要：论文对新兴的计算模型云计算进行了简要的介绍。论文给出了云计算的定义，介绍了云计算的发展背景和应用场景，分析了云计算和网格计算以及传统超级计算的区别，总结了云计算的关键技术：存储技术、数据管理技术以及编程模型。关键词：云计算；数据存储；数据管理；编程模型云计算产生背景及定义云计算的定义云计算（）是一种新近提出的计算模式。维基百科给云计算下的定义：云计算将相关的能力以服务的方式提供给用户，允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下，通过获取需要服务。中国云计算网将云定义为：云计算是分布式计算（）、并行计算（）和网格计算（）的发展，或者说是这些科学概念的商业实现。的分析师定义云为：“云计算是一个具备高度扩展性和管理性并能够胜任终端用户应用软件计算基础架构的系统池”。虽然目前云计算没有统一的定义，结合上述定义，可以总结出云计算的一些本质特征，即分布式计算和存储特性，高扩展性，用户友好性，良好的管理性。云计算技术具有以下特点：（）云计算系统提供的是服务。服务的实现机制对用户透明，用户无需了解云计算的具体机制，就可以获得需要的服务。（）用冗余方式提供可靠性。云计算系统由大量商用计算机组成机群向用户提供数据处理服务。随着计算机数量的增加，系统出现错误的概率大大增加。在没有专用的硬件可靠性部件的支持下，采用软件的方式，即数据冗余和分布式存储来保证数据的可靠性。（）高可用性。通过集成海量存储和高性能的计算能力，云能提供一定满意度的服务质量。云计算系统可以自动检测失效节点，并将失效节点排除，不影响系统的正常运行。（）高层次的编程模型。云计算系统提供高级别的编程模型。用户通过简单学习，就可以编写自己的云计算程序，在“云”系统上执行，满足自己的需求。现在云计算系统主要采用模型。（）经济性。组建一个采用大量的商业机组成的机群相对于同样性能的超级计算机花费的资金要少很多。云计算的应用场景云计算有着广泛的应用前景。如表所示：表云计算的应用领域云计算在天文学、医学等各个领域有着广泛的应用前景。综合评论3趋势科技和瑞星等安全厂商纷纷提出了“安全云”计划。如今，每天有万多种新的病毒和木马产生，传统的通过更新用户病毒库的防毒模式，受到了严峻的挑战，用户端的病毒库将过于庞大。趋势科技和瑞星的“安全云”将病毒资料库放在“云”端，与客户端通过网络相连，当“云”在网络上发现不安全链接时，可以直接形成判断，阻止其进入用户机器，从根本上保护机器的安全。据趋势科技大中华区执行总裁张伟钦介绍，趋势科技已投入了大量资金，在全球数个地方建设了新型数据中心。同时，趋势科技还花费了多万美元，租借了多台服务器，构建了一个服务遍及全球的“安全云”。目前趋势科技已将公司中低端的部分产品线放到“云安全”计划中，而高端的大部分产品线，仍在准备过程中。谷歌提供的、等服务都基于其云计算服务器运行。谷歌基于云计算提供的翻译服务具有现今最好的性能。对互联网和美国人生活的一项研究显示，大约的在线用户使用以上“云计算”服务。云计算的发展目前，亚马逊，微软，谷歌，等公司纷纷提出了“云计划”。例如亚马逊的（）、和谷歌联合进行的“蓝云”计划等。这对云计算的商业价值给予了巨大的肯定。同时学术界也纷纷对云计算进行深层次的研究。例如谷歌同华盛顿大学以及清华大学合作，启动云计算学术合作计划（），推动云计算的普及，加紧对云计算的研究。美国卡耐基梅陇大学等提出对数据密集型的超级计算（：）进行研究，本质上也是对云计算相关技术开展研究。的调查显示，未来五年云计算服务将急速增长，预期年市场规模可达亿美元。目前企业导入云计算已逐渐普及，并且有逐年成长趋势。估计在年，企业投入在云计算服务的支出将占整体成本的，甚至在年提高至总支出的三分之一。由此可见，在各大公司以及学术界的共同推动下，云计算技术将会持续发展。云计算与其他超级计算的区别云计算与网格计算的区别将网格定义为：支持在动态变化的分布式虚拟组织（）间共享资源，协同解决问题的系统。所谓虚拟组织就是一些个人、组织或资源的动态组合。图“云”系统的结构图网格的结构图和图分别为云及网格的结构示意图。图显示，云计算是一种生产者消费者模型，云计算系统采用以太网等快速网络将若干机群连接在一起，用户通过因特网获取云计算系统提供的各种数据处理服务。图显示，网格系统是一种资源共享模型，资源提供者亦可以成为资源消费者，网格侧重研究的是如何将分散的资源组合成动态虚拟组织。云计算和网格计算的一个重要区别在于资源调度模式。云计算采用机群来存储和管理数据资源，运行的任务以数据为中心。即调度计算任务到数据存储节点运行。而网格计算，则以计算为中心。计算资源和存储资源分布在因特网的各个角落，不强调任务所需的计算和存储资源同处一地。由于网络带宽的限制，网格计算中的数据传输时间占总运行时间的很大一部分。云计算系统与传统超级计算机的区别超级计算机拥有强大的处理能力，特别是计算能力。年月日，最新一期的榜单发布。冠军“”是为美国国家实验室建造的计算机系统。它的运算速度达到了传统分布式文件系统组件失败管理不作为处理作为处理文件大小少量大文件大量小文件数据写方式在文件末尾附加数据修改现存数据数据流和控制流数据流和控制流分开数据流和控制流结合4高性能计算发展与应用年第一期总第二十六期。超级计算机包含个处理器以及个分布于刀片服务器上的芯片刀片服务器安装在个机架上。拥有的内存，外存使用容量的存储，外存通过秒以太网进行连接。耗资超过亿美元。对超级计算机的排名方式可以看出，传统的超级计算机注重运算速度和任务的吞吐率。以运算速度为核心进行计算机的研究和开发。而云计算则以数据为中心，同时兼顾系统的运算速度。传统的超级计算机耗资巨大，远超云计算系统。例如，趋势科技花费多万美元租用多台服务器，构建自身的“安全云”系统。云计算的关键技术云计算是一种新型的超级计算方式，以数据为中列存储的数据管理模式。将表按列划分后存储。云计算的数据管理技术最著名的是谷歌的数据管理技术，同时开发团队正在开发类似的开源数据管理模块。由于采用列存储的方式管理数据，如何提高数据的更新速率以及进一步提高随机读速率是未来的数据管理技术必须解决的问题。编程模式为了使用户能更轻松的享受云计算带来的服务，让用户能利用该编程模型编写简单的程序来实现特定的目的，云计算上的编程模型必须十分简单。必须保证后台复杂的并行执行和任务调度向用户和编程人员透明。云计算采用类似的编程模式。现在所有厂商提出的“云”计划中采用的编程模型，中心，是一种数据密集型的超级计算。在数据存都是基于的思想开发的编程工具。储、数据管理、编程模式等方面具有自身独特的技术。数据存储技术不仅仅是一种编程模型，同时也是一种高效的任务调度模型。这种编程模型并不仅适用于云计算，在多核和多处理器、以及异构机群上同样有良好的性能，为保证高可用、高可靠和经济性，云计算采用。（）和开发团队开分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。云计算的数据存储技术主要有谷歌的非开源的发的的开源实现（）。大部分厂商，包括、的“云”计划采用的都是的数据存储技术。未来的发展将集中在超大规模的数据存储、数据加密和安全性保证、以及继续提高速率等方面。数据管理技术云计算系统对大数据集进行处理、分析向用户提供高效的服务。因此，数据管理技术必须能够高效的管理大数据集。其次，如何在规模巨大的数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题。云计算的特点是对海量的数据存储、读取后进行大量的分析，数据的读操作频率远大于数据的更新频率，云中的数据管理是一种读优化的数据管理。因此，云系统的数据管理往往采用数据库领域该编程模式仅适用于编写任务内部松耦合、能够高度并行化的程序。如何改进该编程模式，使程序员得能够轻松的编写紧耦合的程序，运行时能高效的调度和执行任务，是编程模型未来的发展方向。数据存储技术为了满足云计算的分布式存储方式、同时保证数据可靠性和高吞吐率以及高传输率的需求。目前各厂商多采用或的数据存储技术。以为例。是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。它使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。和普通的分布式文件系统有以下区别，如表所示：表与传统分布式文件系统的区别系统由一个和大量块服务器构成。存放文件系统的所有的元数据，包括名字空综合评论5间、存取控制、文件分块信息、文件块的位置信息等。中的文件切分为的块进行存储。在文件系统中，采用冗余存储的方式来保证数据的可靠性。每份数据在系统中保存个以上的备份。为了保证数据的一致性，对于数据的所有修改需要在所有的备份上进行，并用版本号的方式来确保所有备份处于一致的状态。客户端不通过读取数据，避免了大量读操作使成为系统瓶颈。客户端从获取目标数据块的位置信息后，直接和块服务器交互进行读操作。的写操作将写操作控制信号和数据流分开，如图所示：列，每行动态地划分到记录板中。每个节点管理大约个记录板。时间戳是一个位的整数，表示数据的不同版本。在执行时需要三个主要的组件：链接到每个客户端的库，一个主服务器，多个记录板服务器。主服务器用于分配记录板到记录板服务器以及负载平衡，垃圾回收等。记录板服务器用于直接管理一组记录板，处理读写请求等。为保证数据结构的高可扩展性，采用三级的层次化的方式来存储位置信息，如图所示。其中第一级的中包含的位置，包含所有的位置信息，每个包含许多的位置信息。具体见。图写控制信号和写数据流即，客户端在获取的写授权后，将数据传输给所有的数据副本，在所有的数据副本都收到修改的数据后，客户端才发出写请求控制信号。在所有的数据副本更新完数据后，由主副本向客户端发出写操作完成控制信号。具体请见。数据管理技术为了满足云计算的大规模数据集管理，高效的数据定位需求。谷歌采用的数据管理技术。在各大厂商的支持下，开发团队正在开发其开源版本。以为例。数据管理方式设计者给出了如下定义：“是一种为了管理结构化数据而设计的分布式存储系统，这些数据可以扩展到非常大的规模，例如在数千台商用服务器上的达到（）规模的数据。”对数据读操作进行优化，采用列存储的方式，提高数据读取效率。管理的数据的存储结构为：，：，：。的基本元素是：行，列，记录板和时间戳。其中，记录板是一段行的集合体。中的数据项按照行关键字的字典序排图中存储记录板位置信息的结构编程模型技术当前各厂商提出的“云”计划的编程工具均基于的编程模型。是一种处理和产生大规模数据集的编程模型，程序员在函数中指定对各分块数据的处理过程，在函数中指定如何对分块数据处理的中间结果进行归约。用户只需要指定和函数来编写分布式的并行程序。当在机群上运行程序时，程序员不需要关心如何将输入的数据分块、分配和调度，同时系统还将处理机群内节点失败以及节点见通信的管理等。图给出了一个程序的具体执行过程。从图可以看出，执行一个程序需要五个步骤：输入文件、将文件分配给多个并行地执行、写中间文件（本地写）、多个同时运行、输出最终结果。本地写中间文件在减少了对网络带宽的压力同时减少了写中间文件的时间耗费。执行时，根据从获得的中间文件位置信息，将命令发送给中间文件所在节点执行，进一步减少了传送中间文件对带宽的需求。6高性能计算发展与应用年第一期总第二十六期图程序的具体执行过程模型具有很强的容错性，当节点出现错误时，只需要将该节点屏蔽在系统外等待修复，并将该上执行的程序迁移到其他上重新执行同时将该迁移信息通过发送给需要该节点处理结果的节点。使用检查点的方式来处理出错失败的问题，当出现错误时，可以根据最近的一个检查点重新选择一个节点作为并由此检查点位置继续运行。结语综上所述，云计算是一种新型的计算模式。它的最主要特征是系统拥有大规模数据集、基于该数据集，向用户提供服务。它使用大量的普通商用机来构建系统，通过冗余存储的方式确保整个系统的可靠性和可用性。与传统超级计算机在底层编程不同，数据密集计算的云系统上使用基于的高级编程模式。这使得编程人员可以不用考虑底层的并行化方式，专心与程序的逻辑实现。普通用户经过简单的学习，可以编写出满足自身需要的简单程序。越来越多的厂商提出了自己的“云”计划，并投入大量资金推动云计算的发展。这恰恰为云计算提供了良好的发展机遇。虽然现在的云计算并不能完美地解决所有的问题，但是在不久的将来，一定会有越来越多的云计算系统投入实用，云计算系统也会不断地被完善，并推动其他科学技术的发展。参考文献：维基百科：中国云计算网。：？，：，；，（）：，：，：，：，：，（）：，：，（）：，：，：，；：！：，：，综合评论7未来需要云计算l姚继锋上海超级计算中心上海改变未来的云计算云计算无疑是过去一年中最热门的词汇之一。在计算机技术的发展史上，除了云计算，大概还没有第二个因为一个响亮的名字而迅速引起广泛关注的技术。云计算到底是什么？为什么需要云计算？是商业炒作还是未来愿景？是现有技术的简单组合还是充满挑战和未知？类似的讨论早已在媒体热火朝天，但莫衷一是。所谓“云”，是指在各种技术架构图中常用一个云团来表示的互联网；所谓云计算，即是基于互联网的计算。由此可见，云计算并不是一个新事物（这也是它被一些人诟病为广告宣传语的原因），年前公司就提出了“”，并作为企业战略奋斗至今，相较于云计算，这句话更有力量。云计算不是一个技术名词，很难给出一个确切的定义，它作为一种新的计算形态，直接对应的是传统的桌面计算，即随着的发展和普及在过去多年间人们使用计算机最主要的方式：每个人拥有自己的硬件、软件，本地保存数据和进行处理。互联网只是让人们能更方便的去获得信息，但计算和处理主要还是基于本地的进行。但如果云计算仅仅是指通过互联网利用远端的计算能力进行处理，那么现有的提供一些特定计算功能的网站是不是云计算，例如提供公历农历的转换或者简单的图像处理？答案自然是否定的。云计算的特质是面向海量的数据和复杂的计算，这是被很多人忽略的一点。任何成功的新事物，它无非是提供两个功能：将原来坏的事情，变得不那么坏（做减法）；或者将原来好的事情，变得更好（做加法）。也可以换一个角度，是来缓解或者解决当前面临的问题或困境；或者启迪、开发新的功能、需求或价值。云计算一个明显的优势是可以降低应用计算的成本。利用云计算，用户可以避免本地建设、运维不菲的计算系统，通过支付低廉的服务费用，即可完成同样的计算或处理过程。类似这样的优势，是云计算的缓解困境之道，但对云计算而言，主要的意义应该在后者，即它的出现和存在，是为了触发、满足一些以前未有的需求。计算机的出现是为了满足人们对获取信息、处理信息的需求。纵观数十年计算机技术的发展，有着一条清晰的主线：获得性能更好、处理能力更强的计算机（这是做加法。另外一条主线是获得更方便、更好用、更安全、更低廉的计算机，这是做减法）。搜索引擎、音频视频、动画和游戏、手机、电子导航。所有这些在十年、二十年前你难以想象的新事物某种程度上都得归功于计算能力的不断提高，并已经成为日常生活中不可或缺的一部分。展望五年、十年或者二十年后，还会有哪些新事物出现？不是科幻作家，这个问题或许有些困难，但无疑人们能获得的信息会更多、更好、更便捷。那么导致这些未来新事物出现的推力会有哪些？云计算毫无疑问应该是答案之一。在未来，云计算存在的形态将会是一个个如同、这样的运营和服务中心，可以简单的将它视为数据中心计算中心界面接口。通过界面或者接口，普通用户将可以利用以往只能为少数人所拥有的庞大的数据和处理能力，获得自己所需的信息。云计算对未来最大的意义在于：如果你现在拥有前所未有的数据和计算能力，你能创造什么？推动云计算的一个举措是让高校学生利用现有的进行编程。如果你是其中之一，是一名未来的程序员，想象一下，编写一小段代码，后台运作的是成千上万台的服务器，徜徉的是浩瀚的数据海洋，这是什么样的感觉？同样，如果你是一名科研工作者，平常只是利用桌面的进行模拟演算，而现在给你的是世界上最快的、性能是单台数万倍的超级计算机，那又会是什么感觉？云计算不会很大的改变你现在已有的大部分计算，它的存在主要不是为了替代，而是为了创造。现在使用版的来编写文档，在线的文档编辑工具（如）不会改变这一现状，如果有云计算版本的，那它不仅仅是有多人协同这样的简单功能，而可能是当你敲下一行标题或者输入一列关键字，在页面上会弹出成百上千个你可以作为8高性能计算发展与应用年第一期总第二十六期参考和范本的文档，而这些文档，是从数十亿篇已有的文档中为你精心挑选和准备的。甚至系统会通过某种复杂的算法自动的为你生成一篇文章。这才是云计算可能会做的。理论、实验和计算，这是人类进行创新的三条途径。云计算会使庞大的计算力为更多的人群所利用，它必将很大的加速技术改变人类生活的进程。创造者可以是科学家、工程师、或者程序员，也可能是任何一个有奇思妙想的普通人，只要他有一个终端，有一根网线，能方便的去操控数据、处理数据。谁来进行云计算、百度、新浪、腾讯、盛大等众多已经有着丰富数据资源或计算资源的互联网企业将会走在云计算浪潮的前列，除了安全性、带宽、软硬件资源管理等技术因素外，他们面临的最大挑战是尽快寻找到或者创造出新的基于云计算的用户需求。传统的数据中心和超级计算中心，因其资源的优势，将很有可能走在云计算浪潮的前列。事实上，传统的超级计算中心已经完全符合云计算的特征和描述。例如笔者所在的上海超级计算中心，作为国内首家也是唯一一家面向公众开发的公共计算服务平台，已经通过网络为各个应用领域的用户提供计算服务。对这类数据或计算中心，云计算时代面临的主要挑战同样是拓宽或者寻找新的服务领域和服务内容。对于个人或者中小型企业，云计算通常充满着机遇。他们可以通过和云计算服务中心的合作，托管运行自己的服务。一方面可以将现有的单机难以运行的应用移植到云计算中心，以服务的方式为用户进行数据处理或者计算；另外一方面，同样可以利用云计算服务中心开放的，自行开发应用为用户提供服务，即是这样的例子。个人或者中小型企业与大型的云计算服务中心的紧密合作，这将很可能是未来云计算的主要形态，也是创新的主要动力，毕竟，人民的智慧才是无穷的。最后，政府也将在云计算浪潮中扮演重要的角色，需要运作大型的云计算中心来完成对各个领域大量数据的管理、整合和处理。事实上，已经有多个地方政府着手建立拥有海量存储和庞大计算能力的信息处理中心。想一想美剧反恐小时中的场景，哪个政府不希望拥有那样的信息处理能力呢？云计算的技术挑战工欲善其事，必先利其器。云计算的前景虽然美好，然而还有不少的技术障碍亟需解决，主要包括高可靠的系统技术、可扩展的并行计算技术、海量数据的挖掘技术和数据安全技术。高可靠的系统技术支撑云计算的是大规模的集群计算系统，当系统规模增大后，可靠性和稳定性就成为最大的挑战之一。需要通过有效的系统配置、监控、管理、调度、虚拟化等技术，实现一个强大的、动态的、自治的计算存储资源池，提供云计算所需要的大容量计算力。系统级的容错技术是系统技术方面的一个难点。大量服务器进行同一个计算时，单节点故障不应影响应用的正常运行。对类似数据检索这样计算节点间无通讯的应用，这一点比较容易实现。但对那些有大量通讯的紧耦合类应用，当前业内仍无有效的系统级容错方案。目前主要还是依赖应用层面的检查点和重启技术，一方面增加了开发的难度和工作量，另外一方面对运行性能也有一定的影响。可扩展的并行计算技术并行计算技术是云计算的核心技术，也是最具挑战性的技术之一。多核处理器的出现增加了并行的层次性，使得并行程序的开发比以往更难。而当前业内并无有效的并行计算解决方案，无论是编程模型、开发语言还是开发工具，距离开发者的期望都有很大的差距。自动的并行化解决方案在过去的年间已经被证明基本是死胡同，但传统的手工式的并行程序开发方式又难以为普通的程序员所掌握。、微软、等业内巨头正投入大量人力物力进行相关的研究，但真正成熟的产品在短期内很难出现。可扩展性是云计算时代并行计算的主要考量点之一，应用性能必须能随着用户的请求、系统规模的增大有效的扩展。当前目前大部分并行应用在超过一千个的处理器（核）上都难以获得有效的加速性能，未来的许多并行应用必须能有效扩展到成千上万个处理器上。这对开发者是巨大的挑战。海量数据的挖掘技术云计算面对的是乃至级的海量数据，如何从数据中获取有效的信息，这将是决定云计算应用成败的关键。除了利用并行计算技术加速数据处理的速度外，还需要新的思路、方法和算法来完成更准确、快捷、强大的数据挖掘。除了海量数据的挖掘，海量数据的存储和管理也将是一个巨大的挑战。在云计算时代，数据库将面临严重的危机，要么将集群数据库有效扩展到成综合评论9千上万个节点，要么它就会被类似于文件系统这样的新技术所替代。“数据库已死”，这个断言将成为可能。数据安全技术将原本保存在本地、为自己所掌控的数据交给易。网络技术的发展，使得带宽将不会成为主要障碍，安全性依旧是最重要的顾虑。然而，如同早已习惯将钱存在银行一样，未来的数据银行必将会出现，只是时间的早晚问题。技术其实不是最主要的障碍，制度、法规、诚信、习惯、观念，这些非技术的因素将决定云计算的受欢迎程度。一个外部的云计算服务中心，这样一个改变并不容要闻集锦有望实现远距离传输据：网站年月日消息报道，美国能源部（）下属的橡树岭国家实验室的研究人员证实，可以通过数千英里长的专用网络、以超过高速连接的速率来传送大型数据集。在测试中，研究人员在英里的光路两端的两台计算机间实现了的平均传输速率。相反，使用高速版本（，超文本高速缓冲协议）的最高传输速率也仅为。橡树岭国家实验室的研究人员在最近的会议上发表了名为“广域网性能分析与技术”的文章。实验室发现他们需要的是远距离传输大型文件。在未来的几个月里，欧盟的大强子对撞机将要启动，届时将横跨大西洋把字节的数据传送到实验室和美国的学术机构。称，以高速广域网络传递大型数据是非常困难的，其中还包括来自存储器网络的包转换和调谐的复杂任务。以数千英里的距离传递信息并保持端对端的传输速率仍是个十分复杂的问题。尽管互连广泛应用于高性能计算机系统，但很少进行远距离通信。相反，主要用于在每个端点通过或其它协议把通信量转换为包，并在另一端把通信量转换回。但一些厂商，如和已经开始利用广域设备的，使通信量在整个传送过程中都以来传递。与一些利用专用形式相比，橡树岭国家实验室的官员希望了解到远距离的连接性的优势。通过使用试验的线路交换测试台网络，研究人员设置了一个的光路，来回的传递距离达到英里。在每个端点，设置了一组的开关，通过广域网来运行。该网络是一个双同步光学网络，可支持的吞吐量。研究人员发现，通过专用网络远距离传送大型文件时，工作良好。对于短距离来说，在英里的距离内，其传送量为，而为。但随着距离增加，的性能降低。相反，随着距离的增加，的吞吐量始终保持良好。然而表示，在传送更多通信量时更具竞争力。这一点不足为奇，因为是专为分时网络设计的，是一种在多个端点间传递通信量的网络。充分利用专用网络的要承担相当多的工作，并不能获得最佳效果。因此，研究人员发现可能成为广域网数据传递的替代解决方案。美国国防部和能源部的高性能网络计划也支持这一研究。（肖湄）10高性能计算发展与应用年第一期总第二十六期伯克利云计算白皮书（节选）l，加州大学伯克利分校电子工程和计算机科学系l卢大勇译上海超级计算中心上海l陆琪译惠普公司上海l姚继锋校上海超级计算中心上海译者按：“云计算”一词自出现以来，在产业界和学术界就掀起了波澜，众说纷纭，莫衷一是。在一些人眼里（如、），云计算是未来的方向、潮流和必然，他们迫不及待的拥抱云计算；而在另外一些人眼里（如公司总裁、发起人），云计算只是又一个商业炒作的概念，毫无新意，甚至蠢不可及。在过去的一年中，已经有大量的关于云计算的文章见诸博客、报纸、杂志和严肃的学术刊物。但本文无疑是迄今为止关于云计算最重要的文章之一。文章的作者是分布式计算领域最有影响力的研究团队之一，领衔者是计算机界的权威，曾担任伯克利计算机系主任和美国主席，本文是他们长达六个多月工作的结果，详细解答了什么是云计算、和以前的模型如有什么不同、为什么现在是云计算发展的最佳时机、云计算将创造什么新的机遇、有哪些挑战以及如何应对等一系列问题。文章以内部技术报告方式发表于年月日，原文标题为“：”。全文可从如下地址下载：。原文篇幅超过页，本文为其节选，翻译全文可从上海超级计算中心网站下载。云计算：一个即将实现的古老梦想云计算是计算作为基础设施这一长久以来梦想的新称谓，它在最近正快速变为商业现实。但到底什么是云计算？什么时候运用云计算会有效？这些问题仍然没有得到明确的解决。我们这篇论文的目的，就是要明确一些术语，提供简单的公式来量化比较云计算和传统计算，并明确阐述云计算的发展的最大技术和非技术挑战，及相应存在的机遇。我们将尝试回答以下问题：什么是云计算，它与以前的模型如有什么不同？为什么现在正是云计算要发展的时候，而以前的尝试都是失败的？成为云计算供应商需要什么条件？为什么公司需要考虑成为一个云计算的供应商？云计算将创造什么新的机遇？如何对现有的云计算产品进行分类，他们在技术和商业上各有什么不同的挑战？云计算可能创造什么新的经济模型？服务运营者改如何决定将服务转移到云中还是保留在私有数据中心里？云计算成功的大挑战是什么？相应有什么解决方案？将来的应用软件、基础软件和硬件都需要为适应云计算作哪些设计上的改变？什么是云计算？云计算包含互联网上的应用服务及在数据中心提供这些服务的软硬件设施。互联网上的应用服务一直被称作软件即服务（，），所以我们使用这个术语。而数据中心的软硬件设施就是我们称作的云（）。综合评论11当云以即用即付的方式提供给公众的时候，我们称其为公共云，这里出售的是效用计算。当前典型得效用计算有、和微软的。不对公众开放的企业或组织内部数据中心的资源称作私有云。因此云计算就是和效用计算，但通常不包括私有云。在本文中，除非会引发歧义，否则我们将使用云计算这个术语。图表示了云计算各层中的用户和供应商，我们将使用这些术语使我们的论点更将清晰。对于最终用户和供应商的好处已经被广泛认识了。服务提供商只需要关注软件的安装、维护和版本的集中控制；最终用户可以在任何时间、任何地点访问服务，更容易共享数据和劳动，并安全的将数据存储在基础系统中。云计算不会改变这一切，而且还能为更多的应用服务供应商提供选择，因为他们可以在没有数据中心的情况下将他们的产品以方式发布。正如半导体代工的出现使芯片公司可以不拥有生产线而专注于芯片设计与销售一样，云计算使企业能不建立和提供数据中心就可以方便的发布服务。如同供应商减轻了传统的软件使用者的许多困难一样，云计算供应商将可以极大的帮助供应商。图云计算的用户和供应商从硬件上看，云计算在三方面突破了传统。云计算能所需应变的提供使似乎无限的计算资源，云计算终端用户无需再为计算力准备计划或预算。云用户（服务供应商）可以根据需要，逐步追加硬件资源，而不需要预先给出承诺。云计算提供其用户短期使用资源的灵活性（例如：按小时购买处理器或按天购买存储）。当不再需要这些资源的时候，用户可以方便的释放这些资源。我们认为这三点都是云计算可能对技术和经济造成的重要变革。事实上，我们注意到，过去在效用计算上的努力都失败了，正是因为遗漏了这三大特性中的一到两点。举例来说，年的英特尔计算服务要求以合同方式被长期使用，而不是以小时为单位的购买方式。云计算对于其用户（供应商）的吸引力已经非常明了了，那么谁将成为云计算的供应商呢？他们为什么要这样做？首先，实现所谓复用性和大宗采购这样的规模经济需要建立超大型数据中心。建造、提供、启动这样一个数据中心需要数百万美元的投资。另一个重要的条件是，这些公司还必须开发出可扩展的基础软件（如、的文件系统、和）以及配备专业的运维人员，以确护数据中心免受物理或电子攻击。因此，成为云计算供应商的必要非充分条件是：必须已经拥有非常大型的数据中心、大规模的基础软件和运维数据中心的高级人才。在此前提下，以下因素也可能影响一个公司是否能成为云计算的供应商：能挣很多的钱。一个足够大的公司仍然可以利用规模经济，以低于中等规模公司的成本提供很好的服务，同时获得可观的利润。利用已有的投资。在现有体系中增加云计算服务，可以新增一种收入方式。理想情况下，追加的成本并不高，而且能分摊前期数据中心的巨大投资。捍卫特许经营权。随着传统服务器和公司应用转入云计算，拥有特许经营权的供应商将希望为他们自己的应用提供云。占据技术要塞。拥有足够数据中心和软件资源的公司都希望在云计算时代真正来临之前建立自己的立足点。提供了另一种迁移到云环境的方式。它的吸引力在于它提供大量自动化的可扩展性和负载均衡的功能，这样开发人员不再需要在开发中考虑这些问题了。利用客户关系。服务企业，如全球服务通过他们提供的服务，拥有广泛的客户关系。提供一个品牌的云计算，客户可以不用担心迁移过程，从而维持双方的投资和客户关系。成为一个平台。正如我们所见到的那样，提倡的应用程序插件方式是非常适合云计算的。应用插件的提供商，同时也是一个云计算供应商。但是，的动机是让他们的社交网络应用变成一个新的开发平台。云的大风暴：为什么是现在？尽管我们认为建造和运营超大规模商用数据中心是云计算可能的前提，但是技术发展的趋势和新的商业模式是使之现在能成为现实的关键。一旦云计算开始腾飞，以前无法理解的应用机遇和使用模型都将被发现。12高性能计算发展与应用年第一期总第二十六期新技术趋势和商业模式随着的出现，“高接触、高利润、高承诺”的服务提供方式正在朝“低接触、低利润、低承诺”的自助式服务转变。根据这一观点，在年提供无合同的即用即付计算服务：所有用户需要的只是一张信用卡。第二个创新点就是出售硬件级的虚拟机时，允许客户互不影响地选择他们各自需要的软件，通过共享硬件降低成本。新的应用机遇虽然我们还没有看到云计算从根本上创造新型的应用，但是我们认为，几个重要类型的现有应用将变得更加引人注目，并在将来推动云计算的发展。在年调研技术发展趋势的时候得出这样的结论：经济必要性要求我们将数据存储在应用程序的附近，因为广域网的成本（保持相对昂贵）比其他所有硬件设备的成本都要降低得更慢。虽然自分析之后，硬件成本已经发生了改变，但是他的“盈亏平衡点”的观点并没有改变过。移动互动应用程序。认为“将来是属于那些能对人或者其他传感器提供实时响应的服务”。这种服务是非常适合云的，因为他们不仅要求高可用性，而且通常需要大型数据中心妥善存储大量数据。更突出的例子就是那些需要综合两个或多个源信息或服务提供综合服务的应用，如。并行批处理程序。云计算为批处理和数据分析提供了独特的机遇，级的数据分析将可以在数小时内完成。如果应用程序中的数据具有足够的并行性，用户可以利用云提供的成本特性，即相同成本下同时使用大量机器能在短时间内完成少量机器需要长时间才能完成的工作。分析需求的兴起。计算密集型批处理的典型案例就是商业分析。虽然大型数据库工业起初主要针对事务处理，但是这种需求已经不再增长了。现在越来越多的计算资源用于理解客户、供应链、购买习惯及排名分析等数据分析问题上了。因此，网数据库处理的资源平衡点正在从事务转向商业分析。计算密集型桌面应用程序的扩展。最新版本的数学软件包和可以通过云计算进行复杂的评估计算。其他的桌面应用程序可能同样可以无缝地扩展到云。地域局限的应用程序。一些应用程序可能本身非常适合云的伸缩性和并行性，但是却因为数据传输成本或者数据传输延迟的根本性限制而不得不放弃使用云计算。除非广域网数据传输的成本（或者延迟）降低，否则这样的应用程序就不适用于云。效用计算分类任何应用都需要计算模块，存储模块和通讯模块（这里假设应用是简单分布的）。对于获得弹性和无限计算能力（需要将资源进行虚拟化）可复用性是必要的（如何实现复用与共享是被程序员所隐藏的）。我们的观点是，不同的效用计算将由展现给开发者的抽象层次的不同和各种计算存储资源管理层次的不同这两者所决定的。是一个典型案例。一个实例看上去像一台物理硬件，用户可以控制几乎除核心以上的所有软件堆栈。另外一个典型案例是面向特定领域的应用平台，像和（商业软件开发平台）。微软的是一个介于灵活性（如同那样）和编程方便性（如同一样）两者之间的案例。在云计算领域是否存在一种模式最终将取代其他模式？我们可以参照编程语言和框架的来进行说明。类似于和汇编语言这样的底层语言能很好的控制物理机器的通信，但如果开发人员写的是应用程序，那么套接字的管理，分发请求等等用这类语言，即使采用好的库来写也是繁重而乏味的。另一方面，上层框架，例如使得这些机械性的工作对于程序员透明化，但这只能用于那些符合这个框架的应用来使用，并且这些应用只能使用框架所提供的东西；任何框架不提供的东西需要深入框架内进行修改，这通常会非常困难。另外，就像上层语言被底层语言实现一样，具备高可管理性云计算平台可以建立在低可管理性平台的基础上。举例来说，能够建立在和的顶部；能够建立在的顶部。云计算经济学弹性伸缩性：转嫁风险虽然云计算的经济吸引力常常被描述成“将资金支出转变为运营支出”，我们相信“即买即用”这一说法更准确的描述了购买者所能看到的经济方面的好处。通过云计算购买的计算时间可以用不同的方式实现（台机器算个小时或者台机器算个小时）。此外，由于不需资金来提前进行计算能力的部署，这部分资金可以投入到利润空间较大的核心业务中去。伸缩性关键的一点是云计算可以细粒度的添加和移除资源（例如以服务器或者处理器为单位），并且时间的计算位是分钟而不是周，这将能使计算问题机会服务的可用性选用多个云计算提供商；利用弹性来防范攻击数据丢失标准化的；使用兼容的软硬件以进行波动计算数据安全性和可审计性采用加密技术，和防火墙；跨地域的数据存储数据传输瓶颈快递硬盘；数据备份获取；更加低的广域网路由开销；更高带宽的交换机性能不可预知性改进虚拟机支持；闪存；支持应用的虚拟集群可伸缩的存储发明可伸缩的存储大规模分布式系统中的错误发明基于分布式虚拟机的调试工具快速伸缩基于机器学习的计算自动伸缩；使用快照以节约资源声誉和法律危机采用特定的服务进行保护软件许可使用即用即付许可；批量销售综合评论13资源跟计算负载可以很好的匹配。而现实中数据中心的服务器利用率大概仅在到左右。这听上去低得吓人，但考虑到许多服务的峰值工作量比平均值要高倍，就容易理解了。很少有用户部署系统低于峰值需求，这就必然导致了非峰值时间资源的浪费。负载的波动性越强，导致的浪费就越多。云计算将错误估计负载的风险从服务运营商转移到了云提供商。云提供商可能需要收取额外的费用以承担这个风险。成本比较：应该转向云计算吗？如果从经济角度考虑，是该将现有的基于数据中心的服务转向云计算，还是继续驻留在数据中心？我们统计了年和年计算资源成本，给出了年和年美元所能购买资源的比较结果，并且给出了在年的价格基础上，与上使用美元价值的资源其实际成本的对比。乍一看，年美元的硬件采购将比租用美元相同硬件的要有优势。然而这个简单分析遗漏了许多重要的因素。每个资源单独支付。大多数应用所使用的计算、存储和网络带宽都不是相同的；一些应用主要应用都不能充分用满一个单一资源。直接购买云计算能够将应用与各种类型的资源隔离开来，能够降低不能充分利用资源的浪费。电力、制冷和场地成本。电力、制冷和放置硬件的场地成本，这些因素在我们的分析中并未考虑。据粗略估计：在分摊放置硬件的建筑物的使用周期成本后，将会使、存储和带宽的成本增加一倍。运维成本。当前用于运维硬件的成本是十分低的重启系统非常简单（可以按地址或者分组控制电源开关），而且经过简单培训的维护人员就可以进行服务器或者机柜级的损坏组件更换。一方面，由于效用计算是采用虚拟机而不是物理机，从云用户的观点来看，这些工作是云供应商应该承担的。云计算大问题与机遇本章中，我们将云计算发展所面临的问题进行排序，给出一个列表。其中每一个问题对应一个机遇即我们对于克服相应问题的想法，包括一些直接的产品开发到主要的研究项目。表中给出了大问题与机遇。使用，另外的主要占用网络资源等等，并且这些表格云计算发展的大挑战及相应的机会问题：服务的可用性现今，绝大多数互联网服务提供商都会利用多个网络提供商来使自己避免在一个单独公司出现故障的情况下导致从互联网上消失，我们相信唯一合乎情理的提供极高可用性服务的解决方案就是多云计算提供商。可用性相关的另一个问题是（，分布式拒绝服务）攻击。由于弹性，云计算将攻击目标从提供商转移到能够马上吸引攻击并且具有攻击保护能力的效用计算提供商。问题：数据丢失虽然现在的软件集已经在跨平台性方面改进了很多，但是从本质上说云计算的仍是私有的，或者说当前没有建立起统一的标准。因此，用户很难将他们的数据和程序从一个站点迁移到另一个。这也是很多用户不愿采用云计算的原因。显然，将云计算标准化是上面问题的解决方案，这样开发人员能够在多个云计算提供商处发布服务和数据。某个公司的失误或故障将不会影响到用户数据的每个拷贝。14高性能计算发展与应用年第一期总第二十六期问题：数据安全性和可审计性过去一段时间中我们曾听到多次这样的话：“我们企业的那些敏感数据将永远不会放到云中。”当前的云从本质上来说是提供了公共（而不是私有）网络，因此会遭受更多的攻击。可审计性也很重要，按照萨班斯法案和健康保险携带和责任法案等相关法律规定，企业提交到云中的数据必须满足审计需求。我们相信建立同现有的各类内部环境同样安全的云计算环境是不存在任何根本问题的，灵活的运用加密存储、虚拟局域网、网络中间件（例如防火墙、包过滤）等技术就能迅速的解决当前已经碰到的一些问题。问题：数据传输瓶颈当前应用发展越来越趋向于数据密集型。如果应用能够被拆分交由不同的云去处理，这将导致复杂的数据存放和传输。快递硬盘是克服这样高成本的互联网传输成本问题的一种机遇。发现，传输大量数据最便宜的方式是用次晨达的快递方式来快递硬盘，甚至整个计算机。虽然没有硬盘厂商和计算机厂商的保证，我们认为以快递硬盘这种方式来进行数据传输是可靠的。第二个机遇是发现在云中保存数据的吸引人之处。由于一旦数据存放在云中，数据传输将不在是一个瓶颈，这将会催生其他一些利用云计算能力的新服务。第三个更加激进的机遇是试图快速降低广域网带宽的成本。除了广域网带宽成为一个瓶颈外，云内网络技术也可能是一个性能瓶颈。问题：性能不可预知性我们的经验表明，在云计算中多虚拟机能够很好的共享和内存，但是的共享却有明显的问题。一个机遇是改进体系结构和操作系统以获得更有效率的虚拟中断和通道。另外一个可能是闪存能够降低冲突。闪存相比硬盘能够支持更多的单位时间内的操作，因此，有着随机访问冲突的多虚拟机能够很好的协同工作，而不会出现使用机械硬盘时常见的互相干扰。最后一个不可预期的问题是运行某些批处理程序时多个虚拟机的调度问题，这在高性能计算领域尤其明显。克服这一问题的机遇就在于为云计算提供一个有效的资源调度和管理工具。问题：可伸缩的存储目前针对这个问题有许多不同的尝试，从提供丰富的查询和存储，提供性能保证，到由存储系统支持数据结构，都各不相同。存在的机遇是创建一个存储系统，不仅具备上述功能，而且提供向上和向下的伸缩性支持，同时在可扩展性、数据持久性以及高可用性等数据管理方面满足程序员需求。问题：大规模分布式系统中的错误云计算中一个很大的挑战是从大规模分布式系统中去消除错误。一个经常出现的问题是这些不会在稍小规模的配置中重现，因此调试必须在生产环境中进行。云计算中的虚拟机可能会成为一个机遇，它可能使程序员获得在传统分布式系统上难以获得的一些有价值的信息。问题：快速伸缩即用即付无疑很适合存储和网络带宽，这两者都可以用使用字节数来衡量。由于使用虚拟机，计算稍稍有些不同。这里的机遇是在不违背使用协议的前提下能够实现根据负载自动并快速的调整计算规模以能够最大的节省费用。问题：声誉和法律危机一个用户的恶意操作会影响到整个云的声誉。创建类似于信任邮件服务那样的声誉保护服务将可能会成为一个机遇。另外一个问题是法律责任的转移当出现问题是，云计算提供商将会希望由用户去承担相应法律责任，而不要将责任转嫁给他们。问题：软件许可当前软件许可证通常限定在运行软件的机器上。用户购买软件并按年支付维护费用。许多云计算提供商从一开始就倾向于开源软件，部分正是因为商业软件许可证模式并不适合效用计算。首要的机遇要么开源持续流行要么商业软件公司改变他们的许可证结构，让其更加适合云计算。还有一个办法是鼓励软件公司制定销售政策来向云计算提供产品。将软件公司销售部门的一些反对派转到支持云计算者的阵营中来。总结与云计算的展望计算作为一项服务功能是人们长久以来的梦想。使用的弹性符合了通过互联网向用户直接提供服务的商业需求，因为，相比年前，工作量的增长和收缩变得更加快速。过去要花好几年时间来增加业务和发展几百万用户，现在只要一个月的时间就可以做到。从云供应商的观点出发，利用商品化的计算、存储和网络低成本的建立大型数据中心使得以低于许多中等规模的数据中心的价格“即用即付”的销售资源成为可能，并且利用资源在大量用户间的复综合评论15用来获取利润。从云用户的观点出发，云计算可以令一个初创的软件公司象初创的芯片厂商拥有为之服务的代工厂一样拥有自己的数据中心。除了初创公司，许多老牌公司或机构同样充分利用了云计算的伸缩性。虽然，云计算提供商可能碰到上文提及的问题，我们相信经过长期的运行，这些提供商将会成功的完成这些挑战并建立一套可以让其他提供商效仿的运营模式，也许正是通过成功的把握我们提及的解决这些的问题的那些机遇来实现。因此，开发人员需要明智的来设计下一代的系统，以适应云计算。一般来说，重点应该放在成百上千个虚拟机上运行应用的横向可扩展性，而不是考虑单个系统的使用效率。这隐含了如下几点：应用软