并行计算综述.doc

并行计算综述摘 要：并行计算是计算机科学中重要研究内容，已有几十年的发展历程，创建和应用并行计算的最主要原因是因为它解决单处理机速度瓶颈的最好方法之一。本文解释了什么是并行计算，给出了并行体系的结构，以及并行计算近期的新动向。关键词：并行计算 体系结构 研究动向 Abstract: Parallel Computing is major research contents in Computational Science, it has been developed for dozens of years, why establish and use Parallel Computing, because it is one of the best way to solve the problem in speed bottleneck of uniprocessor. We explain the meaning of Parallel Computing, provide the structure of parallel system and give the new trends of Parallel Computing lately.Key word: Parallel Computing, architecture, research trends1. 前言21世纪是一个人类文明飞速发展的世纪，随着科学技术的飞速发展，需处理的信息量正成倍的增加，从而需要更大的存储空间及更快更好的信息处理方式。从最初的冯诺依曼计算机到现在的超级计算机，从工业生产航天航空到商业交易居民生活，计算机显然已成为人们离不开的计算工具。短短几十年，计算机更新换代极快，计算机的计算速率和计算精确度也成倍提高。但是，对于越来越大的信息处理需求，单机的性能已经远远不能满足我们这个信息时代飞速发展的需求。在一些工程与科学研究领域，时限要求严格的数值计算问题，比如天文计算，卫星图像数值分析，天气模拟数值等等信息量较大的计算，单机仍需要耗费几个月以至几年时间不等。为了克服单机运算慢和顺序计算问题，并行计算适时出现。并行计算与新一代计算机科学相结合，成为解决这些问题极为有效的方法。极大有效的节省了运算时间，为大型运算提供了可能。对社会科技的进步也起到了一定的推动作用。并行算法1的发展受到了越来越多的关注，在近二十年来，得到不少的发展。过去的10年是超级计算机，特别是并行机飞速发展，走向成熟的10年。2什么是并行计算并行计算2(Parallel Computing) 是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。并行计算是相对于串行计算即在单个计算机(具有单个中央处理单元)上执行的操作，所提出的。通俗的说，在并行机上3，将一个任务分解成多个子任务，分配给不同的处理器，各个处理器之间相互协同，并行地执行子任务，从而达到加速求解速度，或者求解应用问题。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理器来计算处理。并行计算系统既可以是专门设计的、含有多个处理器的超级计算机，也可以是以某种方式互连的若干台独立处理机构成的集群。 图1 传统串行计算图2 并行计算3为什么需要并行首先，对于那些要求快速计算的应用问题，单处理机由于器件受物理速度的限制而无法满足要求，所以使用多台处理机联合求解就势在必行了；其次，对于那些大型复杂的科学工程计算问题，为了提高计算精度，往往需要加密计算网络，这也意味着大计算量，它通常需要在并行机上实现；最后，根据著名摩尔定律，集成电路上可容纳的晶体管数目，约每隔18个月就会增加一倍，随着晶体管速度的增快，它们的热能消耗也相应增加，当一块集成电路变得太热的时候，就会变得不可靠，所以我们需要构建并行系统。4并行体系结构并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。对于流水线4，处理器的功能单元被一次排列，其中一个的输出作为另一个的输入。当一个数据在第二个功能单元内处理时，另一个数据就能在第一个处理单元内处理。而空间上的并行导致了两类并行机的产生，即单指令流多数据流(Single Instruction, Multiple Data)和多指令流多数据流(Multiple Instruction, Multiple Data)。 图3 (a)SIMD类型 (b)MIMD类型 类似地，我们常用的串行机有时也被称为单指令流单数据流(Single Instruction, Single Data)。在1972年诞生的第一台并行计算机ILLIAC IV就属于SIMD类型机器。而自上个世纪八十年代以来，都是以MIMD并行计算机的研制为主。常见的MIMD类的机器可分：并行向量处理机、对称多处理机、大规模并行处理机、工作站机群、分布式共享存储处理机等五类。5并行编程模型5.1共享内存模型a)在共享编程模型中，任务间共享统一的可以异步读写的地址空间。 b)共享内存的访问控制机制可能使用锁或信号量。 c)这个模型的优点是对于程序员来说数据没有身份的区分，不需要特别清楚任务简单数据通信。程序开发也相应的得以简化。d)在性能上有个很突出的缺点是很难理解和管理数据的本地性问题。5.2线程模型在并行编程的线程模型中，单个处理器可以有多个并行的执行路径。5.3消息传递模型消息传递模型有以下三个特征：1）计算时任务集可以用他们自己的内存。多任务可以在相同的物理处理器上，同时可以访问任意数量的处理器。2）任务之间通过接收和发送消息来进行数据通信。3）数据传输通常需要每个处理器协调操作来完成。例如，发送操作有一个接受操作来配合。5.4 数据并行模型 数据并行模型有以下特性： 1）并行工作主要是操纵数据集。数据集一般都是像数组一样典型的通用的数据结构。 2）任务集都使用相同的数据结构，但是，每个任务都有自己的数据。 3）每个任务的工作都是相同的，例如，给每个数组元素加4。6并行计算的研究动向并行计算的研究5一般包含并行计算机体系结构、并行算法设计、并行程序设计等三个方面的内容。其中并行机体系结构从并行计算的角度主要研究高性能计算机系统的体系结构与存储模型、高速互连网络、通信操作、多级存储及其一致性等；并行算法设计重点研究并行算法的常用设计策略、基本设计技术、一般设计过程、标准性能评测等；并行程序设计主要研究并行程序设计模型、共享存储和分布存储系统的并行编程、并行程序的设计环境与工具以及科学计算可视化等。以多核为主流的体系结构：最近几年来，随着芯片集成度极限的逼近以及功耗和成本等因素，具有多核结构的产品逐渐成为市场主流。以数据为中心的云计算：云计算可以看成是分布计算、并行计算和网格计算的最新发展，它用来通过网络实时提供产品、服务和解决方案，其核心是将一个或几个数据中心的计算资源虚拟化后，向用户提供以租用计算资源为形式的公共服务，包括基础设施即服务、数据即服务、平台即服务、软件即服务等。以普及应用为宗旨的个人高性能计算机：百万亿至千万亿次以上的高端并行机是国家级共享平台的基础设施，万亿至十万亿次的低端并行机是部门或单位级的计算设施。我们把这种低端并行机称为个人高性能计算机，它比普通的服务器或PC机在浮点运算速度、能处理的数据大小、IO性能、数据交换能力等方面，要高1至2个数量级。参 考 文 献1美Ananth Grama.并行计算导论M