并行计算与程序设计_第1页
并行计算与程序设计_第2页
并行计算与程序设计_第3页
并行计算与程序设计_第4页
并行计算与程序设计_第5页
已阅读5页,还剩211页未读, 继续免费阅读

付费阅读全文

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

普通高等院校“十二五”规划教材

并行计算与程序设计

刘其成胡佳男孙雪姣毕远伟童向荣编著

梁小芝

内容简介

本书对并行计算的理论知识和并行程序设计方法进行了系统的介绍,包括并行计算基本概念、并行

计算机基础、并行计算模型、并行计算性能评测、并行算法设计基础、OpenMP多线程并行程序设计、

MPI消息传递并行程序设计、Windows线程库并行程序设计、Java多线程并行程序设计等内容。

本书集作者多年的教学经验编写而成,语言通俗易懂,内容安排合理,讲解深入浅出。本书在介绍

并行计算理论知识的基础上,特别注重并行程序设计的实践方法及实用性。书中含有大量精心设计并调

试通过的程序实例,方便读者参考。

本书适合作为普通高等院校计算机科学与技术专业、软件工程专业以及信息类相关专业本科生和研

究生的教材,也可作为社会培训教材或软件开发人员的参考用书。

图书在版编目(CIP)数据

并行计算与程序设计/刘其成等编著.—北京:

中国铁道出版社,2014.6

普通高等院校“十二五”规划教材

ISBN978-7-113-18390-5

Ⅰ.①并…Ⅱ.①刘…Ⅲ.①并行算法-高等学校-

教材②并行程序-程序设计-高等学校-教材Ⅳ.

①TP301.6②TP311.11

中国版本图书馆CIP数据核字(2014)第107439号

书名:并行计算与程序设计

作者:刘其成胡佳男孙雪姣毕远伟童向荣编著

策划:刘丽丽读者热线:400-668-0820

责任编辑:周欣彭立辉

封面设计:刘颖

责任校对:汤淑梅

责任印制:李佳

出版发行:中国铁道出版社(100054,北京市西城区右安门西街8号)

网址:http://

印刷:北京昌平百善印刷厂

版次:2014年6月第1版2014年6月第1次印刷

开本:787mm×1092mm1/16印张:13.5字数:337千

印数:1~2000册

书号:ISBN978-7-113-18390-5

定价:29.00元

版权所有侵权必究

凡购买铁道版图书,如有印制质量问题,请与本社教材图书营销部联系调换。电话:(010)63550836

打击盗版举报电话:(010)51873659

FOREWORD前言

本书紧密结合相关专业规范,面向高等院校的学生和从事软件开发以及相关领域的工程技术

人员,在充分考虑普通高等院校学生实际情况的基础上,覆盖并行计算课程要求的知识单元和知

识点。

教学内容、教学方法、教学手段的改革是每个教育工作者的重要任务。编者根据多年的教学和

软件开发经验,以使用多年的讲义为基础,对本书的内容取舍、组织编排和实例进行了精心设计。

本书在难易程度上遵循由浅入深、循序渐进的原则,特别考虑到普通高等学校本科学生的实际理解

和接受能力。与以往许多相关教材主要以理论为主不同,本书突出实用性,将复杂的理论融于具体

的实例和程序中。书中的实例经过精心设计挑选,程序代码已认真调试,可以直接运行,为读者理

解和使用提供了方便。同时,本书注重培养学生的自学能力和获取知识的能力。在编写过程中,力

图在内容编排、叙述方法上为教师留有发挥空间的同时,也为学生留下自学空间。

全书共分9章:第1章通过一系列实例,介绍了并行计算和并行程序设计的基础知识,以及

一些相关概念;第2章介绍了并行计算机的体系结构、并行计算机的分类,以及多核技术和GPU

技术;第3章介绍了并行计算模型的概念,以及PRAM模型、LogP模型和BSP模型,并且对几

种常见模型进行了比较;第4章介绍了并行计算性能评测的基本概念、并行系统的性能分析方法、

并行系统可扩展性度量指标;第5章介绍了并行算法的设计方法、并行算法的设计过程、并行算

法设计技术;第6章介绍了OpenMP主要编译指导语句、OpenMP主要运行时库函数、OpenMP主

要环境变量、OpenMP多线程程序性能分析;第7章介绍了MPI消息传递接口及MPICH实现、

MPI编程基础、MPI点对点通信和MPI群集通信方法;第8章介绍了Windows线程库基本知识、

Win32API线程函数、MFC和.NETFramework线程处理相关类库;第9章介绍了Java线程的相关

知识、JavaRunnable接口与Thread类实现多线程的方法,以及Java解决线程同步与死锁的方法。

本书由刘其成、胡佳男、孙雪姣、毕远伟、童向荣编著,其中第1章由毕远伟编写,第2章

由童向荣编写,第3~4章、6~8章由刘其成编写,第5章由孙雪姣编写,第9章由胡佳男编写。

另外,张莹莹、邵珠方参与了部分内容的编写,郑文静绘制了部分图形。刘其成设计了全书的结

构,并对全书进行了统稿。

在本书的编写过程中,参阅了大量书籍和其他相关资料,得到了张伟教授及中国铁道出版社

的支持和帮助,在此表示衷心感谢。

尽管书稿几经修改,但由于作者学识有限,书中难免有疏漏与不当之处,恳请各位同仁、读

者不吝赐教。

编者

2014年4月

CONTENTS目录

第1章概述..................................................................................................................1

1.1实例.....................................................................................................................................................1

1.1.1求和.........................................................................................................................................1

1.1.2泡茶问题..................................................................................................................................2

1.1.3图书馆新书上架......................................................................................................................2

1.1.4天气预报..................................................................................................................................3

1.1.5美国HPCC计划......................................................................................................................3

1.1.6教务管理系统..........................................................................................................................3

1.1.7地球物理石油勘探数据处理系统...........................................................................................4

1.2并行计算基础知识..............................................................................................................................5

1.2.1并行计算的重要性..................................................................................................................5

1.2.2并行计算的定义、并行计算机系统及软件............................................................................6

1.2.3并行计算的应用分类..............................................................................................................6

1.2.4并行设计的方法......................................................................................................................7

1.2.5应用系统的并行性..................................................................................................................8

1.2.6并行计算的研究内容..............................................................................................................8

1.3并行程序设计策略和模型...................................................................................................................9

1.3.1并行程序设计策略..................................................................................................................9

1.3.2并行程序设计模型..................................................................................................................9

1.4相关概念............................................................................................................................................10

1.4.1顺序、并发与并行................................................................................................................10

1.4.2进程和线程............................................................................................................................11

1.4.3一些基本概念........................................................................................................................12

第2章并行计算机基础...............................................................................................14

2.1并行计算机体系结构........................................................................................................................14

2.1.1结点.......................................................................................................................................15

2.1.2互联网络................................................................................................................................15

2.1.3并行计算机访存模型............................................................................................................19

2.2并行计算机的分类............................................................................................................................20

2.2.1并行计算机的控制结构.........................................................................................................20

2.2.2地址空间................................................................................................................................21

2.2.3并行计算机系统结构模型.....................................................................................................21

2.3多核技术............................................................................................................................................27

2.3.1多核芯片................................................................................................................................27

2.3.2片上多核处理器体系结构.....................................................................................................28

2.3.3超线程技术............................................................................................................................29

2.3.4基于多核的软件开发............................................................................................................30

2.3.5虚拟化技术............................................................................................................................30

2.4GPU技术...........................................................................................................................................30

2.4.1简介.......................................................................................................................................30

2.4.2GPU与并行计算....................................................................................................................31

·1·

并行计算与程序设计

第3章并行计算模型..................................................................................................32

3.1并行计算模型概述............................................................................................................................32

3.1.1串行计算模型与并行计算模型.............................................................................................32

3.1.2并行计算模型与并行算法.....................................................................................................32

3.1.3并行计算模型与并行系统中其他模型的关系......................................................................33

3.2PRAM模型........................................................................................................................................33

3.2.1基本PRAM模型....................................................................................................................33

3.2.2实例.......................................................................................................................................34

3.3BSP模型............................................................................................................................................35

3.3.1BSP模型原理........................................................................................................................35

3.3.2实例.......................................................................................................................................36

3.4LogP模型...........................................................................................................................................37

3.4.1LogP模型原理.......................................................................................................................37

3.4.2实例.......................................................................................................................................37

3.5并行计算模型比较............................................................................................................................38

3.5.1PRAM模型和LogP模型的比较............................................................................................38

3.5.2BSP模型和LogP模型的比较...............................................................................................38

第4章并行计算性能评测............................................................................................39

4.1基本概念............................................................................................................................................39

4.1.1运行时间................................................................................................................................39

4.1.2问题规模................................................................................................................................40

4.1.3额外开销函数........................................................................................................................40

4.2并行系统的性能分析........................................................................................................................42

4.2.1加速比...................................................................................................................................42

4.2.2效率.......................................................................................................................................46

4.2.3开销.......................................................................................................................................47

4.2.4粒度和数据映射对性能的影响.............................................................................................47

4.2.5实例.......................................................................................................................................48

4.3并行系统的可扩展性度量.................................................................................................................48

4.3.1可扩展性................................................................................................................................48

4.3.2度量指标................................................................................................................................50

4.3.3实例.......................................................................................................................................52

第5章并行算法设计基础............................................................................................53

5.1并行算法设计方法............................................................................................................................53

5.1.1基本方法................................................................................................................................53

5.1.2实例.......................................................................................................................................54

5.2并行算法设计过程............................................................................................................................56

5.2.1PCAM设计方法学.................................................................................................................57

5.2.2划分.......................................................................................................................................57

5.2.3通信.......................................................................................................................................59

5.2.4组合.......................................................................................................................................61

5.2.5映射.......................................................................................................................................63

5.3并行算法设计技术............................................................................................................................64

·2·

目录

第6章OpenMP多线程并行程序设计..........................................................................66

6.1OpenMP编程基础..............................................................................................................................66

6.1.1OpenMP多线程编程模型......................................................................................................66

6.1.2OpenMP程序结构..................................................................................................................67

6.1.3使用MicrosoftVisualStudio.NET编写OpenMP程序............................................................68

6.2编译指导语句....................................................................................................................................70

6.2.1并行域结构——parallel指令...............................................................................................71

6.2.2共享任务结构........................................................................................................................71

6.2.3同步结构................................................................................................................................78

6.2.4数据处理子句........................................................................................................................83

6.3运行时库函数....................................................................................................................................92

6.3.1基本函数................................................................................................................................93

6.3.2运行时库函数的互斥锁支持.................................................................................................94

6.4环境变量............................................................................................................................................95

6.5实例...................................................................................................................................................96

6.5.1求和.......................................................................................................................................96

6.5.2数值积分..............................................................................................................................101

6.6OpenMP多线程程序性能分析........................................................................................................106

6.6.1并行额外开销......................................................................................................................106

6.6.2线程同步带来的开销..........................................................................................................108

6.6.3负载均衡..............................................................................................................................109

6.6.4OpenMP中的任务调度........................................................................................................111

第7章MPI消息传递并行程序设计.............................................................................119

7.1MPI消息传递接口...........................................................................................................................119

7.1.1简介.....................................................................................................................................119

7.1.2MPI程序特点......................................................................................................................119

7.2典型MPI实现——MPICH...............................................................................................................121

7.2.1简介.....................................................................................................................................121

7.2.2MPICH的安装和配置..........................................................................................................121

7.3MPI编程基础..................................................................................................................................126

7.3.1简单的MPI程序示例..........................................................................................................126

7.3.2MPI程序的四个基本函数...................................................................................................127

7.3.3统计时间..............................................................................................................................127

7.3.4错误管理..............................................................................................................................128

7.4MPI的点对点通信...........................................................................................................................128

7.4.1点对点通信的例子..............................................................................................................128

7.4.2MPI_SEND()函数..................................................................................................................129

7.4.3MPI_RECV()函数.................................................................................................................129

7.4.4消息管理七要素..................................................................................................................130

7.4.5非阻塞通信..........................................................................................................................132

7.5MPI群集通信..................................................................................................................................132

7.5.1一对多群集通信函数..........................................................................................................133

7.5.2多对一群集通信函数..........................................................................................................133

7.5.3多对多群集通信函数..........................................................................................................135

·3·

并行计算与程序设计

7.5.4同步函数..............................................................................................................................136

7.6实例.................................................................................................................................................136

7.6.1求和.....................................................................................................................................136

7.6.2数值积分..............................................................................................................................137

第8章Windows线程库并行程序设计.......................................................................140

8.1Windows线程库...............................................................................................................................140

8.2Win32API多线程程序设计............................................................................................................140

8.2.1Win32API线程操作基本函数............................................................................................140

8.2.2Win32API线程间通信函数................................................................................................145

8.3MFC线程库.....................................................................................................................................156

8.3.1MFC线程操作基本函数......................................................................................................156

8.3.2MFC同步类.........................................................................................................................157

8.4.NETFramework线程库...................................................................................................................162

8.4.1.NET线程基本操作.............................................................................................................162

8.4.2.NET线程同步.....................................................................................................................163

8.5实例.................................................................................................................................................175

8.5.1求和.....................................................................................................................................175

8.5.2数值积分..............................................................................................................................179

第9章Java多线程并行程序设计..............................................................................185

9.1线程.................................................................................................................................................185

9.1.1基本概念..............................................................................................................................185

9.1.2线程的状态与生命周期.......................................................................................................186

9.1.3线程调度与优先级..............................................................................................................186

9.2Runnable接口与Thread类.............................................................................................................187

9.2.1Runnable接口......................................................................................................................187

9.2.2Thread类..............................................................................................................................187

9.3多线程的实现.................................................................................................................................

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论