《并行计算概述》ppt课件

1、并行计算Parallel Computing根本概念2022-5-82如何满足不断增长的计算力需求？ 用速度更快的硬件，也就是减少每一条指令所需时间 优化算法或者优化编译 用多个处理机用多个处理机器器同时解决一个问题同时解决一个问题 并行计算并行计算2022-5-83串行计算与并行计算2022-5-84并行的层次 程序级并行程序级并行 子程序级并行子程序级并行 语句级并行 操作级并行 微操作级并行并行粒度粗细2022-5-85FLOPS Floating point number Operations Per Second -每个时钟周期执行浮点运算的次数 理论峰值CPU主频每时钟周期执行浮点

2、运算数CPU数目 部分处理器每时钟周期执行浮点运算数：2022-5-86 2022-5-87Top5002007年11月 高居榜首的仍然是来自高居榜首的仍然是来自IBM的的“蓝色基因蓝色基因/L。自从2004年11月以来，该系统已经连续三年遥遥领先连续三年遥遥领先，而且计算才能不断提升，Linpack基准测试性能基准测试性能478.2 TFlop/s每秒478.2万亿次运算，而半年前还是280.6 TFlop/s 拿下亚军位置的还是IBM，不过换成了一台落成不久的“蓝色基因蓝色基因/P。位于德国尤里希研究中心的这套新系统运算才能167.3 TFlop/s，不过按照IBM的设

3、计规划，蓝色基因/P的性能将有望打破1 TFlop/s大关，即每秒一千万亿次运算。 2022-5-88Top5002007年11月 第三名也是个新面孔，同时也是新墨西哥墨西哥计算应用中心NMCAC的第一套超级计算机，由SGI基于Altix ICE 8200打造，计算才能126.9 TFlop/s。 同时印度史上首次杀入了印度史上首次杀入了TOP10行列行列，印度计算研究实验室的HP Cluster Platform 3000 BL460c以117.9 TFlop/s的性能拿到了第四位 2022-5-89供给商系统数量2022-5-810供给商计算才能2022-5-811国家分布系统数量2022

4、-5-812国家分布计算才能2022-5-813体系构造系统数量2022-5-814体系构造计算才能2022-5-815应用领域系统数量2022-5-816应用领域计算才能2022-5-817操作系统系统数量2022-5-818操作系统计算才能2022-5-819处理器家族系统数量2022-5-820处理器家族计算才能2022-5-821系统数量2022-5-822计算才能2022-5-8232007年中国高性能计算机性能年中国高性能计算机性能TOP100 2022-5-824并行化方法 域分解Domain decomposition 任务分解Task decomposition 流水线Pip

5、elining2022-5-825域分解 First, decide how data elements should be divided among processors Second, decide which tasks each processor should be doing Example: Vector addition2022-5-826域分解Find the largest element of an array2022-5-827域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-5-828域分

6、解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-5-829域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-5-830域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-5-831域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-5-832域分解Find the largest elemen

7、t of an arrayCPU 0CPU 1CPU 2CPU 32022-5-833域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-5-834域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-5-835域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-5-836域分解Find the largest element of an arrayCPU 0CPU 1C

8、PU 2CPU 32022-5-837域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-5-838任务功能分解 First, divide tasks among processors Second, decide which data elements are going to be accessed read and/or written by which processors Example: Event-handler for GUI2022-5-839任务分解fsrqhg2022-5-840任务分解fsrq

9、hgCPU 0CPU 2CPU 12022-5-841任务分解fsrqhgCPU 0CPU 2CPU 12022-5-842任务分解fsrqhgCPU 0CPU 2CPU 12022-5-843任务分解fsrqhgCPU 0CPU 2CPU 12022-5-844任务分解fsrqhgCPU 0CPU 2CPU 12022-5-845流水线nSpecial kind of task decompositionn“Assembly line parallelismnExample: 3D rendering in computer graphicsRasterizeClipProjectModel

10、InputOutput2022-5-846Processing One Data Set Step 1RasterizeClipProjectModel2022-5-847Processing One Data Set Step 2RasterizeClipProjectModel2022-5-848Processing One Data Set Step 3RasterizeClipProjectModel2022-5-849Processing One Data Set Step 4RasterizeClipProjectModelThe pipeline processes 1 data

11、 set in 4 steps2022-5-850Processing Two Data Sets Step 1RasterizeClipProjectModel2022-5-851Processing Two Data Sets Time 2RasterizeClipProjectModel2022-5-852Processing Two Data Sets Step 3RasterizeClipProjectModel2022-5-853Processing Two Data Sets Step 4RasterizeClipProjectModel2022-5-854Processing

12、Two Data Sets Step 5RasterizeClipProjectModelThe pipeline processes 2 data sets in 5 steps2022-5-855Pipelining Five Data Sets Step 1Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022-5-856Pipelining Five Data Sets Step 2Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0C

13、PU 1CPU 2CPU 32022-5-857Pipelining Five Data Sets Step 3Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022-5-858Pipelining Five Data Sets Step 4Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022-5-859Pipelining Five Data Sets Step 5Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022-5-860Pipelining Five Data Sets Step 6Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022-5-861