并行计算--硬件基础及性能评测

1、并行计算Parallel Computing基本概念2022-2-202如何满足不断增长的计算力需求？n用速度更快的硬件，也就是减少每一条指令所需时间n优化算法（或者优化编译）n用多个处理机用多个处理机(器器)同时解决一个问题同时解决一个问题q并行计算并行计算2022-2-203串行计算与并行计算2022-2-204并行的层次n程序级并行程序级并行n子程序级并行子程序级并行n语句级并行n操作级并行n微操作级并行并行粒度粗细2022-2-205FLOPSnFloating point number Operations Per Second -每个时钟周期执行浮点运算的次数 n理论峰值CPU主频

2、每时钟周期执行浮点运算数CPU数目n部分处理器每时钟周期执行浮点运算数：2022-2-2062022-2-207Top5002007年11月n高居榜首的依然是来自高居榜首的依然是来自IBM的的“蓝色基因蓝色基因/L”。自从2004年11月以来，该系统已经连续三年遥遥领先连续三年遥遥领先，而且计算能力不断提升，Linpack基准测试性能基准测试性能478.2 TFlop/s(每秒478.2万亿次运算)，而半年前还是280.6 TFlop/s n拿下亚军位置的还是IBM，不过换成了一台落成不久的“蓝色基因蓝色基因/P”。位于德国尤里希研究中心的这套新系统运算能力167.

3、3 TFlop/s，不过按照IBM的设计规划，蓝色基因/P的性能将有望突破1 TFlop/s大关，即每秒一千万亿次运算。 2022-2-208Top5002007年11月n第三名也是个新面孔，同时也是新墨西哥墨西哥计算应用中心(NMCAC)的第一套超级计算机，由SGI基于Altix ICE 8200打造，计算能力126.9 TFlop/s。 n同时印度史上首次杀入了印度史上首次杀入了TOP10行列行列，印度计算研究实验室的HP Cluster Platform 3000 BL460c以117.9 TFlop/s的性能拿到了第四位 2022-2-209供应商系统数量2022-2-2010供应商计

4、算能力2022-2-2011国家分布系统数量2022-2-2012国家分布计算能力2022-2-2013体系结构系统数量2022-2-2014体系结构计算能力2022-2-2015应用领域系统数量2022-2-2016应用领域计算能力2022-2-2017操作系统系统数量2022-2-2018操作系统计算能力2022-2-2019处理器家族系统数量2022-2-2020处理器家族计算能力2022-2-2021系统数量2022-2-2022计算能力2022-2-20232007年中国高性能计算机性能年中国高性能计算机性能TOP100 2022-2-2024并行化方法n域分解（Domain dec

5、omposition）n任务分解（Task decomposition）n流水线（Pipelining）2022-2-2025域分解nFirst, decide how data elements should be divided among processorsnSecond, decide which tasks each processor should be doingnExample: Vector addition2022-2-2026域分解Find the largest element of an array2022-2-2027域分解Find the largest ele

6、ment of an arrayCPU 0CPU 1CPU 2CPU 32022-2-2028域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-2-2029域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-2-2030域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-2-2031域分解Find the largest element of an arrayCPU

7、0CPU 1CPU 2CPU 32022-2-2032域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-2-2033域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-2-2034域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-2-2035域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022

8、-2-2036域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-2-2037域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022-2-2038任务（功能）分解nFirst, divide tasks among processorsnSecond, decide which data elements are going to be accessed (read and/or written) by which processorsnExamp

9、le: Event-handler for GUI2022-2-2039任务分解f()s()r()q()h()g()2022-2-2040任务分解f()s()r()q()h()g()CPU 0CPU 2CPU 12022-2-2041任务分解f()s()r()q()h()g()CPU 0CPU 2CPU 12022-2-2042任务分解f()s()r()q()h()g()CPU 0CPU 2CPU 12022-2-2043任务分解f()s()r()q()h()g()CPU 0CPU 2CPU 12022-2-2044任务分解f()s()r()q()h()g()CPU 0CPU 2CPU 120

10、22-2-2045流水线nSpecial kind of task decompositionn“Assembly line” parallelismnExample: 3D rendering in computer graphicsRasterizeClipProjectModelInputOutput2022-2-2046Processing One Data Set (Step 1)RasterizeClipProjectModel2022-2-2047Processing One Data Set (Step 2)RasterizeClipProjectModel2022-2-204

11、8Processing One Data Set (Step 3)RasterizeClipProjectModel2022-2-2049Processing One Data Set (Step 4)RasterizeClipProjectModelThe pipeline processes 1 data set in 4 steps2022-2-2050Processing Two Data Sets (Step 1)RasterizeClipProjectModel2022-2-2051Processing Two Data Sets (Time 2)RasterizeClipProj

12、ectModel2022-2-2052Processing Two Data Sets (Step 3)RasterizeClipProjectModel2022-2-2053Processing Two Data Sets (Step 4)RasterizeClipProjectModel2022-2-2054Processing Two Data Sets (Step 5)RasterizeClipProjectModelThe pipeline processes 2 data sets in 5 steps2022-2-2055Pipelining Five Data Sets (St

13、ep 1)Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022-2-2056Pipelining Five Data Sets (Step 2)Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022-2-2057Pipelining Five Data Sets (Step 3)Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2

14、CPU 32022-2-2058Pipelining Five Data Sets (Step 4)Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022-2-2059Pipelining Five Data Sets (Step 5)Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022-2-2060Pipelining Five Data Sets (Step 6)Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022-2