高性能计算导论-introduction

1、高性能计算导论课程 Introduction to High Performance Computing 课程内容 o 什么是高性能计算 o 应用对高性能计算的需求 o 硬件对高性能计算的支持 o 软件对高性能计算的支持 参考文献 o黄铠，徐志伟著，可扩展并行计算技术，结构与编程，北京： 机械工业出版社，2000 o陈国良著，并行计算-结构、算法、编程，北京：高等教育出版 社，1999 o都志辉著，高性能计算并行编程技术-MPI并行程序设计，北京： 清华大学出版社，2001 oMpi:/mpi oOpenMP:

2、oCUDA:http:/ html oOpenCL:/opencl/ WHAT IS HPC? What is HPC? From wikipedia o High-performance computing (HPC) uses supercomputers and computer clusters to solve advanced computation problems. Today, computer systems approaching the teraflops- region are counted as HPC-computers

3、. n supercomputers and computer clusters parallel computer n Advanced computation problems parallel processing algorithm Parallel Computer o A parallel computer is a set of processors that are able to work cooperatively to solve a computational problem. o This definition is broad enough to include n

4、parallel supercomputers that have hundreds or thousands of processors nnetworks of workstations nmultiple-processor workstations nComputer with multi-core processor nand embedded systems o Parallel computers offer the potential to concentrate computational resources n-processors-on important computa

5、tional problems Large scale of concentrated computational resources o Grid o Cloud Parallel Algorithm o Specify multiple operations on each step APPLICATIONS OF HPC DEMANDS ON HPC 应用对高性能计算的需求 o Areas n气象、环境、海洋数值预报应用 n高能物理研究 n生命科学应用（基因序列搜寻与比对、新药研发） n计算机辅助工程（工业生产） n石油勘探 n图像渲染 o Reduction of execution

6、time o Concurrency provided HIGH PERFORMANCE COMPUTER ARCHITECTURE 硬件对高性能计算的支持 o 并行计算机模型 n 物理机器模型 物理（并行）机器模型 o SIMD 计算机： Single-instruction multiple-data n CPU+GPU o MIMD 计算机：multiple-instruction multiple-data n SMP n MPP n Cluster n Blade server PARALLEL COMPUTING MODEL 主要用于设计、分析并行算法 抽象（并行）机器模型（abs

7、tract machine model） o PRAM模型（parallel random-access machine） n 多处理器之间的通信通过访问共享存储器实现 o BSP模型（bulk synchronous parallel） n 多处理器之间的通信通过网络传输实现 PRAM模型 o The communication overhead is ignored BSP模型 o The communication latency and synchronous overhead are considered. 模型中的计算行为 o PRAM： n Exclusive read n Co

8、ncurrent read n Exclusive write n Concurrent write (unsafe) o BSP： n Computation supersteps n synchronization 成本函数 o PRAM: n TEREWTCREWTCRCW o BSP: n TBSP=Pi+C + sL o s: total number of supersteps o i.0 s-1 o P: computation time o C: communication overtime o L: synchronization overhead PROGRAMMING M

9、ODEL 软件对高性能计算的支持 软件对高性能计算的支持 o 编程模型 n A programming model is a collection of program abstractions providing a programmer a simplified and transparent view of the computer hardware/software system. n Parallel programming models are specifically designed for multiprocessors, multicomputers, or vector/

10、SIMD computers 编程模型 Programming Model o 消息传递模型（message passing） n MPI o 共享存储模型（shared memory） n OpenMP o 数据并行模型（data parallel） n CUDA/OpenCL o CPU-GPU architecture o Map Reduce编程模型 PROGRAM STRUCTURE 程序结构 o SPMD：single program multiple data o MPMD ： multiple program multiple data o SIMD ：single instr

11、uction multiple data o Master/Workers 衡量高性能系统性能的评价指标 o 浮点运算的理论峰值（FLOPS） n 主频*总核心数*每个时钟周期浮点运算次数 o 浮点运算的实测峰值（FLOPS） n 测试组件（Linpack）测试 o 并行系统加速比 n 加速比是衡量“并行收益”的重要指标 n Amdahl定律适用于固定计算规模的加速比性能 描述 n Gustafson定律适用于可扩展问题 Amdahl定律 o 计算负载W(原(未改进)系统度量) n串行分量Ws n并行分量Wp o 并行部分的执行速度相对于原串行部分的加速比p o 串行分量比例f，并行分量比例1-f o 并行计算系统加速比: S=(Ws+Wp)/(Ws+Wp/p) =1/(f+(