lec1-GPU硬件体系结构介绍

GPU硬件体系结构介绍大纲GPU最近的成果CPUvs.GPU最近的GPU体系结构CPU和GPU发展趋势GPUcomputing20082013100M150K1604000430MCUDAcompatibleGPUs1.6MCUDA下载50超级计算机640所大学采用CUDA课程37,000篇paper应用领域Oil&Gas信号图像处理计算机视觉生命科学&材料科学分子动力学生物信息学医疗图像CT,MRI,etcBigdata…CPUvs.GPU(GFLOPS)CPUvs.GPU(GB/s)CPU体系结构DRAMCacheI$ControlALUFPUI$ControlALUFPUI$ControlALUFPUI$ControlALUFPUGPU体系结构(SIMD/SIMT)DRAMCacheI$ControlALUALUALUALUALUALU…I$ControlALUALUALUALUALUALU…I$ControlALUALUALUALUALUALU…I$ControlALUALUALUALUALUALU…为什么需要SIMD(SIMT)控制逻辑vs.数据通路(i$/fetch/issue/decode/…)mm^2/flop记分牌(scoreboard)分支预测乱序缓存(re-orderbuffer)MemorywallByte/flop访存效率DDR的特点PowerwallWatt/flopMemoryWall 为什么？Byte/flop(compute)典型应用访存效率DDR特点提高访存效率Byte/compute比例程序=数据+算法完成单位计算需要的数据矩阵乘法DDR架构选择bank激活（activate）一行（行寻址）根据列地址读取数据（列寻址）ArrayofcellsdecodeArrayofcellsdecodeRowdataRowdatarowbankcolcoladdrcoladdrDatabusDDR时序（简化模型）

提高访存效率主要指标：byte/activateCPU:大cache提高命中率，减少访存次数L2/L3cache增加mm^2/flopGPU:高并发，合并访存提高byte/activate控制逻辑vs.数据通路更多控制逻辑？SISD更多数据通路？SIMDSIMD的优势mm^2/flopwatt/flop但是…并行编程挑战资源访问冲突访存效率冗余计算负载均衡通讯开销如何利用多核系统MassiveParallelismDataparallelismRegularcomputationDosimilarworkindifferentthread避免资源冲突挑战？机遇？高频率==高性能？GPU历史固定功能流水线可编程流水线统一处理器流水线通用图形处理器(GPGPU)GPU固定流水线简单OpenGL程序大部分功能固定只能修改部分参数可编程流水线简单的shaderPixel-shaderforeachpixel{Input:pixel坐标，等Output:pixel颜色，等}统一处理器流水线通用计算（GPGPU）利用GPU的高浮点计算能力利用OpenGL启动计算代码缺点编程困难OpenGL的开销…CUDA/OpenCLCUDA简单模型GPUCPU数据+代码运算结果GTX8800http://Kepler(K20)http://

http://Kepler(K20)SMX处理器架构高性能peakflops高效率perf/watt存储系统增强的编程模型SMX1xclock2x数据通路面积节省功耗4

warpscheduler32个线程同时调度（warp）2dispatchp