多核技术导论

1、MulticoreProgramming,Instructor:ZhangWeizhe(张伟哲)ComputerNetworkandInformationSecurityTechniqueResearchCenter,SchoolofComputerScienceandTechnology,HarbinInstituteofTechnology,2,课程安排,Classhours:Weeks12-19周二，1-2am致知32周四，1-2am致知32Office:综合楼708Informationexchange:wewillmainlyuseemailEmail:Contacttimes:af

2、terclassorbyappointmentTransparencies:availableafterclass(*.pdf),3,实验安排,Classhours:Weeks15-19五楼网络实验室Content：1）Intel多核编译器及性能分析器2）基于WindowsThread和OpenMP的多线程编程3）基于cell的多核程序设计4）基于MPI的并行程序设计,4,考核安排,Examhours:Weeks20Fri.10:00-12:00am正心33Requirement：（1）Exam：60（2）Experiments：30（3）Attendance：10,5,教材,多核程序设计清华

3、大学工业出版社IntroductiontoParallelComputing机械工业出版社,6,教材,DesigningandBuildingParallelPrograms并行程序设计IanFoster等著，人民邮电出版社网址：/dbpp/,7,参考书目,多核程序设计技术通过软件多线程提升性能Multi-CoreProgramming-increasingperformancethroughsoftwaremulti-threadingShameemAkhter等著/李宝峰等译,电子工业出版社，2007高性能计算并行编程技术MPI并行程序设

4、计都志辉等著，清华大学出版社，2001网址：,8,课程基础知识,高级程序设计语言数据结构及算法计算机网络(TCP/IP),9,本课程的目的,总体目标：将多核技术与并行程序设计的内容结合起来，培养面向多核处理器和Linux环境的并行程序设计人才。并行处理的基础理论多核处理器体系结构基于共享内存的多核并行程序设计基于消息传递的多核并行程序设计面向多核系统的并行算法,10,课程的主要内容,多核技术导论,多核处理器体系结构,并行程序设计基础,多核程序通讯及算法性能分析,并行计算系统同步,多核程序设计,并行计算系统互斥,容错,基于共享内存程序设计,基于分布式内存程序设计,Windows多线程,Linux

5、多线程,MPI程序设计,PVM程序设计,OpenMP多线程,Cell程序设计,11,关于如何学习,1、课堂知识2、搜索引擎3、论坛和专业站点4、期刊论文（CNKI）5、花足够的时间研究案例实践,Slidesdonotcoveranything,Notareplacementtoyourownreadingandownnotes,第一章多核技术导论,第一章多核技术导论,微处理器发展史,计算机先驱-BabbageAnalyzer,微处理器和计算机的发展史,计算机的发展按照硬件工艺可以分为第一代（1946-1958）：电子管数字计算机。第二代（1958-1964）：晶体管数字计算机。第三代（1964

6、-1971）：集成电路数字计算机。第四代(1971年以后）：大规模集成电路数字计算机,ENIAC（ElectronicNumericalIntegratorandCalculator，即电子数字积分器和计算器）,1946年，世界上第一台全自动电子数字计算机,微处理器和计算机的发展史,计算机的发展按照硬件工艺可以分为第一代（1946-1958）：电子管数字计算机。第二代（1958-1964）：晶体管数字计算机。第三代（1964-1971）：集成电路数字计算机。第四代(1971年以后）：大规模集成电路数字计算机,18,美国的IBM公司制成了第一台全部使用晶体管的计算机RCA501型。1958年,微

7、处理器和计算机的发展史,计算机的发展按照硬件工艺可以分为第一代（1946-1958）：电子管数字计算机。第二代（1958-1964）：晶体管数字计算机。第三代（1964-1971）：集成电路数字计算机。第四代(1971年以后）：大规模集成电路数字计算机,20,IBM360系统是最早使用集成电路元件的通用计算机系列，计算机从此进入了集成电路时代。1964年，IBM360为第三代计算机里程碑,微处理器和计算机的发展史,计算机的发展按照硬件工艺可以分为第一代（1946-1958）：电子管数字计算机。第二代（1958-1964）：晶体管数字计算机。第三代（1964-1971）：集成电路数字计算机。第四

8、代(1971年以后）：大规模集成电路数字计算机,22,4位、8位与16位微处理器,第一代处理器：1971年，英特尔推出微处理器4004世界上第一款微处理器Intel8008是世界上第一种8位的微处理器,23,4位、8位与16位微处理器,第二代处理器：Intel公司的8080、8085Zilog公司的Z80、摩托罗拉公司的6800第三代处理器1978年，Intel公司的8086是第一个16位的处理器Intel的80881981年，美国IBM公司将8088芯片用于其研制的PC机中、开创了全新的微机时代Intel的80286实模式与保护模式、多任务Zilog公司的Z8000、摩托罗拉公司的68000

9、,24,Intel8086/8088架构,25,第一台PC的诞生(IBM,1981),Intel8088Microprocessor,FirstPCequippedby8088,TheAppleMacintosh,In1984,AppledebuteditsMacintosh,whichpopularizedthegraphiticuserinterface,knownastheGUI.,MacintoshSystem1.0,APPLEI,APPLEIIPLUS,TheMacintosh,MacintoshSystem2.0,30,32位处理器,1985年英特尔80386DX正式发布32位核心

10、、cache1989年，英特尔推出80486芯片首次采用了RISC（精简指令集）技术,31,32位处理器,1993年，586CPU：Pentium（奔腾）1999年，XEON（志强）、Celeron(赛扬)2002年，新款IntelPentium4处理器内含超线程技术AMD和Cyrix,32,64位处理器,2003年9月24日，AMDAthlon64处理器正式推出2004年，Intel推出了Nocona代号Pentium4EM64T2005年4月18日，英特尔全球同步首发基于双核技术桌面产品英特尔奔腾D处理器，正式揭开x86处理器多核心时代。在x86微处理器发展的同时，人们也在进行计算机并行化

11、的探索，又出现了并行计算机体系结构，与多核微机走了不同的道路。,第一章多核技术导论,微处理器并行计算机,34,并行计算机,Aparallelcomputerisasetofprocessorsthatareabletoworkcooperativelytosolveacomputationalproblem由一组处理单元组成各处理单元之间相互通信与协作以更快的速度共同完成一项大规模计算任务,35,并行计算机的分类：,Flynn分类法(行为特征),36,SIMD,处理器阵列机、向量机:CELL、GPU适用于非常规则的计算，例如：视频、音频处理的MPEG算法；密集矩阵的运算,37,MIMD,最常见

12、的并行计算机,38,MIMD进一步分类,1.6,Differentbasicorganizationsandmemoriesindistributedcomputersystems,Multicomputers多计算机系统,Multiprocessors多处理器系统,39,MIMD进一步分类,40,Multiprocessors,systemswithsharedmemoryensureuniformmemoryaccess(UMA),serveasthebasisfordesigning:parallelvectorprocessors(PVP),e.g.:CrayT90,symmetric

13、multiprocessor(SMP),e.g.:IBMeServer,SunStarFire,HPSuperdome,SGIOrigin.,PVP（ParallelVectorProcessor）,含有为数不多、功能强大的定制向量处理器（VP），定制的高带宽纵横交叉开关及高速的数据访问。通常不使用高速缓存，而是使用大量向量寄存器及指令缓存，使得该系统对程序编制的要求较高。只有那些充分考虑了向量处理特点的程序才能在该系统上获得较好的性能。另外，由于价格昂贵、难于管理等原因，这种类型计算机的应用主要集中在一些大型国家关键部门。银河I，NEC地球模拟器。,2020/7/4,42,地球模拟器,SMP

14、(SymmetricMultiprocessor,采用商品化的处理器，这些处理器通过总线或交叉开关连接到共享存储器。每个处理器可等同地访问共享存储器、I/O设备和操作系统服务扩展性有限曙光1号，IBMRS/6000。,2020/7/4,44,RS6000,45,Multiprocessors,distributedsharedmemoryorDSMnon-uniformmemoryaccessorNUMA,Thesystemswithsuchmemorytypefallintothefollowinggroups:ache-onlymemoryarchitectureorCOMA(e.g.:K

15、SR-1andDDMsystems),cache-coherentNUMAorCC-NUMA(e.g.:SGIOrigin2000,SunHPC10000,IBM/SequentNUMA-Q2000),non-cachecoherentNUMAorNCC-NUMA(e.g.:CrayT3E).,DSM（DistributedSharedMemory）,存储器物理上分布在不同的节点中，但通过硬件和软件方法实现内存的统一编址。SGI的Origin3000、Altix3000系列，SUN的Fire15K。,Origin3000与Altix3000,Origin3000,Altix3000,48,Mu

16、lticomputers,no-remotememoryaccessorNORMA,eachsystemprocessorisabletouseonlyitslocalmemory,gettingaccesstothedataavailableonotherprocessorsrequiresexplicitexecutionofmessagepassingoperations.massivelyparallelprocessororMPP,e.g.:IBMRS/6000SP2,IntelPARAGON,ASCIRed,clusters,e.g.:AC3VelocityandNCSANTSup

17、ercluster.,MPP（MassivelyParallelProcessor）,处理节点采用商品微处理器系统中有物理上的分布式存储器采用高通信带宽和低延迟的互连网络（专门设计和定制的）能扩展至成百上千乃至上万个处理器异步MIMD，构成程序的多个进程有自己的地址空间，进程间通信消息传递相互作用IntelOptionRed、IBMSP2、Dawning1000。,ASCIRedSupercomputer(1996),IBMBlueGene,IBMBlueGene,Cluster（集群）,分布式存储，MIMD，工作站+商用互连网络，每个节点是一个完整的计算机，有自己的磁盘和操作系统，而MPP中

18、只有微内核优点：投资风险小系统结构灵活性能/价格比高能充分利用分散的计算资源可扩展性好问题通信性能并行编程环境IBMCluster1350/1600。,2020/7/4,54,Cluster1350,并行计算机结构模型小结,56,KSuperComputer,日本的K计算机以每秒8千万亿次的浮点计算速度位于Top500榜首，采用了68544颗SPRAC64VIIIfx处理器（每颗处理器8核），共548352个核两倍于TOP500排行榜中所有系统的核数。,57,天河一号,“天河一号”是由天津滨海新区和国防科技大学共同建设的国家超级计算机天津中心所研制，第二个千万亿次超级计算机的国家。实测运算速度

19、可达每秒2570万亿次。共有6144个Intel处理器和5120个AMD图像处理单元,美洲豹,“美洲豹”超级计算机系统隶属于美国能源部，坐落于美国橡树岭国家实验室。在本期排行榜上，它以每秒1.8千万亿次的运算速度超越“走鹃”而名列榜首，运算速度比“走鹃”快大约70%。台民用计算机，将主要用于模拟气候变化、能源产生以及其他基础科学的研究。,星云,中国深圳的国家超算中心（NSCS）的高性能计算系统曙光TC3600“星云”超级计算机以1.271PFlop/s的Linpack成绩（每秒1271万亿次）成为全世界第二快的超级计算机。刀片服务器作为节点，处理器是32nm工艺的六核至强X5650，并且采用了NvidiaTeslaC2050GPU做协处理(理论计算峰值性能可以达到每秒2980万亿次),60,趋势,61,并行计算与分布式计算,分布式计算:多台计算机利用网络通信进行协作,共同完成某一项任务.这些机器可以是同时做不同的子任务,也可以是按工作流方式依次做不同的子任务.运行平台在地理上的分布特征.P2P:完成文件数据的共享WEB:完成信息检索并行计算:多个处理器执行部件(执行核)协作,共同完成某一项任务.各个执行部件同时工作,分别做不同的子任务.这些执行部件可以在相同的计算机上(MPP/SMP/多核处理器),也可以在不同的计算机上(此时是一种形式的分布式计算).子任务的执行顺序特