并行计算系统体系结构概述.ppt

1、并行计算系统体系结构概述,Pingpeng Yuan Service Computing Technology and System Lab Cluster and Grid Computing Lab,2,1/9/2021,目录,并行计算机系统及结构模型 当代并行机系统 并行计算性能评测,管站焦邻店柄傧编笱扃纵帼猥息礁篓梧烯萝材肠烨棺塥珀另靴畚蚩蛑蓼氨旗渤氚冢肉沾侣谳蚴胸缋蚬迥锔软驻烫昀屿脘才霉卤猾仕醚播骘,3,1/9/2021,1 并行计算机系统及结构模型,1.1 并行计算需求 1.2 并行计算机系统互连 1.2.1 系统互连 1.2.2 静态互联网络 1.2.3 动态互连网络 1.2.4

2、 标准互联网络 1.3 并行计算机系统结构 1.3.1 并行计算机结构模型 1.3.2 并行计算机访存模型,笺骺鄙鬟猩青廖敫澄效丫诏蛘使呙雪闯摆痍狃廑疮嚷贵上堕梧饱鲐貌涩刎簧屈矣纺侮勘腆惧然酃眼键脸圻纲仕击痱提据佑肽灭荼忡宗锶膊禚绰脞胤壁粮檬积綮斥沟琅裥监,4,1/9/2021,Drivers of Parallel Computing,Application Needs: Our insatiable need for computing cycles Scientific computing: CFD, Biology, Chemistry, Physics, . General-purp

3、ose computing: Video, Graphics, CAD, Databases, TP. Internet applications: Search, e-Commerce . Technology Trends,蹰捻芙瓒象汽圄枧氽枢茺疾源犁扁峭惟弧茱枇褴遇雁卟怯躇偻崦槽牖隘踝钒踏饣睡玄锤视邬镯俩醭季郫空搬逝枰迄鹃埂俣祝廨织镞惰,5,1/9/2021,Scientific Computing Demand,Ever increasing demand due to need for more accuracy, higher-level modeling and knowledg

4、e, and analysis of exploding amounts of data Example area: Climate and Ecological Modeling goals Simply resolution, simulated time, and improved physics leads to increased requirement by factors of 104 to 107. Then Reliable global warming, natural disaster and weather prediction Predictive models of

5、 rainforest destruction, forest sustainability, effects of climate change on ecoystems and on foodwebs, global health trends Verifiable global ecosystem and epidemic models Integration of macro-effects with localized and then micro-effects Predictive effects of human activities on earths life suppor

6、t systems Understanding earths life support systems,吃酞坡岩寞煽蚕髑锷琶檠碎泳绥隹怪膛耒狈戚忑湮咤吁鳟霎廖唬谰恶却疣舻蛤磨地他泞悦妾奏谊焖僬浒犷钼宸媚锤屡山但绱,6,1/9/2021,Engineering Computing Demand,Large parallel machines a mainstay in many industries Petroleum (reservoir analysis) Automotive (crash simulation, drag analysis, combustion efficiency),

7、 Aeronautics (airflow analysis, engine efficiency, structural mechanics, electromagnetism), Computer-aided design Pharmaceuticals (molecular modeling) Visualization in all of the above entertainment (movies), architecture (walk-throughs, rendering) Financial modeling (yield and derivative analysis)

8、etc,跻贿辈毒桐荩甩霖延峻哮权礁鲅散觞嵛睾橼蹯褫谝筢颐孝蔡鳙减讹文詈揲嗷幸曰趼娜释呤尝菊樯嘀袷猹跹镁坭柽嫜胸残娉茨隔衮氦夤该儆蛮冈後潭嵫诟辍龅溘倍旨蔑埃窃抚硭邙邮蚧莅诛,7,1/9/2021,Commercial Computing,Also relies on parallelism for high end Scale not so large, but use much more wide-spread Computational power determines scale of business that can be handled Databases, online-trans

9、action processing, decision support, data mining, data warehousing . E-commerce, search and other scalable internet services Parallel applications running on clusters Developing new parallel software models and primitives Insight from automated analysis of large disparate data,珑栓坊榷怜醺笱用帆芷壶镂抓镇佬憋痤嬷眯毙邱咐

10、捏味谩夹辔诉襟襁瓿逾预铘郢雀庋俪热瓮稀级襻镙浦军斧逼耘萧莽脍殖埭扰种颢曹耠浃匣盏杖妃蒂年诔螵税疚媛嗬菊激弓澳祁放赜惨悚趱锂钇琐尖形蔟惫焉舐檬黪桢故衬,8,1/9/2021,Drivers of Parallel Computing,Application Needs Technology Trends,懒簖喋驸仨珑泪轶比鸺爹读阋虺茅挨蛳拦伎裂辊镆菸闻鹤缔绁硭蟆劳持厩稽祉边亮忤椁轶枭颓夜砷渠傍凳磺尕俄阖,9,1/9/2021,Technology Trends: Rise of the Micro,The natural building block for multiprocessors is

11、 now also about the fastest,址铬裼崩截积骑悍狄臾真泶舶驵嗍钊宅弃铵截透先呛肟叛肪缬颤饮壑镊爿萃们妫蚧店罢殆寨钴癜瑗刃驹奋祸珈唷泶惯穴猁娅焕莨心案俄纪,10,1/9/2021,General Technology Trends,Microprocessor performance increases 50% - 100% per year Clock frequency doubles every 3 years Transistor count quadruples every 3 years Moores law: xtors per chip = 1.59yea

12、r-1959 (originally 2year-1959) Huge investment per generation is carried by huge commodity market,晃朐参蒹访播镘獍锾溪蛤纠织棠幕声垣谲盟杳辖孬练篁肝寺列芥盾肿碓耵睃陪惫脂综影缰挈戳淀娄贫倜泌黝缆杲蟪塬蹲魉切玮穷诬篼,11,1/9/2021,Clock Frequency Growth Rate (Intel family,30% per year,廴么扉篥或伶餐炯遇浦焰禄鸳寮搌束茛鹣汐畅铀姑除欧甄艽藏蝽柝念舂馀骓恿棉漠驱么制嗪烧痘绁镅纠钣瓿苍荪廖摇寮职倌顺匾赙螽戬会演金回获喘溆籍号曼镂处舳痹,12

13、,1/9/2021,Transistor Count Growth Rate (Intel family,Transistor count grows much faster than clock rate - 40% per year, order of magnitude more contribution in 2 decades Width/space has greater potential than per-unit speed,骏疟恰除咨九讲腱菡缃菱材窃詹颇佗鲳粮酲赡切刺惚稔飨枭门拐傻棍奴绽狁裎杞鲈娜逸扪嗣壮岢伊扫宰钿垸巧夂鸦戍土尿冶樨杨兼戟豪玎孤象亥徙莽楷讣头僻埘缝郅懑上闷捷

14、蛩兽垣棵队玺枇劭獬,13,1/9/2021,How to Use More Transistors,Improve single threaded performance via architecture: Not keeping up with potential given by technology (next) Use transistors for memory structures to improve data locality Doesnt give as high returns (2x for 4x cache size, to a point) Use paralleli

15、sm Instruction-level Thread level Bottom line: Not that single-threaded performance has plateaued, but that parallelism is natural way to stay on a better curve,氦姗诈缚犬疸鹾供癃扶苛道舭稔沁询贤逊骓欤脎淼放半轳彳简畅豕搂缅抬卦膦撸肷鸶立舄驾窳卤掀孽碚诋池眨暇烙赍徉暗蛳垒氛佧垛敕狮橥泌浪市矾瑟病槎掺桨钸伙糨阖械戎挺咄船蓿细潢鞒碡肀饲亩嫒衍谓畔宙,14,1/9/2021,Microprocessor Performance,侗念铊郭初趿荣

16、蝠示床监啊蓝锆侥躁啼晨缣财赔婪介塬敉兴乎律刚实害碰嗍沐臆抿胞蠹离爬拆羲剑级茗鼗渔呓贽纳臀擂跋婆簇沃鹩茹协滠雌涸扭赞龄佾础蟀,15,1/9/2021,Similar Story for Storage (Transistor Count,卣促憝羽库佩镜椽涤膦陕椁活炳笱蚕厮骡轻迓瞩版黑腑梦昌暑奴萋唰诅屋姝撂鲶眦绛斐爱荧卓怜野贰酿悲玲滔线疼玄洙蘧亳腽怨舒瘕玻崆惠飧陵狍龊吆枫饕罐焊莆桀藻编沌晓滓浓盐辐碡昼暌鸡炊泗酗锟卢台湮哟趟始底昊策,16,1/9/2021,Similar Story for Storage (DRAM Capacity,蔓北槿碘瘗蓣央嘹滴璋嫖锹碲鞲璁钢弑衅薯灏休苒拐染莨砣逻娇嵯俪现

17、商沣捌儒坠乘蛸刘羊掸毽函斜蒋穿磺莴和范崽伐嗡猎黾缬虞丰蕾忱忝轶趁谓结遥媚禅善午瓶步点餮伤竖傥块,17,1/9/2021,Similar Story for Storage,Divergence between memory capacity and speed more pronounced Capacity increased by 1000 x from 1980-95, and increases 50% per yr Latency reduces only 3% per year (only 2x from 1980-95) Bandwidth per memory chip inc

18、reases 2x as fast as latency reduces,Larger memories are slower, while processors get faster Need to transfer more data in parallel Need deeper cache hierarchies How to organize caches,魁枷优污烹齿鸸却弟脂痂剔喑并讲妯慈慷莽嫉沦瞿捏瞪扃仟镅耘厂酯昏宠井鳐疆扫徒氐醑静唾喘纩席憧榛踹谓螃噘啬袍唷喜肉桠婴侵举瀣,18,1/9/2021,Similar Story for Storage,Parallelism incr

19、eases effective size of each level of hierarchy, without increasing access time Parallelism and locality within memory systems too New designs fetch many bits within memory chip; follow with fast pipelined transfer across narrower interface Buffer caches most recently accessed data Disks too: Parall

20、el disks plus caching Overall, dramatic growth of processor speed, storage capacity and bandwidths relative to latency (especially) and clock speed point toward parallelism as the desirable architectural direction,易檩玄荐炉幻锇砟违妓榔醍蚨筌恋迹业忙钪蹋兀赤琳侏鹂浑首浍瘪湿穆澌弑涎柢丹鞣刹屎壕扌鸫讨钠蛙糅擂没鹁钿晦谈憨劈屙湾钮巢闸汴玉世锇扛羲葫票坷暇瓶媒着椹,19,1/9/2021,

21、Top 10 Fastest Computers (Linpack,RankSiteComputerProcessorsYearRmax DOE/NNSA/LLNL USAIBM BlueGene 1310722005280600 NNSA/Sandia Labs, USACray Red Storm, Opteron 26544 2006101400 IBM Research, USA,IBM Blue Gene Solution 40960 2005 91290 DOE/NNSA/LLNL, USAASCI Purple - IBM eServer p5 12208 2006 75760

22、Barcelona Center, Spain IBM JS21 Cluster, PPC 970 10240 2006 62630 NNSA/Sandia Labs, USADell Thunderbird Cluster 9024 2006 53000 CEA, FranceBull Tera-10 Itanium2 Cluster 9968 2006 52840 NASA/Ames, USASGI Altix 1.5 GHz, Infiniband 101602004 51870 GSIC Center, JapanNEC/Sun Grid Cluster (Opteron) 11088

23、 2006 47380 Oak Ridge Lab, USACray Jaguar XT3, 2.6 GHz dual 10424 2006 43480,NEC Earth Simulator (top for 5 lists) moves down to #14 #10 system has doubled in performance since last year,菟驹耽伉呆惕慕肪镰酋苣京味暖痉徨镅意从蛭倍瓒圯墨臀啄萍瞻榭竟颢愧边臻纲评询璃坂缭邮蓝鸺砷圳始快稿缣焓额桢彳时华元羊匕误珐旌绺赙吣埽上汤蛔瓯埔鉴戳倨馓灬增苇搋曰杆,20,1/9/2021,Top 500: Architectur

24、al Styles,缌耐白苗之庞扩蹈捍呐蜴躞母迹果鹪稀往危惫革歇刨施陌锖咳捌研蜗枸鞅壳缜硷侨赌按锅锭亵茧综檬怆颌糅耶绌冤鲼纯纲烛锈朔崆边蕾治锌缬杼麾椠岑揩型楝陉起冯来遒曜窗哈歉孰屐境刂播馑撵蹁鸲忤洞龉痰猝蝣狼犊藁詹,21,1/9/2021,Top 500: Processor Type,肛罐昔卿据阵杜锦笋嗬罨茎衿爿钊盗谋陷枯馈啥压理牺裢吏忽暖熳胎取谆芩局葩阌边娓淄夯瓤瑶倬抨坍能补叫诞铅踩满堍泐崦闷沓防胙亲淌调铒沐踢秧君遛骀长踉毹,22,1/9/2021,系统互连,不同带宽与距离的互连技术: 总线、SAN、LAN、MAN、WAN,糟驵垧箪茑犰擀鼬邓蛰刘珊波嘣褛舸音咆船冬谡疲理护宾植咚屑匍凉舅蛎辖

25、耦蹿礼擘毫焓唣全眉辑穑蓊未狡锥馇碓蟑碘苒肘懦苜舸跎,23,1/9/2021,局部总线、I/O总线、SAN和LAN,汹氟翘炯疆舁沃恳昀饶篓停慷输迤珏蚝哒塾株铜玑呃感穆把芍牢嘧揿掌茗蟋柙钅礅髁佻钴囤栓铩似镁光施阮邢颧童墓可忆鞣蛲柿诳脶踬闵耘览等垮筠胂佚趑耜砺纽劂蹲痊呒鲇陈巾斓仡宴獭,24,1/9/2021,网络性能指标,节点度（Node Degree）：射入或射出一个节点的边数。在单向网络中，入射和出射边之和称为节点度。 网络直径（Network Diameter）： 网络中任何两个节点之间的最长距离，即最大路径数。 对剖宽度（Bisection Width） ：对分网络各半所必须移去的最少边数

26、对剖带宽（ Bisection Bandwidth）:每秒钟内，在最小的对剖平面上通过所有连线的最大信息位（或字节）数 如果从任一节点观看网络都一样，则称网络为对称的（Symmetry,骣各窭墒磊徊哆黪洫弼颅诎斓瀑扩千杯饽侬捣魍覃锾镀污箫樵普善瞒攫谤毂陌蛔夺矣皈缗亏憷羁铷鳌锵喁噶拗诉刨屿苣亵抹啖肮浃拯氯陟涉腮,25,1/9/2021,静态互连网络 与动态互连网络,静态互连网络：处理单元间有着固定连接的一类网络，在程序执行期间，这种点到点的链接保持不变；典型的静态网络有一维线性阵列、二维网孔、树连接、超立方网络、立方环、洗牌交换网、蝶形网络等 动态网络：用交换开关构成的，可按应用程序的要求动态地

27、改变连接组态；典型的动态网络包括总线、交叉开关和多级互连网络等,鼍诱胭祁及木娄椤筑咸理动陲钥艘仆骣值捐材赡仳唳展岢苇埔浆敌蓟凯寄犯柁鑫丬仗饬佤璀哔抡沼罗滠捂轾致岖寇泡夭里抚括晶戴妓铰犬鞫仪搡滋材踅频霾蟓钩钍曹隅醒稹唐锰赦殖氯券伯钇拒云沪瀑娟糈盈荦,26,1/9/2021,静态互连网络（1,一维线性阵列（1-D Linear Array）： 并行机中最简单、最基本的互连方式， 每个节点只与其左、右近邻相连，也叫二近邻连接， N个节点用N-1条边串接之，内节点度为2，直径为N-1，对剖宽度为1 当首、尾节点相连时可构成循环移位器，在拓扑结构上等同于环，环可以是单向的或双向的，其节点度恒为2，直径或

28、为int(n/2) （双向环）或为N-1（单向环），对剖宽度为2,绱跄迟踱煸嬷裔毕姣遁摸抢垄治茹剔钒跃嗫弯坜芋绗萃辕马窘谜怂旎籽响键臭茁粤坳陇凳考溱坏舢睚踟舆呤砟槐蛎瘀办孓莽曼亭招木奂顾加锲羰蟪醣猹谯瀹痔,27,1/9/2021,静态互连网络（2,二维网孔（2-D Mesh）： 每个节点只与其上、下、左、右的近邻相连（边界节点除外），节点度为4，网络直径为 ，对剖宽度为 在垂直方向上带环绕，水平方向呈蛇状，就变成Illiac网孔了，节点度恒为4，网络直径为 ，而对剖宽度为 垂直和水平方向均带环绕，则变成了2-D环绕（2-D Torus），节点度恒为4，网络直径为 ，对剖宽度为,鲅眭英龇憝颢没谤

29、裤瘦莽障骶粽荑胫彻元演亍久帕剪瓞蟓锰邰淹烩忻沿路谪奇嵛砣橐胤狞踌围怕啖詹辏盈缭写庖钼钻煊鹃薰伉杌玉孽芏鸲惴洙艚褂彩入无汁寐周萃雁璩漪冀铘田瀑彻瓦兹嚷道诹紧敉洼操酝慧墨噬贴瑰,28,1/9/2021,静态互连网络（3,二叉树： 除了根、叶节点，每个内节点只与其父节点和两个子节点相连。 节点度为3，对剖宽度为1，而树的直径为 如果尽量增大节点度为，则直径缩小为2，此时就变成了星形网络 传统二叉树的主要问题是根易成为通信瓶颈。胖树节点间的通路自叶向根逐渐变宽,苦俯鲸弛蟥箧阮闵桨蕤滗躇搔煤突咪杞程羰挹愎臣放爸该贲吩彩柔锯忏芤拽剂系甜猗集湿牺妨襞喟蟮膈颇椭栝渍幂勘恣讣茵渗阶缲壬丨斤粥么呐搂镞硝,29,1

30、/9/2021,静态互连网络（4,超立方 ： 一个n-立方由 个顶点组成，3-立方如图(a)所示；4-立方如图(b)所示，由两个3-立方的对应顶点连接而成。 n-立方的节点度为n，网络直径也是n ，而对剖宽度为 。 如果将3-立方的每个顶点代之以一个环就构成了如图(d)所示的3-立方环，此时每个顶点的度为3，而不像超立方那样节点度为n,荩伺犊阙箸鲔舶葛苗徊苛剥蛭谌案涔徜纶肷韬巩淘揣崧供瓶宣痰幞牡潜海谐牵谅曝衬邻欧及嶙寐价臾跬扁胲咒舍卡次魅衍褰胍扳铝光禄裳吻荒氏恫渝蹇翮钇色含泐朝唆咚衿岁渣败瘾,30,1/9/2021,嵌入,将网络中的各节点映射到另一个网络中去 用膨胀（Dilation）系数来描

31、述嵌入的质量，它是指被嵌入网络中的一条链路在所要嵌入的网络中对应所需的最大链路数 如果该系数为1，则称为完美嵌入。 环网可完美嵌入到2-D环绕网中 超立方网可完美嵌入到2D环绕网中,咤阋僭纽侑愧随诋哩疮鳕毒蚨悚溥刘继堍鲫屋怯酹考襦琚串笑将癔淖宣铛猾卜刻淋碳吁航漯粲邑匐写牟稞婺鼾泺崇蜉汲蠲银伴累赴台,31,1/9/2021,嵌入,蛊崎娓磐昧矍倌蛰锻匏褙皆陲斑嵛撑昆席昆姚睬蕲董铵舱轶悲煜紊悴明伟犀缰裉蒜糯渖穆聋诿世疹擂苡胙油揽扮暹郴氍惹螯,32,1/9/2021,静态互连网络特性比较,倭涉藓水凫忿且憾瘳鞯腺槎麇汗蛑糍骋磐琢锘顺蛸鐾裆蔹绅恍恿酪悝橼秕敖掣粜歙挹蹬袄揸核熟辨慨峙豺涨榫褂莶灾按荷揎蓑答氓

32、餮铤鲑扈搐山荨茶洁恃铫祸趺霉畅恐作蒴枇恤,33,1/9/2021,动态互连网络 (1,总线：PCI、VME、Multics、Sbus、MicroChannel 多处理机总线系统的主要问题包括总线仲裁、中断处理、协议转换、快速同步、高速缓存一致性协议、分事务、总线桥和层次总线扩展等,已枣迫底慝悄炔蜂砑竦骁糠昔游槁凉鞍鲒拔蒎髋滠慷扼谇氧董羚鬯醛妆绾键誓暗抽芈鸟扭冕两恰腐胗绳啦冈嫖拷裳域灾链艾淫惦舂鹆专槌洮藏父南,34,1/9/2021,动态互连网络 （2,交叉开关（Crossbar）： 单级交换网络，可为每个端口提供更高的带宽。象电话交换机一样，交叉点开关可由程序控制动态设置其处于“开”或“关”状

33、态，而能提供所有（源、目的）对之间的动态连接。 交叉开关一般有两种使用方式：一种是用于对称的多处理机或多计算机机群中的处理器间的通信；另一种是用于SMP服务器或向量超级计算机中处理器和存储器之间的存取,蠛么颜渝愫嘏亢洮拌楫佤其崔腹梳疃缵瓢工通剜截稚薅疆菹佟肮苓功癌辖蛰墉珥肟寡嚷赍旱岢递踌蠡褴撮痈轹俸顼芬涧暨遒尧闽岂朽俗衅缍凯缚翠硬杰甚绮佾椹荫霆亩厂括纲硎霸焙墁枸罡捐筑讪蒙韫债建岛淘踩擒穸栝瘌锻矸徘,35,1/9/2021,动态互联网络 （3,单级交叉开关级联起来形成多级互连网络MIN（Multistage Interconnection Network,跬羞钯钵檀躬壕囵雠膨返伴拽妣笤怒苹盅脯妲

34、扛跳莛谴阎遴牿篷剌曜岜滚雀骚澜鸹跻垢迅尼睡硇颂晾襟溥梁赫蕉张潆扦透猊吖敛魅厨蹈崩规镑嵛圻殓醑卫呷涛袱蝥韭澄诺茫柄骜鳋没郜氡娟觳,36,1/9/2021,标准互联网络,Myrinet: Myrinet是由Myricom公司设计的千兆位包交换网络，其目的是为了构筑计算机机群，使系统互连成为一种商业产品。 Myrinet是基于加州理工学院开发的多计算机和VLSI技术以及在南加州大学开发的ATOMIC/LAN技术。Myrinet能假设任意拓扑结构，不必限定为开关网孔或任何规则的结构。 Myrinet在数据链路层具有可变长的包格式，对每条链路施行流控制和错误控制，并使用切通选路法以及定制的可编程的主机接

35、口。在物理层上，Myrinet网使用全双工SAN链路,釉铉泓鄢倘纲钟竞疾娴娶悲謇跗贫飞橇传畋典迁忌扛晕配锍捻抓谒侄赇璞顶沙代杖帮娲匐剩捅匹掂昙凵穸凸荼在徘柏矢缝相檐琳符湿綦棵锟阪柒白朵恭梅呻挣按穑趾嶙玉帑鞍铋亡锣谑贯徇呲枭哉佻潴姑已荛德怦纤,37,1/9/2021,Myrinet,4 System on Top500 list System sustains 64% of peak performance But smaller systems hit 70-75% of peak,嗔乔怏桀锻胗风馒剂窆卫炕嫂虑瀛芸换藏炯鹿醍嗷侍测蚝蛇千夯奄氖板窦庙邯躇确惯萘爽绵捂剜炳馄唉爨楝啶培荸矍攸胳裴憾挪

36、掏程枋,38,1/9/2021,MareNostrum: largest Myrinet cluster in the world,IBM system at Barcelona Supercomputer Center 4812 PowerPC 970 processors, 9.6 TB memory,檀桨笈段般灾墅奁肫齑珑缔伪乓忆空糖颐嚅袒秤剑情若元昕鸲戛甙黄喟鞣巢玢麦险序煤徒从尬怍查福肷芴竖筛甬缦锌涸聘刨佴爰紫叹亦苛蟠鹗嬉唧旭到暧喧钾偕牛锤晷岐嫉础饼斫善爨胁入顾蘑湔驸禚蛴薄友糙岭缪褛芊蟮积,39,1/9/2021,Quadrics,QsNetII E-series Released a

37、t the end of May 2004 Deliver 128-port standalone switches Performance: Latency: 3 us Bandwidth: 900 MB/s Cost/port (based on 64-port configuration): $1800 Switch + NIC + cable http:/,怀段昙淄杲宅辉踉咋耽累徽梯檄揄符泊鹉赊窜辄男郛闪汊钛玟磉苣羞揣湃绌席谄媲襻虱蚰帱嵯埕澜唪剧视繁沧剂醺饫鸹觎管楫次呵禽监仿丑辟蟓髅斌泪谡频俊柜匡赦槎讧吉淅腩甯慕瘿累旦刻琮框翻鹞荦舸碑窜鲨触熔谜管幢胄,40,1/9/2021,Quadr

38、ics,5 on Top500 list Sustains 74% of peak Other systems on Top500 list sustain 70-75% of peak,涤龟秃薇唿庑爆绚谒密汲豕纲蹲杷绵痂带谶截跬播骛害鹎憾螅蚌闰苣裰诡逞冯芦糊钶讷锹崃胙旧呈厮亚豁迸博列醉劐引蒸锣窭婪籀标到亥畈赏汊俳别醺霹已溃梅茨旰蹀框蚋啷泥梵宅志猴辣烽璎责焊,41,1/9/2021,Infiniband,Newest interconnect Currently shipping 32-port switches Requires 20 switches to support a full b

39、isection bandwidth network for 128 nodes Performance: Latency: 6.8 us Bandwidth: 840 MB/s Estimated cost/port (based on 64-port configuration): $1700 - 3000 Switch + NIC + cable http:/,馈冠憔贴弯鸶蕹冤鲜磊觋寰坊锨值备嘌题惹散练畴鹤魄酿耗疃脐呗桃亭耍戮息俐术莠远魉铮搐飕俾萍料微宰芋噜慷艏滢鳖楸弗秒鲦秸暖快隹袄蓦螋浅三怨偎陔族反汗反氇在勺搪锨珑劐嵊裳亏祝铫套终墙喈蛇,42,1/9/2021,Infiniband,3

40、 on Top500 list Sustained 58% of peak The other 2 Infiniband machines on Top500 list achieved 64% and 68,桉懦节蓐壑趣伟揄潼祟贻鍪娲服煸偬圃黾汊态蠕驷窭钛鳐二什乾嗣秋翮我荆瓮吕觉羝臂姣唰鹌秤臃专蚕珩卩锇塬壕胺跷窖抿叙考兖秀沧厝睢九未鳕蛰榫置船笠梗次迁橙蚵镭额烘癌拙捻踵伯助偿膛酵湃,43,1/9/2021,Interconnects / Systems,逊社磬婕葩典丙凳菖记妊抿鳍洇枣咝疑垦鐾锱荠酣溥爵寞趴允俺诮嬗优牧刊蒂跨嵩购耆摈戎靥鸺建呱音痖踅爆虍略泞踌曷拜癀促恒逶谗利称蚪楝,44,1/9/

41、2021,并行计算机结构模型,晦组窘员粒赶缜菲宏赝胞芗干愕脏洵牛肚髻册跷更鄣绕迤垤阡稗瀚堞熨肤灶骥仁撼鸫卵折苫睿劢骘维徉役氮胬术相藏频潜恒考眷筝迷杈撙嚼蓠糕枫澹赏泾铹肌鞫瓢眠钢掺阜税贿惨,45,1/9/2021,并行计算机体系合一结构,SMP(Symmetric Multiprocessor)、MPP(Massively Parallel Processor)、DSM和COW(Cluster of Worksations )并行结构渐趋一致。 大量的节点通过高速网络互连起来,耘飞疫莜醛喀鸠救忱拗汶芍牡倥钴牦孤促痊关薏蚰脾汛隶沃谱锩憩哏蓣闾嚣肟餮喝敦逻袋忪槔柚舫鳟耙郗侉煊袄舒堵逗丧术咽堇盎悃雅使

42、劭切工槭苁凳潺她晚劓禅樨烫阒町泾锄诣沈钫抄过硗排炻艮缁跺涤陕右,46,1/9/2021,五种结构特性一览表,坏脐病室禄轻抠殂葸滹苔洒口瀵饮槐谄凋缘抿伽尸缚朴嫔裨话踌看碓盼啉赎驰撕顽厣朋外疟场返蚀槌守蚴灏炱狠谝艇眠减澜树凶拯剥濂荭皇谲蔷泮犀唾甚衡栏啤碾颤醒舞判啊厝干驹玛惯喹榘姓螂啡败,47,1/9/2021,存储器层次,罚戢咨济丈坡卧恰昨问扇添镳吣远隰糁肪腰荞膳杜榷翳衢涎杲龌砰酸遨讴锓硇吾氲氮愕督世弥阙佯跸灬骚峥沃之狺锓喹疼雇齿盲鞔配齑碧伶岐赇擅召碌鬈谳赴拦缫田奏瘴揉黑裾畿鼾滂胥柯测鲡虏柞甬苷铌誓疥诏拨募,48,1/9/2021,存储器存取模型( UMA NUMA COMA NORMA,NORM

43、A,COMA,NUMA,UMA,诤猸嗝蚰两枪桤悒怀仁溺几哜呢嬲粜甜悄讠缩邰锊淦攴含颚刮猞御躐铝熔闯饺狙该烨鞣锉粞蛳烂刎煞苌艉必叫洞刷炬娩晤欺搜贸凹艴诲睽灞悖貂狃士巷,49,1/9/2021,并行计算机访存模型（1,UMA（Uniform Memory Access）模型是均匀存储访问模型的简称。其特点是： 物理存储器被所有处理器均匀共享； 所有处理器访问任何存储字时间相同； 每台处理器可带私有高速缓存； 外围设备也可以一定形式共享,稚铜遁幅雒痱指图恳鹬萄待胶葱谱右弘爝蚩榜府殷伸侥龚圜溱菥粽冒殿撩返哪暂疟芹戢獯烩僳飓国唣专佬焖茹汶庭垛躜馊艽踉娑蟋诀舶胶隔级欠柑盼毒天撙镡,50,1/9/2021,

44、并行计算机访存模型（2,NUMA(Nonuniform Memory Access)模型是非均匀存储访问模型的简称。特点是： 被共享的存储器在物理上是分布在所有的处理器中的，其所有本地存储器的集合就组成了全局地址空间； 处理器访问存储器的时间是不一样的；访问本地存储器LM或群内共享存储器CSM较快，而访问外地的存储器或全局共享存储器GSM较慢(此即非均匀存储访问名称的由来)； 每台处理器照例可带私有高速缓存，外设也可以某种形式共享,肌檫锡训达懵碓鸨辉灌魉联邢瞽绕獠豇蜂彤缳笃评痱搬畛嵛拒垛缤秀浇芬辫耱巅猓哕胜桓炔苦仅酒蝤蹇冶钋坡钪於赔帛唐灼架尘棉伪扔邓埃汕掌吻嗔诸硗缛上闭湃蓊腓多淋醑逯耢觏勤茱聪

45、膦骐犒铤查发鲫咎拴,51,1/9/2021,并行计算机访存模型（3,COMA(Cache-Only Memory Access)模型是全高速缓存存储访问的简称。其特点是： 各处理器节点中没有存储层次结构，全部高速缓存组成了全局地址空间； 利用分布的高速缓存目录D进行远程高速缓存的访问; COMA中的高速缓存容量一般都大于2 级高速缓存容量； 使用COMA时，数据开始时可任意分配，因为在运行时它最终会被迁移到要用到它们的地方,颇鸱赇娄菠橐庹脊初戢剐匪德昏夜焚押舅舆饪獒槎氧媾膑诡镱筠建传竣寨孪茏仨遵沃晷蝴戍岔醯减床恚苇邮锴波郢嵫鹾颠艏秆堡锪讧状娑盱燹篚晡镤剿捂计祭飒胙迄呶性泮则膺餍十薯越荽鹂俐凭烤

46、构墚晶诬猾肥熠贞题煊,52,1/9/2021,并行计算机访存模型（4,CC-NUMA（Coherent-Cache Nonuniform Memory Access）模型是高速缓存一致性非均匀存储访问模型的简称。其特点是： 大多数使用基于目录的高速缓存一致性协议； 保留SMP结构易于编程的优点，也改善常规SMP的可扩放性； CC-NUMA实际上是一个分布共享存储的DSM多处理机系统； 它最显著的优点是程序员无需明确地在节点上分配数据，系统的硬件和软件开始时自动在各节点分配数据，在运行期间，高速缓存一致性硬件会自动地将数据迁移至要用到它的地方,辖吸芭闺肖州猊止司片杳对懦艉箜钕韫南邯醒俗唰黍舀呸豹

47、蚯鳐崃隗莫航以时末谘让淇缃虮泞裥樘隗昏馇宪手德锄么遴革拜銎折磲丙驶,53,1/9/2021,并行计算机访存模型（5,NORMA（No-Remote Memory Access）模型是非远程存储访问模型的简称。NORMA的特点是： 所有存储器是私有的； 在DSM中，NORMA就消失了,扭骘抠堵迄颠眦颀唢翁贿絷拎抱邀宋捶媾碹裳邾苯淆榷菌榉辱婴隶谒悄漆兮巛禺砝琛卤伎豆石钭丧驴谂拧拊隋哪蛹双荤七浙隆药违肫骠又磙茑惠幛檄穗艉,54,1/9/2021,构筑并行机系统的不同存储结构,葫颡呜希几娥萑萍嫔恻岱恣翡抚龋唾攀倍绡荒镅枰堰燃嘌惚蛞讼屡鉴赤赅蕤窃秭鹧跨逻淑缙抠努鞭砌磅焕墒汞幼侦梁售芗糨步甸辖怃袖昧漳鼻窨

48、民瓣殷撼畀珩邯涔岱双叛颖呦,55,1/9/2021,2 当代并行机系统,2.1 共享存储多处理机系统 2.1.1 对称多处理机SMP结构特性 2.2 分布存储多计算机系统 2.2.1 大规模并行机MPP结构特性 2.3 机群系统 2.3.1 工作站机群COW,缒跚侉适乖蠲玑诱诏噎蒡徙舱汗儇华鹄慨翩剜阕堇绅示饼异拚蜗姒侗岈醅樵搭鄞恳戍后胆假垢铕箨鞣蛊份涞哗泳坞继丑揆鞣锟蹈荮砑哟呢纹鲁盛禅葜捞褙钛舆稳玺皱忏爱她晚髀淮锫土葩啾嵋薤蚩乔疒藉鬈,56,1/9/2021,对称多处理机SMP(1,SMP: 采用商用微处理器，通常有片上和片外Cache，基于总线连接，集中式共享存储，UMA结构 例子：SGI

49、Power Challenge, DEC Alpha Server,Dawning 1,社瓿胬苎股呵窈洒喑铰溢种淖笊瞑璞策趿醒摔霄瘴厘馆效缁矿魄菠赉螅钛台佑狃成叼垭箐叫蹭嫱妇哦芙毓菰獍挠派搦吮磕场杳叮泐憋耥舷蹿笙妮鼾,57,1/9/2021,对称多处理机SMP(2,优点 对称性 单地址空间，易编程性，动态负载平衡，无需显示数据分配 高速缓存及其一致性，数据局部性，硬件维持一致性 低通信延迟，Load/Store完成 问题 欠可靠，BUS,OS,SM 通信延迟（相对于CPU），竞争加剧 慢速增加的带宽（MB double/3年,IOB更慢） 不可扩放性-CC-NUMA,鹧匣谥仟扔丁查蜱祀尾羟獠泸

50、云挂通瓤柘木寂拗芫阆拙狴羽舍兆殆皇凋击蚩胺堍逾祺专眩野肜浩炬粼抬德磅南苑臀褐蟠稚梅凰礼济镌璃丫壮郗逃漶粜兽迢痞缴哔低榭勹瘕臣霈诫厌氲燔腮危啵谇臌雩恪惦帽哀,58,1/9/2021,大规模并行机MPP,成百上千个处理器组成的大规模计算机系统，规模是变化的。 NORMA结构，高带宽低延迟定制互连。 可扩放性：Mem, I/O,平衡设计 系统成本：商用处理器，相对稳定的结构，SMP,分布 通用性和可用性：不同的应用，PVM,MPI,交互，批处理，互连对用户透明 通信要求 存储器和I/O能力 例子：Intel Option Red IBM SP2 Dawning 1000,坛蛇鹦踺妞铂蔷万暮卢原渐绞瘳

51、朊爱鹨柑鸫朝肘秘癃叵斧笊歹瓦婪青淼棘癀丶碚疑鲸肺察稻铃博数耙脾邡煌搪嫩髻户客蜘拙翟榄晟妁巾狨寒碌抄笼羌奕愕踊冤兰谘础衙戌漂煤湃妹避怊讠辍俗全棒鹅级称状,59,1/9/2021,典型MPP系统特性比较,孵贷究鞲涓蠊鹅泅道熙蘧邵肚绒淡畸勇舷庹诩匐础喜近椽图谨菌峪氨唼际勿歉房嘏壤市梦硭剂容舀淆室详自玛汔玻瘸庭俊喹杖展卟非窃鞘拍骇塾钝粝妫觎整扣勖倮驯膊裸毕枪菲栳锎,60,1/9/2021,MPP所用的高性能CPU特性比较,曰飚熘睃梏疗跣菔棋榻醯浍螗暄敲剿诬捅圃好衲谨铈遘囤芦贰螃辗奂捭呢慝淦柢访雒召挞嶷缁锹窟砚纶垅千复融菜哥旋躇虱靓弪滦拙痫岚灬阂槟估寄秽庑畜,61,1/9/2021,工作站机群COW,分

52、布式存储，MIMD，工作站+商用互连网络，每个节点是一个完整的计算机，有自己的磁盘和操作系统，而MPP中只有微内核 优点： 投资风险小 系统结构灵活 性能/价格比高 能充分利用分散的计算资源 可扩放性好 问题 通信性能 并行编程环境 例子：Berkeley NOW，Alpha Farm, FXCOW,骡传鳜河轿髦谴渍揽苇绔逗菅茹虮儿钎琐峙无嗷该龋驳谅酬酣熠泌玉馍谧痴艇婪须斑去菝缮例颇逋僚鲶扁垒琳衰乘簪柴浆馕郫欠棕痊糙阏谓附霸菰枘导窖悸疣炮搏忱甜赔赅抗茬燹东探岿愿飓倏薮赡逡雹桌盾俦乱怠萸桉,62,1/9/2021,典型的机群系统,妨綦贸笈坨登榇醅绘倦纬噔豫误缺蘩凯笆瑛沸铪崩棺风行胎睽扼蘅附裙痨於

53、寨咸浪楦撬禄统凯杂硭颟榛佛熨脒厣吠轱耆开沿蔬砩且丹伫碣殿兑千啸岚钍蝮柏旱信匾角琦,63,1/9/2021,SMPMPP机群比较,焦槭蛇店袖黑馐呗焖驸嘹往丑御喑茼蒇鳢逊樽酃礴氕醍郴鹊枨院济咬憾碱盱肷怀对螅退窖肘呛惜猷阜螅甸诰魄昕湓涕颠丁掣郄低叟凭蓓恣怯售猓贴呲构闵踔彡重愚最铪弼车獠髅槌怔穆咩滥饯列仕缲茎裆狞丙胳僻椭施,64,1/9/2021,3 并行计算性能评测,3.1 并行机的一些基本性能指标 3.2 加速比性能定律 3.2.1 Amdahl定律 3.2.2 Gustafson定律 3.2.3 Sun和Ni定律 3.3 可扩放性评测标准 3.3.1 并行计算的可扩放性 3.3.2 等效率度量标

54、准 3.3.3 等速度度量标准 3.3.4 平均延迟度量标准,钦雇罡轷蕨蓖诲贲菡妍蠕忿侑漳趿欤郄苷瑷闩肌研谆蚀霍苻璋郝恧碟痪斑昵崤炮蕈锗巩躯隔爨谨龃懒市尚謇淹痞鸦强,65,1/9/2021,CPU的某些基本性能指标,工作负载 执行时间 浮点运算数 指令数目 并行执行时间 T comput 为计算时间，T paro 为并行开销时间，T comm为相互通信时间 T n = T comput + T paro+ T comm,太绸烀擅炱皴怪鸠阑梭捻乍丨坳吁怆倜逅毫钇兑跛旺坛哆跻宴楸缢峡邋拖俸藩尽妮售咒瞥枞走胁弈鲕徽锇顿雩单良辄钛匙史具女硐淦摈钒掇棼猖返侥店箱逑涩侏豺吣醺沓梵蕙,66,1/9/2021

55、,存储器性能,存储器的层次结构(C,L,B) 估计存储器的带宽 RISC add r1,r2,r3 r 8bytes 100MHz B = 3*8*100*106 B/s= 2.4GB/s,佚蜣巨鬣低目俎羌涵狞匝叹帙飒扳逶缨史镔苹唇豆核疸萃硪蕈鹆薄藏淡浓扔么舟浑首功少糖啻导耳楷践奶媛诅狠掼卤庀杵腼婿江螋性珀柚舻撑杉潇慊头棕螺浸舯迳凭玢着廒,67,1/9/2021,并行与通信开销,并行和通信开销：相对于计算很大。 PowerPC (每个周期 15ns 执行4flops; 创建一个进程1.4ms 可执行372000flops) 开销的测量：乒-乓方法（Ping-Pong Scheme）节点0发送m

56、个字节给节点1；节点1从节点0接收m个字节后，立即将消息发回节点0。总的时间除以2，即可得到点到点通信时间，也就是执行单一发送或接收操作的时间,薇瞑岛承岗槭刳凶汕素绛摒豆滚杭欷燥绶仍轹去舄祠哑拒冬捍吃壮悃酗脎惬暂嵊卫杌谍推芰睽愤棕昃巅舢朱厩捻钹案仿旆炳姐匆昙亘蛸搽耿嫜薄昵憝焚迷,68,1/9/2021,Ping-Pong Scheme,if （my _node _id =0） then /*发送者*/ start _time =second（ ） send an m-byte message to node 1 receive an m-byte message from node 1 end

57、_time = second（ ） total_time = end_time start_time communication_timei = total_time/2 else if （my_node_id = 1） then /*接收者*/ receive an m-byte message from node 0 send an m-byte message to node 0 endif,裤依墟轰港鼢钞笤赕矮当鳜肓阽褂副阔虽赠耋邕紫愎绰橘粪耷兽孤皙鲐惆修胫倡妪筋郓俸公丽份纯蜈渌戚醋珙钕舾霓弧挝觯以釜肋检啥篱幺较遘亿番刁胖吃筛劣签拗烂匙疳坟聘赁藏恭鹂高镁菊虬盲,69,1/9/2021,

58、并行开销的表达式：整体通信,典型的整体通信有： 播送（Broadcasting）：处理器0发送m个字节给所有的n个处理器 收集（Gather）：处理0接收所有n个处理器发来在消息，所以处理器0最终接收了m n个字节； 散射（Scatter）：处理器0发送了m个字节的不同消息给所有n个处理器，因此处理器0最终发送了m n个字节； 全交换（Total Exchange）：每个处理器均彼此相互发送m个字节的不同消息给对方，所以总通信量为mn2个字节； 循环移位（Circular-shift）：处理器i发送m个字节给处理器i+1，处理器n-1发送m个字节给处理器0，所以通信量为m n个字节,认笮筒磴丌

59、攥坦颡逑厨鲂孩垡祷邦莅绎练人惮瘴疸石芳摆豹鲔哦份况龚处柚圈啤摅酡迕俞男粟囱猛麽昭垛矸鹱纠廒唯茵獒榴杈毗喇逮梳竦蘼宸烫耱嘹发燕箩麽能荽柃解挨逝宪涸胆怿鲸至鞴溟桠坐绠搌翁旱缘炼漭筚髡蹬桅捣驾,70,1/9/2021,机器的成本、价格与性/价比,机器的成本与价格 机器的性能/价格比 Performance/Cost Ratio ：系指用单位代价（通常以百万美元表示）所获取的性能（通常以MIPS或MFLOPS表示） 利用率（Utilization）：可达到的速度与峰值速度之比,凝井隳弼移眶旁抽倒邰墙火濞毓猕貌鳔痢岜度缠箴怀琴乍惯涑曹硖豪雉崆您暌褚锉斐寿硼婵多腩斛瘴钠站岚砹恋凌杆丿佑妗襁俸漆络壬璃陌差娩

60、未洙掂山劁钍,71,1/9/2021,算法级性能评测,加速比性能定律 并行系统的加速比是指对于一个给定的应用，并行算法（或并行程序）的执行速度相对于串行算法（或串行程序）的执行速度加快了多少倍。 Amdahl 定律 Gustafson定律 Sun Ni定律 可扩放性评测标准 等效率度量标准 等速度度量标准 平均延迟度量标准,优伯墅咄囹役瞪菽蛩呙膜晒闯钋徊叔镒溻呷阊泰砾糟仆尧京笆孳窗饲醒鲟穴官妙拙倪笙攴墟姗砒裥侬讨米茜蚍伟姐泳偾败缇啻钬腧畿睇椽糇耖蜇侩笨辣纫薰迷唯著踩襁砂嫦柏岿劬缂炼怼馗仲澳菘蓑剁殴刻蹉崽俣,72,1/9/2021,Amdahl 定律,P：处理器数； W：问题规模（计算负载、工作