（通信与信息系统专业论文）片上多处理器关键技术研究.pdf

摘要 受到功耗的制约和单线程程序有限指令并行性的影响，单核处理器性能的提 升在2 0 0 0 年以后变得越来越艰难。片上多处理器( c h i pm u l t i p r o c e s s o r ) 凭借其强 大的并行处理能力、高带宽的数据通信、高效的资源利用率以及良好的扩展性逐 渐成为了处理器继续按照摩尔定律提升性能的新方向。然而作为一项新技术，片 上多处理器还存在许多亟待解决的问题，这些问题制约了片上多处理器的进一步 发展。本文以提高片上多处理器系统的性能为目标，从系统的角度综合考虑这些 问题，着重研究了片上多处理器设计中的三个关键技术：具有低时延要求的片上 短消息传输互连网络，高效的多核操作系统调度器，以及兼顾单、多线程处理能 力的控制处理器核。 首先，根据片上处理器核物理位置相对较近的特点，本论文提出了采用共享 寄存器堆来构建专门用于传递同步消息和广播数据的短消息传输网络。共享寄存 器堆实现了核间信息的快速交互，从而满足了短消息传输低时延的要求。同时该 网络在物理上有较低的写入逻辑时延和较小的读出逻辑时延，而且面积和功耗都 较小，这些特点使得该网络能够方便的集成到片上多处理器中实验结果表明， 通过设计专门用于传递短消息的网络，同步消息的传递开销被大幅降低，有效减 少了任务的调用开销；同时短数据广播的效率也得到了提升，减少了通信开销。 实验结果表明，五个科学计算核心算法性能上有5 6 2 5 02 5 3 8 的提升，片上 互连网络的面积和功耗的增加都不超过1 其次，本论文提出了一种基于主从式实时操作系统限e a lt i m eo p e r a t i n gs y s t e m r t o s ) 的调度器( s c h e d u l e r ) 来高效地管理片上多核系统。通过定义操作系统和应 用程序之问的协议，编程人员只需要提供协议中所定义的内容，不需要再在程序 中加入同步和数据传递操作，把这些交由操作系统完成，从而降低了并行编程的 难度调度器的设计根据科学计算应用程序的特点，结合数据流图编程模型，采 用了分类的调用策略来降低任务的调用开销。操作系统和片上互连网络的协议中 采用了不同的网络接口函数来高效支持调度器对不同网络的访问，从而减少了网 络通信时延实验结果表明，通过减少调用开销和通信时延，设计的调度器有效 的提升了片上多核系统的性能( 从5 2 5 到1 9 6 2 不等) ，从而使得五个科学计算 核心算法的在多核系统上有较高的性能一效率不低于5 9 0 0 ，而调度器的代码 空间只有5 3 8 k b 。 最后，本论文提出了一种采用乱序超标量和类同时多线程技术( s i m u l t a n e o u s m u l t i t h r e a d i n gs m t ) 的处理器来满足控制处理器核对于单线程执行能力和任务吞 吐率的要求。通过挖掘单线程任务中指令的并行性，乱序超标量技术有效地改善 了处理器的单线程执行能力；类同时多线程技术的采用不但改善了处理器的任务 吞吐率，而且提高了执行部件的利用率。实验结果表明，乱序超标量机制加速了 应用程序中串行任务部分的执行，多核平台上五个科学计算程序的执行效率有 1 1 3 7 01 0 4 的提高；同时类s m t 多线程技术有效提升了处理器单位芯片面积 的吞吐率，可以达到1 3 0 3 9 d m i p s m m 2 。 关键词：片上多处理器，片上互连网络，实时操作系统，乱序超标量，同时多线 程 a b s t r a c t b yt h e2 0 0 0 st h eg r o w t hi ns i n g l e - p r o c e s s o rp e r f o r m a n c eh a ss t a l l e df o rt h e “p o w e r w a l l ”a n dl i m i t e di n s t r u c t i o nl e v e lp a r a l l e l i s m ( i l p ) i ns i n g l e t h r e a d e da p p l i c a t i o n p r o g r a m t h ec h i pm u l t i p r o c e s s o r ( c m p ) ，w h i c hh a sp o w e r f u lp a r a l l e lp r o c e s s i n g c a p a b i l i t y , h i g h e rd a t ac o m m u n i c a t i o nb a n d w i d t h ，b e t t e rr e s o u r c eu l t i l i z a t i o na n d g o o de x p a n s i b i l i t yb e c o m e st h en e wt r e n do fp r o c e s s o r sp e r f o r m a n c eg r o w t hb a s e d o nt h em o o r e sl a w h o w e v e lb e i n ga san e w t e c h n o l o g y , t h ec m p a l s ob r i n g sm a n y s o f t w a r ea n dh a r d w a r ec h a l l e n g e sw h i c hs l o w sd o w nt h ed e v e l o p m e n to fc m p t h e g o a li nt h i st h e s i si st oi m p r o v et h ec m ps y s t e m se f f i c i e n c y w ec o n s i d e rt h e s e p r o b l e m sf r o mt h ev i e wo fs y s t e ma n ds t u d yt h r e ek e yt e c h n o l o g i e si nc m pd e s i g n ： t h es h o r tm e s s a g ep a s s i n go n - c h i pn e t w o r k ，t h eh i g he f f i c i e n ts c h e d u l e ro fm u l t i - c o r e o p e r a t i n gs y s t e ma n dt h ec o n t r o lp r o c e s s o rw i t l lh i g h e rs i n g l e t h r e a d e dp e r f o r m a n c e a n dh i g h e rt a s kt h r o u g h p u t f i r s t l y , f o rt h en e a r e rp h y s i c a lp o s i t i o n so fp r o c e s s o rc o r e s ，t h i st h e s i sp r o p o s e s t h e s h o r t - m e s s a g ep a s s i n gn e t w o r k ，w h i c hi s c o n s t r u c t e db yt h es h a r e dr e g i s t e r c l u s t e r s ，t om a n a g et h et r a n s m i s s i o no fs y n c h r o n i z a t i o nm e s s a g ea n db r o a d c a s t i n g d a t a b ye x c h a n g i n gm e s s a g eq u i c k l y ，t h i sn e t w o r kc a nm e e tt h er e q u i r e m e n to fl o w e r t r a n s m i s s i o nl a t e n c yf o rs h o r tm e s s a g e s a tt h es a m et i m e ，t h i sn e t w o r kh a st h e c h a r a c t e r i s t i c so fl o w e rp h y s i c a ld e l a y , s m a l ld i ea r e aa n dl o w e rp o w e r , a l lo fw h i c h m a k et h en e t w o r kc a nb ee a s i l yi n t e g r a t e di nt h ec m ps y s t e m t h ee x p e r i m e n t a l r e s u l t ss h o wt h a t t h es h o r t - m e s s a g ep a s s i n gn e t w o r kr e d u c e st h et a s ki n v o k i n g o v e r h e a da n dd a t a b r o a d c a s t i n go v e r h e a d ，w h i c hb r i n g s 5 6 2 t o2 5 35 p e r f o r m a n c ei m p r o v e m e n t f o rt h ef i v es c i e n t i f i ck e r n e l a p p l i c a t i o n s w h i l et h e a u g m e n t a t i o n si na r e aa n dp o w e ra r eb o t hl e s st h a nl s e c o n d l y , t h i st h e s i ss u g g e s t sas c h e d u l e ro fm a s t e r - s l a v e rr e a l - t i m eo p e r a t i n g s y s t e m ( r t o s ) t oe f f i c i e n t l ym a n a g et h et a s k t h r e a dr u n n i n gf o rt h ed i s t r i b u t e dc m p s y s t e m b yd e f i n i n gt h ep r o t o c o lb e t w e e nt h ea p p l i c a t i o n sa n dr t o s ，t h ed i f f i c u l t i e s v o fp a r a l l e lp r o g r a m m i n gi sr e d u c e dp a r t l yw h i c ht h ep r o g r a m m e r so n l yn e e dt os u p p l y t h ec o n t e n t sd e f i n e di n t h ea p p r t o sp r o t o c o la n d d on o tn e e dt oc a r et h e c o m m u n i c a t i o na n ds y n c h r o n i z a t i o np r o b l e m i n s t e a d , t h ep r o p o s e ds c h e d u l e r m a n a g e st h e s eo p e r a t i o n s a n dt h es c h e d u l e ra l s oc l a s s i f i e st h ei n v o k i n gf l o w so f t 硝s k b a s e do nt h ef e a t u r e so fs c i e n t i f i ca p p l i c a t i o np r o g r a ma n dd a t af l o wg r a p h ( d f g ) p r o g r a m m i n gm o d e l ，w h i c ho b v i o u s l yr e d u c e st h ei n v o k i n go v e r h e a do ft a s k t h e e f f i c i e n tr t o s n e t w o r kf u n c t i o n sa led e f i n e di nt h es c h e d u l e rd e s i g n ，w h i c hm a n a g e t h en e t w o r ka c c e s s i n gw i t hl o w e ro v e r h e a d t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tb y r e d u c i n gt h ei n v o k i n go v e r h e a da n dc o m m u n i c a t i o nd e l a y , t h es u g g e s t e ds c h e d u l e r i m p r o v e st h ec m ps y s t e mp e r f o r m a n c eb y5 2 5 t o1 9 6 2 ，w h i c hr e s u l t st h eh i g h e r p e r f o r m a n c e o ft h e f i v es c i e n t i f i ck e r n e la p p l i c a t i o np r o g r a m s t h em e m o r y r e q u i r e m e n to f t h ep r o p o s e ds c h e d u l e ro n l yn e e d s5 3 8 k b f i n a l l y , t h et h e s i sp r e s e n t san o v e lp r o c e s s o ra r c h i t e c t u r ew h i c hc o m b i n e st h e o u t o f - o r d e r ( o o o ) s u p e r s c a l a rt e c h n o l o g ya n ds i m u l t a n e o u sm u l t i - t h r e a d i n g ( s m t ) t e c h n o l o g yt om a n a g et h er u n n i n go fc m ps y s t e m b ye x t r a c t i n gt h ei n s t r u c t i o nl e v e l p a r a l l e l i s m ( i l p ) f r o mt h es i n g l e - t h r e a d e da p p l i c a t i o np r o g r a m ，o o - os u p e r s c a l a r t e c h n o l o g ye f f i c i e n t l yi m p r o v et h ep r o c e s s o r ss i n g l e t h r e a d e dp e r f o r m a n c e a n dt h e s m tt e c h n o l o g yd o e sn o to n l yi m p r o v et h ep r o c e s s o r st a s kt h r o u g h p u tb u ta l s o i m p r o v et h ee x e c u t i o nr e s o u r c eu t i l i z a t i o n t h ee x p e r i m e n t a lr e s u l t s s h o wt h a tt h e e x e c u t i o no fs e r i a lp a r ti na p p l i c a t i o np r o g r a mi sa c c e l e r a t e dw h i c hd e l i v e r s1 13 t o 10 4 p e r f o r m a n c ei m p r o v e m e n to ft h ef i v es c i e n t i f i ck e r n e la p p l i c a t i o np r o g r a m s ； t h es m tt e c h n o l o g ya l s oi m p r o v e st h et h r o u g h p u to fc h i pw h i c hc a no b t a i n 13 0 3 9 d m i p s m m 2 k e y w o r d s ：c h i pm u l t i p r o c e s s o r , n e t w o r k s - o n c h i p ，r e a l t i m eo p e r a t i n gs y s t e m ， o u t - o f - o r d e rs u p c r s c a l a r , s i m u l t a n e o u sm u l t i t h r e a d i n g 致谢 首先感谢我的恩师姚庆栋老师，本文是在他的悉心指导和无私帮助下完成 的。我的成长离不开姚老师对我的谆谆教诲和无微不至的关怀。多年来，在姚老 师的指导下，我拓宽了知识面，增强了创新精神，提高了科研工作能力。姚老师 渊博的学识、严谨的治学态度、求是的科学作风将使我受益终生 感谢导师、课题组负责人刘鹏老师为我提供了优越的学习科研环境，并在学 习期间给予的无私帮助和指导。刘老师严谨求是的治学态度、一丝不苟的工作作 风和与时俱进的学术视野是我学习的楷模。同时也感谢王维东老师和史册老师在 我的学习和工作中给予的支持和帮助。 感谢科研组师兄弟们在论文完成过程中给予的帮助和支持，他们是姚英彪、 陈科明、张贻雄、成杏梅、蔡卫光、夏冰洁、王小航、江国范、项纯昶、张奇、 钟耿、冯天天、张凯舟、王碉、郑启枣、戴清、范佑、马骥、刘扬帆、方磊、邬 可俊、胡琪、于绩洋、钱盛涛、黄春明、杨劫等，实验室里那种和谐、团结、协 作的工作环境，让我度过了美好快乐的时光 感谢给予我帮助和鼓励的可爱的朋友们，有了你们，我的生活更加丰富多彩 感谢我父母、岳父和岳母多年来一如既往的鼓励，你们不求回报的支持和关 心增加了我的信心，是我完成学业的最坚强的后盾 特别感谢我的妻子徐巧宁，在我读博过程中迷茫、痛苦时，总是能从你那里 得到无微不至的关怀与帮助，使我能够重新振作，去克服一个又一个的困难，你 的支持，正是我完成学业的源泉和动力 最后，再次向所有给予我帮助的老师、师兄、师姐、师弟、师妹和朋友们表 示感谢! 顾雄礼 2 0 1 1 年6 月于求是园 浙江大学博士学位论文绪论 1 绪论 1 1 课题研究背景 2 0 0 0 年之前，处理器的性能一直呈指数级增长【l 】，传统处理器性能的快速增 长主要依靠两点来实现：首先在摩尔定律【2 】的作用下，晶体管的时延在不断减少， 同时芯片的集成度在快速地增长【3 】晶体管时延的减少使得处理器的主频不断提 高，从而有效地提升了处理器的性能。工作电压随着工艺的进步不断降低，所以 处理器功耗并不会随着主频的提高而明显增大【4 1 其次，芯片上数目众多的晶体 管使得处理器的设计者可以从应用程序中挖掘出更多的指令并行性来改善处理 器的性能【5 1 但是进入2 0 0 0 年之后，c m o s 工艺的进步无法再进一步降低工作 电压【4 1 ，处理器的功耗随着主频提高明显增大，这使得提升主频来提升单核处理 器性能和降低处理器功耗逐渐成为了一对无法调和的矛盾【6 】【刀；同时应用程序的 指令并行性是有限的【8 】，依靠增加晶体管来挖掘指令并行性的方法所得到的收益 逐步递减，上述两个原因使得单核处理器的发展越来越艰难2 0 0 4 年之后，处 理器的设计逐步进入了多核时代，片上多处理器( c h i pm u l t i p r o c e s s o r , c m p ) 逐渐 取代了单核处理器成为了处理器发展的新方向【9 】【1 0 】。片上多处理器具备以下优点 【l l 】【1 2 】 _ c m p 通过将多个功能完整的相同或不同的处理器核集成在单个芯片上，使 整个处理器可执行的线程数量数倍于单核处理器，有效的挖掘了应用程序中 任务线程级并行和进程级并行，从而提升了处理器的并行处理能力。 - 处理器核之间采用总线、交叉开关或者片上互连网络【1 3 】【1 4 ( n e t w o r k s o n c h i p ， n o c ) 进行连接，片上丰富的布线资源和处理器核之间相对较近的物理距离有 效地降低了通信时延，同时数据通信带宽也大为提高。 片上处理器核之间共享资源，如共享l 2 l 3c a c h e ，资源利用率较高，功耗较 低 _ 片上多处理器系统容易扩展，处理器核增加以后芯片只需要改动引脚来增加 存储和i o 带宽，其他不需要改动，开发周期较短，工程代价较小 上述的四个优点使得片上多处理器取代单核处理器成为主流，自2 0 0 1 年i b m 推 出首款商用多核处理器p o w e r 4 1 5 】，到a m d 和i n t e l 在2 0 0 5 年以后的大规模应 浙江大学博士学位论文绪论 用，再到现在嵌入式领域的多核处理器的普及( 如m i p s 的1 0 7 4 k i l 6 1 ，a r m 的 c o r t e x a 9 i 1 7 】多核处理器) ，短短几年间多核处理器的应用已经涵盖了商用服务器、 桌面处理器、嵌入式设备、高性能计算等领域，呈现出蓬勃发展的趋势。 虽然片上多处理器代表了处理器未来的发展方向，但是作为一项出现不久的 新技术，存在着许多亟待解决问题，这些问题如下： ( 1 ) 并行编程1 8 1 为了利用片上多处理器所提供的硬件计算资源，程序员需要将应用程序划分为多 个并行线程，之后将这些线程映射到多个处理器核上。由于传统的应用程序大多 为冯诺依曼结构【1 1 的单核处理器进行编写，将这些程序并行化为可以在多核处理 器上运行的程序是相当艰难和费时的。历史上许多研究人员试图提出一种新的并 行编程语言来从本质上解决串行程序在并行系统上执行的困难，如a l p l l9 1 ，i d i 2 0 】 语言等但是这些语言在效率和灵活性上都无法赶上传统的顺序编程语言( 如c 语言) ，目前还没有成功的并行编程语言。还有一种解决方案是设计一种能从硬 件上直接支持程序并行执行的处理器，不过这种方案同样没有取得成功第三种 解决方案是开发能够自动挖掘串行程序线程级并行的软件，软件可以将串行程序 自动地转化为并行的线程在多核处理器上运行【2 。这种方案目前只对一部分简 单应用程序奏效，当程序复杂以后，依然需要人工干涉来实现串行程序并行化 因此并行编程要求开发的并行软件能适应于不同应用程序的要求，同时具有良好 的可扩展性当处理器数目增加时，也能够挖掘足够多的并行线程来满足系统 的要求。 ( 2 ) 操作系统 现有的多核操作系统能够管理规模较小的同构多核系统【4 1 ( 如常见的用于管理2 8 核的w i n d o w s 、l i n u x 操作系统) ，但是当处理器核数目增加、种类增多以后，目 前的多核操作系统还无法有效地进行管理因此，系统软件上要求设计的多核操 作系统满足以下几个要求： 1 ) 能够高效地完成任务的调用( 任务已经静态映射到处理器核上) ，降低调用开 销对整体性能的影响2 2 1 2 ) 能够高效地完成任务的调度( 任务动态分配到处理器核上) ，保证多核系统的 任务吞吐率i 2 3 1 1 2 4 】【2 5 1 浙江大学博士学位论文 绪论 3 ) 能够为并行编程提供便利的接口协议，一定程度上降低并行编程的难度。 4 ) 能够为片上互连网络提供有效的接口协议来高效管理核间任务的信息通信 驯( m e s s a g ep a s s i n g ) 。 5 ) 处理器核数目进一步增加以后，每个处理核所执行的应用程序可能各不相 同，操作系统的调度策略需要同时满足不同应用的需求【2 6 1 6 ) 针对每种应用操作系统需要设计相应的调度器来满足不同应用的要求【2 6 1 。 7 ) 能够管理采用不同指令集的异构多核系统【2 7 】i 8 ) 能够从任务调度策略上考虑能耗，尽量降低芯片运行应用程序时的能耗f 2 引。 ( 3 ) 片上互连网络 由于总线结构可扩展性较差【2 9 1 ，同时交叉开关又拥有较大的片上面积 3 0 】，这两 者都不适用于将来片上多核的发展。片上互连网络被认为是适合于将来大规模 c m p 的互连技术【1 1 】。片上网络负责处理器核之问数据的传递以及同步消息的传 递，其设计需要满足以下要求： 1 ) 高带宽和低传输延迟这两者往往是矛盾的，网络传输带宽高了以后会引入 较多的网络资源竞争，增加了数据的传输时延，如何使设计的片上网络能同 时满足这两者的要求是一个挑战【3 0 1 2 ) 较小的面积和功耗现代研究指出，片上互连网络所消耗的能耗和所占片上 多处理器芯片的面积越来越大，文献【3 1 】中指出，片上互连网络的能耗已经占 到芯片整体功耗的4 0 ，将来的片上网络设计需要充分考虑所消耗的芯片面 积和功耗【3 2 】。 3 ) 可扩展性。将来的处理器数目会扩展到单芯片成百上千个，应对如此多数目 的处理器核，片上网络需要具备良好的可扩展性1 1 】 4 ) 可靠性。在c m o s 工艺进入6 5 n m 以后，片上网络出现故障的概率会增加， 这可能是由串扰、噪声或者过高的温度所导致的，因此片上网络的设计需要 充分考虑可靠性问题 ( 4 ) 处理器核及核心结构选择 多核处理器的核心结构主要有同构和异构这两种【3 3 1 同构片上多处理器的由于 采用相同的处理器核，原理简单，硬件上比较容易实现，但是由于单一的处理器 核要满足各种应用的要求( 如操作系统运行，应用程序计算) ，因此其性能和性能 浙江大学博士学位论文绪论 功耗的比不是最佳的3 4 1 ，而且随着处理器核数目的不断增加，同构处理器的核 心必须不断简化结构来降低整体功耗。所以同构多核处理器要求处理器核在各方 面性能均衡，同时面积和功耗都较小。 异构片上多处理器可以根据应用的不同来选择不同的处理器核构建片上多 处理器，因此其性能和性能功耗比好于同构多核处理器【3 5 1 。从功能上来分，异 构片上多处理器的核可以分为控制为主的核和计算为主的核。控制为主的核运行 操作系统来管理整个多核系统，同时执行部分串行任务的计算，所以控制处理器 核的设计需要满足： 1 ) 线程的吞吐率和单线程的处理能力。 2 ) 较小的功耗和面积。 负责计算的处理器核以吞吐率为主要目标，其设计要求： 1 ) 能够挖掘程序的数据并行、任务线程级并行。 2 ) 较小的功耗和面积。 ( 5 ) 存储结构 单核时代处理器速度与存储器速度之间的差距已经十分明显，为了解决这个问 题，传统的单核处理器大多采用存储器层次化设计即缓存到主存再到磁盘的存储 器层次化结构【引当处理器发展进入多核时代以后，由于多个处理器核都要访问 主存，因此主存的访问带宽已经不能满足多个处理器核访问的需要。而且由于当 前绝大多数的处理器核都采用缓存结构，多核结构中缓存一致性问题也是相当棘 手的。传统的数据一致性的解决方法主要有基于总线的监听协议【8 1 和基于目录的 协议【羽，但是基于总线的监听协议扩展性较差，无法满足较多数目处理器核的要 求。而目录协议虽然解决了扩展性的问题，但是其硬件实现代价较大，而且并发 访问时会成为性能的瓶颈。最近几年还出现了采用事务型模型来维护缓存一致性 的方法，如t r a n s a c t i o n a lm e m o r y 3 6 】 3 7 1 ，但是该方法目前只在处理器核问数据冲 突不多的情况下效率较高所以多核存储器结构的设计要求如下： 1 ) 设计的存储结构能够较好满足多个处理器核访f - 1 带宽的要求 2 ) 基于目录的缓存一直性协议要更加高效。 3 ) 事务型一致性模型能够同时高效的处理数据冲突较多和冲突较少这两种情 况下的缓存一致性问题 4 浙江大学博士学位论文 绪论 上述这些问题的解决对于片上多处理器的发展至关重要，研究人员为此开展 了大量的研究工作。下面的章节中我们首先对几种不同类型的片上多处理器进行 介绍，分析它们在设计上的优点和缺点，作为我们设计未来片上多处理器的参照， 之后我们针对前面问题中的几个方面提出了我们的解决方案，最后给出本论文的 研究工作和章节安排。 1 2 片上多处理器分类 从处理器体系结构来看，根据核心结构的不同，片上多处理器可以分为同构 和异构两种类型【3 3 1 从处理器核同时执行的线程数来看，可以将片上多处理器 分为由单线程处理器核构成的系统和由多线程处理器核构成的系统根据存储层 次互连的不同，可以分为共享一级c a c h e 结构、共享二级c a c h e 结构以及共享内 存的结构从处理器核的数目来看，可以将片上多处理器分为多核( m u l t i c o r e ， 一般指1 6 个处理器核及以下) 和众核( m a n y c o r e ，一般指1 6 个处理器核以上) ， 下面的章节中分别叙述这些类型的片上多处理器及特点 1 2 1 同构与异构片上多处理器 同构多核处理器指芯片内部所有处理器核的结构完全相同，每个核的功能、 地位完全一致，可以单独地执行任务，与通用单核处理器功能、结构相近目前 的同构多核处理器大多由通用处理器核构成，应用于通用计算领域，如服务器和 桌面处理器。典型的同构多核处理器有a i v i d 公司于2 0 0 7 年推出的b a r c e l o n a 3 8 】 处理器，如图1 1 所示b a r c e l o n a 拥有4 四个一样的处理器核o p t e r o n ，工作频 率为2 0 g h z ，每个o p t e r o n 拥有独立的一级3 2 k b 的指令缓存、3 2 k b 的数据缓 存以及5 1 2 k b 的2 级缓存，4 个处理器核共享2 m b 的三级缓存，o p t e r o n 之间、 o p t e r o n 同三级缓存之间以及o p t e r o n 同内存控制器之间采用交叉开关( c r o s s b a r ) 进行互连b a r c e l o n a 处理器的峰值性能可以达到1 2 8 0 g f l o p s ，集成4 6 3 亿个晶 体管，功耗为7 5 w 异构多核处理器芯片内部包含多个功能不同的处理器核，不同的处理器核负 责处理不同的任务比如由负责系统管理的主核加上执行计算加速的从核所构 浙江大学博士学位论文 绪论 o p t e r o n3 l 1i n s t l 1d a t a c a c h ec a c h e l 2c a c h e o p t e r o n0 l 1i n s t l 1d a t a c a c h ec a c h e l 2c a c h e 图1 1b a r c e l o n a 处理器结构框图 成的异构多核处理器；由负责浮点、定点等不同计算任务的处理器核所构成的异 构多核处理器。异构多核处理器目前主要应用于专用计算领域，如多媒体处理器、 嵌入式处理器和超级机的处理器，通常包含通用处理器和专门用于计算加速的处 理器( d s p ，网络处理器，流媒体处理器等) ，其中通用处理器通常负责多核系统 的管理而加速处理器主要完成特定的计算任务。最典型的异构多核处理器是由 i b m 、s o n y 和t o s h i b a 三家公司一起开发并于2 0 0 5 年推出的c e l l 处理器【3 9 】【删， 如图1 2 所示。 型型掣1 8 笋i | s 刊s x ：叫卜x ：叫卜x ：叫 离霁裂节i1 l s t 博l s 髂吲 审啪 j j m e m o r y b u si n t e r f a c e g o n d o l i e r c o n t r o l l e r l ! ! 吲翟 ”d u a lr a m b u sf 。1 r a m b u s 上lv n d i c l 。t n 图1 2c e l l 多核处理器结构框图 c e l l 处理器包含一个通用处理器核一6 4 b i t 的p o w e r 处理器核p o w e rp r o c e s s o r 6 浙江大学博士学位论文 绪论 e l e m e n t ( p p e ) i j x 及8 个协作处理器s y n e r g i s t i cp r o c e s s o re l e m e n t s ( s p e ) 。通用处理 器p p e 运行操作系统来管理各个s p e 的运行，工作频率为3 2 g h z ，采用传统的 c a c h e 结构，拥有3 2 k b 的一级指令缓存、3 2 k b 的一级数据缓存和5 1 2 k b 的二 级缓存，流水线上采用双发射顺序结构，同时支持两路的硬件同时多线程 s i m u l t a n e o u sm u l t i t h r e a d i n g ( s m t ) 。协作处理器s p e 主要完成计算加速功能，每 个s p e 拥有一个执行单元( s x u ) ，一个直接存储访问单元( d m a ) 和2 5 6 k b 的本 地存储( l s ) 用于保存程序指令和数据。处理器之间的交互以及处理器和内存控制 器之间的交互采用e l e m e n ti n t e r c o n n e c tb u s ( e i b ) 总线进行互连e i b 总线支持四 个1 6 b y t e s 宽度的数据环网，每个环网可以同时支持3 个目的地不同的数据传输。 除了数据传输网络以外，处理器之间同步信号的传递采用信号通道( s i g n a lc h a n n e l ) 或者消息信箱( m a i l b o x e s ) 进行传输。c e l l 处理器的峰值性能可以达到单精度 2 0 4 8 g f l o p ，集成2 3 4 亿个晶体管，功耗约为4 0 w 。c e l l 的性能与功耗比可以达 到5 1 2 g f l o p w ，远好于b a r c e l o n a 的1 7 1 g f l o p w ，表1 1 列出的c e l l 的基本单 表1 1s p e 与其他处理器参数比较 c l o c ks pp o w e r p e r f o r m a n c e p o w e r p r o c e s s o r ( g h z ) ( g f l o p s ) ( w ) ( g f l o p s w ) s p e3 22 5 638 5 3 x 1 e ( m s p ) 1 1 33 61 2 00 3 0 a m d 6 4 2 28 88 90 1 0 i a 6 41 4 5 6 1 3 0 0 0 4 表1 2 同构片上多处理器和异构片上多处理器的比较 浙江大学博士学位论文绪论 元s p e 和其他处理器参数的比较也说明了这一点，因此异构片上多处理器比同 构片上多处理器在性能和功耗比上有明显的优势。这是因为异构片上多处理器可 以根据应用需求而采用不同的处理器核来构建多核处理器，异构结构可以在性能 与功耗比上达到最佳。综上，同构片上多处理器和异构片上多处理器的比较如表 1 2 所示。 1 2 2 单线程核心与多线程核心片上多处理器 单线程核心片上多处理器是指构成多核的处理器核只支持单个硬件线程，多 核处理器由一些非常简单的处理器核构成，典型的单线程核心多核处理器有 s t a n f o r d 大学的h y d r a l 4 2 1 多核处理器，如图1 3 所示。 图1 3h y d r a 多核处理器结构框图 h y d r a 包含四个基于m i p sc o r e 的单线程处理器核，每个核拥有单独的一级 1 6 k b 指令、1 6 k b 数据缓存，四个核共享2 m b 二级缓存，处理器核与二级缓存 之间、内存控制器以及i o 之间采用总线进行连接采用单线程处理器核构建多 核处理器时，由于同一个时刻只能处理较少的应用线程( 如h y d r a 只能同时处理 四个硬件线程) ，处理器的整体吞吐率明显不足，这对于拥有大量并行线程的应 用( 如w e b 搜索) 来说将是致命的 多线程核心片上多处理器是指构成多核的处理器核能支持多个硬件线程根 据处理器核所采用的多线程技术的不同，可以将该类型的多核处理器分为两类： 8 浙江大学博士学位论文绪论 ( 1 ) 采用细颗粒度多线程技术的多核处理器【4 3 1 ；( 2 ) 采用同时多线程技术的多核处 理器【删【4 5 1 。采用细颗粒度多线程的多核处理器典型例子有s u n 公司于2 0 0 7 年推 出的u l u a s p a r ct 2 【4 6 1 ，如图1 4 所示。 图1 4u l t r a s p a r ct 2 处理器结构框图 u l t r a s p a r ct 2 拥有8 个一样的处理器核，每个核拥有独立的1 6 k b 的一级 指令缓存和8 k b 的一级数据缓存，8 个处理器核共享4 m b 的二级缓存。每个处 理器核支持8 个细颗粒度硬件线程，处理器总共支持6 4 个细颗粒度硬件线程。 处理器核之问的通信以及处理器核与二级缓存之间的连接采用8 x 9 规模的交叉 开关( c r o s s b a r ) 来实现u l t r a s p a r ct 2 主要用于商用服务器，针对的应用主要为 w e b 搜索，因此其应用包含大量可以并行执行的线程，而且每个线程对于执行的 延迟并不敏感同时u l t r a s p a r ct 2 的设计采用支持细颗粒度的简单处理器核， 其流水线长度只有6 级，几乎没有猜测执行能力，也没有分支预测能力，由这样 的处理器核所构成的片上多处理器体现出了吞吐率和性能功耗上的优势 9 浙江大学博士学位论文绪论 u i 打a s p a r ct 2 全速运行时每个线程所消耗的功耗只有2 w ，远小于其他多核处 理器。u l t r a s p a r ct 2 的缺点在于：( 1 ) 需要包含大量并行线程的应用程序来提高 芯片资源的利用率，如果应用程序可用的并行线程较少，那么硬件资源利用率较 低；( 2 ) 由于采用了简单处理器核，处理器单线程的处理能力存在着不足，单个 线程的执行延迟较大。第二个问题也限制了u l t r a s p a r ct 2 类型的多核处理器在 线程执行时延敏感领域( 如桌面多核处理器) 的应用。 采用同时多线程( s i m u l t a n e o u sm u l t i t h r e a d i n g s m t ) 技术的多核处理器典型 例子有i b m 公司于2 0 1 0 年推出的p o w e r 7 t 4 7 1 1 4 8 1 片上多处理器，如图1 5 所示。 c o r e 0 c o r el c o r c 6c o r e7 l li n s t l ld a t al li n s tl ld a 协l li n s t l ld a t a l li n s t l ld a t a c a c h ec a c h ec a c h ec a c h ec a c h ec a c h ec a c h ec a c h e l 2 c a c h e1 2c a c h el 2c a c h el 2c a c h e ififjfjf c h i pi n t e r c o r m e c t i o n ifififlf if m e m o wm e m o r y l o e a ls m pr e m o t es m p l 3 c a c h e c o n t r o l l e r0c o n t r o l l e rll i n k sl i n k sa n dl ol i n k s 图1 5p o w e r 7 处理器结构框图 p o w e r 7 处理器由8 个同构的处理器核构成，每个处理器核采用深度乱序超标 量流水，拥有独立的3 2 k b 的一级指令缓存、3 2 k b 的一级数据缓存以及2 5 6 k b 的二级缓存，8 个处理器核共享3 2 m b 的三级缓存。每个处理器核支持四路同时 多线程，因此整个处理器总共支持3 2 个s m t 硬件线程相对于u l t r a s p a r ct 2 ， p o w e r 7 的处理器核采用了复杂的乱序超标量结构，通过挖掘线程中指令并行性 来提高单线程的处理能力，这使得p o w e r 7 在单线程处理能力上相比于 u l t r a s p a r ct 2 有大幅度的提高，能较好的满足执行延迟敏感应用程序的要求。 同时p o w e r 7 支持s m t 多线