（计算机系统结构专业论文）逻辑核动态可重构的众核处理器体系结构.pdf

摘要 摘要 随着半导体技术的发展，摩尔定律继续有效，单块芯片上集成的处理器核数 将不断增加；同时为追求更高的性能功耗比和性能面积比，众核结构成为芯片设 计的必然选择。众核处理器中丰富的计算资源和高效的片上通信使得面向吞吐率 的应用具有天然的性能优势，但是由于处理器核粒度变小，在单核上执行串行应 用的性能无法保证。为解决这一问题，近年来具有逻辑核构造能力的众核处理器 体系结构研究备受关注，其基本思想是基于多个细粒度处理器核( 称为物理核) 构建粗粒度逻辑核，期望利用众核结构丰富的计算资源，将不断增加的处理器核 转化为单线程串行应用的性能提升。目前已有的工作对这种众核结构的通信开销 处理、逻辑核粒度配置灵活性和应用映射方式等方面尚缺乏深入的研究。 本文针对细粒度众核结构上串行程序的有效执行问题，从执行模型、微结构 设计和动态资源控制等几方面展开深入探讨，对于探索逻辑核动态可重构的众核 处理器体系结构具有重要的学术意义和应用价值。本文主要研究内容和成果包括 以下几个方面。 ( 1 ) 研究了具有逻辑核构造能力的众核处理器重构开销问题，提出逻辑核 动态可重构的众核结构f t p a ( f l e x i b l et i l e dp r o c e s s o r a r c h i t e c t u r e ) 。f t p a 采用 类数据流驱动执行的指令集体系结构，在不改变串行编程模型前提下，利用数据 流驱动和线程级推测相结合的执行模型，同时开发单线程程序中的指令级并行和 线程级并行。为解决众核处理器逻辑核重构开销过大问题，f t p a 将物理核内资 源通过片上路由网络划分为易重构的计算资源和不易重构的共享资源，从而使得 逻辑核粒度能够在两个层面以两种频度进行异步调整，具有高度灵活性。 ( 2 ) 研究了串行程序采用细粒度线程级推测执行模型时，应用推测执行能 力的实时评估机制。针对串行应用不同执行阶段并行性特征存在的显著差异，利 用时间局部性，为众核结构逻辑核粒度动态重构进行有效指导，本文提出基于“推 测执行阶段”和“推测深度”概念的线程级推测执行能力量化评估方法，并以此 为基础提出利用推测深度的局部历史、全局历史和锦标赛三种推测执行能力评估 器设计，只需要数十位存储资源，就可以有效预测串行程序并行性变化趋势，对 推测深度作出有效估计。 ( 3 ) 研究了将推测执行能力评估器用于指导f t p a 众核结构逻辑核动态重 构的有效性。为有效处理众核结构分布式执行导致的通信开销，以指令窗口和功 能部件为核心的计算资源可以按照平铺式和深度式两种映射方式构建逻辑核，从 而适应具有不同并行性特征的应用。本文将线程级推测执行能力评估器用于指导 f t p a 逻辑核动态重构，分别从平铺式映射和深度式映射两方面对性能和资源利 摘要 用进行了详细实验评估。结果表明，相对于采用固定粒度逻辑核的f t p a 配置， 动态逻辑核重构方式只需一半物理核计算资源就可以有效支持细粒度线程级推 测执行，性能降低不到1 3 ，资源利用率显著提高。 本文的研究工作可以得出如下认识： ( 1 ) 逻辑核是众核处理器上加速串行应用的有效手段，但是将细粒度物理 核资源耦合在一起需要高效的结构支持，如本文提出的计算资源和共享资源的分 离设计，平铺式和深度式映射方式等。 ( 2 ) 在众核处理器上采用细粒度线程级推测执行模型加速串行程序需要在 性能和资源利用率之间进行权衡，合理的逻辑核重构必须建立在对应用执行特征 精确认识的基础上，线程级推测执行能力评估器是一种有效尝试。 本文提出的f t p a 众核处理器所采用的计算资源和共享资源分离方法、平铺 式和深度式逻辑核重构以及线程级推测执行能力评估器设计等都可以作为一般 方法论进行推广，应用于其他众核结构中。 关键词：众核处理器物理核逻辑核推测执行能力评估器 i i a b s t r a c t w i t ht h ee v o l v i n go f s e m i c o n d u c t o rt e c h n o l o g y ，t h em o o r e sl a w i sc o n t i n u i n g ， a n dt h en u m b e ro fp r o c e s s o rc o r e si n t e g r a t e do ns i n g l ec h i pg o e so ni n c r e a s i n g f o r p o w e r a n da r e ae f f i c i e n c y ，m a n y c o r ep r o c e s s o ra r c h i t e c t u r ei sa l lu n e s c a p a b l ec h o i c e w i t ha b u n d a n to fc o m p u t i n gr e s o u r c ea n dh i g h l ye f f i c i e n to n 。c h i p - n e t w o r k ，m a n y c o r e i ss u i t a b l ef o ra p p l i c a t i o n sw i t ht h r o u g h p u tr e q u i e r m e n t s a st h ep r o c e s s o rc o r e i n t e g r a t e do nm a n y c o r ew i l lb ef i n e r ，t h ep e r f o r m a n c eo fs i n g l et h r e a da p p l i c a t i o n m a yd i m i n i s hw h i l ee x e c u t i n go nas i n g l ec o r e f o r t h i sp r o b l e m ，r e c e n t l y ，m a n y c o r e p r o c e s s o rw i t hc a p a b i l i t y o fc o n s t r u c t i n gr e c o n f i g u r a b l el o g i cc o r eb e c o m ea r e m a r k a b l es o l u t i o n ，i nw h i c hs e v e r a lc o r e s ( n a m e dp h y s i c a lc o r e ) a r ec o m b i n e da sa c o a r s eg r a i nl o g i cc o r e ，e x p e c t i n gt oe f f i c i e n t l yt r a n s l a t et r a n s i s t o r r e s o u r c e si n t o p e r f o r m a n c eg a i n i n go fs e q u e n t i a lp r o g r a m s t h e r ei sl i t t l er e s e a r c h e f f e r ti sm a d eo n c o m 瑚【u n i c a t i o no v e r h e a d ，l o g i c a lc o r ef l e x i b i l i t ya n da p p l i c a t i o nm a p p i n gf o rt h e s e m a n y c o r ea r c h i t e c t u r e a i m i n ga te f f i c i e n te x e c u t i o no fs e q u e n t i a la p p l i c a t i o n so nm a n y c o r ep r o c e s s o r w i t hf i n eg r a i nc o r e s ，i nt h i sd i s s e r t a t i o n ，i n t e n s i v es t u d yi sc a r r i e do u to ne x e c u u o n m o d e l m i c r o a r c h i t e c t u r e ，a n dr e s o u r c et u n i n g ，e t c ，a n dm u c ha c a d e m i cv a l u e 1 s a c h i e v e df o rm a n y c o r ea r c h i t e c t u r ew i t h m a i nc o n t e n ta n da c h i e v e m e n ti n c l u d e s ： d y n a m i c a l l yr e c o n f i r a b l el o g i c c o r e t h e ( 1 ) p r o p o s e dm a n y c o r ep r o c e s s o rf t p a( f l e x i b l et i l e dp r o c e s s o ra r c h i t e c t u r e ) w i t hd y n a m i c a l l yr e c o n f i g u r a b l el o g i cc o r e f t p at a k e sa d v a n t a g e so fd a t a f l o w - l i l e e x e c u t i o nm o d e le d g e ( e x p l i c i t d a t a f l o wg r a p he x e c u t i o n ) i n s t r u c t i o ns e t a r c l l i t e c t u r e ，a 1 1 di l p ( i n s t r u c t i o nl e v e lp a r a l l e l i s m ) a n dt l p ( t h r e a d l e v e lp a r a l l e l i s m ) a r ee x p l o i t e di nt h ew a y o fd a t a f l o we x e c u t i o na n df i n eg r a i nt h r e a dl e v e ls p e c u l a t i v e e x e c u t i o nw h i l en o ti m p a c t i n gs e r i a lp r o g r a m m i n gm o d e l t oo v e r c o m et h eo v e r h e a d o fl o g i cc o r er e c o n f i g u r a t i o n ，i nf t p a ，t h ec o m p u t i n gr e s o u r c e sa n d s h a r e dr e s o u r c e s a r es e p a r a t e dt h r o u g ho n c h i pn e t w o r k ，r e s u l t i n gi nr e s o u r c et u n i n gi nt w o l e v e l sa j l d t w of r e q u e n c i e s ，m e a n i n gm u c hm o r ef l e x b i l i t y ( 2 ) d e s i g n e da l le s t i m a t o ro fs p e c u l a t i v ee x e c u t i o nc a p a b i l i t yt o d i r e c tt h el o g i c c o r ed y n a m i cr e c o n f i g u r a t i o n t oa c h i e v er e a s o n a b l el o g i cc o r er e c o n f i g u r t i o n ，b a s e d o nt e m p o r a ll o c a l i t ya n dt h eo b s e r v i n ga b o u te x e c u t i o np h a s e s ，t h r e ee s t i m a t o r so f f i n e g r a i n t h r e a dl e v e l s p e c u l a t i v e e x e c u t i o nc a p a b i l i t y a r c p r o p o s e d o nt h e i i i a b s l r a c t c o n c e p t i o no fs p e c u l a t i v ee x e c u t i o np h a s ea n dd e p t h ，n a m e dl o c a lh i s t o r y ，g l o b a l h i s t o r ya n dt o u r n a m e n te s t i m a t o r e x p e r i m e n t sr e s u l t ss h o wt h a t ，t h ee s t i m a t o ro f s p e c u l a t i v ee x e c u t i o nc a p a b i l i t yi sa b l et op r e d i c tt h et r e n do fc o n c u r r e n c yc h a n g i n g a c c u r a t e l yi nd i f f e r e n te x e c u t i o np h a s e s ，w h i l ec o n s u m i n go n l yt e n so fb i t sh a r d w a r e m e m o r yr e s o u r c e s ( 3 ) e x p l o r e dt h ee f f i c i e n c yo fa p p l y i n gt h ee s t i m a t o ro fs p e c u l a t i v ee x e c u t i o n c a p a b i l i t yo nl o g i cc o r ed y n a m i cr e c o n f i g u r a t i o n f o rd i f f e r e n td e s i g nc o n s t r a i n t sa n d a p p l i c a t i o n ss t y l e s ，t h ec o m p u t i n gr e s o u r c e s ，i n c l u d i n gi n s t r u c t i o nw i n d o wa n d f u n c t i o nu n i t s ，a l ea b l et of o r ml o g i cc o r ei nt w ow a y s ，f l a ta n dd e e p t h ee s t i m a t o ro f s p e c u l m i v ee x e c u t i o nc a p a b i l i t yi su s e df o rl o g i cc o r eg r a i nt u n i n go ff t p ai nt h et w o w a y sa n de x p e r i m e n t sr e s u l t sd e m o n s t r a t et h a t ，w i t ht h ed i r e c t i o no fe s t i m a t o ro f s p e c u l a t i v ee x e c u t i o nc a p a b i l i t y ，c o m p a r i n gt of i x e dg r a i no fl o g i cc o r e ，n e a r l yh a l f r e s o u r c e sa r ee n o u g hf o rc o n c u r r e n c ye x p l o i t i n go fs e q u e n t i a la p p l i c a t i o n ，w i t hl e s s t h a n13 p e r f o r m a n c ed i m i n i s h i n g ，w h i c hm e a n sm u c hh i g h e rr e s o u r c eu t i l i z a t i o n r a t i o s e v e r a lc o n c l u s i o n sa r ea c h i e v e df r o mt h ew o r k ： ( 1 ) c o n s t r u c t i n gl o g i cc o r ei sa ne f f i c i e n tw a yf o rs e q u e n t i a lp r o g r a me x e c u t i o n o nm a n y c o r e ，b u tr e q u i r e sr e a s o n a b l em i c r o a r c h i t e c t u r es u p p o r t ，s u c ha ss p l i r i n go f c o m p u t i n ga n ds h a r e dr e s o u r c e s ，f i a ta n dd e e pm o d e l so fa p p l i c a t i o nm a p p i n g ，e t c ( 2 ) r e a s o n a b l et r a d e o f fb e t w e e np e r f o r m a n c ea n dr e s o u r c eu t i l i z a t i o nm u s tb e a c h i e v e dw h i l es e q u e n t i a lp r o g r a me x e c u t i n go nm a n y c o r ew i t hf i n eg r a i nt h r e a d l e v e ls p e c u l a t i v e f o rt h i s p u r p o s e ，a c c u r a t eu n d e r s t a n d i n ga b o u tc o n c u r r e n c y v a r i a t i o no fa p p l i c a t i o ne x e c u t i o nm u s tb eo b t a i n e d ，a n dt h ee s t i m a t o ro ft h r e a dl e v e l s p e c u l a t i v ee x e c u t i o nc a p a b i l i t yi sa na t t r a c t i v ea t t e m p t t h es c h e m e si nt h i sd i s s e r a t a t i o n ，s u c ha ss e p a r a t i o no fc o m p u t i n ga n ds h a r e d r e s o u r c e ，l o g i cc o r ec o n s t r u c t i n gi n f l a ta n dd e e pm a n n e r sa n dt h ee s t i m a t o ro f s p e c u l a t i v ee x e c u t i o nc a p a b i l i t y ，a r ea b l et ob ee x p a n d e da su n i v e r s a lt e c h n i q u e s k e yw o r d s ：m a n y c o r ep r o c e s s o r ，p h y s i c a lc o r e ，l o g i cc o r e ，s p e c u l a t i v e e x e c u t i o nc a p a b i l i t ye s t i m a t o r i v 图目录 图目录 图1 1 多核与众核处理器结构比较示意图l 图1 2f p g a 、众核和多核处理器粒度比较。2 图1 3c u d a 线程组织结构3 图1 4g p u 单任务与多任务运行时间示意图4 图1 5i n t e ls c c 众核处理器结构示意图5 图1 6 片上网络路由逻辑原理图5 图1 7 众核处理中逻辑核9 图1 8 不规则逻辑核构造11 图2 1m u l t i s c a l a r 结构1 5 图2 2m u l t i s c a l a r 任务划分及映射1 7 图2 3h y d r a 结构1 8 图2 4v o l t r o n 结构1 9 图2 5c o r ef u s i o n 物理核配置2 1 图2 6c o r ef u s i o n 逻辑核构造示意图2 l 图2 7f e d e r a t i o n 流水线组成2 3 图2 8f e d e r a t i o n 逻辑核构造示意图2 4 图2 9w a v e s c a l a r 编译及执行模型2 5 图2 10w a v e s c a l a r 结构2 6 图2 1 l 洲结构2 7 图2 1 2r a w 编译器生成的程序代码组成部分，及到硬件结构的映射2 8 图2 1 3r a w 执行流水线2 9 图2 1 4r a w 逻辑核构造拓扑一3 0 图2 15t f l e x 结构3 0 图2 1 6t f l e x 逻辑核构造3l 图2 1 7e d g e 指令与逻辑核映射3 2 图3 1 理想的线程划分方式4 2 图3 2 单个线程平铺式映射示意图4 3 图3 3 平铺式映射和深度式映射4 3 图3 4e d g e 超块构造和映射过程4 4 图3 5 超块映射指令空间拓扑变化4 6 i x 图目录 图3 6e d g e 指令集局部广播结构支持4 9 图3 7 物理处理器执行逻辑5 3 图3 8f t p a 物理核执行部件5 4 图3 9f t p a 功能部件与路由逻辑5 5 图3 1 0e d g e 超块平铺式映射5 7 图3 11e d g e 超块深度式映射5 8 图3 1 2 超块间寄存器通信数量统计5 9 图3 13f t p a 处理器逻辑核组织5 9 图3 14f t p a 逻辑核的粒度伸缩一6 0 图3 1 5f t p a 计算资源与共享资源的不对称分配一6 0 图3 1 6f t p a 软件模拟器流水线实现6 2 图3 1 7 物理核发射宽度对平铺式映射的性能影响6 5 图3 18 发射宽度对深度式映射性能影响6 7 图3 1 9 平铺式映射和深度式映射性能比较6 8 图3 2 0 采用单发射物理核性能比较6 9 图3 2 1 候选拓扑方案7 0 图3 2 2 数据传输距离7 0 图3 2 3 网络拓扑结构与性能关系7 1 图3 2 4 层次化m e s h 与双跳m e s h 性能比较7 2 图4 1 程序执行过程中参数变化7 6 图4 2 逻辑核粒度与程序并行性理性匹配模型7 8 图4 3 程序执行流与滑动窗口7 8 图4 4 线程级推测执行与“推测深度”概念。7 9 图4 5 不同推测深度m i c r o b e n c h 的性能8 0 图4 6 不同推测深度m i c r o b e n c h 的性能增长与增长比例8 0 图4 7 不同推测深度s p e cc p u 2 0 0 0 程序的性能8 l 图4 8 不同推测深度s p e cc p u 2 0 0 0 的性能增长与增长比例8 l 图4 9 基于局部历史的评估器8 3 图4 1 0 局部历史评估器精确准确度8 4 图4 1 1 局部历史评估器资源优先准确性分析8 5 图4 1 2 局部历史评估器性能优先准确性分析8 5 图4 1 3 局部历史评估器迷糊准确性分析8 6 x 图目录 图4 1 4 局部历史评估器历史表项数量与模糊准确性的关系8 6 图4 1 5 基于全局历史的评估器8 7 图4 1 6 全局历史评估器精确准确率分析8 8 图4 1 7 全局历史评估器资源优先准确性分析8 9 图4 1 8 全局历史评估器性能优先准确性分析8 9 图4 1 9 全局历史评估器模糊准确性分析9 0 图4 2 0 全局历史评估器历史表项数量与准确性的关系9 0 图4 2 1 锦标赛评估器9 1 图4 2 2 局部历史、全局历史和锦标赛评估器准确性比较9 2 图4 2 3 不同资源配置下评估深度与实际推测深度比较9 3 图5 1 平铺式映射逻辑核粒度重构示意图9 6 图5 2 深度式映射逻辑核粒度重构示意图9 7 图5 3 平铺式映射推测深度变化对性能影响9 9 图5 4 平铺式映射推测深度变化性能增长与增长率1 0 0 图5 5 深度式映射处理器核数对性能影响1 0 1 图5 6 深度式映射推测深度变化s p e cc p u 2 0 0 0 性能增长与增长率1 0 2 图5 7 平铺式映射动态资源分配与固定资源性能比较1 0 3 图5 8 平铺式映射资源分配与实际使用1 0 4 图5 9 深度式映射动态资源分配与固定资源性能比较1 0 5 图5 1 0 深度式映射资源分配与实际使用1 0 5 表目录 表目录 表3 1f t p a 物理核参数配置6 3 表3 2 测试程序集6 4 表3 3 发射宽度与网络延迟关系6 6 表5 1f t p a 结构物理核及推测执行能力评估器参数配置9 8 x i i 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成果。除已特 别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写过的研究成果。与我一 同工作的同志对本研究所做的贡献均已在论文中作了明确的说明。 作者签名：签字日期：圣地：墨：呈星 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥有学位论文 的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 ， 峨开 口保密( 年) f f - 者签名：驻丞莺 者签名：1 土举葛 签字日期： 2 碰殳：51 呈星 导师签名： 签字日期：逸! 里：兰呈 第1 章绪论 1 1 研究背景 第1 章绪论 由于功耗、线延迟和设计复杂度等限制，单核处理嚣难以继续扩展，芯片设 计进入多核时代。在多核处理器逐渐成为工业界主流设计方案的同时，为追求更 高的性能功耗比和性能面积比，降低设计复杂度，芯片设计向着结构更简单的方 向发展与多核结构相比，单个处理器核复杂度不再增加，甚至可能降低，性能 提升将主要依靠工艺的进步( k i s t e a s a n o v i c2 0 0 6 ) 。由于摩尔定律继续有效在半 导体技术走到尽头之前，单块芯片集成的处理器核数可以选到敬百上千，张为众 核处理器( m a n y c o r e ) 。近期出现的处理器设计，如i n t e | 公司的p o l a f i s ( v a n g a e t a 1 2 0 0 8 ) l a r r a b e e ( l a r r ye ta 1 2 0 0 8 ) 和s i n g l e c h i p c l o u d c o m p u t e r ( i - 1 0 w a t dc ta 1 2 0 l0 1 ，n v i d i a 公司面向通用计算的g p u ( e f i ke ta 1 2 0 0 8 ) 都是典型采用细粒度 处理器核的众核结构，它们的出现标志着芯片设计众核时代的到来。 露用 圈盈豳 f 口口口日j 口口巴口j 【口口口口l 旦旦旦旦 f b 圈1 1 多棱与众核处理嚣鲒构比较示意图 多核和众核处理器的区别不仅是核数的增加芯片结构也截然不同。如图l1 所示分别为i n t e l 公司推出的多核和众核处理器结构示意图。( a ) 是典型的双核处 理器结构，每个处理器核都是一个复杂的单核设计，包含完整的乱序执行超标量 流水线、结构寄存器咀及私有一级c a c h e ，两个处理器核通过共享二级c a c h e 和 总线实现数据通信：( ”是i n t e lp o l a r i s 众核研究芯片结构( v a d g 蛆e t 对2 0 0 8 ) ，不 同于前者，p o l a r i s 中每个处理器核粒度较小，只包含两个浮点乘加部件，因此片 上可以放置更多的处理器核：p o l a r i s 的另一个显著特征是通过片上路由嗣络实现 处理器核问的高速通信，而不必通过片上存储资源和总线。 与多核处理器相比，众核处理器计算资源密度更高，片上通信开销显著降低， 更多的晶体管和能量可以用于应用性能提升，因此逐渐成为学术界研究的主要对 羔m一【 第1 章绪论 象( w a i n g o l de ta 1 1 9 9 7 ；k r s t ea s a n o v i c2 0 0 6 ；k i m e ta 1 2 0 0 7 ；t a i j a ne ta 1 2 0 0 8 ； v a n g a le ta 1 2 0 0 8 ；l a r r ye ta 1 2 0 0 8 ) 。 1 2 众核处理器典型特征 众核处理器结构将摩尔定律产生的晶体管资源有效地转化为计算能力，下面 详细介绍其典型特征。 1 2 1 细粒度的处理器核 众核结构通常采用细粒度处理器核，如i n t e lp o l a r i s 结构每个处理器核仅有 两个浮点乘加部件，l a r r a b e e 中每个处理器核只包含一个顺序发射标量部件和一 个短向量扩展，s i n g l e c h i pc l o u dc o m p u t e r 中每个核为顺序双发射，n v i d i a g p u 中每个执行节点只包含两个浮点功能部件。对于这样的细粒度处理器核，随着摩 尔定律发展，单芯片上集成的处理器核数可以达到数百上千，因此众核结构最适 合面向吞吐率的应用，但对每个细粒度核响应时间要求不高，如图像处理、数据 仓库、金融预测等。这类应用典型特征是并行度大，并行粒度小，数据相关性小， 适合多节点细粒度并行处理。多核处理器主要基于超标量处理器构建，大部分逻 辑资源用于串行程序并行性挖掘和维护程序语义正确性，性能面积比和性能功耗 比都较低；相比之下，由细粒度核组成的众核结构大大简化了处理器核复杂度， 将更多晶体管用于计算资源，通常由程序员和软件表达程序的并行性和数据依 赖，能够充分利用计算资源丰富的特征，依靠吞吐率优势换取程序性能提升。 f p g a众核处理器多核处理器 图1 2f p g a 、众核和多核处理器粒度比较 图1 2 示出f p g a 、众核结构和多核结构的逻辑单元粒度( s a n k a r a l i n g a me ta 1 2 0 0 3 ) 示意图。f p g a 由极细粒度逻辑单元组成，通过可配置网络连线将逻辑门 和查找表连在一起，可以使用硬件描述语言对所构想结构进行寄存器传输级描 述，通过编译综合工具将其转换为由基本逻辑门组成的网表，f p g a 芯片根据网 第l 章绪论 表对片上互连网络进行配置，实现不同逻辑门之间的连接。虽然f p g a 从理论上 可以实现任何结构，但完全依赖硬件程序员对结构进行精确描述，因此复杂度一 般限于相对较小规模的逻辑结构。多核处理器则处于另一个极端，每一个处理器 核通常都是高度复杂的超标量核，具有极强的任务处理能力，但是面向的是串行 程序指令级并行性开发，在微结构上引入许多复杂机制，如分支预测、超流水、 乱序执行和线程级推测执行等，最适合的使用方式是多任务并行，且对每个任务 的响应时间有较高要求。众核处理器处于两者之间，不同于f p g a ，众核结构中 每个处理器核都具有独立计算的能力，不需要程序员从最基本逻辑门进行构建目 标结构；同时，由于每个处理器相对简单，一般是顺序发射结构，因此也不适合 对单任务性能要求较高的应用。 图13 示出n v i d i a 提出的面向众核处理器的c u d a 编程模型2 t 程组织图 ( e r i ke ta l2 0 0 8 ) 。每个并行核心( k e r n a l ) 构成两级线程阵列，其中每个核心对 应一个网格( g r i d ) ，包含若干协作线程组( c t a ) ，每个协作线程组包含若干细 粒度的线程。f e r m i 处理器包含5 1 2 个c u d a 核，即同时可以有5 1 2 个线程并行 执行，困此具有极大的吞吐率优势。 图1 3c o d a 线程组织结构 1 2 2 丰富的处理器核资源 由于摩尔定律仍将持续十几年，而众核结构粒度趋于减小，因此在半导体技 术走到尽头之前，众核处理器仍有很大扩展空间；例如f e r m i 处理器拥有5 1 2 个 流处理器核，消耗3 2 亿晶体管；4 8 核s c c 处理器消耗1 3 亿晶体管；8 0 核p o l a r i s 只消耗1 亿晶体管资源。根据i t r s 2 0 0 8 预计，2 0 2 1 年单芯片晶体管资源将达到 第1 章缔论 2 4 7 亿因此有足够资源构建上千核的众核处理嚣。如此强大的计算能力t 对于 并行度较大的应用可以充分发挥吞吐率优势，但是对于单线程串行应用单个程 序难以消耗如此强大的计算能力，多任务并行才是合理的解决方案。 羹阉 圈1 4 g p u 单任务与多任务运行时问示意图 图1 4 所示为f c r m ig p u 任务运行刚间示意图具有5 个并行核心任务的程 序，如果只是串行运行需要6 个时间片而如果多个任务并行运行，只需要3 个时问片就足够。在计算资源相对丰富时，多任务并行运行可以有效提高资源利 用率和系统整体性能。 在单核处理器时代，多任务并行是对处理嚣的分时共享，将处理器赘源看做 是细粒度时间片，由操作系统根据优先级将时间片分配给不同任务。众核处理器 则截然不同，由于资源极其丰富，不需要对单个处理器核进行时间域切分，操作 系统或者运行时系统需要在空间域对资源进行调度：除了需要像单处理器运行多 任务一样关注任务的优先级差异，最核心的工作是根据任务并行度分配合适数量 的计算资源，因为优先级高的任务并行度1 i 一定很高，而优先级低的应用可能具 有较大并行度。对于高优先级应用，分配过多赞源也不一定获得性能提升。 1 2 3 高效的片上路由网络 多核结构主要基于单核处理器集成，其核心出发点是对现有处理器核进行复 用，降低殴计复杂度和成本。在处理器核数较少时，主要通过片上存储资源和总 线实现核问通信与同步。k r s t c a s a n o v i c ( 2 0 0 6 ) 研究指出，这种多核结构在猢核 还比较有效，但是在1 6 3 2 核将达到极限，当处理器核数多达数百甚至上千时， 全局的总线同步和存储嚣通信将不能容忍，因此众核结构引入片上路由网络机制 ( e a t h e r t o n2 0 0 5 ) 。粗粒度多核结构每个处理器核计算能力较强，但是核间通信和 同步由于必须通过外层存储层次，开销较大，倪如i n t e lc o r ed u o 处理器，两个 处理器核之间的通信 | ! ；要1 4 个时钟周期。这种粗粒度多核结构主要适合任务级 并行，即每个处理器核完成较大任务处理，但是任务间通信鞍少。众核结构中每 第l 章绪论 个处理器核计算能力相对较弱，但是核间通信开销很小，可以通过片上路由网络 实现点对点核间通信，适合更细粒度的并行单位。 匿母 图1 5 n t e l s c c 众核处理器结构示意图 国1 5 为i n t e ls c c 众核芯片微结构示意图，每个节点包含两个i a 3 2 处理器 核和两个2 5 6 k b 二级c a c h e 体，节点之间通过路由( r o u t e r ) 实现点到点运信。 图1 6 为典型的片上路由逆辑原理图，通常包含4 个方向( n o r t h ，s o u t h ，e a s t 和w e s t ) 和本地( l o c a l ) 5 个输入队列，通过仲裁逻辑输出至对应5 个方向。 仲裁逻辑根据优先级从5 个输入队列中选取一个数据作为该方向数据输出，如果 输入队列满且由于输出端口冲突无法发送数据，需要向输入端口发送阻塞信号， 避免网络丢失数据包。片上网络借用了路由网络的特征，但是受硬件资源、延迟 和复杂度限制，设计不可能过于复杂， n o r t hs o u t he s s tw 岱th 删 图1 6 片上网络路由逻辑原理图 对于片上路由网络，数据通信开销主要取决于存在数据依赖指令的位置，由 于众核结构上程序采用分布式执行，需要有效的指令调度和映射机制，最小化通 信距离。 第1 章绪论 1 3 众核处理器结构设计面临的挑战 众核结构通过不断增加处理器核数的方法将摩尔定律带来的晶体管资源转 化为计算能力，但却把问题的关键留给了软件：如何有效利用众多的处理器核资 源。 1 3 1 编程问题 微处理器诞生以来，依靠工艺进步和结构改进，应用程序性能获得不断提升， 同时软件复杂度也越来越高，但是除了少量科学计算和专用程序外，大部分应用 仍是建立在传统冯诺依曼机器存储程序串行执行基础上，完全依靠硬件复杂化 来挖掘并行性，如超标量设计将不存在数据依赖的多条指令并行执行，乱序执行 技术使得超标量结构指令发射具有更大选择空间，指令窗口的增大为超标量乱序 执行提供了更大性能提升机会，激进的分支预测和高带宽取指逻辑保证了大指令 窗口填充。在物理限制使得单核处理器难以继续扩展时，