（计算机系统结构专业论文）多核处理器核间通信技术研究.pdf

摘要 摘要 随着人类社会的不断进步，以及计算机硬件飞速发展，多核处理器的出现是 大势所趋! 在信息产业的发展过程中，单核处理器暴露出许许多多的局限，多核处 理器已经给人们带来了巨大的变化，带来更多的生产力优势和卓越的性能表现。 随着当前市场经济发展的需要，人们对处理器速度、商业计算市场价值、应用前 景、功耗等等性能方面要求更进一步的提高。多核处理器融合了未来的发展趋势， 多核处理器必将成为下一代服务器和个人操作平台的主流，因此，对多核处理器 相关技术的研究具有很十分重要的意义。 当前，多核技术已经得到十分广泛的应用，如何充分利用多核处理器的高性 能，解决多线程、并行软件开发、软件优化、高性能计算( 耶c ) 、多核核间通信 技术研究等等诸多技术出现的问题，显得犹为重要。多核多线程处理器是被芯片 设计厂商公认提高处理器性能的最有前途的技术之一。 多核处理器的关键技术：核间通信，在计算机系统与结构研究领域十分热门。 各大厂商针对多核并行技术提出了不同的多核处理器核间的通信标准，根本方法 是：使多核处理器中各个内核之间相互协作和通信，才能提高处理器的速度和性 能。其中，各内核之间与主存之间的数据一致性才是保证各内核之间正常通信的 重要通信机制。因此针对不同用户需求选择合理的核间通信方案显得非常重要。 本文对多核处理器核间通信技术研究，提出了是基于l i n u x 操作系统条件下， 结合当今主流的r m i 公司的x l r 7 3 2 多核多线程处理器芯片，进行多核处理器的 进程间通信模型设计和核间通信方案设计。 本文的主要工作和贡献如下： 第一、对多核多线程处理器的局限性、优点缺点、发展趋势、关键技术以及 面临的挑战等方面进行论述； 第二、对r m i 公司推出最新高端产品x l r 7 3 2 多核处理器进行研究，重点阐 述x l r 7 3 2 多核处理器在独到的设计、应用体系结构等方面的相关内容； 第三、结合对多核核间通信机制探讨，设计出多核处理器进程间通信模型； 第四、基于x l r 7 3 2 处理器可用的几种核间通信方案设计，并对几种通信方 案进行设计分析，提出如何针对不同的适用范围，选择合理核间通信方案。 关键字：多核多线程处理器，x l r 7 3 2 ，进程通信，核间通信 a b s t r a c t w 1 也t h ec o n t i n u o u sp r o g r e s so fh u m a ns o c i e t y , 勰w e l la st h er a p i dd e v e l o p m e n t o l0 0 m p u t e rh a r d w a r e , t h em u l t i - c o r ep r o c e s s o rs e e m st ob ep r o m i s i n g ! d u 血l gm e p e r i o do fi n f o r m a t i o ni n d u s t r yd e v e l o p i n g ，t h es i n g l e - c o r ep r o c e s s o rb a sb e e n 内u n d m a i l yi l i l l l 饰o i l s ；m u l t i c o t ep r o c e s s o r sh a v eb e e nb r o u g h td r a m a t i cc h a n g e s t 1 1 砌v r e 刚t i n gmm o r ep r o d u c t i v i t ya d v a n t a g e sa n de x c e l l e n tp e r f o r m a n c e t os a t i s f yt h e c u 船e n tm a r k e tn e e d si n r e s p o n s et oe c o n o m i cd e v e l o p m e n t ，p e o p l eh a v eh i g h e r r e q 锄to nt h es p e e do f p r o c e s s o r s ，o fb u s i n e s sc o m p u t i n gw h i c hd e s i g n e df o r t h e m a r k e tv a l u ea n dp o w e r r e q u i r e m e n t s i n t e g r a t i o ni sd e f i n i t e l yn l e 仃e n do fm u l t i c 0 r e p r o c e s s o r sd e v e l o p m e n t t h em u l t i c o r ep r o c e s s o r sw i l lb e w i l d l yu s e d0 n 也en e x t g e n e r a t i o no fs e r v e r sa n dt h em a i n s t r e a mo p e r a t i n gp l a t f o r m s t h e r e f o r e ，m u l t i c 0 p r o c e s s o r - r e l a t e dt e c h n o l o g yr e s e a r c hh a sg r e a ts i g n i f i c a n c e a tp r e s e n t ，t h em u l t i - c o r et e c h n o l o g yh a sb e e np l a y i n ga ni m p o 比m tr o l eo n t l l e a p p l l c a 乜0 n s i t1 si m p o r t a n tt or e s e a r c hh o wt ou s et h eh i g h p e r f o r m a n c em u l t i c o r e p r o c e s s 盯st os o l v e t h o s ep r o b l e m so nt h em u l t i - t h r e a d e d ，p a r a l l e ls o f t w a r ed e v e l o p m e n t ， s o 姗a r e o p t i m i z a t i o n ，h i g h 。p e r f o r m a n c e c o m p u t i n gf l w c ) ，m m t i n u c l e a r m t 昏c o 。l l l l u m c a t i o nt e c h n o l o g y r e s e a r c h m u l t i t h r e a d e dm u l t i c o r ep r o c e s s o rh a sb e e n r e c 0 9 n i z e da so n eo ft h em o s tp o t e n t i a lt e c h n o l o g yt oi m p r o v ep r o c e s s o rp 幽m 姗c e b yc h i pd e s i g ng l r m s 1h ek e y t e c h n o l o g yt om u l t i - c o r ep r o c e s s o ri sn u c l e a ri n t e r - c o m m 切【l i c a t i o nw l l i c h 1 st h eh o ta r e ao fc o m p u t e ra r c h i t e c t u r e m a j o rf i r m sh a v e d e v e l o p e dm ed i f j 衙e n t s t a n d a r d sf o rt h ed i f f e r e n tm u l t i t h r e a d e dm u l t i c o r ep r o c e s s o r s t h e b a s i cm e 1 0 di s ：t o m a k em u l t i 。c o r ep r o c e s s o rc o l l a b o r a t ea n dc o m m u n i c a t e b e t w e e nt h ev a r i o u sc o r e s i n o r d e rt ol n c r e a s et h e p r o c e s s o rs p e e da n dp e r f o r m a n c e a n dt h ec o n s i s t e n c yb e 嘶e e nm e 渊a n dt h em a i nm e m o r yi sa ni m p o r t a n tc o m m u n i c a t i o nm e c h a i l i s m t 搬e f o r et o c h o o s ed i f f e r e n ts o l u t i o nb a s e do nt h e d i f f e r e n td e m a n d so fu s e r si sv e 哆i m p o r t a n t i nt h i s p a p e rm a i n l yf o c u so nm u l t i c o r ep r o c e s s o r s o nt h ec o m m l 】n j c a t i o n t e c h n o l o g y d e s i g n e das o l u t i o nw h i c hb a s e do nt h el i n u x o p e r a t i n gs y s t e mc o n d i t i o n s ， c o m b m e dw i t ht o d a y sm a i n s t r e a mx l r 7 3 2o fr m i sc h i p st os o l v et h o s e p r o b l e l l l so n t i 一 丝! 翌里! 一 _ _ _ _ _ _ l l - _ _ - _ _ _ _ - 一。 n l ec 0 m m u 玎i c a t i o nb e t w e e nm u l t i c o r ep r o c e s s o r s a n dm u l t i - t h r e a d e dm u l t i c o r e p r o c e s s o r i nt h i sp a p e r , t h em a i nw o r ka n dc o n t r i b u t i o n sa r ea sf o l l o w s ： f i r s t e l a b o 阳t e dt h ea d v a n t a g ea n dd i s a d v a n t a g eo fm u l t i t h r e a d e d m u l t i _ c o r e p r o c e s s o r s 嬲w e l la si t st r e n d ，b a c k s t o pt e c h n o l o g ya n df a c i n gc h a l l e n g e s s e c o n d d i dar e s e a r c h0 1 1r m ic o m p a n y sa d v a n c e dp r o d u c t s ，x l r 7 3 2m u l t i c o r e p r o c e s s o r s w h i c hf o c u s e d o ni t sd e s i g n ，a p p l i c a t i o na r c h i t e c t u r ea n d r e l e v a n tc o n t e n t t b i r d n l ec ( 肛l b i n a t i o no fm u l t i c o r ep r o c e s s o rc o m m u n i c a t i o nm e c h a n i s m o ft h e n u c l e a rd e s i g np r o c e s so fm u l t i - c o r ep r o c e s s o rc o m m u n i c a t i o n m o d e l ； f 0 1 l m l b a s e do na v a i l a b l ep r o c e s s o rx l r 7 3 2s e v e r a ln u c l e a ri n t e r - c o m m u n i c a t i o n p r o g r a md e s i g n ja n ds e v e r a lc o m m u n i c a t i o n sp r o g r a md e s i g na n d a n a l y s i so nh o 彤盔e d i f j f i 舢ts c o p eo fa p p l i c a t i o no far e a s o n a b l es e l e c t i o no f n u c l e a ri n t e r - c o m m u n i c a t i o n s p r o g r a m k e y w o r d s ：m u l t i t h r e a d e d m u l t i c o r ep r o c e s s o r s ，x l r 7 3 2 ，i n t e r p r o c e s s c o m m u n i c a t i o n ， m u l t i c o r ec o m m u n i c a t i o n i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 期：。7年6月iel 日期： o7 年6 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签名：坌壅 日期： 。夕年彩月日 第一章绪论 1 1 课题研究背景 第一章绪论 众所周知：在过去的2 0 多年来，世界顶级芯片两个龙头i n t e l 、a m d 公司一 直对各类c p u 型号，保持着较高的主频，牢牢地占据着世界各国芯片高中端芯片 的主要供货市场。但是，如果龙头厂商只注重提升传统单核处理器主频为根本目 的，那么，单核处理器在运行的过程中，将势必消耗和泄漏很大的功率，而且散 发出十分多的热量，这便对能源耗费太大，与此同时，并对c p u 风扇散热等技术 提出了更高的要求。所以当前，我们的使用用户已经看不到芯片主频率高达4 g h z ， 或者4 g h z 以上的传统单c p u 出现了。 于是我们会问：究竟到底是什么原因促使得芯片频率提升如此困难? 首先， 目前c p u 单纯依靠提升主频已经很难大幅度提升c p u 的性能，从而减缓了消费者 对高频c p u 的需求；其次当c p u 主频达到2 g h z 以上的时候，处理器功耗也达到 了近1 0 0 w ，这已经是目前风冷散热技术的极限。提升c p u 的主频，已经不能仅 仅依靠传统的单核c p u ，单核c p u 的时代已经即将结束了。 在2 0 0 9 年年初，英特尔软件大会在北京举行，英特尔公司软件产品部首席软 件专家仁达敬( j a m e sr c i n d c r s ) 表示，全球软件开发者都已开始重视并行编程以充分 获取多核处理器的性能。并且指出：增加处理器速度途径：一个途径是增加单位 面积的处理能力，另一个途径则是走并行道路，走并行技术和增加处理器数量。 在国防事业、气象分析等领域，于是并行处理的概念很自然地被提出。相关对计 算性能要求高的行业，多核c p u 也运用而生。 当前，无论是工业界还是学术界都将目光转向了多核处理器体系结构【l j 。下面， 我们给出多核处理器准确定义：多核处理器是指一个芯片内含有两个或者两个以 上的“执行内核”。多核处理器在进行软件系统的技术研究时，比起单核处理器 来讲，更要面临更大更多的挑战【2 】，这些挑战将在后面章节有详细阐述。其中，就 有核间通信技术研究，本文就将对多核处理器核间通信技术进行研究。 电子科技大学硕士学位论文 1 2 国内外研究的现状 据了解，2 0 0 5 年4 月英特尔发布的史上首款双核处理器将人们从单核时代带 入了多核时代。随着多核技术的开发，2 0 0 7 年4 月初英特尔公司宣布了一项令人 惊讶的研究项目：压缩在一块小小芯片上的第一台可编程超大型计算机。该公司 展示了一个拥有8 0 个处理器的芯片，这些处理器在被程序化之后，每秒能进行 一万亿次计算。这种芯片大约只有一张邮票那么大，但是计算速度却相当于1 9 9 6 年的那台占地面积约为2 0 0 0 平方英尺、能耗是它的一千倍的超大型计算机。目前 英特尔已经研究出世界首个万亿次浮点运算性能的可编译处理器，所以在多核心 时代的来临，对多核并行技术的优化至关重要。 随着多核处理器成为提高c p u 发展的潮流，多核处理器越来越广泛的应用在 诸多大型政府、企业等通信设备中，如何实现多核内核之间相互协作和通信，确 保提高处理速度、提高芯片处理器性能? 如何实现多核内核之间相对高效的通信 机制? 这是对多核处理器芯片研究、应用的重要课题，因而越来越多的研究人员 对高性能c p u 处理器核间通信技术的研究也就逐步随之展开。 当今的网络应用越来越复杂，对芯片处理器综合处理性能的要求不断提高。 为了实现高性能的网络设备要求的多核处理器芯片性能，处理器芯片的设计引入 创新的架构思想。下面，列举几种典型的处理器芯片：如i n t e l 推出的台式机双核 心处理器有p e n t i u md 、p e n t i u me e ( p e n t i u me x t r e m ee d i t i o n ) 和c o r ed u o 三种类型； a m d 推出的双核心处理器有o p t e r o n 系列和全新的a t h l o n6 4x 2 系列处理器。其 中a t h l o n6 4x 2 是用以抗衡p e n t i u md 和p e n t i u me x t r e m ee d i t i o n 的桌面双核心处 理器系列。i n t e l 与a m d 相比，p r e s c o t t 核心这样的功耗和发热大户并不用a m d 担心，但是同样需要为双核心处理器考虑降低功耗的方式。为此a m d 并没有采用 降低主频的办法，而是在其使用9 0 n m 工艺生产的a t h l o n6 4x 2 处理器中采用了所 谓的d u a ls t r e s sl i n e r 应变硅技术，与s o i 技术配合使用，能够生产出性能更高、 耗电更低的晶体管。从目前i n t e l 、a m d 、m m 等公司对此项技术的关注和投入很 明显的可以看出这一点。同时又提出了硬件多线程的概念，如r m i 公司的x l r 系 列多c p u 处理器，具有8 个核，在每个核上具有4 个硬件线程，在逻辑上，每一 个硬件线程可以看作一个虚拟c p u 。对于核上提供对硬件线程的支持，主要目的 是为了提高c p u 的利用率及进程上下文切换的能力，在本文第二章第3 节将花大 量的篇幅，重点针对r m i ( r a z am i c r o e l e c t r o n i e s ) 公司的x l r 7 3 2 处理器详细介 绍。 2 第一章绪论 i n t e l 公司出品酷睿系列产品是一款领先节能的新型微架构，设计的出发点是 提供卓然出众的性能和能效，提高每瓦特性能，也就是所谓的能效比。早期的酷 睿是基于笔记本处理器的。酷睿2 是指：英文c o r e2d u o ，是英特尔推出的新一 代基于c o r e 微架构的产品体系统称之一，于2 0 0 6 年7 月2 7 日发布。c o r e2d u o ， 是一个跨平台的构架体系，包括服务器版、桌面版、移动版三大领域。其中，服 务器版的开发代号为w o o d c r e s t ，桌面版的开发代号为c o n r o e ，移动版的开发代 号为m e r o m 。 多核处理器已经逐步成为计算机系统与结构领域的热点研究对象，根本原因 是：多核、多线程处理器带来了更高的系统性能、更低的系统开销、更低的功耗、 同时能够保护已存在的软件架构的前期投入。英特尔公司软件产品部首席软件专 家仁达敬曾经表示，和其他国家一样，中国的软件行业也在寻求并行化编程工具， 以便充分利用多核处理器系统的性能。英特尔最新推出的p a r a l l ds t u d i o 为开发人 员并行化时，提供了广泛的选择，可简化和加速开发人员在多线程编程方面的工 作。由数千行并行代码组成的具有优化功能的库完全集成到v i s u a ls t u d i o 中，其并 行调试功能使得p a r a l l e lc o m p o s e r 成为开发人员最实用的工具包，最终使程序在多 核系统上得到性能的飞跃。 据悉，为充分利用多核处理器的高性能，英特尔同众多的公司、大学、研究 机构协作，推出众多的开发工具软件，以解决多线程、并行软件开发方面出现的 问题。英特尔认为，对于软件开发企业来讲，多核化的处理器平台和由此延伸出 来的新特征、新应用是一次前所未有的契机，对于中国软件企业来讲更是快速成 长的重大机遇。 多核处理器在并行化、软件优化、高性能计算( h p c ) 、核间通信技术研究 及多核心等诸多技术方面为中国的软件开发和应用行业提供了巨大的空间。据i d c 数据表明，2 0 0 4 年到2 0 0 9 年，中国的软件开发从业人员数量年复合增长率高达 2 3 ，预计到2 0 0 9 年将达到上百万人。在众望所归之下，单芯片多处理器c m p ( c m p ，c h i pm u l t i p r o c e s s o r ) 采用了相对简单的微处理器作为处理器核心，使得 c l v i p 具有高主频、设计和验证周期短、扩展性好、功耗低、控制逻辑简单、易于 实现、通信延迟低等等优越的优点。我们已经看到：单芯片多处理器已经成为处 理器体系结构发展的一个重要趋势。单芯片多处理器具体概念在后面章节有详细 阐述。 我国芯片处理器研究也取得了巨大的成果，龙芯是我国第一款自主开发的高 性能通用c p u 芯片，由中国科学院计算机技术研究所于2 0 0 2 年研制成功。7 年来， 3 电子科技大学硕士学位论文 龙芯系列芯片将我国高性能通用c p u 与国际先进水平的距离缩短了1 5 年。目前， 龙芯的每一个动作，都成为整个计算机产业关注的焦点。值得很欣慰的事情，我 国独立知识产权的龙芯处理器现在也进入多核时代了，龙芯的多核架构采用了高 带宽、可伸缩的分布式c m p 结构。这个结构集中了m e s h 网络和交叉开关的优点， 与此同时，每个核都可以选择不同应用需求的处理器核，可以是6 4 位的龙芯通用 处理器核，也可以是专用的计算型处理器核，通过配置不同的核可满足不同的应 用需求。请看表1 1 中国龙芯研究历程： 表1 一l 中国龙芯研究历程 时间发展情况备注 2 0 0 1 年3 月中科院计算所龙芯研发项目正式启动； 单核 2 0 0 2 年6 月龙芯1 号c p u 研制成功；单核 2 0 0 3 年1 0 月龙芯2 号流片成功； 单核 2 0 0 4 年9 月龙芯2 c 流片成功，性能相当于高端奔腾芯片；单核 2 0 0 5 年5 月龙芯课题组赴江苏参与组建龙芯产业化基地； 单核 2 0 0 6 年3 月龙芯2 e 流片成功，性能与中端奔腾芯片相当；单核 2 0 0 6 年1 0 月中法两国签署合作研发龙芯多核处理器的框架协议； 单核 目前龙芯3 号正处在前期设计阶段，集成集成16 个c p u 。多核 目前，无论是在学术界还是在产业界，几乎都采用多核结构的高性能、高性 价比处理器己成为计算机领域不可逆转的重要趋势。并且，随着多核多线程处理 器核间通信技术的迅速发展，为未来多核处理器的发展带来了新的发展趋势。本 文将以r m i 公司最新高端产品x l r 7 3 2 处理器为操作平台，来研究和实现多核处 理器核间通信技术，从第二章开始逐步渐进式地围绕x l r 7 3 2 处理器，分析多核 处理器进程间，进一步分析多核核间通信技术。 1 3 研究与实现的意义 现在，多核处理器的技术已经得到广泛发展和应用，已经受到众多的人不惜 赞美之辞。近来年，随着双核处理器成功的市场定位，在众多相关的媒体报导中 成长起来，展现了巨大市场空间，在2 0 0 7 年度，英特尔公司已经开发出四核服务 器处理器，其竞争对手a m d 也在晚一些时候开发出四核芯片。有专家指出；再几 年以后，目前最流行双核处理器可能成为过时产品，将会被更多核处理器所代替。 4 第一章绪论 我们对多核处理器的一系列研究的意义十分重要，本文为研究多核核间通信技术， 查阅了大量国内国外的相关技术研究，努力掌握了解了一系列多核核间通信技术 的重要和难点，指出了多核核间通信技术研究的一些方法，多核进程间通信和核 间通信技术是多核处理器研究中的重点和难点，本论文对多核核间通信技术研究 将对嵌入式多核系统应用，提高系统性能有较大的参考意义。 目前，众多专家、学者十分看好多核处理器未来的发展，普遍认为：未来处 理器的发展方面一定是多核多线程处理器。然而，我国在嵌入式设计方面与国外 顶级芯片巨头还存在若干年的技术差距，国产芯片大多是集成度较低、性价比低 的芯片，多数用于普通的通信和家电产品，绝大多数的计算机c p u 芯片大量依靠 进口。国外芯片巨头，在芯片研究领域发展了数年，积累了大量的理论和实践的 经验和数据，垄断了芯片处理器制作标准，排挤别的资金少，技术落后的创新和 发展中的小公司，巨头们牢牢地控制着信息、通信领域的核心技术，使众多国家 生产，发展自己芯片的道路变得十分坚辛。中国是一个大国，没有自主知识产权 的c p u 芯片不仅是我国社会主义国防建设、经济建设等等的巨大损失，而且在信 息安全上面也会存在很大的隐患。在设计功能强大的对称多处理器时，如果选择 从零做起，目前来说是不现实的。 上面已经讲到：曾名为“狗剩”( l o o n g s o n ，俗称g o d s o n ) 的“龙芯”1 号 c p u ，该型c p u 是中国科学院计算技术研究所历时两年、具有独立知识产权、我 国首枚、已经研制成功的高性能通用c p u 。我们可能骄傲地说：我国“龙芯”的成 功问世，标志着具有悠久历史文明的中华民族已经结束了在计算机极为关键技术 领域的“无芯”历史。标志着，我国将不会全依附于进口国外芯片，受制于人。“龙 芯”1 号具有特殊的硬件设计，在硬件上嵌入了一些安全模块，可以抵御许许多多 不同类型黑客和病毒攻击。正因为，“龙芯”1 号在安全性上优势突出，对适合安全 性要求较高的安全服务器，例如国家信息或者军事安全平台等都将有广阔的市场。 目前，中国自主芯片业发展速度惊人，国外的众多知名专家也曾预计：中国的芯 片设计、制造业将继续以每年平均3 0 的速度增长，较全行业平均水平快得多。 一些中国最有实力的这类企业正在以令人吃惊的速度成熟起来。有的专家乐观认 为：中国较最先进产品只落后国外芯片巨头一至两代。 中国正逐渐由一个世界的芯片需求中心慢慢转变为设计、生产加工、制作中 心，尽管目前中国自己的设计能力距一流水平还相差甚远，这一趋势是不容置疑 的。吸取国际芯片制作公司在研发和管理方面的优秀成功经验，更有利于中国更 快、更好、稳步发展自己的半导体产业，提高国际市场竞争力，走独立发展、自 5 电子科技大学硕士学位论文 主创新的知识产权道路。而且需要说明的是，龙芯在走低能耗、多核方面有巨大 的优势，是我国未来处理器领先国外技术，办好自己的芯片企业，为更好地为我 国社会主义现代化建设道路更好地服务。 对于我国来说，现在已经同时成为了世界上的互联网用户最多和通信网用户 最多的国家之一，我们对多核处理器相关技术的研和发展有着义不容辞的责任。 在生产生活中，我们的用户真正需要一种学习和研究编程简单、升级容易、价格 底，而且能提供强大吞吐量的处理器产品，因而本文对r m i 公司x l r 系列处理器 的深入研究和分析有着十分重要意义。特别是以针对x l r 7 3 2 处理器的结构分析， 将充分理解此款c p u 的设计流程、结构概览图、运用框图等一些独到之处，对设 计中用到将多个内核集成到处理器内部，多核处理器的多个内核线程之间可以通 过处理器内部消息机制进行通信，极大地提高了内核线程之间的通信能力。在此 基础上的多核进程间通信模型设计和核间通信方案验证打下良好的基础。此项目 的研究对于开发高性能多处理器及其在嵌入式设计中的应用有重要意义。因此， 基于对多核处理器核间通信技术研究对今后多核的发展有很好借鉴作用，为向多 核发展做好技术积累。 1 4 论文的主要工作 第一、对多核多线程处理器的优点缺点、发展趋势、关键技术以及面临的挑 战等方面进行论述； 第二、对r m i 公司的最新高端产品x l r 7 3 2 多核处理器进行研究，重点阐述 x l r 7 3 2 多核处理器在设计、应用体系结构等方面的相关内容； 第三、介绍基于l i n u x 系统环境下进程间通信的基本原理； 第四、详细阐述多核处理器内部进程间通信的原理、机制及手段； 第五、结合对多核处理器核间通信机制探讨，设计出多核处理器进程间通信 模型； 第六、实验验证了x l r 7 3 2 处理器几种可用的核间通信方案，并对实验结果 进行分析，提出如何针对不同的适用范围，选择合理核间通信方案。 1 5 论文组织 本文的组织方式如下： 6 第一章绪论 第一章绪论 本文对课题的相关背景进行探讨，介绍国内国外对核间通信技术研究工的现 状、研究与实现的意义和本文计划主要完成的工作。 第二章多核处理器介绍 对多核处理器核间通信技术进行介绍，首先研究多核多线程处理器的一些基 本特性，并指出传统的单核处理器的局限性，分析当前多核处理器的优点、发展 的趋势、关键技术以及多核技术面临的问题和挑战，最后，对以r m i 公司x l r 7 3 2 多核多线程处理器为硬件开发平台进行简要概述： 第三章多核处理器核间通信的实现和模型设计 介绍基于l i n u x 操作系统下多核处理器进程调度、进程间通信的相关概念，重 点围绕进程间通信的相关通信机制，多核处理器进程间通信模型的基本设计，对 多核处理器核间通信实现，提出三种可用的核间通信方案。 第四章设计分析 对多核处理器进程间通信方案进行设计分析，提出几种可用的核间通信方案 的适用范围，指出了怎样选择可用的核间通信方案。 第五章总结和展望 对本文的研究工作进行了总结，并对未来多核处理器及核间通信相关技术的 发展进行了展望。 1 6 本章小结 本章首先提出本人课题以在l i n u x 环境下，多核处理器进程间通信为突破口， 介绍了课题的研究的相关背景以及国内国外研究的现状，其次，对多核处理器核 间通信技术的研究与实现的意义进行阐述，并介绍了本文课题的主要框架和思路 工作。最后勾画出了论文的基本组织结构。 7 电子科技大学硕士学位论文 第二章多核处理器介绍 2 1 单核处理器的局限性 进入2 0 0 9 年，众多专家和学者，已经开始置疑传统的单核处理器是不是已经 将开始退出历史舞台，实际上，部份传统的知名单核处理器，已经退出了历史的 舞台。传统的单核处理器相对于双核处理器有较多生产、加工、性能、使用等等 方面的限性，双核处理器在各项预算的前提下，才是用户理想的选择。下面我们 分析一下，单核处理器的局限性主要表现的几个方面： 1 ) 主频低 c p u 厂商在努力把主频提高到4 g h z 甚至更高时，其实已经到了工艺加工极 限，实现起来是不可能达到的。而且造成巨大的生产成本，其成品性价比也非常 低。已经没有什么使用价值。 2 ) 双核处理器性价比极高 在单核处理器系统中，单一线程中已经不太可能提高更多的并行性。简单点 说，就是传统单核处理器的是一个通道，双核处理器是俩个通道，处理速度比传 统快! 而且，生产成本也相对较低。目前，双核处理器的价格已经很便宜了，用 户理想的选择当然是双核，而非单核处理器。 3 ) 系统所能耗问题现象突出 目前，相对于传统的单核处理器来说，如果仅仅提升处理主频，其发热量非 常大，将消耗非常大的功率，那么其散热量也就不行了，没有足够大、足够强的 冷却风扇，使处理器正常稳定地工作。 4 ) 对大型功能需求处理能力低 随着当前对大型数据库、政府、企业、军事、通信要求高性能处理能力芯片， 单核处理器已经表现得不能为力，而且已经显现出了巨大的缺限。达不到理想的 使用效果。 8 第二章多核处理器介绍 图2 1单核处理器的性能瓶颈 从上图2 1 为单核处理器的性能瓶颈随着时间递增，传统的单核处理器逐渐展 现出来许多性能瓶颈。传统单核c p u 性能十分有限，严重制约处理器的日后使用， 双核处理器在性能有效高的性能优势，而且在主板和内存的配套上也存在相应的 降价的基础上，更有利于多核处理器的发展。 2 2 多核处理器的提出 上一节已经讲到：随着单核c p u 在处理系统能力上，体现出来的性能瓶颈， 并暴露出许许多多的局限，下面，我们自然而然引入了多核处理器概念。多核处 理器能带来许多，让用户很满意的性能优势，在很多关键处理需求上让用户喜悦， 比如说：系统安全性和虚拟技术等方面起到致关重要作用。随着虚拟技术的逐步 发展，该种技术已经能够提供对资源使用率有较好的保护，并且在一些重要的商 用市场提供更好的保护，有较高的市场价值。而我们普通消费者在多核处理器的 批量上市后，便也会得到比以前传统的单核处理器，得到更高的性能，更快的运 算，更安全的性能，逐步提高人们的生活质量，提高人们工作效率，多核处理器 的优点在下面章节将详细论述。 随着操作系统及应用软件对多核处理器的进一步支持及优化、芯片制造工艺 的成熟、i n t d 及a m d 为代表的低功耗技术的发展、芯片级虚拟化技术的成熟等诸 多因素，将推动服务器处理器多核化趋势的进一步彰显。多核技术将成为服务器 技术的重要技术支点，更多的多核服务器处理器将在2 0 0 9 年内登场，包括i n t e l 和安腾、a m d 的4 核o p t e r o n 、s u n 的u l t r a s p a r c 和n e g a r a 八核t l 芯片、m m 的c e l lb e 芯片和p o w e r 5 多核、h p 的p a - r i s c 多核、使得整个市场充斥着各种 多核的技术。此外，我国的龙芯3 也是专门面向服务器系统的c p u ，目前也在进 9 电子科技大学硕士学位论文 行多核的研发，国内厂商曙光将在其新品中搭栽龙芯多核处理器。 2 3 多核处理器技术 2 3 1 多核处理器的概念 所谓多核心处理器，简单地说就是在一块c p u 基板上集成两个或两个以上的 处理器核心，并通过并行总线将各处理器核心连接起来。例如：上面章节提到的 i n t e l 公司0 7 年度推出的非常流行的酷睿2 型双核处理器。酷睿2 型双核处理器其 实是单芯片多处理器( c m p ) 中最、最、最容易、最简单易实现的一种多核处理 器。实际上，在嵌入处理器研究中，双核心处理器是性价比非常高的一种芯片处 理器。 我们先谈一下多核处理器可能存在的一些问题。多核处理器存在的主要问题： 因为单片多处理器系统的资源都是采用划分方式的，如果当没有足够多的线程时， 就造成了处理器系统资源的浪费。多核处理器的优点主要是：处理器核可以很简 单地认为容易获得非常高的主频，而且与此同时缩短了设计、验证、制作加工的 时间。而多核处理器相对于传统的单核处理器具有更高的并行度，在多核处理器 上可以达到多线程、多进程并行，意思就是说在同一时刻处理器上有多个线程【4 j 和多个进程在并行执行。多核多线程处理器的优点在下面章节将有详细的论述。 多核处理器芯片的出现和发展，是并行技术发展和市场应用需求的必然产物。 多核处理器能获得用户较满意的主频，采用多核处理器架构能获得较高的性能， 在每个时钟周期内，多核处理器可执行更多内核有效单元，内核之间相互达到高 效的通信机制，才使系统达到最大性能，达到较高的主频。 这主要如下四个方面的原因： 第一个方面：根据摩尔定律，传统的单核处理器不可能达到理想的主频，而 且随着集成电路、晶体管高速发展，在制造水准进入9 0 h m 工艺时代，多核处理器 芯片将能更高效发挥其重要的性能。 第二个方面：多核核间通信技术逐步发展，多核处理器核间的通信标准统一 规范后；各个内核之间相互协作和通信实现高效的通信机制，而与传统的单核处 理器结构相比，多核处理器在克服线程延迟影响方面更具优势。 第三个方面：在能耗方面，多核处理器相对于传统的单核处理器其功耗小得 多。当达到同一主频时，传统的单核处理器要达到这一主频时，其发热量一定非 1 0 第二章多核处理器介绍 常大，将消耗非常大的功率，并散发出巨大的热量，如果没有足够大、足够强的 冷却风扇，处理器就无法正常稳定保持工作。而多核处理器芯片在这方面就进行 了优化，在功耗方面性能表现卓越。 第四个方面：多核处理器研制设计时间短、技术相对成熟、必要劳动成本低。 最有效的例证就是单核处理器与双核处理器，在提升主频上研制设计成本，体现 出的性价比。目前，双核处理器已经牢牢占据市场绝大多位置，将有逐步完全取 代传统单核处理器的趋势。这方面的上面章节已经讲述过了。 下面我们来看一下c e l l 处理器的架构： s p f妒一 s p f s p f s p fs p f s p f - - 一 s p f l ，1 r0 1 i 卜9 i il lt 。j i 菇i 戳鉴裂鉴il 基豢l 嚣滥j 掣州l i 斟期耐 p u 扣一 r 务d l n 事椭 辑搿娜l i 唧痹呐l 碍脚1嚣嚣i 1 1 剐竺眇 j 为 j l b b l = 1：q|ii j “，-扩d，4上l l 等薯1 _ 口i 嘲 t t 。一 tttttt p 珊护“f 8上”绷 上”“p 上” 一馐k |卜k1 fj 乙，霉 l k 、，麓一 二乙|、ol ：稼黝i c ：嘲嘲il 惴鳓哺卅 i 删l 攀絮l _ 嬷鼎熵j l 搦萌螂i 1l。j 一一 ll 异嚣搿墨嗣e j 髑e ： 嗣墨= 扛 酽“| r o ：0 羹篙i 赫。8 晶? s ) ，；7 奠_ ，。+ - “”：j 多习 & 。j 、- 。二。 “、? 一；j2 ；zk i ，。j - _ 一! 一_ _ 一_ 。一7 ，& j ，。，；鬈t ，一； 。- ，。奠茹溺 ，t 埘v a l u e o 雌fb e = ；、雠! k 肥叠誓t 鞘垮m b a n c l w d t h 娃删3 嘲l匿h ! 。j 翩翻 即一f p 摊阶 k 翟s 冉口鼍忡 卜觚 i 墨驯爿2 t 翻 ， ， ， ， t r a d i t i o n a l 7 。默，黼鼋 i t s 董_ o 柚t c o m p u t a t i o n b i f & i ，o j p p e 图2 2c e n 处理器架构 如上图所示c e l l 处理器就是一款多核处理器，c e l l 处理器是实现具备平行设 计架构，该款处理器具有很多优点，c e l l 处理器是一款异构多核处理器，具有多线 程技术、双线程、浮点运算、并行编译、实时处理等等的方面有较突出的优点。 在多核处理器芯片设计方面较强的独到之处，是比较典型，具有一定代表性的一 款异构多核处理器。 对于多核处理器研究中，当前较热门是对i m 公司最新高端产品的x l r 7 3 2 多核多线程处理器，因此本文将以选用x l r 7 3 2 处理器为实验平台，探讨多核处 理器系统核间的通信技术。特别声明：本文研究多核处理器核间通信，偏重以研 1 1 电子科技大学硕士学位论文 究多核多线程处理器的核间通信。 2 3 2 多核处理器的两种结构形态 多核处理器存在两种结构形态：同构与异构，下面本文简要地说明分析一下： 同构与异构是多核处理器芯片的两种较流行的结构形态，在多核处理器的发展思 路上有十分重要的意义， 请看下表2 1 ：我们将同构与异构多核处理器作一下简要的性能比较，从表中， 我们很容易看出同构和异构多核处理器不同4 个方面：即：l 、主要应用：2 、主 要结构；3 、数据存储；4 、核间互连。针对用户不同需求，我们将有针对性地采 用不同处理器设计方试，比一个以不变应万变的方法更有价值。当时，采用异构 处理架构一般意味着采用两个或更多个芯片这样我们可以很容易地看出先用不同 的结构的处理器体现的性能是不一样的。 表2 1同构与异构多核处理器比较 同构的多核处理器异构的多核处理器 主要应用通用处理器 多用专用处理器 主要结构同构核心