（计算机科学与技术专业论文）面向分布共享存储体系结构的高效能openmp关键技术研究.pdf

国防科学技术大学研究生院博士学位论文 摘要 高端计算发展到今天，已经从单一地追求高性能转向致力于实现系统的高效 能，包括提高系统的性能、可编程性、可移植性和健壮性，同时降低系统的开发、 运行以及维护成本。高效能计算机系统离不开高效能的程序设计环境，尤其是未 来的百万亿次、千万亿次计算机系统所面向的应用是多学科和多尺度的，这些应 用的复杂性要求各学科的科学家和软件专家一起设计、管理和维护应用程序。各 学科专家的参与对程序设计环境的性能、可编程性、可移植性以及容错性提出了 更高的要求。o p e n 具有易编程、支持增量式程序设计模式、可维护性好以及可 移植性高等特点，在未来很长一段时间仍将是主流的并行程序设计语言。 论文紧紧围绕如何为大规模并行系统开发高效能o p e r 呼程序设计环境这一 主题，对大规模分布共享存储( d i s t r i b u t e ds h a r e dm e m o 巧，d s m ) 系统上0 l p e r 山口 实现的关键技术、面向d s m 系统的o p e 心仰语言扩展、编译指导的数据预取、 o p e i l m p 的检查点续算技术以及面向o p e 心佃的低功耗优化展开研究，取得了以 下创新性成果： l 、针对大规模并行计算机体系结构，设计实现了0 1 ) e i 蝴并行编译器c c r g o p e 心但。提出了编译时和链接时协同的o p e i 山伊共享数据放置策略，不仅克服了 在分布操作系统上需要显式分配共享内存的缺点，而且为检查点的数据局部性优 化提供了有力支持。在o p e i 小口实现上，采用了大量的源级优化策略以提高程序 性能。对于科学计算和模拟程序，在我们的s c c m p 系统上，c c r - go p e 心但性能 与采用最新的e l9 1 编译器的s g i 舢t i x 相当。 2 、提出了两个新的o p e i 山伊指导命令b 舢珊e r ( 舭耐衲和 a l l i 汪d u c t i o n ，降低了0 i p e 心伸并行程序在障碍同步和归约等全局操作上的开 销；给出了新指导命令的实现算法。对于实际科学计算程序粒子云，在6 4 个线程 时，性能提高了7 6 。 3 、提出了面向o p e n m p 的编译指导的两阶段数据预取算法，克服了d s m 系 统上远程访存与本地访存延迟不一致引起的预取不准确的问题。建立了一个静态 的性能分析模型，对预取算法进行了评估。在s c c m p 系统上，采用本文的两阶段 数据预取算法后，在3 2 个线程时，s p e co m p 2 0 0 1 中s 、v i m 程序在我们的系统上 性能提高了1 4 ；在6 4 个线程时，性能提高了9 。 4 、建立了系统级和应用级协同的o p e 心佃检查点续算机制，设计了阻塞的 o p e 蝴p 检查点协议。基于该机制实现了一个c c i o p e 心佃检查点续算系统。 该系统完全支持o p e 心佃2 0a p i ，具有良好的可扩展性和实用价值。 5 、研究了面向o p e r l m p 的功耗优化技术。在结点具有动态电压调整( d y n 锄i c 第i 页 国防科学技术大学研究生院博士学位论文 v o l t a g es c 出i n g ，d v s ) 能力的并行系统上提出了三种低功耗优化方法及其实现算 法。在基于最差执行时间的功耗优化中，提出了基于同步段的o p e n m p 程序最差 执行时间分析与d v s 方法。该方法将同步段作为分析和电压调整单位，有效避免 了障碍同步引起的负载不平衡对程序执行和功耗的影响。建立了一个能量消耗分 析模型，模拟分析显示，针对o p e i 帅并行应用的功耗优化技术能有效地减少并 行系统运行o p e i 山伊程序时的能量消耗。 主题词：高效能o p e n m p 语言扩展两阶段数据预取检查点，续算低功耗优化 第i i 页 国防科学技术大学研究生院博士学位论文 a b s t r a c t n o w a d a y s ，l l i 曲e r l dc o m p u t i n gh 嬲d 1 如g e di t s 锄b i t i o nf r o mt 1 1 ep u r ep i l r s u i to f 1 1 i 曲p e r f o m l 孤1 c et ot 1 1 er c a l i z a t i o no fh i g hp r o d u c t i v i t ) ，s y s t e m s ，w i l i c hi n c l u d e st h e i m p r o 、r e m e n ti np e r f 0 衄趾c e ，p r o 伊猢a _ b i l i t ) r ，p o n a b i l i 够锄dr o b u s n l e s s ，觚d 也e r e d u c t i o no fc o s t si i ld e v e l o p l e n t ，瑚m 血ga n dm 咖t e r 姗c eo fs ) r s t e m s h i g h p r o d u c t i v 时c o n l p u t e rs y s t e m sm u s tb es u p p o r t e dw i t l lt l i 曲p r o d u c 咖时p r o 伊a i n 皿血g e n v i r o 啪e n t s f u l 恤e m o r e ，t 1 1 e 印p l i c a t i o n sc o i l f o n t i r 培t i 圮如t l l r et 训o p s 甜l d p e t a n o p ss y s t e m sa r er n u l t i d i s c i p l 岫ra n dm u h i s c a l e ，w h o s ec o m p l e x i 够r e q u n s d o m a i ne x p e n sa r l ds o 行w a r es c i e n t i s t sf 的md i f f e r e n td i s c i p l i i 圮st ow o r kt o g e t l l e rf o r d e v e l o p m e 咄咖l a g e n l e ma 1 1 d 觚曲慨e s u c hk i n do fp 枷c i p a t i o np 吣1 1 i 曲e r r e q u h m e 鹏t 0m ep e r f 0 m 锄c e ，p r o g 耻m a b i l i 哆，p o r t a b i l i t ) r 锄df a u l t - t o l e r 孤c eo f p r o 掣m m 血ge i i r o 砌e m s w i 廿ls u c h 诧a ：t i l r e s 硒e 嬲yp r 0 孕猢a b i l i t ) ，s u p p o r t i n g i r l c r e i n e n t a ld e s i 驴p a t t e n l s ，g o o dm a j n t a i n a b i l i t ) ，觚dl l i 曲p 0 f 曲i l i t ) r ，o p e r l m 口、i l lb e t l l em 砒姗锄p a r a l l e lp r 0 伊如毗gl a n g 磁唱ei 1 1 廿l el o n gr 叽 f o c u s i i l g o n d e v e l o p m e n t o f h i 曲p r o ( 1 u c t i v 时o p e 心佃p r o g r 锄m i n g e n v i r o n m e n tf o rl a r g e s c a l ep a r a l l e ls ) r s t e m s ，t h i s l e s i ss y s t e m a t i c a l l yi i l v e s t i g a t e s s o m e k e yt e c m q u e si i li i l l p l e m e n t i i l go p e n l 讧p o nl a 唱e - s c a l ed i s t r i b u t e ds t l a r e d m e m o 巧( d s 旧s y s t e m s ，d s m - o r i e n t e do p e n e 】( t e l l s i o 嬲，c o m p i l * g u i d e dd a t a p r e f e t c l l i n g ，c t 比c k p o i i l 恤s t a r t 锄do p e r d 、，i p - o r i e n t e dl o w p o w e ro p t i m i z a t i o n 舡1 d o 也e 璐r e l a t e dt e c q u e so fo p e i l 】帅t h en l a i nc o 嘣b u t i o n so f 位m e s i sa r e 觞 f o l l o 、v s 1 c c r go p e i m 口，锄o p e 心佃p a r a l l e lc o r n p i l e r ，h b e e nd e s i g n e da n d i l n p l e m e n t e df o rl 盯g e - s c a l ep a r a l l e lc o m p u t e rs y s t e m s w ep r e s e n t l ec o m p i l i i 培一劬e a i l dl i r l k j n g t i m ec o o r d i l l a t e do p e r d 订ps h i 玳dd a t ap l a c e n l e ms 眦e g y ，w k c hn o to i l l y o v e r c o m e st l l ed i s a d v 锄衄g et l l a ts l l a r o dm e m o d ，i sr e q u i r e dt 0e x p l i c i u ya l l o c a t i ei i l d i 嘶b u t e do s ，b u ta l s 0 p r 0 v i d e ss l l p p o r t f o rd a t a l o c a j i t ) ro p t 砌z a t i o no f c h e c k p o i l l t i i 玛s e v e r a l s o u r c e - l e v e lo p t i i i l i z a t i o nt e c l u l i q u e sa r el 塔e dt 0i i l l p r 0 v e p e f f o n l l a n c e 1 kp r a c t i c a le x p 丽m e n t ss 1 1 0 wt 1 1 ep e r f o n n a n c eo fc c i 埝o p e 心佃o n o u rs c c 御s y s t e mi se 删t 0 帆o f i m e lc o m p i l e r9 1o ns g ia 1 t i x 2 t 、0o p e 心佃d h c t i v e sb a r r i e r ( 砌p 幔切a n da l l r e d u c t i o nh 驯e b e e np r e s e m e dt or e d u c et 1 1 er 印i d - i i l c r e 嬲i l 唱o v e r h e a di i ls u c h 出o b a lo p e r a t i o n s 嬲 b a r r i e r 趾dr e d u c t i o nm c u 仃e dw h e nt h es c a l eo fo p e r m pp a r a l l e lp r o g 舳si se i l l a r g e d ， 龇l dt l l ei i l l p l e m e n t i r 培a l g o r i m m so ft h en e wd i r e c t i v e sa r eg i v e n t h ee x p e 面n e n t ss 1 1 0 w t h a tf o rr e a ls c i e n t i f i c 印p l i c a t i o np l a s 眦p h y s i c s ，w l e nt h em 】i i l b e ro f 玳a d si s6 4 ，t h e p e 响衄a j l c eh 嬲b e e ni n c r e 筋e d7 6 3 t h ec o i n p i l e r - d i r e c t e dt 、o - s t a g ed a t ap r e f c t c ha l g o r i t l l mb a sb e e np r e s e l l t e dt o o v e r c o m et l l ei n a c c u r a c ym c u r r e db yt ：h ei r l c o n s i s t e n c yb e 似e e nr e m o t ea c c e s sl a t e n c y 第i i i 页 国防科学技术大学研究生院博士学位论文 a r l dl o c a la c c e s sl a ：c e n c y t h ea l g o r i t h mi se v a l 眦db ym e 锄1 so fas t a t i cp e r f 0 棚= l a l r l c e a 1 1 a l y s i sm o d e l t h ee x p e r i m e n t ss h o wt h a t ，b yu s i r 玛t l l ep r e s e m e da l g o r i m m ，血e p e r f o m a n c eh a sb e e ni m p r o v e dl4 f o rs 丽mi ns p e co m p 2 0 0 1w h e nt 1 1 en 硼曲e ro f t h r e a d si s3 2 a n d9 w h e nt h en m b e ro f t i l r e a d si s6 4 4 w eh a v ep r e s e n t e dm es y s t e m 1 e v e la n da p p l i c a t i o n 1 e v e lc o o r d i i l a t e d0 审e r l m p c h e c k p o i 曲毗s t a r tm e c h a l l i s m s ，a 1 1 dab l o c k e do p e i 山口c h e c k p o i n tp r o t o c 0 1 b a s e d o nt h e s ei n e c h a n i s n l s ，ac c r go p e r 山口c h e c k p o 诋s t a r ts ys t e mh 弱 b e e n i 】m p l e m e n t e d t l l l es y s t e mp r 0 v i d e sm ec o m p l e t es 岬r t sf o ro p e n m p2 0a p i ，谢m 鼬o ds c a l a b i l i 田a n da p p l i c a b i l i 母 5 e n e r g yo p t i m i z a t i o nt e c l m j q u e sa r es t u d i e db a s e do n0 p e r d 订pp r 0 铲a m m 协g m o d e l t h r e ee n e r 窖o p t i m i z a t i o nm e t l l o d sa n di i n p l e m e n l a t i o n s 锄ep r e s e i l t e df 1 0 r p a r a l l e ls y s t 锄s 研md y n 锄i cv o l t a g es c a l i l l g ( d v s ) c a p a b i l i t i e s 1 1 1 eb a 玎i e rs e c t i o n b a s e da n a l y s i so fw o r s t c a s ee x e c u t i o n - t i m e ( w c e t ) 锄dd v sm e t h o d sa r ep r o p o s e d f o rw c e tb a s e de n e r g yo p t i m i z a t i o n 1 1 l e s em e t h o d su s eb a r r i e rs e c t i o n 鲴t h eu 1 1 i to f a n a l y s i sa 1 1 dv o l 协g es c a l i n g ，w h i c ha v o i d l ci m p a c to fb a 仃i e ro np r o 铲锄e x e c u t i o n a i l de n e r 鼢，c o n s 啪p t i o n sc a u s e db yl o a di m b a l a n c ed u et 0b 硎e r a n2 l r m l y s i sm o d e li s b u i ha n dt 1 1 es i m u l a t i o ns h o w st 1 1 a tt l l e s et e c h l i ( 1 u e sc 锄e f ! l e c t i v e l yr e d u c ee n 髓g y c o n s u m p t i o n sf o rp a r a l l e ls y s t e m s k e y w o r d s ：h i g h - p r o d u c t i v i t y ，o p e m p ，o p e n m pe x t e r n s i o n ，t w o s t a g ed a t a p r e f e t c h ，c h e c l p o i n t ，r e s t a r t ，l o w e n e r g yo p t i m i z a t i o n 第i v 页 国防科学技术大学研究生院博士学位论文 表 表 表 表 表目录 超级计算机的可靠性3 t o p5 0 0 中部分超级计算机采用的程序设计模式。5 s g ia l t i x4 7 0 0s p e co m p l 2 0 0 l 测试结果8 n 6 4l i n u x 地址空间划分2 3 表2 2 几种典型障碍同步时空复杂度比较2 6 表2 3c c r go p e 心佃和h t e l 的比较( 单位：毫秒) 3 2 表3 1c a c h e 预取与内存预取比较5 0 表3 2 硬件参数及其参考值6 2 表4 1s l c 和a l c 的比较6 8 表4 2b t 检查点的执行时间( 秒) 8 0 表4 3b t 检查点文件大小( m b y t e s ) 8 0 表4 4c g 检查点的执行时间( 秒) 8 0 表4 5c g 检查点文件大小( m b y t e s ) 8 l 表4 6e p 检查点的执行时间( 秒) 8 1 表4 7e p 检查点文件大小( m b y t e s ) 。8 1 表4 8r 检查点的执行时间( 秒) 8 1 表4 9r 检查点文件大小( m b y t e s ) 8 l 表4 1 0l u 检查点的执行时间( 秒) 8 2 表4 1 1l u 检查点文件大小( m b y t e s ) 8 2 表4 1 2m g 检查点的执行时间( 秒) 8 2 表4 1 3m g 检查点文件大小( m b y t e s ) 8 2 表4 1 4s p 检查点的执行时间( 秒) 8 2 表4 1 5s p 检查点文件大小( m b ”e s ) 8 3 表5 1n p b 3 2 0 m p 部分程序在“个线程时使用的指导命令数9 3 表5 2 包含3 个同步段的o p e 心佃程序及其执行信息一1 0 1 第1 v 页 国防科学技术大学研究生院博士学位论文 图1 1 图2 1 图2 2 图2 3 图2 4 图2 图2 图2 图2 图 图 图 图 9 1 0 1 1 1 2 图2 1 3 图2 1 4 图2 1 5 图2 1 6 图2 1 7 图2 1 8 图2 1 9 图2 2 0 图2 2 l 图2 2 2 图2 2 3 图2 2 4 图2 2 5 图2 2 6 图2 2 7 图2 2 8 图2 2 9 图3 1 图3 2 图目录 网络速度v s 结点速度( b ”e s n o p s ) ( 比值越大越好) 2 基于s m p 的c c 小m a 结构1 4 计算结点操作系统1 4 c c r go p e i 山伊线程管理机制1 6 o p e n m p 应用程序示例1 7 利用外部子程序实现并行区1 8 d o 指导命令的实现19 循环迭代的静态调度1 9 循环迭代的动态调度1 9 循环迭代的受指导的调度2 0 优化的静态调度2 1 s 矾g l e 指导命令的实现2 1 c c r go p e 心但可执行文件格式2 4 静态多路竞赛障碍同步2 5 c c r go p e r 山口优化编译器2 7 c c r go p e i 山i p 文法片断2 8 源到源转换和“o u 廿i i 血g 机制限制了某些优化2 9 插入赋值语句进行过程间常数传播2 9 数据按页分布3 0 m i c r o b e n c h m a r k 测试结果一31 m i c r 0 b e n c b m a r k 测试结果二3 1 s g i 舢戗m i c r o b e n c l l i l l a r k 测试结梨1 3 4 1 3 2 b t c 和c g c 的执行结果3 3 印c 和f t c 的执行结果3 3 i s c 和l u c 的执行结果3 4 m g c 和s p c 的执行结果。3 4 程序y 黔在s g i 和s c c m p 上的性能比较- 3 5 程序e p t 在s g i 和s c c m p 上的性能比较3 5 程序m f i c 在s g i 和s c c m p 上的性能比较3 6 程序l a r e d i 在s g i 和s c c m p 上的性能比较。3 6 使用b a r r i e r 和f l u s h 的o p e r l m p 程序片段3 9 b a r r i e rv sb a r r i e r ( 珏1 ) ( 白色部分表示等待) 。4 0 第v 页 国防科学技术大学研究生院博士学位论文 图 图 图 图 3 4 5 6 图3 7 图3 8 图3 9 图3 1 0 图3 1 1 图3 ，1 2 图3 1 3 图3 1 4 图3 1 5 图3 1 6 图3 1 7 图3 1 8 图3 1 9 图3 2 0 图3 2 1 图3 2 2 图3 2 3 图3 2 4 图4 1 图4 2 图4 3 图4 4 图4 5 图4 ，6 图4 7 图4 8 图4 9 图4 1 0 图4 1 l 图4 1 2 使用b a r r i e r ( 此f 1 ) 4 1 使用r e d u c t i o n 和a l l r e d u c t i c n 从句的程序4 2 b a r r i e r 和使用b 删e r 实现的p a r a i ，l e l 开销4 3 b a i 叫e r ( o ) 和使用b a r r i e r ( o ) 实现的p a ra i ，l e l 开销4 4 使用i 迎d u c t i o n 和a l l i 也d u c t i o n 的粒子云程序执行时间的比较4 5 o p e 心口指导命令隐含的数据分布4 8 c a c h e 预取与内存预取5 0 o p e i 蝴p 数据分布5 1 包含两个并行循环的o p e 心佃程序5 2 l l 隐含的口的数据分布和在l 2 中口的引用空间5 3 一个简单的o m p 程序5 3 循环分割前插入内存预取指令的伪代码5 5 预取外提后的伪代码5 5 包含多个循环的并行区5 6 c p e n m p 并行循环5 8 连续存储带来的伪共享5 8 采用数据p a d d i i 堰技术避免伪共享5 9 s 谢m 中c a l c l 中的o p e 心但循环6 3 s 、加m 中c a l c 2 中的o p e n m p 循环6 3 s 奶m 中c a l c 3 中的o p e n m p 循环6 4 内存预取前后s 啊m 的运行时间6 5 线程为6 4 时嘶n 各个函数运行时间6 5 c 3 的检查点协议6 9 c 3 在n a sl i n u x ，i a 6 4 平台上的检查点时间嗍7 0 混合o p e 蝴p 检查点机制7 l 主线程保存所有共享数据时各线程检查点文件大小7 2 数据局部性优化后各线程检查点文件大小7 2 扩展的指导命令定制数据在检查点时是否保存7 3 指定数组c 不保存对c h e c k p o n 空间开销的影响7 3 指定数组c 不保存对c h e c k p o i i l t 时间开销的影响7 4 检查点协议7 7 临界区示例。7 8 接收到检查点请求时o p e r 山口线程状态7 8 c h e c k p o i n t 时间与运行时间的百分比8 3 第页 国防科学技术大学研究生院博士学位论文 图4 13r 啦u t 时间8 4 图4 1 4b t c 的c h e c k p o i n t 和r e s t a r t 时间比较8 4 图5 1 动态电压调整的频率设置9 0 图5 2 典型程序和它的语法树9 1 图5 3图5 2 语法树对应的时间估计上下文树9 1 图5 4 带动态电压调整的f - 0 r l 奶o i l l 执行过程9 2 图5 5 含动态电压调整能力的障碍同步9 4 图5 6 先到达的线程低频率状态下等待9 4 图5 7o p e n 并行区最差时间分析9 6 图5 8图5 7 的上下文树9 7 图5 9 图5 6 对应的动态电压调整示意1 0 0 图5 1 0 迭代型并行程序1 0 2 图5 1 1 从线程控制函数实现基于f 0 彬i o i i l 的d v s 10 3 图5 1 2 扩展障碍同步实现d v s 1 0 4 图5 1 3 基于同步段的d v s 实现1 0 4 图5 1 4o p e r 山口执行的抽象参数设置1 0 5 图5 1 5 不同取值下的功耗变化曲线1 0 6 图5 1 6y 不同取值下的功耗变化曲线k 1 0 7 图5 1 7p 不同取值下的功耗变化曲线1 0 7 图5 1 8 乡不同取值下的功耗变化曲线。1 0 8 第i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取：季 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包i 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其三 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的壬 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：亘自金盔基皇盔健签丕坌抱的壶赦能q p 皇型里差毽垫苤堡垂 学位论文作者签名： 生乏盏 日期： 。叼年争月占cj i 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人摆奴 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关彭据 库进行检索，可以采用影印、缩印或扫描等复制手段保存，汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：亘囱金盔基皇壶篮垡丕缱掏鲍直熬能q 卫曼旦塑羞毽盐盔翌窒 学位论文作者签名：生 盔 作者指导教师签名：4 媲苫乏矿 日期： 日期： d e 文 f 、 月 月 年 牛 年 年 r-，广 叩7 乒 r 、 国防科学技术大学研究生院博士学位论文 第一章绪论 1 1 从单一高性能走向综合高效能 从计算机发展历史看，高性能计算( h i 曲p e r f 0 咖觚c ec o r n p u t m g ) 一直是学 术界和产业界关注的热点。人类对计算能力的需求推动着高性能计算技术的不断 发展【1 ，2 】，例如美国的p e t a f l o p s 【3 ，4 】工程将研制p n o p s 数量级的超级计算机系统作为 目标，加速战略计算创新( a s c i ) 计划【5 - 8 】贝0 要求实现若干t n o p s 计算机系统以满 足应用的需要。进入2 1 世纪以来，传统的高性能计算技术受到了巨大的挑战，它 一方面来自于因特网时代多种计算形态的竞争，但更主要的是由于2 0 世纪末高性 能计算技术本身的发展遇到了障碍。 长期以来，高性能计算领域的竞赛主要集中在计算速度上，并且以“峰值运 算速度 作为超级计算机技术水平的评价标准。为了达到更高的峰值性能，微处 理器厂商不断推出更高晶体管密度和更高频率的微处理器系统用于“堆积 峰值 运算速度极高的超级计算机系统。但是，这些系统的实际应用性能与其峰值速度 往往相差甚远，而且系统可靠性、可用性低，难以进行高效的程序设计，系统维 护困难，运行成本居高不下。2 0 世纪9 0 年代成熟并流行的高性能计算技术如今面 临重重困难，归纳起来主要有以下几点： ( 1 ) 实用性能低 9 0 年代初的向量机的实用性能效率能到4 0 5 0 ，而目前绝大多数高端计 算系统实际使用的持续性能只有其峰值性能的0 5 l o ，对于通信密集型程序， 性能进一步降低。即使是a s c iq 这样定制的a s c i 计算机系统，其并行应用软件 的性能也只有峰值性能的l 1 2 【9 j 。造成这一现象的主要原因包括： 并行程序设计语言和模型的局限性。作为主流的并行程序设计模式，i 【l o 】 和o p e i m 田i ll j 本身都存在着缺陷，例如m p i 可编程性差，c i p e r 山口可扩展 性有限，二者都无法解决负载不平衡问题。人们正在致力于研究新的程序 设计语言和模型，从根本上改变这一局面。 程序本身并行度和可扩展性有限。应用问题的物理模型及并行算法与现有 并行系统的体系结构不适应，难以充分发挥系统性能。很多时候程序员在 程序设计时受限于所使用的程序设计语言和模型。 系统本身均衡性较低。计算、存储、网络和输入输出( i o ) 的速度越来 越不匹配，导致均衡的体系结构设计越来越困难。计算和i o 不匹配、c p u 速度和访存速度不匹配、结点速度和网络速度不匹配在高性能计算系统中 普遍存在。图1 1 给出了部分超级计算机网络速度和结点速度的比较。 第l 页 国防科学技术大学研究生院博士学位论文 l1 5 通信计算( b ) ，t c s ，n o 茚) 图1 1 网络速度v s 结点速度( b ”e s n o p s ) ( 比值越大越好) “存储墙 问题。在摩尔定律的推动下，c p u 的速度差不多每隔两年就 提升一倍。然而，从目前的技术发展现状看，存储器访问速度每隔六年才 提升一倍。二者性能的差距越来越大。c p u 大部分的时间浪费在等待存 储器的存取上，“存储墙”问题仍旧是影响系统性能发挥的最大障碍。 ( 2 ) 可靠性和可用性低 随着系统规模的不断扩大，如何提高系统的可靠性和可用性成为困扰人们的 关键问题之一。这一方面是由于系统规模增大，故障频率随之增长，另一方面是 随着应用规模的不断增大，应用在系统上运行的时间越来越长，这就使得由于系 统故障导致应用任务失败的可能性增加。 大规模并行系统故障的原因主要来源于三方面：早期的机器都是使用高质 量的部件组成的定制专用系统，而现代的机器则由可靠性相对较低的商用部件组 成。现代系统由众多结点和部件组成，因此系统中结点或者部件失效的可能性 也随之增加。电路的尺寸变小导致电路更易受到周围环境辐射、温度变化和其 它因素的影响而发生故障。这些原因最终导致现在的巨型机系统平均故障间隔时 间( m e 锄t h n eb e 帆e 朗f a j l u r e s ，m t b f ) 明显地下降( 如表1 1 所示) ，例如i n t e l 公司为美国能源部研制的a s c ir e d 【1 2 】系统，共有9 0 0 0 多个c p u ，虽然每个c p u 的 m t b f 都大于l o 年，但全系统的m t b f 仅1 0 小时。a s c iq 平均中断间隔时间 ( m e a j lt h eb e t 、v e e ni n t e m l p t ，m t b i ) 仅有6 5 小时。但是，许多应用需要在系 统上运行几天、几周甚至几个月才能得到计算结果，例如，在目前世界最大的高 性能机器b l u e g e n c l 【1 3 】上运行基于a b “t i o 算法的蛋白质折叠程序【1 4 】需要几年的 时间【2 3 】。 ( 3 ) 功耗问题严重 当前在芯片设计过程中功耗问题成为被关注的重要问题。过高的系统功耗导 致的能量消耗给计算机性能的进一步改善提出了诸多挑战性的问题，近年来大规 模并行机系统的功耗问题也受到越来越广泛的关注【”】。例如地球模拟器，峰值功 第2 页 国防科学技术大学研究生院博士学位论文 耗达到了1 8 m w 【1 6 】，一天的耗电量可以满足一个中等城市的需要。即使是采用了 低功耗嵌入式c p u 的b l u c g e n e l ，全系统的峰值功耗也有1 6 m w 【1 3 】。 表1 1 超级计算机的可靠性 系统7c p u 数，7 可靠性 一 ，、 a s c iq8 1 9 2 m t b i ：6 5 小时 m t b f ：4 小时( 2 0 0 1 年) a s c i m i t e8 1 9 2 4 0 小时( 2 0 0 3 年) p s cl e 础e u x 3 0 1 6m t b i ：9 7 小时 2 0r e b o 删天 ( b o g l e 1 5 0 0 0 每年更换2 3 的机器 高的系统功耗会引发一系列问题，包括：限制芯片性能的改善。因为功耗 的限制，当前的微处理器设计不得不由追求主频提高的设计思路向体系结构技术 的革新转变，例如多核微处理器技术。提高芯片制造成本。这包括芯片的封装 成本和散热成本。降低系统可靠性，微处理器的功耗密度在不断增加，一般来 说，温度升高1 0 0 c ，系统的失效率就会增加一倍。增加系统运行成本。高性能 计算机系统消耗了大量电能，这直接导致系统运行成本的增加。根据上述分析可 以看出，功耗问题阻碍了计算机系统性能的改善，浪费了宝贵的能源，影响了未 来社会的生活。因此低功耗技术的研究越来越受到重视，从底层的硬件低功耗设 计到高层的软件低功耗管理，低功耗优化技术是一个被广泛研究的课题。 目前，高端计算的发展已经从单纯追求高性能转向致力于实现综合的高效能 ( h i 曲p r o d u c t i v i 哆) 。高效能的综合含义是在提高高性能计算系统的性能 ( p e r f 0 肌a n c e ) 、可编程性( p r 0 伊柏埘a b i l 时) 、可移植性( p o r t a b i l i t y 厂r r a n s p a r e n c y ) 和可靠性( i 沁a l i b i l i 锣) 的同时，降低系统的开发、运行及维护成本。 美国国防部d 删于2 0 0 2 年初在高性能计算领域启动了高效能计算系统 ( h i 吐p r o d u c t i v 时c o m p 砸n gs y s t e m ，h p c s ) 研究计划【1 8 1 ，目的是填补起始于 8 0 年代的高性能计算与未来的量子计算之间的空隙，解决当前高端计算领域面临 的低效、可扩展性差、软件工具和编程环境不适应应用要求等问题，在2 0 0 7 到2 0 l o 年左右为国家安全和工业界提供新一代经济可行的高效能计算系统。此外，d 灿心a 还启动了一系列与h p c s 相关的项目，包括： d i s ( d a t ai n t c l l s i v es y s t e m ) 【川， 研究如何消除存储墙瓶颈；p a c c ( p o 、e ra w a r ec o i n p u t i n c o m m u i l i c a t i o n ) 瞄， 研究能源管理问题；p c a ( p o l y n l 0 1 p h o u sc o m p u t i i 培a r c l l i t e c t u r e ) 【引j ，主要研究多 态体系结构，通过可选择的虚拟机体系结构( s e l e c t a b l ev n u a lm a c m n