（计算机科学与技术专业论文）面向高性能计算的可扩展io体系结构研究与实现.pdf

国防科学技术大学研究生院博士学位论文 摘要 数值模拟计算是进行科学研究和探索的主要技术手段之一，其对计算机的计 算和数据处理能力提出了巨大的、不断增长的需求，推动着并行计算机系统的发 展。高性能计算已进入p e t a f l o p s 时代，与此同时，数据存储也进入p e t a b y t e ( 千 万亿字节) 时代，对i o 性能、可扩展性、可靠性、可用性和易管理性提出了严峻 挑战。大规模并行计算机系统的i o 效能已经成为阻碍系统获得高效能的重要瓶 颈。这主要表现在两个方面，一是i o 设备速度、i o 体系结构等因素的制约，使 系统i o 性能和计算性能严重不匹配；二是系统规模的扩展导致i o 设备高故障率 和数据恢复时间的增长，使i o 系统的可用性问题日益突出。 为了缓解i o 瓶颈问题，可以从应用程序、可扩展算法、编译器和语言、运行 时库、操作系统和体系结构六方面展开研究。其中，i o 体系结构是所有技术途径 的关键支撑。针对高性能计算i o 需求与挑战，结合高效能并行计算机系统的研制 任务，论文首先研究了i o 体系结构，从体系结构上保证并行i o 的性能及可扩展 性。其次，在实现机制上，研究了涵盖i o 的存储一致性模型及实现技术、智能i o 控制、电磁混合存储加速和事务型存储管理等技术，达到提高并行i o 性能和系统 可用性的目的。 论文的主要研究工作和创新点如下： 1 i o 受限的并行加速比模型 针对并行计算机系统的可扩展性问题，研究了i o 负载对并行计算机系统可扩 展性的影响，提出了i o 受限的并行加速比性能模型，以此为基础对三类常见的i o 体系结构的可扩展性进行了分析；最后用性能模型指导i o 体系结构设计，设计了 一种面向高性能计算的可扩展并行i o 系统结构，提出了提高系统可扩展性的几种 策略。 2 涵盖i o 的广义域存储一致性模型及协议实现技术 针对支持全局d m a 操作的共享存储系统存储一致性问题，从i o 与存储体系 结构一体化设计理念出发，定义了涵盖i o 的广义程序概念，研究了广义存储一致 性，建立了广义顺序一致性模型、广义释放一致性模型和广义域一致性模型，基 于广义域一致性模型设计并实现了c a c h e - m e m o r y i o 数据一致性协议，在大规模 c c - n u m a 系统上实现了支持全局并发d m a 的全局共享i o 系统。实测结果表明， 该系统i o 吞吐能力和扩展能力强，实测并行i o 带宽高达2 0 2 g b s ，并行i o 带 宽随着进程个数良好扩展。 3 基于强化学习的智能i o 调度算法r l - s c h e d u l e r 针对实际应用中磁盘阵列的i o 服务效率问题，将机器学习领域中的强化学习 第i 页 国防科学技术大学研究生院博士学位论文 技术引入r a i d 控制器中，提出了基于强化学习的智能i o 调度算法r l - s c h e d u l e r ， 利用q 学习策略实现了面向并行应用的自治调度策略。r l - s c h e d u l e r 综合考虑了 调度的公平性、磁盘寻道时间和m p i 应用的i o 访问效率，并提出多o 一表交叉组 织方法提高q 表的更新效率。实验结果表明，r l - s c h e d u l e r 缩短了并行应用的平 均i 0 等待时间，提高了大规模并行计算机系统的实用i 0 带宽，增强了系统的可 扩展性。 4 支持事务语义的电磁混合存储管理算法 针对高性能计算对i 0 性能和可用性的双重需求与挑战，在存储设备一级将事 务型存储管理和电磁混合存储加速技术有机结合，研究支持事务语义的电磁混合 存储技术，提出了基于令牌的并行事务冲突处理协议和自适应动态逻辑分区管理 算法。模拟结果表明，支持事务语义的电磁混合存储系统能够有效利用事务访问 规律提高固态盘缓存命中率，隐藏版本管理、冲突检测等开销，获得i 0 性能和可 用性的双重改善。 主题词：高性能计算，i 0 体系结构，广义存储一致性模型，全局共享i 0 ，智能 1 1 0 控制，混合存储系统，事务型存储管理 第i i 页 国防科学技术大学研究生院博士学位论文 a b s t r a c t n u m e r i c a ls i m u l a t i o nc o m p u t i n gs e r v e 嬲o n eo ft h em a i nm e t h o d st op e r f o r m s c i e n t i f i cr e s e a r c ha n de x p l o r a t i o n , w h i c hp o s e sat r e m e n d o u sa n dc o n t i n u o u sg r o w i n g d e m a n do nt h e c o m p u t a t i o na n dd a t ap r o c e s s i n gc a p a c i t y o fh i g hp e r f o r m a n c e c o m p u t e r s ，h a sd r i v e nt h ed e v e l o p m e n to fs c i e n t i f i cc o m p u t i n ga n dp a r a l l e lc o m p u t e r s y s t e m a tp r e s e n t ，h i g hp e r f o r m a n c ec o m p u t i n gh a se n t e r e da ne r ao fp e t a f l o p s ，a n d t h es t o r a g es y s t e m sa l s oe n t e r e dt h ep e t a b y t ee r a t h ec h a l l e n g e so fp e t a s c a l e c o m p u t i n go nd a t as t o r a g ec a p a c i t y ，i op e r f o r m a n c e ，s c a l a b i l i t y ，r e l i a b i l i t y ，a v a i l a b i l i t y ， a n dm a n a g e a b i l i t ya r et r e m e n d o u s h o w e v e r ，t h ei ob o t t l e n e c ki s s u e so b s t r u c tl a r g e s c a l ep a r a l l e ls y s t e m st oa c h i e v eh i g h e re f f i c i e n c y ，w h i c hh a p p e n si nt w oo c c a s i o n s i n t h ef i r s tp l a c e ，i op e r f o r m a n c ei sr e s t r i c t e db yf a c t o r ss u c ha si od e v i c es p e e da n di o a r c h i t e c t u r e s ，w h i c hr e s u l mi ni oa n dc o m p u t i n gs p e e db e i n gs i g n i f i c a n t l yu n m a t c h e d s e c o n d l y ，s c a l i n gu ps y s t e ms i z em a k e sd i s kd r i v ef a i l u r em o r ef r e q u e n t l ya n dl o n g e r t i m et or e c o n s t r u c tt h ef a i l e dd r i v e ；i nc o n s e q u e n c ea v a i l a b i l i t yo fi os y s t e mb e c o m e s m u c hc r i t i c a li s s u e t h ee f f e c t i v es o l u t i o n sf o rt h ei ob o t t l e n e c kc a nb ef o u n df r o mt h ef o l l o w i n gs i x l e v e l s ，i n c l u d i n ga p p l i c a t i o n s ，a l g o r i t h m s ，l a n g u a g e sa n dc o m p i l e r s ，r u n t i m el i b r a r i e s ， o p e r a t i n gs y s t e m s ，a n di oa r c h i t e c t u r e a m o n ga l lt h el e v e l sm e n t i o n e da b o v e ，i o a r c h i t e c t u r ei st h em o s tf u n d a m e n t a l i no r d e rt om e e tt h ei or e q u i r e m e n ta n dc h a l l e n g e ，a l o n g 晰t ho u rr e s e a r c ht a s ko f ah i g hp e r f o r m a n c ep a r a l l e lc o m p u t i n gs y s t e m ，t h i sp a p e ri sp r e s e n t i n go u rt h e o r e t i c a l s t u d yo fi oa r c h i t e c t u r e s ，f r o mw h i c hm a k ei tp o s s i b l et h eh i g hp e r f o r m a n c ea n d s c a l a b i l i t y i nt e r m so fi oa r c h i t e c t u r el e v e l m e a n t i m e ，i oi m p l e m e n t a t i o n m e c h a n i s m si sf o c u s e do nt h i sp a p e r ，i n c l u d i n gt e c h n o l o g i e ss u c ha sf o - i n c l u d e d m e m o r yc o n s i s t e n c ym o d e la n di t si m p l e m e n t a t i o n , i n t e l l i g e n ti oc o n t r o l ，h y b r i d s t o r a g ea n dt r a n s a c t i o n a ls t o r a g em a n a g e m e n t ，s oa st op r o m o t ei op e r f o r m a n c ea n d a v a i l a b i l i t y t h em a i nw o r ka n di n n o v a t i v ep o i n t so ft h i sp a p e ra r ea sf o l l o w s 1 i or e s t r i c t e dp a r a l l e ls p e e d u pm o d e l c u r r e n tp a r a l l e li op e r f o r m a n c ea n a l y s i sl a c k ss c i e n t i f i ct h e o r e t i c a lm o d e l st o s u p p o r tt h ei oa r c h i t e c t u r ed e s i g n ，n l ep a p e rs t u d i e st h ei m p a c to f i ow o r k l o a do nt h e s c a l a b i l i t yo fp a r a l l e lc o m p u t i n gs y s t e m sa n dp r o p o s e st h ei o r e s t r i c t e dp a r a l l e l s p e e d u pm o d e l b a s e do nt h i sm o d e l ，w h i c hc a nb eu s e dt og u i d ei oa r c h i t e c t u r ed e s i g n ， as c a l a b l ep a r a l l e li oa r c h i t e c t u r ef o rh p ci sp r e s e n t e d m o r e o v e r ，t h ep a p e ra n a l y z e s s e v e r a ls t r a t e g i e sf o ri m p r o v i n gt h es y s t e ms c a l a b i l i t y ，w h i c hs e r v ea st h e b a s i s f o r f u r t h e rs t u d y 2 i o i n c l u d e dg e n e r a lm e m o r y c o n s i s t e n c ym o d e la n di m p l e m e n t i n gt e c h n o l o g y 第i i i 页 国防科学技术大学研究生院博士学位论文 a sf o rt h ec o n s i s t e n c yp r o b l e mo fs h a r e dm e m o d rs y s t e m sw i t hg l o b a ld m a o p e r a t i o n s ，t h ep a p e rd e f i n e st h ec o n c e p to f i o i n c l u d e dg e n e r a lp r o g r a m b a s e do nt h e c o n c e p t ，t h ep a p e rs t u d i e st h eg e n e r a lm e m o 巧c o n s i s t e n c ym o d e l , b u i l d st h eg e n e r a l s e q u e n c ec o n s i s t e n c ym o d e l ，g e n e r a lr e l e a s ec o n s i s t e n c ym o d e la n dg e n e r a ls c o p e c o n s i s t e n c ym o d e l u s i n gg e n e r a ls c o p em e m o d rc o n s i s t e n c ym o d e l ，t h ep a p e rd e s i g n s a n di m p l e m e n t st h ec c n u m ac a c h ec o h e r e n c e p r o t o c o lw i t hg l o b a ld m aa n dt h e g l o b a ls h a r e dp a r a l l e li 0a r c h i t e c t u r ea t t h eh a r d w a r el e v e l t h ee x p e r i m e n tr e s u l t s s h o wt h a tt h ei 0b a n d w i d t ha n ds c a l a b i l i t yo ft h es y s t e mp e r f o r mf a i r l yw e l l 1 1 1 e a c t u a lp a r a l l e li ob a n d w i d t hr e a c h e s2 0 2g b s ，a n ds c a l e sw e l l 谢t 1 1t h en u m b e ro f s y s t e mp r o c e s s e s 3 i n t e l l i g e n ti os c h e d u l ea l g o r i t h mb a s e do nr e i n f o r c e m e n tl e a r n i n g t oi m p r o v et h ei os e r v i c ee 瓶c i e n c yo fr a i da n do p t i m i z et h ei op e r f o r m a n c e o fp a r a l l e l a p p l i c a t i o n s ，t h ep a p e rp r e s e n t s a 1 1i n t e l l i g e n ti os c h e d u l ea l g o r i t h m ， r l - s c h e d u l e r , i nr a i dc o n t r o l l e r sb a s e do nr e i n f o r c e m e n tl e a r n i n g r l - s c h e d u l e r u t i l i z e sq - l e a r n i n gs t r a t e g yt oi m p l e m e n tas e l f - c o n t r o la n ds e l f - o p t i m i z i n gs c h e d u l e r t 1 1 ea l g o r i l h ml e v e r a g e st h es c h e d u l i n ge q u i t y ，d i s ks e e k i n gt i m ea n dt h ei oa c c e s s e f f i c i e n c yo fm p ia p p l i c a t i o n s f u r t h e r m o r e ，t h ep r o p o s e di n t e r l e a v i n go r g a n i z a t i o no f m u l t i p l eq - t a b l e si m p r o v e st h ee f f i c i e n c yo ft h eq t a b l eu p d a t i n g n l ee x p e r i m e n t r e s u l t ss h o wt h a t ，o nal a r g e - s c a l ep a r a l l e ls y s t e mw i t hm u l t i p l ep a r a l l e la p p l i c a t i o n s ， r l s c h e d u l e rs h o r t e n st h ea v e r a g ei ow a i t i n gt i m e o fp a r a l l e l a p p l i c a t i o n s c o n s i d e r a b l y t h u si n c r e a s e st h ep r a c t i c a li ob a n d w i d t h ，a n di m p r o v e st h es y s t e m s s c a l a b i l i t y 4 h y b r i ds t o r a g em a n a g e m e n ta l g o r i t h mt os u p p o r tt r a n s a c t i o ns e m a n t i c s t oa d d r e s st h er e q u i r e m e n ta n dc h a l l e n g ep o s e db yh p c ，t h ep a p e rc o m b i n e st h e i d e ao ft r a n s a c t i o n a l s t o r a g em a n a g e m e n ta n dh y b r i ds t o r a g ea c c e l e r a t i o n ，a n d i n t r o d u c e sa ne l e c t r o m a g n e t i ch y b r i ds t o r a g em a n a g e m e n ta l g o r i t h mt os u p p o r t t r a n s a c t i o ns e m a n t i c s at o k e n - b a s e dp r o t o c o li sd e s i g n e dt oc o p ew i t ht h ec o n f l i c t s b e t w e e ni ot r a n s a c t i o n sa n da na d a p t i v el o g i c a lp a r t i t i o na l g o r i t h mi sp r o p o s e dt o m a n a g e s o l i ds t a t e d i s k ( s s d ) s t o r a g e s i m u l a t i o n r e s u l t ss h o wt h a tt h e e l e c t r o - m a g n e t i ch y b r i ds t o r a g es y s t e mc a nd e a lw i t ht r a n s a c t i o n sw i t hv a r i e da c c e s s p a t t e r ne l e g a n t l ya n de f f e c t i v e l yi m p r o v es s d h i tr a t e ，h i d et h eo v e r h e a do fv e r s i o n m a n a g e m e n ta n dc o n f l i c td e t e c t i o n b o t ht h ei op e r f o r m a n c ea n da v a i l a b i l i t y a r e s i g n i f i c a n t l yi m p r o v e d k e y w o r d s ：h i g hp e r f o r m a n c ec o m p u t i n g ，i oa r c h i t e c t u r e ，g e n e r a lm e m o 吖 c o n s i s t e n c ym o d e l ，g l o b a ls h a r e di o ，i n t e l l i g e n ti oc o n t r o l ，h y b r i d s t o r a g e s y s t e m ，t r a n s a c t i o n a ls t o r a g em a n a g e m e n t 第i v 页 国防科学技术大学研究生院博士学位论文 表目录 表1 1当前单处理机中内存与磁盘的性能差距3 表1 2 几种典型超级计算系统i o 带宽和系统主存配置一览表3 表3 1 广义访存指令和广义同步操作3 5 表3 2m d p 程序i o 测试结果( 规模4 数据量1 3 9 g b ) 5 7 表3 3l a r e d p 程序i o 测试结果( 规模4 数据量1 9 1 g b ) 5 7 表3 4 与国际同类巨型机系统比较一览表5 8 表5 1 事务的基本原语8 3 表5 2 数据块元数据状态转换表9 0 表5 3 模拟测试负载一览表9 7 第v 页 国防科学技术大学研究生院博士学位论文 图目录 图1 1 磁盘性能与c p u 性能发展趋势2 图2 1应用程序i o 负载。1 7 图2 2 递减、常量和递增系统的i o 受限的加速比2 0 图2 3 集中式i o 体系结构2 0 图2 4 集中式i o 体系结构的i o 受限的加速比2 1 图2 5 分布式并行i o 体系结构2 1 图2 6 分布式并行i o 体系结构的i o 受限的加速比2 2 图2 7 集中分布式并行i o 体系结构2 3 图2 8 集中分布式并行i o 体系结构的i o 受限的加速比2 3 图2 9 可扩展并行系统结构2 4 图3 1 不同视角的存储致性2 9 图3 2d m a 操作。3 0 图3 3 由d m a 操作引发的错误3 1 图3 4 系统的硬件抽象模型31 图3 5 系统软件的抽象模型3 3 图3 6 几种访存操作的包含关系3 6 图3 7 存储访问程序片断3 7 图3 8 改写后的代码3 7 图3 9 一致性域的访问冲突4 4 图3 1 0 广义域一致性模型示例。4 6 图3 1 1 三种广义一致性模型的对比4 7 图3 1 2g p d m a 访问数据一致性问题4 8 图3 13g s c c c p 协议的全局d m a 实现机制5 0 图3 1 4 并行i o 系统性能分析模型5 1 图3 1 5 支持g p d m a 前后的数据传输路径对照图。5 2 图3 1 6 非共享i o 系统的数据传输机制5 3 图3 17 共享i o 系统的g p d m a 数据传输机制。5 3 图3 1 8 多进程并行读带宽测试结果5 5 图3 1 9 多进程并行写带宽测试结果5 5 图3 2 0i o r 测试并行读写性能5 6 图3 2 1m d p 和l a r e d - p 程序i o 服务时间测试结果( 规模4 ) 5 7 图4 1 强化学习基本框架6 0 第v i 页 国防科学技术大学研究生院博士学位论文 图4 2 马尔可夫决策过程实例6 1 图4 3 调度策略对并行作业的i o 等待时间的影响“ 图4 4 自优化的i o 调度框架6 5 图4 5r l - s c h e d u l e r 调度流程图6 5 图4 6r l - s c h e d u l e r 算法伪代码6 9 图4 7 嵌入r a i d 的智能i o 结点硬件结构图。7 0 图4 8r a i d 智能控制模型。7 1 图4 9 缓存申请和释放算法伪代码7 3 图4 1 0r a i d 缓存状态机7 4 图4 1 lr a i d 持续读带宽测试结果7 6 图4 1 2r a i d 持续写带宽测试结果7 6 图4 13 采用f c f s 算法时程序完成时间7 7 图4 1 4 并行程序平均完成时间d = 8 ，易r e q r a n g e = 1 6 7 8 图4 1 5 并行程序平均完成时间d = 1 6 ，易r e q r a n g e = 1 6 7 9 图4 1 6 并行程序平均完成时间d = 8 ，岛r e q r a n g e = 3 2 7 9 图4 1 7 并行程序平均完成时间d = 8 ，易r e q r a n g e = 8 8 0 图5 1 数据版本转换流程图8 4 图5 2e a g e r 冲突检测8 5 图5 3l a z y 冲突检测8 5 图5 4 支持事务语义的电磁混合存储系统结构8 6 图5 5 多副本问题示意图8 7 图5 6 令牌元数据的维护9 0 图5 7 动态逻辑分区管理基本框架9 2 图5 8 事务访存模式的检测过程9 3 图5 9 版本管理流程示例图9 6 图5 1 0 混合负载下各算法在不同c a c h e 容量下的命中率9 8 图5 1 1r a i d 吞吐率随s s d 容量的变化情况9 9 图5 1 2r a i d 吞吐率随事务冲突概率的变化情况1 0 0 第v i i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目： 亘自直整熊过簋的旦芷匮! q 垡歪箜塑塑壅量塞毽 学位论文作者签名：一二爹! ；： 日期：如刁年争月尹日 t 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文题目： 亘囱直性能进篡鳗互芷展! q 堡丕缱抱噩窒量塞理 学位论文作者签名：堑叠! 作者指导教师签名：聋斗 日期：加哆年争月夕日 嗍：节蝴夕日 国防科学技术大学研究生院博士学位论文 第一章绪论 1 1 高性能计算1 1 0 需求与挑战 理论分析、实验验证和数值模拟计算是进行科学研究和探索的三种主要技术 手段。数值模拟计算过程包括数据产生、数据后处理、数据可视化、数据挖掘和 数据分析等多个阶段，需要将大量复杂的数据与超大规模的存储、网络和计算能 力相融合，对计算机的计算和数据处理能力提出了巨大的、不断增长的需求。科 学与工程计算领域中量子化学、统计力学和相对论物理学、宇宙学和天体物理学、 计算流体动力学、新材料和超导、生物学和遗传工程、酶活性和细胞模型、医学、 全球气象和环境模型等，都是具有深远影响的重大挑战性问题。所有这些问题都 具有极大的计算量和数据量，对计算机的计算和数据处理能力提出了极高的要求， 有力推动了超级并行计算机的发展。 国际超级计算机计算性能现已跨越千万亿次量级。2 0 0 8 年1 1 月公布的国际超 级计算机t o p 5 0 0 i j l 中，i b m 的r o a d r u n n e r 和c r a y 的j a g u a rc r a yx t 5q c 系统 l i n p a c k 性能已经达到千万亿次【2 】o 高性能计算已进入p e t a f l o p s 时代，相应的存储 系统也由t e r a b y t e 时代进入p e t a b y t e ( 1p e t a b y t e = 1 0 ”b y t e s ，千万亿字节) 时代【1 1 。 美国能源部( u sd e p a r t m e n to f e n e r g y ，d o e ) 的l a w r e n c el i v e m o r e 、l o sa l a m o s 、 s a n d i a 、o a kr i d g e 和p a c i f i cn o r t h w e s t 五大国家实验室构建的存储系统容量已达 到p b 量级，美国卡耐基梅隆、加利福尼亚等大学专门成立了p b 级存储研究中心， 迎接千万亿次高性能计算对数据存储容量、i o 性能、可扩展性、可靠性、可用性 和易管理性的巨大挑战。 1 1 1 高性能科学计算i o 需求 高性能科学计算应用需要处理和维护的数据量极为庞大。n a s a 的e o s d i s ( 地球观察数据和信息系统) 管理来自n a s a 的地球科学研究卫星的数据，支持 1 9 0 多万用户，提供数据存档、分布式信息管理服务，在2 0 0 5 年就已存储了3 p b 数据，并以每周7 t b 的速度增长【l2 1 3 】。s l a c ( s t a n d a r dl i n e a ra c c e l e r a t o rc e n t e r ) 高能物理( h e p ) 实验数据达到了几个p b 【l 引。欧洲核粒子研究中心( c e r n ) 构 建的大型高能物理实验平台c m s 存储容量也达到p b 级。2 0 0 7 年，大型强子对撞 机l h c ( l a r g eh a r d o nc o n l i d e r ) 实验产生了2 0 p b 的数据，并会在往后1 0 年或更 长的时间里将继续保持平均每秒产生1 5 0 0 m b 数据的递增速度【l 驯。预计c e r n 研 究中心在未来十年内，数据量将从当前p e t a b y t e s 增加到e x a b y t e s 量级( 1 e x a b y t e = 1 0 ”b y t e s ) i l 引。上述实例表明，很多科学计算应用已成为数据密集型或 第1 页 国防科学技术大学研究生院博士学位论文 i o 密集型应用，需要极大的数据存储容量和i o 吞吐率，对高性能并行计算机系 统的i o 能力提出了越来越高的需求。 大多数科学计算应用远不能达到计算机的峰值计算速率。主要原因包括以下 几方面：一是大多数处理器上的峰值计算速率是基于程序只执行浮点乘加指令 ( f l o a t i n g p o mm u l t i p l y - a d di n s t r u c t i o n f m a ) 假设的，二是存储墙问题严重影响 系统的总体性能，另一个重要原因是i o 操作以及处理器间通信等需要占用大量时 间。实际运行环境对系统峰值性能的利用程度可以用有效系统性能e s p ( e f f e c t i v e s y s t e mp e r f o r m a n c e ) 1 6 1 来评价。 美国能源部( d o e ) 早在2 0 0 1 年就指出【l7 j ：对于一台性能为nt e r a f l o p s 的超 级计算机，需要内存容量玎“4 - 一2 3 nt b ，并行i o 带宽为”6 0 0 一- , n 5 0 0t b s 。 m i l l e r 和k a t z 将高性能计算应用程序的i o 分为应用所需i o 、检查点i o 和数据 交换三大类【1 8 1 ，其中检查点i o 最为耗时，大幅降低了超级计算机的有效系统性 能e s p 。美国能源部的某些系统报告指出，检查点i o 占到总i o 的7 5 ，只有 2 5 为实际所需i o 1 9 】。美国能源部的大型系统有效系统性能目标为7 0 ，为了确 保检查点i o 不至于将有效系统性能降低到7 0 以下，s a n d i a 国家实验室根据经验， 要求1 t e r a f l o p 的计算能力对应1 g b s 的i o 带宽k u j 。 1 1 2i o 瓶颈问题 图1 1 磁盘性能与c p u 性能发展趋势 与巨大的i o 需求相比，i o 瓶颈问题日益突出。i o 设备性能发展缓慢，导致 i o 系统成为高性能计算机系统的主要瓶颈之一。c p u 、内存、互连网络和外部设 备以不同的速度发展，由此造成了计算机的不同基础部件性能的不平衡。根据摩 尔定律，c p u 性能每年提高6 0 【2 1 1 ，而作为主要i o 设备的磁盘，其读写带宽和 第2 页 国防科学技术大学研究生院博士学位论文 访问延迟每年仪改善1 0 - - 2 0 1 2 2 】，导致c p u 和磁盘性能之间的差距越来越大， 如图1 1 【2 3 j 所示( 图中最下方曲线代表磁盘速度发展趋势) 。 i o 密集型应用在物理内存不足时，性能会严重下降，根本原因在于系统内存 与磁盘之间的性能和容量差距过大，如表1 1 所示。而且近几年内存由d d r 、d d r i i 向d d r i i i 迅速发展，与磁盘之间的性能差距还在进一步扩大，使访存与i o 带宽 失衡问题日益严峻。 表1 1 当前单处理机中内存与磁盘的性能差距 访问延迟( n s )带宽( m b s )容量( g b ) 内存 1 0 05 0 0 03 2 磁盘 4 0 0 0 0 0 07 03 0 0 1 0 0 0 i o 系统成为高性能计算机系统瓶颈的另一个原因是并行度发展滞后。高性能 并行计算机系统中i o 硬件的并行度通常远低于计算结点的并行度，使i o 性能与 计算性能的不匹配问题变得更加严重。换而言之，在并行计算机系统中，i o 瓶颈 问题比单机系统更加突出，而且系统规模越大越是如此，严重阻碍了千万亿次计 算能力的有效发挥。表1 2 总结了2 0 0 8 年t o p l 0 0 中几种典型系统的i o 带宽和 系统内存配置关系。位于榜首的i b m 的r o a d r u n n e r 系统，拥有6 9 1 2 个o p t e r o n s 处理器，1 2 9 6 0 个i b mc e l le d p 加速器，峰值性能1 3 7 5 千万亿次【z 钏；但相比之下， 其i o 结点只有2 1 6 个，理论峰值性能只有2 1 6 g b s 。内存配置为1 0 7 t b 的 r o a d r u n n e r 系统，对于检查点i o 这种挑战性极限应用，即使以i o 理论峰值速度 计算，一次i o 操作也需要将近1 0 分钟。另外一台千万亿次系统是c r a y 的j a g u a r c r a yx t 5q c ，系统配置了3 6 2 t b 的内存，2 8 4 个机柜总的i o 峰值带宽为2 8 4 g b s ， 这样的系统进行一次极限i o 需要2 0 多分钟。由此可见，在千万亿次系统中i o 瓶颈问题更为严峻。在典型的i o 密集型科学计算应用中，i o 性能将成为决定应 用是否能正常运行的关键因素。 表1 2 几种典型超级计算系统i o 带宽和系统主存配置一览表 名称 内存大小( 1 1 3 )峰值带宽( g b s )一次c h p t 时间( s ) i b mr o a d r u n n e r1 0 72 1 6 4 9 5 c r a yj a g u a r 3 6 22 8 4 1 2 7 5 i b mg e n e l3 22