（计算数学专业论文）benchmark+tests+of+two+applications+on+supercomputers+of+various+networks.pdf

ab s t r a c t h i g h p e r f o r m a n c e c o m p u t e r h a s b e c o m e a s i g n i f i c a n t f o c u s i n t o d a y s r e s e a r c h , w h i l e a t t h e s a m e t i m e , t h e p r o b l e m a b o u t h o w t o e v a lu a t e t h e p e r f o r m a n c e o f h i g h p e r f o r m a n c e c o m p u t e r s h a s a l s o b e c o m e a k e y i s s u e . in t h i s t h e s i s , t h e p e r f o r m a n c e o f h p l b e n c h m a r k , w h i c h i s c o m m o n l y u s e d i n e v a l u a t in g t h e p e r f o r m a n c e o f h i g h p e r f o r m a n c e c o m p u t e r s , i s r e p o r t e d o n t h e r e d n e u r o n s m p u r e v i s i o n 1 s y s t e m . t h e e ff i c i e n c y o f h p l r ema i n s a s h i g h a s 8 8 . 1 0 % o n m p u w it h 1 6 p r o c e s s o r s , w h i c h s h o w s a h i g h s c a l a b i l ity o f m p u . t h e p e r f o r ma n c e o f t h e y g x b e n c h m a r k , w h i c h i s t h e p r o g r a m f o r s o l v i n g t h e 2 - d x - a x i a l s y m m e tr i c a l fl u i d m e c h a n i c s e q u a t i o n s m a d e 勿p r o f y u a n , i s r e p o rt e d o n t h e r e d n e u r o n s m p u 1 .0 s y s te m a n d c o m p a r e d w i t h t h e p e r f o r m a n c e o n t h e t r a d i t i o n a l c l u s te r s . t h e e f fi c i e n c y , w h i c h f a l l s t o 5 0 . 3 9 % a n d 6 3 . 7 4 % o n t h e t r a d i t i o n a l c l u s te r s , c a n a c h i e v e a s h i g h a s 7 8 . 5 3 % o n m p u w i t h 1 6 p r o c e s s o r s . i t m a y b e c a u s e o f t h e 3 d t o r u s t o p o lo g y a n d r a p i d i o c o m m u n i c a t i o n h a r d w a r e , w h i c h a l s o a t t e s ts a h i g h s c a l a b i l i ty o f m p u . t h e s e f a v o r a b l e re s u lt s p ro v e t h e d e s i g n o f t h e r e d n e u r o n s m p u , w h i c h a l s o t e s t 询 t h e y g x b e n c h m a r k i s a h i g h l y e ff i c i e n t b e n c h m a r k in t e s t i n g t h e s c a l a b i l i ty o f t h e h i g h p e r f o r m a n c e c o m p u t e r s , a n d p r e s e n t s o m e u s e f u l d a t a f o r f u t u re e n h a n c e m e n t o f t h e mp u . k e y wo r d s : b e n c h m a r k , h p l , mp u , l i n e a r d i ff e r e n t i a l e q u a t i o n s p a r a l l e l c o m p u t i n g , p a r t i a l figure s f ig ur e 1 m p u s y s te m o n a c h a s s is 2 . . ,. ,. . ，一 “ ” ” ” ” ，. ，. 一 “ “ “ . f ig u r e 2 t h e d a ta d is t r ib u t io n o f h p l . .- - -. . . “ . “ ，. . . . . 一 f ig u re 3 p e r fo r m a n c e o f h p l w it h d iff e r e n t n b . . . - ” . ，. . . . “.”“” . 一 一 1 c fi g u re 4 p e rf o r ma n c e o f h p l wit h n p =1 b. - ” ” “ “ ”.” -“ 11 f ig u re 5 r m a x o f h p l. - . - . - .， . .- 一 - - -. . “ . f i g u re 8 t h e mp i p o i n t to p o in t c o mmu n i cat io n mo d e l o f y gx. . . - . 一 1 2 1 5 f ig u re 7 t h e s p e e d u p o f mp u r e v is io n 1. ， f ig u re 8 t h e s p e e d u p o f (w il l du s t e r” ， ” “ “ ” 二 1 7 . 一1 8 1920 f ig u re 8 t h e s p e e d u p o f y gx o n n a n k a i s t a r s f ig u re 1 0 t h e s p e e d u p o f y g x o n v a r io u s s u p e rc o m p u te rs . n t曲 . 己 tab l es t a b le 1 t h e n e t w o r k c o m p a r is o n o f m p u a n d o t h e r k i n d s o f n e t w o r k w it h s a m e n u m b e r o f n o d e s. . 一 “ . . 一 “ ，. . . . .- . - . .“ 一 . ， - - . . . - . . .- ，- . . -. . . . . . - . . . . . -. . .” .- . . - . . . . .一“ 二4 t a b le 2 h a r d w a r e c o m p a ri s o n o f n a n k a i s t a r s , (w i ll c l u s t e r , a n d mp u r e v i s i o n ，二， ， . . . 6 t a b le 3下 h e b e s t p e r f o r ma n ce o f h p l w it h n p二， 一 “ ” ，. . . . .“ . . “ ” - -. . . ” - - 一 ，. 一 t a b le 4 p erf o r ma n ce o f hpl wi sh d if f e r e n t n日一” 一“ ” ，. “ . ” ” ，. ” 二， . ” . ，. -二， 0 t a b le 5 p e rf o r ma n ce o f h p l w ith n p 二1 6 .:.” . . - . ，. -二“ . ” ，. . -. .一 ” . . .一 ， 二 ， .一 . 1 1 t a b le 6 r ma x o f hp l . .一 ，.一 “ “ ， ， . “ . ，. 一 “ “ 一 “ 一 “ ” ， “. - . 一“ 二“ 二， 2 t a b le 7 va r ia b le d e c l a r a t io n . . .“ 一”- . . . - 一 ， .一 “ ，. ， - - - -一” ” . ” . . - - - . . -， ，. 一 “ . 1 6 t a b le 8 t h e p e r f o r m a n ce o f y g x o n mp u r e v i s io n， ( 2 0 0 3 自 6 4 ) . . . “ “ ” - . . - . . 一 1 6 t a b l e 9 t h e p e rf o r m a n ce o f y g x o n ( w il l c lu s t e r ( 2 0 0 3 6 4 )“. ，甲 . ，. . “ . . ，. ” ，. . 1 7 t a b l e 1 0 t h e p e r f o r ma n ce o f y g x o n ( w i ll c l u s t e r ( 2 0 0 3 2 5 6 ) . ，二 ” ， “ “ - - - - - - . . ” ，. ， ， . - 一 1 7 t a b l e 1 1 t h e p e rf o r ma n ce o f y g x o n n a n k a i s t a r s ( 2 0 0 3 6 4 ， 一 ” .，. - .- - . . . - . . - ”. 1 8 t a b l e 1 2 t h e p e r f o r m a n ce o f y g x o n n a n k a i s t a r s (2 0 0 3 2 5 6 ) ，. . ” . ” . “ - ，. ，. 一 ， 二 ” . 一 1 f t a b l e 1 3 t h e p e r f o r m a n ce o f y g x o n n a n k a i s ta r s ( 2 0 0 3 1 0 2 4 ) . . . . . ， . - ，. - - . - - . - -. . . . . . 1 9 南开大学学位论文原创性声明 本人郑重声明: 所呈交的学位论文， 是本人在导师指导下， 进行 研究工作 所取得的成果。 除文中已 经注明引用的内 容外， 本学位论文 的研究成果不包含任何他人创作的、 已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体， 均己 在文中以明确方式标明。 本学位论文原创性声明的法律责任 由本人承担。 c h a p t e r 1 : i n tr o d u c t i o n 1 i n t rod u c t i on 1 . 1 p a r a l l e l c o mp u t i n g p a r a l le l c o m p u t i n g m e a n s a s e t o f p r o c e s s e s t h a t a r e a b l e t o w o r k t o g e t h e r t o s o l v e a c o m p u ta t i o n a l p r o b l e m 5 . b e c a u s e o f t h e r a p i d d e v e l o p m e n t o f s u p e r c o m p u t e r ( h i g h p e r f o r m a n c e c o m p u t e r ) , t h e e x p e r i m e n t a l s o l u t i o n s o f l a r g e a m o u n t o f p r o b l e m s h a v e i n c r e a s i n g l y b e e n g i v i n g r i s e t o n u m e r ic a l s o l u t i o n s . f o r i n s t a n c e , t h e d e v e l o p m e n t o f a t m o s p h e r i c p h y s i c s , b i o p h y s i c s , g e o p h y s i c s a n d t h e d e s i g n o f l a r g e s c a l e i n t e g r a t e d c i r c u it a r e a l l d e p e n d e n t b y h i g h p e r f o r m a n c e c o m p u t e r . i n o r d e r t o f u l fi ll t h e n e x t p a r a l l e l i s m le v e l , in w h ic h te n s o f t h o u s a n d s o f p r o c e s s o r s a r e g a t h e r e d t o g e t h e r , t h e t r a d i t i o n a l m e t h o d o f c l u s te r s w i l l b e l i m i t e d 勿v a r io u s r e a s o n s , s u c h a s p o w e r e t c . 2 2 . t h e m e t h o d u s e d妙r e d n e u r o n s i s d i ff e r e n t , 勿 w h i c h t h e s y s t e m i n t e g r a t e s t w o o r f o u r c p u s , m e m o ry , i / o , e t c . o n a s i g n a l b o a r d . t h e r e d n e u r o n s m p u r e v i s i o n 1 i s d e s ig n e d b y p r o f y u e f a n d e n g , a n d d e v e l o p e d 勿t h e r e d n e u r o n s t e a m w h ic h i s c o m p o s e d 勿 1 6 p c c a r d s a n d 2 1 0 c a r d s . t h e s e p c c a r d s a r e c o n n e c te d i n a 3 - d t o ms n e t w o r k , b a s e d o n r a p i d i 0 p r o t o c o l s 1 . 1 . 2 be n c h ma r k l i n p a c k p e r f o r m a n c e i s t h e m o s t i m p o r ta n t a n d e s s e n t i a l i n d e x f o r e v a l u a t i n g h i g h p e r f o r m a n c e c o m p u te r s fl o a t i n g - p o i n t c o m p u t i n g c a p a b i l i t y . i t h a s b e c o m e t h e b a s i s o f t h e r a n k i n g o f 吻 5 0 0 1 6 f a s t e s t c o m p u t e r s i n t h e w o r l d , a n d t h e p e r f o r m a n c e c r i t e r i o n o f s u p e r c o m p u t e r s . a c c o r d i n g t o t h e la t e s t l i s t ( n o v . 2 0 0 6 ) , t h e t o p 1 s u p e r c o m p u t e r i s b 1 u e g e n e / l m a d e妙 i b m . i t h a s 1 3 1 0 7 2 p r o c e s s o r s , t h e p e r f o rm a n c e i n g fl o p / s f o r t h e l a r g e s t p r o b le m n m o n th e m a c h i n e i s 2 8 0 6 0 0 g fl o p / s , c h a p te r 1 : i n tr o d u c t i o n t h e p e a k p e r f o r m a n c e i s 3 6 7 0 0 0 g fl o p / s 1 6 . y g x i s t h e p ro g r a m f o r s o l v i n g t h e 2 - d x - a x i a l s y m m e t r i c a l fl u i d m e c h a n i c s e q u a t i o n s m a d e b y p r o f g u o x i n g y u a n 迈c h i n e s e a c a d e m y o f s c i e n c e s , a n d a ls o t h e b e n c h m a r k f o r t e s t i n g t h e p e r f o r m a n c e o f p a r a ll e l c o m p u t e r s . i n t h i s t h e s i s , w e i n v e s t i g a t e t h e t w o b e n c h m a r k t e s ts a b o v e o n m p u r e v is i o n 1 ( m e n t i o n e d a b o v e ) a n d t w o t r a d i t i o n a l c l u s t e r s . t h e m a i n o b j e c t i s t o v a l i d a t e t h e a d v a n t a g e s o f 3 - d t o m s n e t w o r k a n d r a p i d l 0 c o m m u n i c a t i o n h a r d w a r e u s e d 勿 m p u , a n d t o p ro v e t h a t y g x b e n c h m a r k i s a h i g h l y e ff i c i e n t b e n c h m a r k i n te s t i n g t h e s c a l a b i l i ty o f h i g h p e r f o r m a n c e c o m p u te r s . 1 . 3 t h e o r g a n i z a t i o n o f t h e t h e s i s t h e t h e s i s i s d i v i d e d in t o fi v e c h a p t e r s . t h e c h a p t e r 1 i n t r o d u c e s t h e b a c k g r o u n d a n d t h e i n v e s t i g a t i o n i n t h i s t h e s i s . c h a p t e r 2 d e s c r i b e s t h e t e s t e n v ir o n m e n t s o f r e d n e u r o n s h i g h p e r f o r m a n c e c o m p u t e r mp u r e v i s io n 1 , i w i l l c l u s t e r a n d n a n k a i s t a r s t h a t a r e u s e d f o r y g x b e n c h m a r k t e s t. c h a p t e r 3 d e fi n e s h p l b e n c h m a r k , d e s i g n s t h e e x p e r i m e n t s o n t h e mp u s y s t e m a n d a n a l y s e s t h e r e s u lt s . c h a p t e r 4 a n a l y s e s t h e y g x b e n c h m a r k , d e s i g n in g t h e e x p e r i m e n t s o n t h e m p u s y s t e m , t w i l l c l u s t e r , n a n k a i s t a r s , a n d a n a l y s 吨 t h e r e s u l t s . c h a p t e r s s u m m a ri z e s t h e b e n c h m a r k t e s t s , a n d p o i n t s o u t t h e p a r t s t h a t n e e d i m p ro v e m e n t s . c h a p t er 2 : t at e n v i r o n m e n ts 2 t e s t en vi r onme n t s 2 . 1 r e d n e u r o n s h ig h p e r f o r ma n c e c o m p u t e r t h e r e d n e u r o n s s y s t e m is a h i 沙p e 而r m a n c e c o m p u t e r s o c ( s y s t e m o n a c h a s s i s ) b y r e d n e u r o n s . 玩t h e f o ll o w i n g b u i l t a r o u n d t h e mp u1 6 s e c t i o n , w e i n t r o d u c e t h e m a i n i d e a o f mp u r e v i s i o n 1 . t h e f u l l d e s i g n a n d i m p l e m e n t a r e d e s c r ib e d b y丫 d e n g , e t a l . l . t h e w h o l e t e s t s o n mp u a r e b a s e d o n mp u r e v i s i o n 1 . ( 仆e d e s c r ip t i o n o f m p u r e v i s i o n 1 i n t h i s s e c t i o n i s b a s e d o n i ) 2 . 1 . 1 ha r d wa r e m p u r e v i s i o n 1 m p c 8 5 4 8 p r o c e s s o r w h o s e c l o c k fr e q u e n c y i s 1 . 3 3 g h z . t h e y a r e r a t e d a t 2 . 1 2 5 p r o c e s s o r g fl o p s ( d o u b l e p r e c i s i o n ) a n d 5 . 3 3 g fl o p s ( s i n g l e p r e c i s i o n ) . e a c h 5 1 2 mb o f m a in m e m o ry p e r c o r e 1 . t h e b a s i c b u i l d i n g b lo c k o f t h e s y s t e m i s a s y s t e m c h a s s is t h a t c o n s i s t s o f a n i / o b o a r d w h i c h w i l l h o s t 1 / o c a r d a n d e i g h t p r o c e s s o r c a r d s 口c a r d s ) w h i c h w i l l h o s t c o m p u t e n o d e s 1 . 2 . 1 . 2 s o f t wa r e 1 n o r d e r t o s u p p o r t t h e l a r g e b o d y o f a p p l ic a t i o n s c r e a t e d f o r t h e e x i s t i n g p r o g r a m m i n g i n t e r f a c e s l i n u x v 2 .6 . 1 1 i s s e l e c t e d a s t h e s y s t e m c o r e . c o m p u t e n o d e w i ll b e s u p p o rt e d勿t h e m i n i m a l l i n u x e n v i r o n m e n t t h a t s u p p o r ts e x e c u t i o n o f p a r a l l e l a p p l i c a t i o n s . t h e m p i l i b r a ry u s e d o n m p u r e v i s i o n 1 i s m p i c h 2 - 1 .0 . 3 a n d mp u g a m ma . g c c v e r s i o n i s 4 .2 .0 1 . c h a p t e r 2 : t e s t e n v i r o n m e n t s 2 . 1 . 3 ne t wor k t h e p r o c e s s o r s a r e c o n n e c t e d勿 t h r e e n e t w o r k s , m e s s a g e - p a s s i n g n e t w o r k f o r c o m m u n i c a t i o n , t re ef o r 1 / o a n d l o n g d i s t a n c e c o m m u n i c a t i o n , a n d t h e e t h e rn e t n e t w o r k f o r s y s t e m m a n a g e m e n t a n d u s e r a c c e s s 1 . t h e m e s s a g e - p a s s i n g n e t w o r k i s a 4 2 . 2 3 - d t o r u s n e t w o r k . t h e f o l l o w i n g f i g u r e 2 s h o ws a d e m o n s t r a t i o n o f t h i s c o m m u n i c a t i o n s u b s y s t e m. 各0 r 1 i口比 . u泊 r 月圈l i nt f i g u re 1 mp u s y s t e m o n a c h a s s i s 2 ne t wo r kd i a me t e rbi s e c t i o n wi d t h a邝 c o n n e c ti v i t y c o s t ( n u m b e r o f c o n n e c t i o n ) mp u ( 3 - d t o r u s ) 4842 4 s ta r 2 1 11 1 5 c o m p l e t e b i n a ry t r e e 8111 5 l in e a r a r r a y 1 51-1i1 1 5 c o m p le t e l y c o n n e c t e d n e t wo r k 16 41 51 2 0 t a b l e 1 t h e n e t wo r kc o mp a ns o n o f mp u a n d o t h e r k i n d s o f n e t wo r k wi t h c a me n u mb e r o f n o d e s 0卿t e r 2 : t 以 e n v i r o n m e n t s b a s e d o n t a b l e 1 , w e w o u l d fi n d t h a t a l t h o u g h t h e c o s t o f m p u n e tw o r k is s l i g h t l y h i g h e r t h a n o t h e r t y p e s ( e x c e p t f o r c o m p l e t e l y c o n n e c t e d n e t w o r k ) , o t h e r fi n g e r s a b o u t n e t wo r k s h o w t h a t t h e n e t wo r k o f mp u i s b e t t e r t h a n o t h e r k i n d s o f n e t w o r k . ot h e r t e s t en v i r o n me n t s ( wi l l cl u s t e r j. .22. 几， i w i ll c l u s t e r i s a t r a d i t i o n a l c l u s t e r w h i c h c o n t a i n s 1 0 b l a d e s , e a c h o f w h i c h h a s t w o a m d d u a l c o r e o p t e r o n 2 7 0 p r o c e s s o r s , 4 g r a m b u s m e m o ry , s o g i d e h a r d d i s k a n d a 3 c o m 9 0 5 - t x n e t w o r k c a r d 3 . ( t h e m a n a g e m e n t n o d e h a s t w o n e t w o r k c a r d s .) t h e n e tw o r k o f i w i l l c l u s t e r i s t h e t r a d i t i o n a l s t a r - c o n n e c t e d n e tw o r k o n g i g a b i t e t h e rne t . t h e o p e r a t i o n s y s te m o f t h e c l u s t e r m p i c h 2 - 1 . 0 . 3 , i n t e l - 9 . 1 , is l in u x ( k e rne l 2 .6 .9 - 3 4 ) , a n d m p i c h - 1 .2 . 7 p l , ， mp u g a mmah a v e b e e n i n s t a l l e d o n t h e 2 . 2 . 2 na n k a i s t a r s na n k a i s t a r s i s a w h i c h i s c o m p o s e d o f 4 0 0 n o d e s , 8 0 0 i n t e l x e o n 3 .0 6 g h z c p u s , a n d my r i n e t c o m p u t a t io n f o u r k i n d s o f n o d e s a r e u s e d i n n a n k a i s t a r s , w h i c h a r e m a n a g e m e n t n o d e , u s e r n o d e , c o m p u t a t i o n n o d e a n d t h e i / o s t o r a g e n o d e 1 9 . t h e r e a r e 3 8 4 i b m x s e r i e s 3 2 5 c o m p u t e n o d e s w i t h 2 g b d d r 2 6 6 m e m o ry , a n i n t e rn a l 4 0 g b i d e d i s k a n d d u a l i n t e l p e n t i u m 4 x e o n p r o c e s s o r s 4 . e a c h s t o r a g e n o d e h a s 2 g b d d r 2 6 6 m e m o ry , a m i r r o r e d 9 0 g b i n t e rn a l u l t r02 0 s c s i d i s k , a n d ， c h a p t e r 2 : t e s t e n v ir o n m ent s d u a l p e n t i u m 4 x e o n s , w h i c h s h a re s t h e s a m e i n t e r n a lc o n fi g u r a t i o n a s t h e u s e r n o d e s 4 . a n d t h e c o m p u t a t i o n n e t w o r k t o p o l o g y i s f a t t r e e o n m y r i n e t 4 . t h e o p e r a t i o n s y s te m o n n a n k a i s ta r s i s r e d h a t l i n u x 9 ( k e rn e l 2 .4 .2 0 ) . i n t e l 8 .0 a n d mp i c h i . 2 . 6 h a v e b e e n i n s t a l l e d o n t h e c o m p u t e r 4 . na n k a i s t a r si wi l l c l u s t e rmp u re v i s i o n 1 cp u i n t e l x e o n ( t w o )a md d u a l o p t e r o n 2 7 0 ( t w o ) mp c8 5 4 8 f r e q u e n c y ( g h z ) 3 . 0 621 . 3 3 3 wo r d l e n g t h 3 26 46 4 ll ca c h e 8 k ( c o m p u t a t i o n ) 3 2 k ( ma n a g e m e n t ) 6 4 k3 2 k i n s tr u c t i o n c a c h e 3 2 k d a t a c a c h e l 2 ca c h e5 1 2 k2 m5 1 2 k me m o ry t y p e ddr 2 6 6r a mb u s ddri i s dram me m o ry 2 g4 05 1 2 m ne t wo r k my r i n e tg i g a b i t e t h e rne tr a p i d l o , e t h e r n e t c o m p i l e ri n t e l 8 . 0 , mp i c h1 . 2 . 6 mp i / gamma, mp i ch2 - 1 . 0 . 3 m p v g a mma, mp i ch2 - 1 . 0 . 3 t a b l e 2 ha r d wa r e o f n a n k a i s t a r s , i w i l l c l u s t e r , a n d mp u r e v i s i o n 1 ch喇e r 3 : h i g h 卿而c m n c e l i n p a c k ( h p l ) 3 h i g h p e r f o r m a n c e un p a c k ( h p l ) 3 . 1 u n p a c k b e n c h m a r k a n d t o p 5 0 0 h p l i s t h e o p t i m i z e d a n d p a r a ff e l i z e d c o l l e c t i o n o f f o r tr a n s u b r o u t i n e s f o r s o l v i n g v a r i o u s l i n p a c k p a c k a g e w h i c h i s a s y s t e m s o f l i n e a r e q u a t i o n s 8 . t h e m a in a l g o r i t h m o f h p l is b a s e d o n l u d e c o m p o s i t i o n w i th b l o c k p a r t i a l p i v o t i n g 1 刀. t h e b e s t p e r f o r m a n c e o n h p l i s u s e d a s t h e s ta n d a r d f o r r a n k i n g t h e t o p 5 0 0 1 6 m o s t p o w e r fu l s u p e r c o m p u t e r s t w i c e a y e a r . a c c o r d 吨 t o t h e l a t e s t l i s t ( n o v . 2 0 0 6 ) , t h e t o p 1 s u p e r c o m p u t e r i s b iu e g e n e / l m a d e b y i b m s 1 司 . 3 . 2 a l g o r i t h m t h e m e t h o d s u s i n g i n h p l a r e : s o lv e l i n e a r s y s te m s o f e q u a t i o n s w h i c h a l l o w s t h e p r o b l e m s i z e v a r y i n g a n d m e a s u r e t h e ru n n i n g t im e . i n c o m p u t i n g t h e fl o