（计算机科学与技术专业论文）基于集群系统的三维图像重构并行技术实现研究.pdf

摘要 计算机断层技术( c o m p u t e rt o m o g r a p h y 简称c t 技术) 的出现 极大地促进了无损检测技术的发展。x 射线技术迅速发展目的在于不 断提高图像信息的准确性和清晰度，但是，仅从二维切片图像难以对 一个真实的三维组织进行准确地再现，从而产生了c t 三维图像重构 技术的出现。c t 图像三维重建在提高医疗诊断水平、手术规划与模 拟、解剖学教育和医学研究中发挥着重要作用，另一方面，三维图像 重构所面临的一个重要问题是所需处理的数据量巨大，一般都是基于 一些专用的图形工作站或价格昂贵的服务器，而使用微机来进行三维 重建其速度又难以达到医学的要求。因此，采用更好的性能且价格低 廉的高性能计算机和更好的三维重建算法，对提高处理图像速度变得 十分重要。为此，本文的目的就是建立一个价格低廉但又拥有和服务 器同等甚至性能更高的并行计算机，同时提出一种新的三维图像重构 的加速算法。为了让新的方法有一个好的平台和运行环境，本文首先 提出了一种新的基于l i n u x 编程模式下搭建一个中大规模集群系统 的方法。该方法最大的特点就是系统可靠且稳定、节点的故障恢复时 间更短和节点机的管理统一。在节点数目很大时使用该方法优势更为 明显。在并行集群环境建立之后，本文分析这种集群系统的特点并针 对这些特点提出了一系列的集群配置和管理的优化方法，并证明了对 于一个指定的集群系统，每个任务完成所需的最优节点机数目是唯一 确定的。本文最后，利用体绘制重构算法( s h e a r - w a r p 算法) 的思想， 运用集群系统和基于m p i 的并行编程方法提出并实现了用于医学三 维图像重构的一种新的并行算法。在这个实验中，本人首先利用串行 算法对一个c t 图像束进行一系列处理，最后进行s h e a r - w a r p 变换实现 了一个尺寸为5 1 2 5 1 2 4 8 0 的c t 三维图像重构。接着提出了一种基于 m p i 的通信模式新的并行处理方法，该方法是在基于串行算法实现和 特点分析并确定了并行模型后完成的。从本实验的计算结果来看，在 不降低计算精度和准确性的情况下并行程序的计算速度和计算规模 都要比串行程序有很大提高，在医学图像实时处理方面有很高的应用 价值。 关键词：集群系统，m p i ，p b s ，并行计算，三维图像重构，s h e a r - w a r p ， 体素重构 a b s t r a c t t h ec o n t r i v a n c eo fc o m p u t e rt o m o g r a p h yh a v eg r e a td i s t r i b u t et o p r o m o t et h el e v e lo ft h ed e v e l o p m e n ti nu n d a m a g e dc h e c k i n gf i e l d ；t h e g o a lo ft h ed e v e l o p e m e n t a lt r a c eo fx - r a yw h i c hs t a r tf r o mx - r a yt o c o m p u t e rt o m o g r a p h ya n dm a g n e t i cr e s o n a n c ei m a g i n g i st og e t m o r ea n dm o r ec l e a ri n f o r m a t i o na b o u tt h eo b j e c tt e x t u r i z e ；h o w e v e r , m e y a r ej u s t2d i m e n s i o n s ，w h i c hi si s o l a t et h ei n f o r m a t i o nb e d e wt h ec t l e v e l s ，a st h er e s u l t , i ti sh a r dt or e c o n s t r u c tt h em o d e lo ft h ei n t r i c a t e f r o mt h i s t i s s u e s e g m e n t a t i o n 。t h e d e m a n dl e a dt ot h e r a p i d d e v e l o p m e n to fv o l u m er e n d e r i n ga l g o r i t h m s 。a l t h o u g hi n t e r a c t i v e v o l u m er e n d e r i n gt o d a yi s m o s t l yd o n e w i t h s p e c i a l i z e dc o m p u t e r g r a p h i c sh a r d w a r e ，w h i c hi su s u a l l yh i g h - 一e n dg r a p h i c se q u i p m e n tw i t h f a s t3 dt e x t u r i n ga n dl a r g et e x t u r em e m o r y ，t h i st e c h n i q u eh a si t s l i m i t a t i o n s e v e ni n t o d a yg r a p h i c sw o r k s t a t i o n s ，l a r g e rv o l u m e sh a v e t ob es w a p p e di na n do u to ft e x t u r em e m o r y s i n g l ew o r k s t a t i o n sa r e a t f a s te n o u g ht od i s p l a yl a r g ev o l u m ed a t a s e t si n t e r a c t i v e l y 。 t h i sp a p e r p r e s e n t san e ww a y t ob u i l dal a r g es c a l ep cc l u s t e rs y s t e m w i t hm a n yg o o dc h a r a c t e r s t h r o u g hi t 。i no r d e rt oi m p r o v et h e p e r f o r m a n c eo ft h ep cc l u s t e rs y s t e m , t h ep a p e ra l s oo f f e r as e r i a l m e t h o d st oo p t i m i z et h es y s t e mb o t hi nh a r d w a r ea n ds o f t w a r e 。i nt h e4 m c h a p t e r , an e ww a yt op a r a l l e l i z e dv e r s i o no ft h ep e r s p e c t i v es h e a r - w a r p a l g o r i t h mh a sb e e ng i v e nh e r e 。t h ep a r a l l e l i z e da l g o r i t h mw a sd e s i g n e d f o rd i s t r i b u t e dm e m o r ym a c h i n e su s i n gm p i 。t h en e wa l g o r i t h mt a k e s a d v a n t a g eo ft h ei d e at h a tt h ew a r pc a l l b ed o n ei nm o s tc o m p u t e r s g r a p h i c sh a r d w a r ev e r yf a s t ，s ot h a tt h er e m o t cp a r a l l e lc o m p u t e ro n l y n e e d st od ot h ec o m p o s i t i n g 。e v e nt h o u g ht h ed i s p l a ym a c h i n ec o u l db e am o d e r a t e l ye q u i p p e dp cc o m p u t e r ，i tc a nb eu s e dt od i s p l a yc o m p l e x v o l u m e t r i cd a t a , p r o v i d e dt h e r ei san e t w o r kc o n n e c t i o nt oa h i g h p e r f o r m a n c ep a r a l l e lc o m p u t e r 。f u r t h e r m o r e ，r e m o mr e n d e r i n gc o u l db e u s e dt od r i v ev i r t u a le n v i r o n m e n t s ，w h i c ht y p i c a l l yr e q u i r ep e r s p e c t i v e p r o j e c t i o na n dh i g hf r a m er a t e sf o rs t e r e op r o j e c t i o n 。f o rt h er e s u l to f t h ea l g o r i t h m , w ec a ns e ec l e a r l yt h a tt h em e t h o dh a sm o r ev a l u ei nt h e r e a l t i m ea p p l i c a t i o n 。 k e yw o r d s ：m p i ，p b s ，p a r a l l e lc o m p u t i n g ， p cc l u s t e r ，s h e a r - w a r p ，v o l u m er e n d e r i n ga l g o r i t h m s 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不 含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做 出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识 到本声明的法律结果由本人承担。 学位论文作者签名：v 仄，、砰) 。r ) 年、月口日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权湖南师范大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存和汇编本学位论文。 。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打“ ”) 作者签名： 欠弹日期：，f 僻厂月3 。日 导师签名： 1 荔维芦日期：讲j 一月妒日 i 1 集群系统在图像重构中的应用 第一章高性能计算机概述 1 1 并行机与集群系统的概述 近些年来，以科技革命为驱动力的全球经济飞速发展和国际综合实 力竞争日益激烈浪潮中，高性能科学计算能力无疑成为最有影响的因素 之一，几乎所有的学科都走向定量化和精确化，从而产生了一系列诸如 计算力学、计算物理、计算化学、计算生物学、计算气象学等的计算科 学，一个众所周知的事实是“计算，与理论和实验并列，被认为是人类 认识自然世界的三大支柱”。一个对人类产生重要影响的科学技术总是 从理论到实践不断反复的过程。其中，准确的科学计算是对新科技理论 的正确性和及其应用过程中稳定性的一个最好的实践检验，然而高性能 计算和超级计算总离不开使用性能计算机和使用并行计算技术，并行计 算是指在并行计算机或分布式计算机等高性能计算系统上所作的科学 计算。高性能并行计算机的研制与应用水平的提高，一直是各发达国家 追逐的共同目标，它已经成为衡量一个国家科技、经济和国防综合实力 的重要标志。如：为了保持在高性能计算与计算机通信领域中的世界领 先地位，1 9 9 3 年美国科学、工程、技术联邦协调理事会向国会提交了 题为“重大挑战项目一h p c c 计划，即美国总统科学战略项目，此后，高 性能计算及其相关的高性能计算机发展受到各政府和科学家的日益重 视。一年两次的全球t o p5 0 0 超级计算机排行榜成为服务器、高性能计 硕士学位论文 算机( h p c ) 发展的风向标【1 1 。透过该榜单，本文可以清晰地了解和把 握全球高端计算的技术发展趋势和应用情况。 表1 - 12 0 0 1 2 0 0 6 全球t o p s 0 0 高性能计算机的应用领域分布情况 从2 0 0 1 2 0 0 6 年的t o p 排行榜中的分布应用情况( 见表1 1 可以 看出高性能计算应用领域主要集中在工业、科研、厂商、学术，军事等 方面，且所使用的高性能计算机的需求数量不断上升。在某些应用领域 如军事等领域，高性能计算成为不可缺少的科研工具。如：全面禁止核 试验条约签订后，核武器的研究从真实核试验阶段过渡到实验室数值模 拟时期，禁试后数值模拟成了唯一可能进行的全系统( 虚拟) 试验。在该 实验过程中，通过提出数值模拟，能够方便地评估核武器的性能、安全 性、可靠性、更新实用性等。但这些都要求系统能达到高分辨率、高逼 真度、三维视觉、物理、全系统的规模等实验要求。这样的大规模计算 实验无论对计算方法还足高速计算机( 包括服务器和各种并行机) 都是 集群系统在图像重构中的麻用 巨大的挑战。因此，高性能计算机和高性能科学计算技术是整个科研过 程中不可缺少的重要工具。在2 0 0 6 年1 1 月公布的第2 8 届世界t o p 5 0 0 排行榜中，工业标准化的集群系统c l u s t e r 已经占据了排行榜的垄断地 位：5 0 0 台运算速度最快系统中有3 6 4 套系统为集群系统结构，占总数 的7 2 8 。而2 0 0 1 年6 月只有3 2 套，数年间增长了十倍之多，真令人咋 舌。尽管在不少人看来，集群没有多少技术含量，甚至个人都可以搭建 一套系统冲进t o p5 0 0 。但正是这种“技术含量不怎么高”，但却具有工 业标准化优势的系统赢得了大多数厂商和用户的支持和关注。在最近的 应用统计中，商用集群所占的比例不断增大。在t o p l 0 排行榜中，绝大 部分的集群系统来自i b m ( 全球最高速度计算机前l o 名中i b m 有4 台) ， 它们主要面向工业和商业的低端应用领域。在我国，以高速度，低价 格为基本特征的集群系统有了飞速的发展，目前，包括曙光4 0 0 0 a 、 4 0 0 0 l 、4 0 0 0 h 在内的新一代曙光4 0 0 0 超级计算机是由中科院计算所和 曙光公司等单位通过产学研合作进行自主创新的重大科技成果。其中曙 光4 0 0 0 a 在2 0 0 4 年全球高性能计算机t o p 5 0 0 排行榜中，成功跻身前 十名，使中国成为继美、日后第三个能研制和应用1 0 万亿次超级计算 机的国家。目前，中国具备了1 6 3 5 t f l o p s 的峰值计算能力和9 4 2t f l o p s 的l i n p a c k 计算能力。而一年前这两个数据分别是9 0 3 5 8 t f l o p s 和 5 3 a 7 9 t f l o p s 。在短短的一年时间里，中国在t o p5 0 0 中拥有的计算能 力已经增长了近两倍。在中国系统速度排第一位的是安装在中国国家气 象局的i b me s e r v e rp s e r i e s6 5 5 ( 1 7g h zp o w e r 4 + ) 系统，其峰值性能 为2 1 7 6 t f l o p s ，位居t o p 5 0 0 第3 5 位( 一年前是1 8 位) ，曾经在0 6 年 硬七学位论文 6 月排在t o p1 0 的曙光4 0 0 0 a 已经落至第5 3 位，但仍然是中国自制 h p c 所取得的最好成绩，而且曙光和中科院计算所目前正在研制计算规 模达百万亿次的曙光5 0 0 0 ，预计2 0 0 8 年有望投入运行。 1 2 集群系统的发展与未来 由于高科技领域对计算机性能提出了越来越高的要求，自从1 9 7 2 年 第一台并行计算机i l l i a c1 v 问世以来，并行计算机的发展非常迅速。 同时随着超大规模集成电路和微处理机技术的逐渐成熟，可扩展的并行 机目前已经成为并行计算机的发展主流。另一方面，并行计算机的飞速 发展也为高科技领域提供了广阔的发展前景。随着计算机科学的飞速发 展，现在己出现多种并行计算机系列。大型并行机系统一般可分为六类 【2 l ： 单指令多数据流机s i m d ( s i n g l e - i n s t r u c t i o n m u l t i p l e - d a t a ) ； 并行向量处理机p v p ( p a r a l l e lv e c t o rp r o c e s s o r ) ； 对称多处理机s m p ( s y m m e t r i cm u l t i p l ep r o c e s s o r s ) ； 大规模并行处理机m p p ( m a s s i v e l y p a r a l l e lp r o c e s s o r ) ； 工作站集群c o w ( c l u s t e ro f w o r k s t a t i o n ) ； 分布共享存储d s m ( d i s t r i b u t e ds h a r e dm e m o r y ) 多处理机。 其中s i m d 计算机多为专用。其余的5 种均属于多指令多数据流m i m d ( m u l t i p l e - i n s t r u c t i o nm u l t i p l e d a t a ) 计算机。目前绝大多数并行机部件 均用商品化的标准件构成，而p v p 计算机的部件很多都是定制的。在当 前的并行机中，集群系统较为常见。它是由同构或异构型串行或并行计 集群系统在图像重构中的应用 算机通过快速局域网或广域网相互松散连接而成。最新的第2 8 次全球最 快超级计算机t o p 5 0 0 排行榜于1 1 月2 7 日在德国召开的第2 1 届国际超级 计算会议( i s c 2 0 0 6 ) 上正式发布。在高性能计算t o p 5 0 0 排行榜名单上， 集群系统更是达到了3 6 4 套【”，( 占总数7 2 8 ) ，而2 0 0 1 年6 月只有3 2 套。数 年间增长了十倍之多，这足以说明，这种用高速互联网络把工作站或p c 机连接起来的并行机已经成为t o p 5 0 0 榜单中最普遍的超级计算机搭建 架构。当前，排名第一的是安装在美国能源部劳伦斯利弗莫尔国家实验 室的i b m 公司的b l u e g e n e l ，它连续第4 次被评为全球最快的超级计算 机。最新的线性测试标准已经达到2 8 0 6t e r a f l o p s ( 浮点运算，l t e r a f l o p s = 每秒1 万亿次数学运算) 。接下来是位子美国s a n d i a 国家实验 室的红色狂暴( c r a z yr e ds t o r m ) 超级计算机，其运算速度为 1 0 1 4 t f s ，此外，至今还没有其他超级计算机的线性测试标准突破每秒 1 0 0 万亿次浮点运算大关。与b l u e g e n e l 共同排名三甲的还包括计算能力 达至j j 9 1 2 9 t e r a f l o p 的i b m 蓝色基因w a t s o n ( b l u eg e n ew a t s o n ) 系统。在 地区分布上，美国以其雄厚的实力独占鳌头t ”。高性能计算机之所以被 提升到国家战略的高度，重要的意义是在于其应用层面，能否成功研制 并充分应用高性能计算机将直接决定一个国家综合国力的提升速度。从 世界t o p 5 0 0 强名单上看，高性能计算机研制实力最强、应用最为充分 的还是美国，前1 0 名中的6 套系统、全部5 0 0 套系统中的5 0 、总性能 中的5 7 都是安装在美国，而且9 0 的机器是在美国研制。随着世界高 性能计算机研究的发展，近几年我国在高性能计算机的应用上也取得了 飞速的发展。在2 0 0 6 年1 1 月，中国高性能计算机性能入围世界高性能 硕士学位论文 计算机t o p 5 0 0 排行榜的共有2 8 套系统入选，使中国无庸置疑地正在成 为超级计算机的应用大国。 1 - 3 并行计算的优点和存在的困难 当计算作为一种研究方式，它与实验研究和理论研究共同成为求解 问题的三大主要途径时，它已经深入到科学研究的各个领域。在复杂非 线性动力系统求解、预测模型的构造和模拟、工程设计和自动化、能源 勘测、医学图形成像、军事以及基础理论研究等领域中，计算扮演的一 个非常重要的角色，同时这些领域的研究也对计算提出了极高的具有挑 战性的要求。例如：在一个医学三维图像重构的系统中，对于一个 1 0 2 4 1 0 2 4 1 0 2 4 的数据处理系统中，对每张c t 图像需进行一次噪声处 理、轮廓提取、轮廓匹配然后进行空间变换( 如s h e a r - w a r p 变换) 和光照处 理及图像渲染等一系列处理流程。尤其在实时图像处理的情况下( 用于 交互式系统的动态数据处理情况) 和实时成像系统等应用中，单个p c 机 很难完成该工作。当计算能力不足时，只能通过降低计算精度、减小计 算规模等途径来勉强实现计算模拟，从而影响三维图像重构的准确性和 真实性。只有用到高性能的计算机才能满足人们对数据量和时间的双重 要求；其它的应用领域包括核武器数值模拟、航空航天高速飞行器的设 计、原子物理过程微观世界的模拟、材料科学中的计算、环境资源及生 物计算等。这些重大的计算问题涉及到巨大的数据需求和有限的机器处 理能力的矛盾：非规则的复杂结构、非均匀的复合材料、非线性的动力 系统等各种复杂的数学物理问题。要对这些复杂的非线性数学物理方程 集群系统在图像重构中的应用 进行大规模和高精度的计算，在普通p c 上用传统的计算方法往往是无 能为力的。因此高性能计算的出现成为解决这些复杂问题的唯一途径； 各个领域复杂问题的提出也为高性能并行计算提供了发展的空间。另一 方面，实时性和并行性是客观物质世界存在的普遍属性，具有实际物理 背景的计算问题在许多情况下都可划分为能够并行计算的多个子任务。 针对某一具体应用问题，本文可以利用它们内部的并行性，设计并行算 法，将其分解为相互独立，但彼此又有一定联系的若干个子问题，分别 交给各节点进行处理，而所有节点按并行算法提供的方法和次序进行通 信和同步控制。实践证明，6 0 8 8 的标量计算可以被向量化，而9 0 左右的串行计算可以并行化雎，。也就是说，通过并行计算可以求解串行 计算无法解决的巨型计算问题，同时还可以有效地利用计算机的软、硬 件资源，使得计算过程更快速和更精确。在另一方面，计算科学涉及到 大型科学工程计算，是一个多学科的交叉领域，它要求计算人员运用许 多基础数学理论( 如非线性分析、偏微分理论、微分几何等) ，除此之 外，还要熟悉某一特定应用领域的背景知识，并充分掌握和运用先进的 计算设备，因此，并行计算作为一个新兴的领域，在很多方面都存在不足， 有待进一步发展。首先，由于人们的思维模式总体来说是串行的，因此， 并行计算面临的最大的困难是要改变计算人员的思维定式；其次，并行 计算的效率要受到软件、硬件条件的限制。在网络并行计算中硬件限制 主要来自网络的消息传递速率，软件限制是指负载的平衡、程序中串行 部分产生的瓶颈效应以及消息传递平台本身的优劣。根据a m d a h l 定律 1 3 1 ，程序中很少的串行操作会极大地影响总体并行效率。在并行计算过 硕十学位论文 程中总会有一些节点在进行下一步任务之前要等待其它节点任务的完 成，另外，负载不平衡也会影响程序的并行效率，所谓的负载不平衡是 指任务在各个节点机上分配不均衡，有的节点机因任务完成早要等待负 载较重的节点机传来的结果才能进行下一步计算，这种情况也会影响并 行计算的效率。上述这些影响并行计算效率的因素是可以通过在并行程 序的设计过程中设法消除或减少它们的制约而得到改善。除此之外，并 行程序的调试过程也非常困难，目前还没有一种调试工具可以对并行程 序进行完全的跟踪调试，这势必增加并行程序的编程难度。 1 4 本文的主要工作 本论文在了解高性能并行计算的发展历史和发展现状的基础上，分 析了当前世界高性能并行计算机的发展趋势。集群系统中具有编程方 便、系统结构灵活、性价比高、可扩放性强等优点的工作站集群系统得 到了广大应用者的青睐。在第二章中，根据作者参与组建的湖南师范大 学数学与计算机学院的高性能并行计算集群的体会介绍了一种方便，快 速地搭建一个中大规模集群系统的方法。并从集群系统中各节点机的性 能指标到系统中安装的应用软件都作了简要的介绍，尤其是介绍了基于 l i n u x 的节点机上1 0 0 个的大规模集群的标准快速的集群搭建方法。第 三章介绍了关于集群的从硬件到软件的管理与优化的方法，最后介绍了 与并行计算性能测试相关的并行计算加速比、并行算法效率、算法并行 度等概念。在第四章中，本文通过一个计算实例详细描述了并行计算在 医学三维图像重构中的应用全部过程。对已有的串行程序进行并行化处 集群系统在图像重构中的席用 理，实现了并行计算在三维图像重构中的应用。其中程序的并行化是通 过把全部c t 图像处理分解到各节点机并行处理，并对图像进行边缘检 测，边缘轮廓匹配，s h e 盯- w a 印算法等进行了改进，利用多台节点机同时 计算的方式来实现的单p c 机难实现的全部过程。 集群系统在图像重构中的应用 第二章高性能集群的搭建与性能检测 2 1 集群的体系结构： 一个典型的集群系统结构如下图所示【4 】： 图2 1 集群系统体系结构 集群就是数个基于高速网络的一个或多个处理器的单个节点机( p c 机，工作站或s m p ) 相互联接的一种并行分布式处理系统。它可以执行 并行任务，也可以执行串行任务。从负载平衡的角度来看，集群系统在 本质上就是用多个计算机系统来提高整个系统的作业吞吐量和作业运 算速度，从而提高科学计算性能的技术。 高速网络提供了集群系统进行信息交换和进程间同步控制的物理 平台，也是节点机之间相互通讯的硬件基础，集群系统中，高速的c p u 运算速度通常是网络传输速度的几十倍甚至上百倍从而使得网络系统 常常成为高性能集群系统的瓶颈，因此，网络速度和网络性能直接影响 硕士学位论文 集群系统的整体性能和运算速度。 网络接口层相当于t c p i p 协议中的数据链路层担当着通信处理器 的任务，负责在节点间通过网络传送和接收数据包。此外，通信软件提 供了快速且可靠的节点间以及外界数据通信的手段。 集群中间件是集群系统中非常重要的一层，它是在计算机硬件和操 作系统之上，支持常用软件开发和运行的系统软件，它能够使应用软件 相对独立于集群硬件和操作系统平台实现集群系统的单一映象系统即： 集群各节点可以像集成的计算资源一样共同工作，或者说各节点像一台 计算机一样工作，其中间件负责为独立但互联的计算机对外提供统一的 系统映象即单一映象。在具体实现上，常常是一个用a p i 定义的分布式 软件管理框架，它具有强大的通信能力和可扩展性。 并行编程环境为开发应用程序提供可移植的，有效的和易用的工 具，它包括消息传递库，调试器和剖视器。 2 2 大规模并行机系统架构的特点 一般说来，对于节点数大于2 0 小于1 0 0 的集群称为中型集群，节点 数大于1 0 0 的集群系统称为大型集群( 大规模集群) ，节点大于1 0 0 0 的 系统称为超大规模集群系统。相对于小型集群，大规模集群主要有如下 几个方面的问题： a ) 节点间的连接：对于大规模集群系统尤其是超大规模集群系统， 网络拓扑连接是系统性能的硬件基础，经过科学的分析，对于节点数很 大的系统常采用超立方体结构即每个节点和2 ”个节点邻接。 集群系统在图像重构中的应用 b ) 结点类型的划分：按机器的功能，一般分为y o 结点，计算结点， 登陆节点及服务节点，对不同类的结点机，应根据其使用选择不同的 硬件配置。对计算结点，常采用较高时钟的c p u 及较大的内存。对于 i o 结点，应考虑并行i o 的要求，选择与其相匹配的磁盘阵列及网 络设备。 c ) 网络及网络i p 规划：对于中大规模集群，为提高其工作效率，常 常将计算网络和控制网络分开，( 采用双网卡支持) ，计算部分用千兆 网络，控制部分用百兆网络。对不同的网络，采用不同的网段来划分。 d ) 对节点操作系统的自动安装，管理及恢复问题。 e ) 结点机状态监控，主要包括用户作业管理，c p u 负载情况及内存 等资源管理。 0 结点机硬件状态监态，包括电压、风扇、c p u 工作温度和负载情 况等。 此外，还应考虑到m p i 系统进程数，r s h 端口数的限制及并行程序 的快速启动，并行i o ，文件系统管理等因素。 2 3 中大规模集群系统的搭建 实现集群系统节点的远程自动安装是集群系统搭建的基本要求之 一。实现集群节点机的自动安装有多种方式如：基于邱与k i c k s t a r t ，n f s 与k i c k s t a r t 方式等。基于n f s 与k i c k s t a r t 方式实现更简单，且有更好的 稳定性和可靠性【s 1 。，故本文采用该方法实现一个中大集群的节点机的快 速搭建。一个并行计算环境的基本搭建过程如下： 硕士学位论文 2 3 1 服务器端的配置与管理： 在服务器上完全安装l i n u x 后，首先应对网络i p 、本文名、n i s 服 务及n f s 服务进行设置 h i 。 1 ) 网络配置：主要是服务器网络i p 地址的设置和机器名设置 在e t c s y s c o n f i g n e t s c r i p t s 目录下分别对i f c f g e t h 0 和 i f c f g - e t h l ( 双网卡) 进行i p 和网关等配置。 在e t c s y s c o n f i g n e t w o r k i ! t 录下输入本文名和域名。 2 ) r s h 服务配置 在高性能计算集群中，每个节点都需要分担一定的任务，而这些任 务都是由执行任务的本文发起的，剩余的节点通过远程的通信协议来完 成任务的接收和执行。当前用于远程通信的协议很多，其中比较突出的 是s s h ( s e c u r es h e l l ) 和r s h ( r e m o t es h e l l ) 。r s h 是通过网络将要执行 的命令分发给目的机，目的机在接收命令后根据用户的情况和当前的环 境判断是否执行发送来的命令。其相关配置方法如下： a 确认安装了r s h 包和r s h s e r v e r 。 b 在e t c 下创建h o s t s 文件，格式如下： i p a d d r e s s l o e a l h o s t 1 9 2 1 6 8 1 on o d e 0 1 9 2 1 6 8 1 1n o d e l l o c a l h o s t d o m a i n t l o d e 0 d u s t e r n o d e ! c l u s t e r l o c a l h o s t s m a c 0 0 ：0 1 ：1 2 ：e f ：d e ：7 5 0 0 ：0 2 ：1 1 ：e f ：d g ：8 0 图2 2 注：其中第四项为受信任的结点机网卡的硬件地址，( 人工记录后填入) ，主要用于结点机 自动获取i p 及支持d h c p ，n f s 等服务 c 将所有本文名加入到e t c h o s t s e q u i v 中( 若希望以r o o t 身份登 入，必需同时在r o o t r h o s t s 中加入) 。 集群系统在图像重构中的应用 d 打开r s h 服务： s b i n c h k c o n f i g r s ho n e 在文件e t c s e c u r e t t y 中加入 r s h ” 3 ) n i s 配置： n i s ( n e t w o r ki n f o r m a t i o ns e r v i c e ) 是实现网络上各l i n u x 机器之间的 重要数据分享。这些数据包括用户帐号，密码，组文件，本文文件，等 等。在集群中本文要做到单一的镜象就需要n t i s 的一些服务。具体配置 如下： a 检查与n i s 服务相关的三个软包：y p s e r v , y p b i n d ，y p t o o l s ； b n i s 域名设置：在e t c s y s c o n f i g n e t w o r k 中加入 n i s d o m i a n = c l u s t e r c 开启n i s 服务： s b i n c h k c o n f i gy p s e r vo n s b i n i n i t d y p s e r v s t a r t d 初始化n i s数据库： u s r l i b y p y p i n i t - m e 开启客户服务程序： s b i n c h k c o n f i gy p b i n d o i l e t c i n i t 。d y p b i n d s t a r t 4 ) n f s 配置 n f s ( n e tf i l es y s t e m ) 服务是基于l i n u x 的一种网络文件系统，它是集 群系统的实现数据共享的基础。 硕士学位论文 a 确认服务结点机上已安装n f s - u t i l s 包。 b 设置开机自动启动相关服务： c 在e t c e x p o r t s q b i l n 需共享服务目录 例： 埔新建h o m e l 目录 m k d i r h o m e l # # 共享h o m e l 目录给i p 为1 9 2 。1 6 8 。1 。1 。1 9 2 。1 6 8 。1 。2 5 5 。 h o m e l 1 9 2 。1 6 8 。1 。0 2 5 5 。2 5 5 。2 5 5 。0 ( r w ，a s y n c ，r o o t s q u a s h ) # 输出指定目录( h o m e l ) e x p o r t f s v r 5 ) t f t p 服务配置 t f t p ( 普通文件传输协议或一般文件传输协议) 在集群系统的节点 机实现自动安装和网络启动有重要作用，它用于将支持网络启动的文件 p x e l i n u x 0 传给节点机实现与服务器网络通信。 6 ) n t p 服务配置 n t p 服务又名时间同步服务。在集群的创建和工作的过程中，使得 节点机和服务节点保持相同的时间和相对的节拍即时间同步对整个集 群正常工作至关重要，它是并行编程与工作的效率基础。 a 安装相关软件包n t p b 编辑e t c n t p c o n f 文件 定义时间服务器的本文名； 设置服务器的权限：n o w a p ，n o q u e r y ，n o m o d i f y 设置节点机范围 7 ) d h c p 服务配置 集群系统在图像重构中的麻用 在集群服务器中d h c p 的作用是为节点机的自动安装提供初始i p 信息。 d h c p 服务在节点机安装过程中必不可少。其结构配置如下： m a x 1 e a s e t i m e - 1 d d n s - u p d a t e s t y l e a d - - h o c s e r v e r - i d e n t i f i e rn o d e o d e f a u l t - l e a s e - t i m e 一1 ： o p t i o ns u b n e t m a s k2 5 5 2 5 5 2 5 5 0 ； o p t i o nr o u t e r s n o d e o o p t i o nd o m a i n - n a m e s e r v e rn o d e o o p t i o nb r o a d c a s t a d d r e s s1 9 2 1 6 8 1 2 5 3 ； s u b n e t1 9 2 1 6 8 1 0n e t m a s k2 5 5 2 5 5 2 5 5 0 r a n g ed y n a m i c b o o t p1 9 2 1 6 8 1 01 9 2 1 6 8 1 6 0 ； f i l e n a m e t f t p b o o t p x e l i n u x e ，0 ”； n e x t - s e r v e r19 2 16 8 1 2 5 3 ； h o s t n o d e l h a r d w a r ee t h e m e t 0 0 ：7 c ：0 c ：7 6 ：d b ：8 3 ； f i x e d - a d d r e s s 1 9 2 1 6 8 1 1 ； f i l e n a m e p x e l i n u x 0 ”； ) h o s t n o d e 2 h a r d w a r ee t h e m e t0 0 ：7 c ：0 c ：7 6 ：c b ：8 4 ： f i x e d - a d d r e s s 1 9 2 1 6 8 1 1 ； 7 硕士学位论文 f i l e n a m e p x e l i n u x 0 ”； 8 ) m p i 并行环境的安装1 7 l 高性能并行计算所处理的问题具有程序规模庞大、编写困难、计算 量大、运行时间长，以及数据量巨大等特点，因此选择一个好的并行计 算平台和并行编程工具非常重要。l i n u x 是一个非常优秀的操作系统， 基于其上的m p i 和p v m 是目前最流行的并行编程语言。m p i ( m e s s a g e p a s s i n gi n t e r f a c e ) 是美国能源部组织制定的基于消息传递方式并行程序 编程接口，是目前最常用的并行编程环境之一，m p l 只是一个并行编 程语言标准，要编写基于m p i 的并行程序，还必须借助某一m p i 具体 实现。m p i c h 是l i n u x 平台下最重要的一种m p i 实现，是一个与m p i 规范同步发展的版本。m p i c h 本质上是一个m p i 的库，它提供了不同 版本m p i 的库结构，编程人员可以使用m p i c h 来使用这些m p i 接口， 以便写出适合自己的基于消息传递的并行程序。编程人员使用c 或者是 f o r t r a n 语言来调用这些标准库，实现程序的并行性【7 】。 a m p i c h 的安装 a ) 下载m p i c h 你可以到m p i c h 的官方网站上得到它的幸t a r 文件 h t t p ：l l w w w u n i x r u e s a n l g o v m p i m p i c h d o w n l o a d h t m l 你可以在这里获得最新的m p i c h 版本和相关的咨询。 b ) 安装m p i c h 首先由于m p i c h 使用了r s h 来作为它的通讯工具 ，所以本文必须正确的配置本文的r s h 服务。有关这些信息你可 集群系统在图像重构中的应用 以看前面章节中r s h 设置的内容，本文假设现在已经配置好了 r s h 。现在本文就开始安装m p i c h ，先将t a r 文件释放到自己的 家目录，这里为c l u s t e r c h a n g d e v a ，然后使c o n f i g e r 文件测试编译 环境并且生成m a k e f i l e 文件，使用m a k e 命令编译生成可执行文 件，然后安装m p i c h 到本文指定的目录当中去。m p i c h 会按照 本文指定的目录进行安装，在这里它安装在c l u s t e r 家目录的 m p i c h 目录中，为了以后使用方便本文把m p i c h 的执行路径添加 到本文的p a t h 变量中。图2 3 是详细的步骤 图2 3 a m p i 配置过程图 c ) 安装完成后本文还需要配置本文的本文文件，他定义了需要使用 硕士学位论文 m p i c h 来完成任务的本文。也就是说本文需要配置这些本文加入 到本文的计算群组中来。这个本文文件在m p i c h 安装目录的s h a r e 文件夹下的m a c h i n e s 。l i n u x 文件。本文需要配置这个文件把 本文想加入的本文加入到其中来。 图2 - 3 a m p i 配置过程图 b m p i c h 的调试 安装m p i c h 后本文