（计算机应用技术专业论文）基于soa的海量遥感数据并行处理的研究与应用.pdf

河南大学硕士研究生学位论文 摘要 随着航天技术的快速发展和各种遥感测量平台层出不穷，各种测量手段不断 得到应用，使得人类获取遥感影像数据的手段同益多样化。面对海量的遥感数据 及其复杂的数据特征，如何提高遥感产品生产速度、效率和利用原有的遥感系统 资源是目前遥感领域研究的重要课题。针对以上问题，本文以与中科院遥感所合 作的项目为背景，在整合原有系统资源的基础上，建立新的系统构架以及任务调 度算法。以下本文所做的工作和贡献： ( 1 ) 基于s o a ( s e r v i c eo r i e n t e da r c h i t e c t u r e ) 系统构架的设计。本文分析了传 统的软件体系结构和基于组件的软件体系结构，结合遥感领域的实际需求，在原 有遥感系统的基础上设计了一套适用于遥感领域的面向服务的系统架构，借助于 w e bs e r v i c e s 技术加以实现。将原有的应用程序封装成服务，节约了成本。将组件 封装为服务，更加有利于系统扩展。 ( 2 ) 多任务驱动的多队列任务调度算法。提出一种多任务驱动的多队列任务 调度算法，算法对求解任务的划分提出了自己解决方案。本文结合与表调度算法、 m i n m i n 算法和m a x m i n 算法实验分析，得到多任务驱动的多队列算法总能得到 了一个最优调度策略。算法经过三步，将求解任务分配到各个并行机节点。同时 提出了任务求解过程的优化操作，加快任务求解速度，节约计算资源。 ( 3 ) 系统的实现。结合中科院遥感所遥感论证中心的实际业务需求和其自身 的特点，在n e t 开发平台下，实现了平台的应用开发。平台投入使用后，解决了 遥感产品生产的问题，实现了遥感产品的管理、调度、并行处理、产品数据图像 快速显示。使遥感产品生产不在复杂，操作简单快捷，体现了系统的实用性和易 用性的优势，从一定程度上提高了生产效率。平台产生的经济效益和社会效益比 较明显。特别是经济效益比较明显，通过利用产品生产计划调度子系统对生产任 务管理和遥感产品并行处理使得生产效率大幅提高。 关键词：面向服务；w e bs e r v i c e s ；任务调度；海量遥感数据 河南大学硕士研究生学位论文第1 i 页 a bs t r a c t w i t ht h er a p i dd e v e l o p m e n to fs p a c et e c h n o l o g ya n de n d l e s sp l a t f o r m sf o rr e m o t e s e n s i n gs u r v e y , t h em e t h o d sf o ru st og e tt h ed a t ao fr e m o t es e n s i n gi m a g eh a v eb e e n i n c r e a s i n gd i v e r s i f i e d i nf r o n to ft h ef e a t u r e sa n dc o m p l e x i t yo fr e m o t es y s t e m ，h o wt o i m p r o v et h es p e e da n de f f i c i e n c yo fi t sp r o d u c t s ，a n dh o wt om a k ef u l lu s eo ft h e r e s o u r c e sh a sb e c o m et h em o s ti m p o r t a n tt o p i ci nt h ef i e l do fr e m o t es e n s i n gs y s t e m a c c o r d i n g l y , c o o p e r a t i n g w i t hi n s t i t u t eo fr e m o t es e n s i n g a p p l i c a t i o nc h i n e s e a c a d e m yo fs c i e n c e s ，t h i se s s a yw i l lm a k eg r e a tc o n t r i b u t i o n st ot h en e ws t r u c t u r e sa n d t h em e t h o d sf o rc a l c u l a t i n gt h et a s k s ( 1 ) d e s i g nb a s e do ns o a t h i se s s a ya n a l y s e st h es t r u c t u r eo ft h es o f t w a r es y s t e m a n dt h es o f t w a r eb a s e do nc o m p o n e n t m e a n w h i l e ，c o n s i d e r i n gt h er e a ln e e d si nt h i s f i e l d ，w ed e s i g na s e to fs y s t e ma r c h i t e c t u r es u i t a b l ef o rr e m o t es e n s i n gf i e l d ，w h i c h w i l lb ec o m p l e t e db yw e bs e r v i c e w ec u tt h ec o s tg r e a t l yb ye n c a p s u l a t i n ga p p l i c a t i o n p r o g r a m si n t os e r v i c e s ，a n de x p a n dt h es y s t e mb ye n c a p s u l a t i n gt h ec o m p o n e n t si n t o s e r v i c e s ( 2 ) m u l t i - t a s k sd r i v e nq u e u e sf o rt a s ks c h e d u l i n g w ew i l lp r e s e n to u ro w n s o l u t i o n st od i v i d et h et a s k s ap r e m i u ms c h e d u l i n gs 仃a t e g yc a nb eg m n e dt h r o u g ht h e c o m b i n a t i o no fm i n m i na n dm a x m i ni nt h ef o l l o w i n ge s s a y t h e r ea r et h r e es t e p si n t h et a s k sa n dd i s t r i b u t i o n si ne a c hs t e p a tt h es a m et i m e ，w es i m p l i f yt h ep r o c e d u r e s a n de n h a n c et h es p e e d ，s ot h a tw ec a nm a k ei tm o v ef a s t e ra n ds a v et h er e s o u r c e s ( 3 ) t h er e a l i z a t i o no ft h es y s t e m f e a t u r e d “t hr e a ln e e d so ft h er e m o t es e n s i n g c e n t e r , w er e a l i z et h ed e v e l o p m e n to fp l a t f o r m sw i t ht h eh e l po fn e t a f t e rp u t t i n gi n t o u s e ，t h ep r o b l e m sa r ea sf o l l o w sc a nb es o l v e d ：t h em a n a g e m e n t ，t h es c h e d u l i n g ， p r o c e s s i n ga n dd i s p l a y i n go ft h er e m o t es e n s i n gp r o d u c t s o b v i o u s l y , i tw i l ls i m p l i f yt h e p r o d u c t i o na n do p e r a t i o n ；e x e m p l i f yt h ep r a c t i c a b i l i t ya n dt h ee a s ef o ru s e a b o v ea l l ，i t w i l lp r o d u c ed i s t i n g u i s h e de c o n o m i c a la n ds o c i a lb e n e f i t s ，e s p e c i a l l yt h ee c o n o m i c a l b e n e f i t s k e yw o r d s ：s e r v i c e o r i e n t e d ；w e bs e r v i c e s ；t a s ks c h e d u l i n g ；m a s sr e m o t e s e n s i n gd a t a 关于学位论文独立完成和内容创新的声明 本人向河南大学提出硕士学位中请。本人郑重声明：所呈交的学位论文是 本人在导师的指导下独立完成的，对所研究的课题有新白勺见解。据我所知，除 文串特剔加以说明、标注牵致谢妁地方外，论文寺不包括其他人已经发表或撰 写过的研究成果，也不包括其他人为获得任何教育、科研机构的学位或证书而 使用过的材料。与我一同工作的同事对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位申请人，学位论交作者) 鍪名 2 ： 关于学位论文著作权使用授权书 本人经河南大学审核批准授子硕士学位。作为学位论文的作者，本人完全 了解并同意河南大学有关保留、使用学位论文的要求，即河南大学有权向国家 图书馆、科研信息机构、数据收集机构和本校图书馆等提供学位论文( 纸质文 本争电子文本) 从供公众检索、查阅。- 本人授枳河南大学出于宣扬、展览学校 学术发展和进行学术交流等目韵杉可以采取影印、缩印、扫描和拷贝等复制手 段保存、汇编学位论文( 纸质文本和电子文本) ( 涉及保密内容的学住论文在解密后适用本授权书) 学位获得者( 学位论文作者) 签名 2 0 靴做特蝴弛幽 2 0 6 卑歹只么露 河南大学硕士研究生学位论文第1 页 第1 章绪论 1 1 研究的目的和意义 中国是一个人口和资源拥有量最多的国家之一，政府十分重视环境变化和生 态平衡，每年都投巨资用之于环境监测评估、防灾减灾服务。而卫星遥感资料在 环境监测评估、防灾减灾方面起到越来越重要的作用，m o d i s 数据在其中将发挥 重要作用f l 】。这些数据将提供反映陆地、云边界、云特性、海洋水色、浮游植物、 生物、地理、化学，大气中水汽、地表、云顶温度、大气温度、臭氧和云顶高度 等特征的信息，用于对陆地、生物圈、地球、大气和海洋进行长期全球观测1 2 儿3 。 基于上述遥感数据处理的重要性，我们设计并实现了基于s o a 的海量遥感数据并 行处理平台。 本平台通过利用分布式并行网络，在s o a 的架构的基础上，解决了遥感产品 的生产、管理、调度、并行处理、产品数据图像快速显示、计算状态监视、数据 存储、快视图像以及系统模拟仿真和演示等。 基于s o a 的海量遥感数据并行处理平台是面向全国范围内的各遥感数据处理 单位设计的一个集生产计划调度、系统运行监视、业务信息展示为一体的，实现 一个遥感应用产品高性能处理平台，该平台主要利用分布式并行网络，解决遥感 产品的管理、调度、并行处理、各类产品有关图像、状态监视、卫星状态显示、 数据存储、快视图像等功能。该平台已在国家航天局航天遥感论证中心推广使用， 并取得了良好的效果。 1 2 国内外研究现状 1 2 1 面向服务的软件体系结构 面向服务的体系结构是基于“软件变服务”思想，提出了一种新的解决软件 重用和软件集成的方案【5 】。通过采用面向服务的体系结构，企业能够迅速便捷的构 建开放的、模块化的、可重用、与平台无关、可扩展的应用系统。作为s o a 的一 种实现手段，w e b 服务提供了基于x m l 标准接口的若干中间件，具有完好的封装 性、松散的耦合性、协议规范的标准性、以及高度的可集成性等特点，能够很好 的满足s o a 应用模式需求1 6 1 。传统的中间件厂商对w e b 服务的支持也是不遗余力。 i b m 公司很早就推出了w e b s p h e r e 产品，支持各种有关的w e b 服务标准；j a v a 技 术的创立者s u n 公司新提出了开放式软件架构s u no n e ，力图融合j a v a 和x m l ， 河南大学硕士研究生学位论文第2 页 而m i c r o s o f t 公司的n e t 战略即以x m l 为基础，其新发布的v i s u a ls t u d i o n e t 将 成为w 曲服务的主要产品【7 。针已经公布的标准，许多大型企业( i b m ，m i c r o s o f t ， s u n ，b e a 等等) 开始着手对基于w e b 服务的面向服务的体系架构予以实现和推广。 伴随着面向服务架构应用的稳健步伐，各个公司在实现各种w e bs e r v i c e s 和 将已有应用转换成面向服务架构上取得了重大的进展【8 】。在面向服务架构的研究 中，研究着眼于整个架构设计的原则与模型的讨论，也有针对具体的服务细节进 行讨论国内外已经有一些案例，将s o a 的设计思想应用到医疗、电信、金融等各 个行业1 9 。s o a 在德国邮政系统和金融行业中都得到了应用。就w e b 服务核心支 撑技术的研究而言，存在很多有待解决的开放问题例如，在组合w e b 服务的实施 方案中，服务组件或基本服务的定位、协调、通信及调用策略，服务执行结果的 评估和正确性验证，高效服务质量管理策略的探索及服务质量代价模型的建立等 1 1 0 1 。对于具体的研究细节，服务的自动组合、服务设计的粒度、服务的契约，乃 至服务的分析与设计都是研究的热点。德国的波茨坦大学主要研究了将人工智能 技术应用的s o a 的服务自动组合中，国家8 6 3 c i m s 主题资助项目基于本体的 w - e b 服务查找和合成技术研究l l 。通过应用本体领域分类概念和d a m l 语义标签， 对w e b 服务进行标准化表示i l 2 。 1 2 2 并行系统中任务调度 目前，围绕着并行系统中的任务调度方法，国内外已经做了大量的研究工作， 先后提出各种启发式调度算法。m i n m i n 1 3 - 1 5 算法选取每个任务的最小完成时间， 再从所以最小完成时间中选取每个任务的最小完成时间进行任务和计算资源匹 配。m a x m i n 1 3 0 4 】算法选取每个任务的最小完成时间后，选取最大的完成时间进行 任务和计算资源匹配。s u f f r a g e ! 】算法计算每个任务的最小完成时间和次小完成时 间的差值，选取所有任务中差值最小的任务和计算资源。s a l 】算法采用迭代技术 得到一个可能被接受的任务资源配对。a p p l e s l l 8 j 基于有效的协同数据定位和适应 性调度提出x s u f f r a g e 算法。n i m r o d p t ”j 提出根据运行时间限制和经济预算限制的 调度算法。n c e i 啪f 1 9 。2 0 】等人介绍了一种基于遗传算法的任务调度算法，其目的是 为了尽可能地提高资源的使用率和吞吐量。在众多算法中，m i n m i n 算法是一个简 单、快速、有效的算法，遗传算法是一种并行搜索算法，执行效率较高，m a x m i n 算法有着较高的系统吞吐率，是本文提出的算法重要参考依据。 河南大学硕士研究生学位论文第3 页 1 3 论文的主要内容及组织结构 本文分为六章，各章内容组织安排如下： 第一章，主要介绍了论文研究的背景和意义、国内外对于s o a 、并行计算技 术的研究现状以及本文的研究内容。 第二章，讨论了本文应用于基于s o a 的海量遥感数据并行处理平台的相关技 术：面向服务的软件体系结构、并行计算技术。 第三章，分析了传统软件体系结构、基于组件的软件体系结构和面向服务的 软件体系结构的优缺点，得出面向服务的软件体系结构( s o a ) 发展的趋势和必 然性。根据设计s o a 的依据和最终系统的目标，设计了一套适用于遥感领域面向 服务的系统架构，借助于w 曲s e r v i c e s 技术实现。 第四章，提出一种多任务驱动的多队列任务调度算法，算法对求解任务的分 配提出了自己解决方案。首先分析了表调度算法、m i n m i n 算法和m a x m i n 算法 的优缺点，然后经过实验比较分析，得到多任务驱动的多队列算法总能得到了一 个最优调度策略。 第五章，结合中国科学院遥感所遥感论证中心的实际业务需求和其自身的特 点，在n e t 开发平台下，实践了基于s o a 的海量遥感数据并行处理平台的应用 开发。使用遥感产品的并行处理使得遥感产品生产在达到原有生产准确率的同时， 大大方便了生产管理人员对当前任务、子任务情况和各个并行机闲忙状态、c p u 负载率的了解，使得管理更加科学高效。 第六章，对整篇论文的工作进行了总结，并对下一步的工作进行了展望。 河南大学硕士研究生学位论文第4 页 第2 章相关技术介绍 2 1 面向服务的软件体系结构 在科学技术发展过程中，随着信息化的建设越来越复杂，软件系统在开发的 过程中经历了结构化方法、面向对象方法、面向组件构件方法的多次变革后， 面向服务的方法以及面向服务的体系架构( s e r v i c eo r i e n t e d a r c h i t e c t u r e ，s o a ) 成为 当前业界关注的焦点1 2 1 1 。软件系统的快速构建和及时响应业务变化的能力、更多 的使用用户原有i t 资源、能够达到跨平台的数据共享和业务协同，显得越来越重 要。 软件体系结构作为软件开发中可交付的中间产品，因为在体系结构没有设计 出来的前提下，项目是没法进行下去。软件体系结构对整个软件系统数据流程、 数据组织、交互、设计和调整起着指导原则的作用。是对整个系统更高层次的抽 象。在已有的各种大型软件系统中，如何选择正确的软件体系结构直接决定着整 个软件系统是否成功。当在系统前期的需求分析和详细设计阶段，系统开发人员 没有正确选择软件体系结构，会造成很严重的后果，甚至是灾难性的。研究软件 体系结构有利于抽象出很多不同系统的高层共性，对所要开发的系统的整体结构 和全局属性进行抽象、验证、管理、规约、分析，从而能够灵活地、正确地进行 系统设计。 软件体系结构作为一个重要的学科，成为了软件行业的一个重要研究课题， 目前国内外对此领域的研究非常活跃。如北京邮电大学研究的电信软件体系结构； 北京大学的基于系统体系机构的工业化生产方法和平台的研究；国防科大为软件 体系结构的研究提供基础设施所需的中间件技术，推出的c o r b a 规范实现平台； 曼切斯特大学为体系结构成立了专门的研究所；b a n yb o h e m 成立了软件体系结构 研究小组；n o k i a 、i b m 、a b b 等著名企业联合科研机构和大学对嵌入式系统的 体系结构进行了深入的研究【2 2 】。 针对软件体系结构发展趋势，在未来几年内软件体系结构的研究方向应有如 下5 个： ( 1 ) 软件体系结构的正确选择； ( 2 ) 软件体系结构表示方式； ( 3 ) 对软件体系结构的分析； ( 4 ) 软件体系结构是系统开发的前提，系统开发会完全基于软件体系结构； 河南大学硕士研究生学位论文第5 页 ( 5 ) 软件体系结构演化。 我们认为，软件体系结构的一个重要研究课题就是系统开发的方法如何基于 体系结构和相应的支撑环境。 2 1 1 传统的软件体系结构 在早期传统的软件系统开发中，应用程序处理所有业务逻辑、用户接口、数 据接口、对数据的操作都混杂在一个可执行包中。主要是由于应用程序的规模小， 程序结构是由模块聚集和嵌套形成层和层调用，模块由语句组成，以程序语句为 基本单位，根本没有考虑软件系统结构的问题。强调的是结构化程序设计方法、 自上而下；强调模块之问的耦合性。 这种软件开发和设计方法，因为它的简单性、开发人员需求少、开发周期短、 规模小、系统复杂度低，目前仍然被很多系统使用。但是它的简单化存在着很多 问题：系统集成性差、可维护性差、可重用性差等。 2 1 2 基于组件的软件体系结构 基于组件的软件体系结构的产生，主要是因为软件系统的规模和复杂度的大 幅度增加。组件是能够和其它组件配合起来协调工作或者能够独立完成某项功能 的程序体。从软件复用的角度看，面向对象技术以类为单位进行封装，实现了类 级的重用，将一组类的组合进行封装为完成一个或多个功能的特定服务。封装的 组件不向用户开放具体的实现，只向用户提供接口服务。 与此同时，出现了经典的三层架构。它将系统从上到下分为表示层、逻辑层 和数据层。表示层是将用户请求提交给逻辑层，然后将逻辑层的返回结果以友好 的形式呈现给用户，不需要考虑业务逻辑和实现过程；逻辑层屏蔽数据层访问差 异和向用户呈现时的差异，专门来处理系统的业务和具体功能；数据层为整个系 统的资源存放、获取提供支撑。每一层的功能都是独立的，这样就可以重用每一 层需要的组件，可以大大提高软件开发的效率。比较流行的组件体系结构模型有： c o m 、c o r b a 等【2 3 】。但这组件模型都存在一些共同的问题：很难在异构系统中 调用：语言环境的差异造成重用性差；不能跨过防火墙与外部合作伙伴实现信息 共享等。这些问题的出现，就迫切需要新的软件体系结构的出现，来解决异构、 共用业务逻辑、跨过防火墙等。 2 1 3s o a s o a 即面向服务的体系结构，s o a 作为一种系统结构模型，并非是一种具体 的技术。它将应用程序的不同功能单元( 称为服务) 通过这些服务之间定义良好 河南大学硕士研究生学位论文第6 页 的接口和契约联系起来。而s o a 的关键就在于“服务”的概念，因此服务层是s o a 的基础，这样就可以非常有效的控制了系统中的人为依赖性，应用可以直接调用。 s o a 的一个中心思想就是使得企业应用摆脱面向技术的解决方案的束缚，将 业务功能封装成公用的服务来构建商业应用的方法。可以看作是b s 模型、 x m l w e bs e r v i c e 技术之后的自然发展，但它绝对和他们不同。它能使得架构整个 业务系统更加快速、更具有可重用性、更加可靠，面对业务的急剧变化适应性更 强。 s o a 具有以下特征： 构建的服务可以是一些应用程序集组成的一组服务； 将业务流程变得更加灵活； 增强了业务和i t 系统体系结构之间的联系。 w e bs e r v i c e s 技术具有平台无关、标准中立等特点，为s o a 系统体系结构的 构建提供了良好的技术支撑1 2 引。s o a 系统体系结构提供了一种方法来构建分布式 系统，将应用程序功能封装成为服务提供给终端用户应用程序或其他服务。面向 服务的体系结构中的角色( 如图2 1 所示) 包括： 1 月艮务提供者：服务提供者要对其所提供的服务用w s d l ( w e bs e r v i c e d e s c r i p t i o nl a n g u a g e ) 进行描述，使用u d d i ( u n i v e r s a ld e s c r i p t i o nd i s c o v e r ya n d i m e g r a t i o n ) 发布到服务注册中心。 2 服务注册中心：服务注册中心为服务使用者对所需要的服务查找服务提供者 的接口，为服务查找和发现提供支持。 3 服务请求者：服务请求者向服务注册中心提交服务的查询，服务注册向其提 供w s d l ，并通过传输绑定服务然后来执行服务的功能。 因此在面向服务的体系结构中的服务提供者、服务注册中心、服务使用者的 具体操作如下： 1 发布：由服务使用者来提交发布服务到注册中心，为了使服务使用者发现和 调用，需要对服务进行描述。 2 发现：即查询服务注册中心找到满足其标准的服务，由服务请求者定位服务。 3 绑定和调用：当服务注册中心得到服务使用者的请求之后，并检索完服务描 述，服务使用者依据服务信息描述来调用服务。 河南大学硕士研究生学位论文第7 页 服 服务注册代理 发现 描述 绑 被交换 信息通信 服务提供者 图2 - 1 基于s o a p 的w e b 服务 s o a 并不是一个新的概念。需要一个专门的服务器来存放和管理服务实体， 组件的生命周期随着服务运行的结束而终止，因此某些服务功能或者服务器出现 问题时，其他应用服务在服务器上运行也会受到很大的影响。w e bs e r v i c e s 提供了 一种在不同系统平台、不同软件应用间进行通信和互操作的标准手段，使得平台 异构性、服务组件的可重用性更好的得到了解决，从而更易于的实现s o a 的架构。 2 1 4 基于w e bs e r vic 6 s 的s o a w e bs e r v i c e s 的目标就是在统一的w e b 标准之下实现应用程序级别的互相通 信和互操作，有着松耦合、跨平台、标准化、高扩展性和灵活性的特点。利用w e b 服务可以很好的实现服务在w e b 层次上的互操作，并为服务的整合，特别是电子 商务领域中商业过程的组合或服务链的形成提供良好的基础1 2 钔。同时，w 曲服务 还带来了效率和安全性等问题，这些问题部分随着w e b 服务的发展得到解决，有 些则可能是提高系统互操作性不得不付出的代价。总体说来，w e b 服务不失为实 现s o a 的一种有效途径。下面是基于s o a p 和r e s tw e bs e r v i c e s 的简介。 基于s o a p 的w e b 服务是一系列标准( s o a p 、u d d i 、w s d l 和w s f l ) 的综 合，但是这些标准还不成熟，正处在发展中。s o a p 是w e bs e r v i c e s 标准规定中应 用最广泛的对象传输协议【2 5 2 6 2 7 】，它是一种不依赖传输协议的表示层协议。u d d i ( u n i v e r s a ld i s c o v e r y 、d e s c r i p t i o n 、i n t e g r a t i o n ，通用描述、发现和集成) 规范则 河南大学硕士研究生学位论文第8 页 定义了一种用于w e b 服务的发布、发现和集成的标准方法，它可以让服务提供者 发布、查询服务并动态绑定服务，但u d d i 并非唯一的发布机制。w s d l ( w e bs e r v i c ed e s c r i p t i o nl a n g u a g e ，网络服务描述语言) 则是一种用来描述w e b 服务接口的技术，它常位于u d d i 注册中心，以方便用户和其他服务查找1 2 引。 2 2 并行计算技术 并行计算( p a r a l l e lc o m p u t i n g ) 是指同时使用多种计算资源解决计算问题的过 程t 2 引。通常是将一个任务通过某种方法分解成多个子任务，将这些任务或者子任 务分配给不同的处理节点( 处理器) ，不同节点之间相互协同，并行地的执行完整 个任务，使得整个任务完成的更快，或者降低了整个任务求解的规模。因此并行 计算需要具备以下三个基本条件：并行机、任务可分离、并行算法。 ( 1 ) 并行机：并行机是首要条件，至少包含两台或两台以上的处理机，并且保 证这些并行机之间是相互连接的，可以相互通信的。 ( 2 ) 任务可分离：要求解的任务可以分解为多个可以并行执行的子任务。而这 个分解过程就是设计并行算法的过程。 ( 3 ) 并行算法：在并行机提供并行程序运行的环境上，实现并行算法，编写并 行程序，然后将其运行，并行的求解任务。 而对于要求解的任务来说需要具备以下特征： ( 1 ) 任务可以分离成离散的，可以同时解决。 ( 2 ) 实时地执行多个程序指令。 ( 3 ) 单个计算资源下求解耗时大于多计算资源下求解耗时。 2 2 1 并行计算研究内容和目标 对于具体的求解任务，采用并行计算技术主要是以下两种方式来解决求解任 务的问题： ( 1 ) 减少任务求解所需的时间。例如，某个任务在单个计算资源上串行求解需 要1 0 天，这个对于很多任务来讲都是无法忍受的，特别是当应急时，更是不可取 的；假如使用2 0 0 台并行机同时工作，假定加速比为1 2 0 ，那么在2 小时就可以达 到任务求解的目的。 ( 2 ) 扩大任务求解的规模。例如，假设单个计算资源内存为2 g b ，在进行光子 追踪这个任务求解时，只能计算1 0 0 万个光子，但是一束光有无数多个，为了使 河南大学硕士研究生学位论文第9 页 仿真的结果更加精确，可以同时使用2 0 0 台并行计算资源，这样可以使任务求解 的规模线性的扩大了2 0 0 倍。可以得到1 0 00 0 00 0 0 个光子在实验场的收敛情况。 并行计算主要是根据物质的并发性而提出的，而并发性是物质的普遍属性， 很多实际求解的任务都分解为能够并行计算的多个子任务。另外当前的单一计算 资源已经远远达不到很多学科和商业应用的需求，并行计算是目前唯一能解决这 一需求的最好办法，无论是从时间上还是空间上都能很好的解决各类需求。随着 硬件的发展，使用并行计算可以大大降低任务求解的成本，提高任务求解的效率。 综上所述，通过并行计算，使得一些大计算量的计算科学、工程或者商业任 务，得到很好的解决，从而也更好的解决了应用需求和任务求解速度、任务求解 的规模之间的问题1 3 。由并行计算的三个必备条件和求解任务特征可知，主要研 究内容大致可分为四个方面： ( 1 ) 根据并行节点的体系结构提取其高性能计算的特征，设计并行计算模型、 给出并行性能的评价方法，设计合理的并行算法，实现并行程序。 ( 2 ) 根据任务求解的需求，将求解任务分为可以利用多个计算资源的子任务， 设计高效合理的并行算法，验证并行算法的可行性和对并行结果进行分析。 ( 3 ) 设计并行程序和优化并行性能，实现并行技术。可以利用目前的并行编程 环境。如：o p e n m p ( 基于共享的存储平台) 、m p i ( 消息传递平台) 。结合并行节 点的高性能计算的特征和求解任务的需求，得到合理的求解任务的并行程序，并 且不断的优化并行程序的性能。 ( 4 ) 通过实验或者仿真来验证和确认并行算法和并行程序的正确性和效率。从 而使得并行算法和并行程序能在实际项目中加以应用，任何并行算法的研究最终 目的是为了更好的应用于实际任务的求解，否则就失去研究的意义，更加不能称 之为一个好的算法和程序。 上述四个方面是相互紧密联系，不可分割的。( 1 ) 是并行计算研究的环境， 为并行计算研究提供平台和支撑；( 2 ) 、( 3 ) 是并行计算的核心研究内容，只有做 好( 2 ) ( 3 ) 才能保证更好的解决求解任务的问题的目的；( 4 ) 是并行计算的最终 目的，也是验证( 2 ) 和( 3 ) 的最好手段，为( 2 ) 和( 3 ) 的研究提供更好的应 用前景和需求。 而将一个任务分解为多个子任务，相当于多个任务同时并行。对于多个任务 的调度策略直接影响着最终任务求解时间。因此研究任务调度是并行计算的主要 河南大学硕士研究生学位论文第1 0 页 部分。并行系统中任务调度的目标就是要对用户提交的任务实现最优调度，并设 法提高网格系统的总体吞吐率。具体衡量指标包括： ( 1 ) 最优跨度； ( 2 ) 服务质量q o s ； ( 3 ) 负载均衡； ( 4 ) 并行加速比； ( 5 ) 并行性能； ( 6 ) 并行效率； ( 7 ) 经济原则。 2 2 2 并行计算的发展趋势 自九十年代以来，并行计算机的体系结构发展趋于成熟，研制周期只有几个 月的时间，为并行计算的发展提供了先决条件；并行机的发展经历了以下几个阶 段【3 l 】： ( 1 ) 向量机( 超级计算机) ：c r a y ，银河i ； ( 2 ) s m p ( 小型机) ：i b mp 6 9 0 ，s u n ； ( 3 ) m p p ( 大规模并行机) ：t 3 e ，曙光1 0 0 0 ，h p ； ( 4 ) c c n u m a ( 分布式共享存储机) ：s g iq r i g i n ； ( 5 ) 机群系统：联想深腾1 8 0 0 ，i b ms p 2 。 信息技术的迅猛发展，使得数值计算技术迅速得以发展和普及，使得所要解 决的问题的计算模型越来越复杂，数据规模越来越大，求解精度越来越高，时间 周期要求越来越短，而解决这些问题的唯一方法就是并行计算，因此并行计算是 未来某一阶段必然的发展趋势阎。特别是机群系统的提出，使得并行计算的发展 有着更加广阔的空间，以下是机群系统相比较传统的并行处理系统具有几个明显 的特点： ( 1 ) 并行计算技术的发展，各种高级语言也在向并行开发靠近，编程人员可 以在自己熟悉的编程环境下实现； ( 2 ) 系统开发周期短，机群系统多是采用通用网络和商用工作站，大大降低 开发周期； ( 3 ) 系统可扩展性强，因为机群系统都是使用通用网络，扩展相对容易： ( 4 ) 结构灵活，用户可以充分利用现有设备，将各种不同性能和不同体系结 构的并行机或工作站连在一起使用： 河南大学硕士研究生学位论文第1 1 页 ( 5 ) 系统开发成本低，机群系统硬件大部分是由p c 机构成，目前硬件的价 格相对较低： ( 6 ) 用户投资风险小，机群系统中每一台p c 都是一个独立的单位，不断可 以当着并行节点使用，而且还能为别的科研或商用服务，一个节点多种用途。 多核处理器的出现，更迸一步的让并发执行的多个程序一更高效的方式执行， 程序执行效率有了本质的提升1 3 引。随着处理器核数的增加，程序的并行执行度可 以更高，但是目前不少用户觉得多核并没有带来明显的性能提升，主要原因之一 就是开发并行执行程序的难度非常大，编写的程序很难充分的利用多核处理器带 来的并行计算优势，程序员将执行的任务并行化是一个很重要的课题。 河南大学硕士研究生学位论文第1 2 页 第3 章基于s o a 的平台架构设计 本章主要根据遥感领域业务需求和现有资源分配情况进行分析，结合2 1 节分 析的传统软件体系结构和基于组件的软件体系结构的缺点，以及基于s o a 的软件 体系结构的思想，建立了一个适应性较强、跨平台、可重用性强、可维护性强、 能够很好的利用现有资源、摆脱面向技术的解决方案的束缚的系统架构。 3 1 基于s o a 的平台架构设计依据和目标 3 1 1 平台架构的设计依据 构建一个s o a 的系统架构主要的问题在于，将一些组件抽象为服务的思想， 最终的目的是为了拉近业务需求和软件开发之问的距离，从而更好的设计出一个 良好的系统架构，并加以实现。所以必须积累和收集一些好的开发实践经验，汲 取一些好的面向对象和面向组件设计中的实践经验，将工作流和商业建模技术融 合在一起，达到构建一个基于s o a 的系统架构。在构建基于s o a 的系统架构时， 必须有一些构建的依据。以下将从服务和整体两个方面来说明我们构建基于s o a 的系统架构的依据： 从服务的角度出发，有以下几个依据： ( 1 ) 粗粒度：我们在设计构建s o a 的系统架构时，尽可能地进行粗粒度的建 模方式，只有这样才能不损害相关性、完整性、一致性。才能根据业务有效地组 合出良好的业务流程，开发出健壮的应用程序。 ( 2 ) 静态接口：设计架构时，服务接口应是静态的，为了使将来扩展更加方便， 不用破坏服务本身。 ( 3 ) 服务透明：服务内部的实现对于用户来说是完全透明的，用户不需要关心 处理过程是怎样实现的，用户与服务的交互完全通过统一的公共接口来完成。对 于用户来说，只需要关心，什么样的服务才是他所需要的。 ( 4 ) 接口少：为了使用户更加容易的查找到相应的服务接口，服务注册中心为 用定位服务的时间更短，同时也使将来的维护更加容易、方便，因此我们尽量减 少服务的公共接口。 从整体的角度出发，有以下几个依据： ( 1 ) 松耦合性：首先要搞清楚服务之问的关系，尽量将它们之间的依赖性降到 最低，保证服务之间具有良好的松耦合的关系，是的系统具有更好的灵活性、适 应性和敏捷性。 河南大学硕士研究生学位论文第1 3 页 ( 2 ) 独立性：在配置和使用这些服务时，每个服务都是被独立配置和更新的。 这样可以更好的使用和维护每一个服务。 ( 3 ) 需求明确性：在构建基于s o a 的系统架构，不断要完全理解当前的业务 需求，而且要对未来的发展趋势也要做详尽的分析。使得系统具有良好的扩展性 和重用性。 3 1 2 平台架构的设计目标 构建基于s o a 的系统架构通常需要面临两方面的问题：一方面是如何快速的 应对，无论是内部还是外部的需求的快速变化，提高系统的适应性：另一个方面 是节约成本，有两个途径，一是利用好原有的资源，二是降低开发成本。我们在 解决面临的问题的同时，需要使得构建的s o a 系统架构达到以下几个目标： ( 1 ) 对新的业务需求适应性更强，反应更加敏捷 在构建系统架构时要求每个服务之间尽量保持各自的独立性，体现出松耦合 性，当新的需求出现时可以更加容易的进行。可以直接集成已有的资源，缩短新 需求开发的时间，使得有更好的适应性和更快速的反应。 ( 2 ) 更好地利用现有资产1 s o a 的精髓就是抽象服务，所以一定要利用好现有的应用程序，将这些现有 的应用程序封装成服务，使得原有资产继续发挥作用，不必一切都重新建立，这 样才能更好的节约成本。 ( 3 ) 整合和管理系统的复杂性降到最低 基于s o a 的系统架构对服务的实现，对终端用户是完全透明，通过对服务接 口的描述实现了集成。即使更改了具体实现，也不会影响到整个系统。即使服务 的具体实现尚未完成，也可以以纯框架的形式展现给用户，降低了整合和管理系 统的复杂性，当系统非常庞大时，优势更加显著。 ( 4 ) 功能重用性更好 基于s o a 的系统架构中核心服务都是相互独立，以一种松散耦合的方式展现， 这样可以根据业务需求进行随意组合。这样可以增强功能的重用性，将重复的功 能尽量减少。 河南大学硕士研究生学位论文第1 4 页 3 2 平台框架 平台在设计过程中依据3 1 1 ，通过s o a 架构、w e bs e r v i c e s 技术规范，使平 台成为一个可靠的、灵活的、高效的应用服务系统，满足海量遥感影像数据处理 的实际需求，从而达到3 1 2 节的4 个目标。 资 源 管 理 层 图3 l 系统架构图 根据遥感海量数据处理的实际情况，我们构建的基于s o a 架构的海量遥感数 据并行处理平台分成三层( 如图3 1 所示) ：应用层，w e b 服务层，资源管理层。 在基于s o a 的海量遥感数据并行处理平台中，“服务指由对各种遥感数据处理、 加工成为产品而提供的有效资源集及与系统交互的接口。通过此服务可以最大限 度地确保资源的有效性和实时性，获得实际意义而非电脑平台意义上的效用。w e b s e r v i c e s 项目组件集平台中是一个关键部分。在符合通用w e bs e r v i c e s 体系规范的 前提下，项目组件集( 根据w e bg i s 应用的需要，可以包含专业的遥感数据处理， 如：定位场、陆地覆盖、辐射矫正、云遮蔽、气溶胶、地表发射率、路表温度、 带坐标的辐射矫正、带坐标的云遮蔽、带坐标的气溶胶、带坐标地表反射率、带 坐标的地表温度、可视化网络控件等) 可以选择不同的软件平台进行开发，通过它 就可以借助编程利用已有的服务来实现相同的功能。 一一 应用层一 嗣。服务层 一 河南大学硕士研究生学位论文第1 5 页 3 2 1 应用层 应用层主要由用户端提交任务和其他现有的遥感系统用户端构成。其工作流 程是接受用户的操作请求，并将请求操作封装成x m l g m l 格式，建立h t t p 链 接，发送请求给服务器，同时将服务器传来的x m l g 池数据进行处理和解析， 进行数据和功能的组织，提供用户交互和数据表达界面。用户在客户端浏览器或 其它终端主要是利用w e b 浏览器或其它客户终端例如手机或p d a 等进行展示，使 用s o a p 和w s d l 实现最简单的企业服务总线，则总线提供了一个平台，类似于 消息系统，对服务请求和响应、同步和异步等进行控制和管理，方便使用、降低 复杂度。而跨平台、跨应用的数据共享和集成给w e b 数据服务带来安全性问题。 为了保证数据发布的安全性，在应用层需要用户认证、消息封装、数字签名等方 面进行安全设计。 3 。2 2w e b 月艮务层 基于s o a 构建的w e b 服务层包括海量遥感数据并行处理子系统和其他已经建 成的遥感系统。如果在面向组件式系统架构时期，这些子系统往往要在同一台机 器上或同一个局域网上，用同一种语言编写、编译。在基于s o a 的海量遥感数据 并行处理平台应用下，用户提交任务可以不管其它各个子系统是使用什么语言编 写的，也不管它们分布在互联网的哪些地方，只要根据其提供的w e b s e r v i c e s 接 口界面，把它们都当成w e b s e r v i c e s ，平台根据用户的业务需求向各个子系统发出 h t t p 请求，快速拿到响应结果，然后进行数据处理，处理结果将以友好地形式全 面呈现给用户。成功地解决了面向组件技术的局限