（计算机应用技术专业论文）基于网格的图像内容检索研究.pdf

山东理t 人学硕l 学位论史摘要摘要随着多媒体、网络技术的飞速发展，图像信息的应用日益广泛，如何从大量的图像信息中快速而准确地检索出所需要的信息，已成为一个亟待解决的问题。随着大规模图像数据库的产生，基于内容的图像检索技术成为图像领域研究的热点问题之一。在过去的几十年中，各地的研究者提出了各种不同的基于内容的图像检索方法，以提高图像检索的精度和速度，但是仍然不能满足人们的实际需要。网格的出现为解决这一问题提供了一条新的途径。网格作为一种新型的分布式计算技术，逐渐成熟。网格具有超强的计算处理能力、良好的系统扩展能力和高效的分布式资源管理能力。它突破了计算能力的限制、存储能力的限制、资源分布的限制、资源共享方式的限制，适用于计算密集型、数据密集型应用。利用网格技术进行图像内容的检索是一种全新的尝试。为此，本文对基于网格的图像内容检索体系结构进行了研究，提出基于网格的图像检索的解决方案，即在网格中间层之上，为网格应用建立图像内容检索中间层，为用户提供了通用的图像检索平台。本文首先对图像检索技术和网格技术作了介绍。然后，针对图像检索中存在的问题，提出了解决方案，把网格技术和图像检索相结合，并设计了一种基于网格的图像内容检索系统，详细阐述了图像检索网格系统的体系结构，以及对系统中的各个模块进行了详细的设计和规划，为解决当前图像检索问题提供了一种很有前景的解决方法和思路。本文还完成了w i n d o w s 平台下g t 4 的安装、配置和测试工作，并构建了一个简单虚拟组织作为模拟网格环境，在模拟环境下，编写有关图像检索网格服务并对相关功能进行了测试。最后总结本文的研究工作，展望下一阶段的发展方向，为后续工作奠定了基础。关键词：图像检索；网格技术；网格服务山东珲t 人学硕卜学化论丈a b s t r a c ta b s t r a c tw i t ht h ed e v e l o p m e n to fm u l t i m e d i aa n di n t e r n e tt e c h n o l o g y , t h ea p p l i c a t i o no ft h ei m a g ei sm o r ea n dm o r ee x t e n s i v e h o wt or e t r i e v en e c e s s a r yi n f o r m a t i o nf r o ml a r g ea m o u n ti m a g ei n f o r m a t i o ne f f i c i e n t l ya n dq u i c k l yn e e d st ob es o l v e du r g e n t l y t h ec o n t e n t - b a s e di m a g er e t r i e v a l ( c b i r ) h a sb e c o m eo n eo ft h eh o tr e s e a r c ha r e a si ni m a g ed o m a i nf o rl a r g ei m a g ed a t a b a s e i nt h ep a s ts e v e r a lt e ny e a r s ，m a n yr e s e a r c h e r sp r o p o s e dv a r i o u sd i f f e r e n tc b i ra l g o r i t h m st oe n h a n c et h es p e e da n da c c u r a c yo fi m a g er e t r i e v a l ，b u tt h a ts t i l lc a nn o tm e e tt h ea c t u a ln e e d so fp e o p l e t h ee m e r g e n c eo fg r i df o rt h es o l u t i o nt ot h i sp r o b l e mp r o v i d e san e ww a y a san e wd i s t r i b u t e dt e c h n o l o g y , t h eg r i dt e c h n o l o g yh a sb e e nm a t u r e i tp r o v i d e sa l le f f i c i e n tm a n a g i n gw a yo fd i s t r i b u t e dr e s o u r c e ，s t r o n gc o m p u t a t i o n a lp o w e r , e x c e l l e n ts y s t e me x p a n s i b i l i t y , b r e a k st h el i m i to fc o m p u t a t i o n a lp o w e r , s t o r a g e ，r e s o u r c ed i s t r i b u t i n g ，t h ew a yo fs h a r i n gr e s o u r c e i ts h o u l db eaf i r e n e we x p e r i m e n tc o m b i n i n gg r i da n dc b i rt e c h n o l o g y a sar e s u l t ，t h i sp a p e rr e s e a r c h e so nt h ea r c h i t e c t u r eo fc b i rb a s e do ng r i d ，a n dp r o p o s e sas o l u t i o no fc b i rb a s e do ng r i d ，n a m e l y , a b o v et h eg r i dl a y e r , an e wl a y e ro fc b i ri sb u i l da sau n i v e r s a lc b i rp l a t f o r m t h i sp a p e rf i r s ti n t r o d u c e st h et e c h n o l o g yo fc b i ra n dg r i d s e c o n d l y , t h ep a p e rp u t sf o r w a r dan e ws c h e m eb yc o m b i n a t i o no fc b i ra n dg r i di no r d e rt os o l v et h er e s e n tp r o b l e m so fc b i r n e x t ，t h ep a p e rd e s i g n sac b i rs y s t e mb a s e do ng r i da n dp a r t i c u l a r l ye x p a t i a t e so nt h ef r a m e w o r ko fc b i rs y s t e ma n dt h ed e s i g no fe a c hm o d u l eo fc b i rs y s t e m i tp r o v i d e sar e s o l v i n gm e t h o da n di d e aw i t hg r e a tp r o s p e c tf o rc b i r t h i sp a p e rs u c c e s s f u l l yi n s t a l l s ，c o n f i g u r i n ga n dt e s t sg t 4u n d e rt h ew i n d o w so p e r a t i o ns y s t e m ，e s t a b l i s h e sas i m p l ev i r t u a lo r g a n i z a t i o na sas i m u l a t i v eg r i de n v i r o n m e n ta n dp r o c e d u r e sf o rt h ep r e p a r a t i o no fi m a g er e t r i e v a li nt h es i m u l a t i v eg r i de n v i r o n m e n tt od e v e l o pg r i ds e r v i c e sf o rt e s t i n gr e l a t e df u n c t i o n s f i n a l l y , t h i sp a p e rs u m m a r i z e st h ew r i t e r sr e s e a r c hw o r k ，l o o k sf o r w a r dt ot h ed e v e l o p i n gd i r e c t i o n sa n ds e t st h eb a s eo fs u c c e e d i n gw o r k k e yw o r d s ：c b i r ；g r i dt e c h n o l o g y ；g r i ds e r v i c ei l独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得山东理工大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研究生签名：互奠廓时间：籼1 年多月f 日关于论文使用授权的说明本人完全了解山东理工大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件和磁盘，允许论文被查阅和借阅；学校可以用不同方式在不同媒体上发表、传播学位论文的全部或部分内容，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后应遵守此协议)研究生签名：导师签名：互逮鸯割魂毛砂时间：劫田年f 月1 1 日时间：z 7 年月，日山东理t 人学硕f ：学位论文第一章绪论第一章绪论1 1 论文的研究背景及选题意义随着多媒体技术、数码技术以及互联网应用的飞速发展，图像数据库在各个领域得到了广泛的应用，如数字图书馆、医学图像、卫星遥感图像、公安系统、商标版权等。越来越多的人能够更加方便、快捷地接触到这些图像媒体，人们面临的问题不再是缺少图像媒体的内容，而是如何从浩瀚的图像海洋中快速、准确地找出所需的图像。这就要求有一种能够快速而且准确地查找访问图像的技术，也就是所谓的图像检索技术i lj 。自从2 0 世纪7 0 年代以来，在数据库系统和计算机视觉两大研究领域的共同推动下，图像检索技术已逐渐成为一个非常活跃的研究领域。数据库和计算机视觉两大领域是从不同的角度来研究图像检索技术的，前者是基于文本的，而后者是基于视觉的。基于文本的图像检索技术( t e x t b a s e di m a g er e t r i e v a l ) 的历史可以追溯到2 0世纪7 0 年代末期。当时流行的图像检索系统是将图像作为数据库中存储的一个对象，用关键字或自由文本对其进行描述。然而，完全基于文本的图像检索技术存在着严重的问题。2 0 世纪9 0 年代以来，基于内容的图像检索( c o n t e n t b a s e di m a g er e t r i e v a l ，c b i r ) 【2 】成为信息技术领域的研究热点。基于内容的图像检索的目的不是去理解或识别图像目标，它所关注的是对图像内容进行机器自动分析，直接根据图像内容特征信息建立索引，并且通过图像特征向量间的近似度量进行图像相似性匹配，在一定的响应时间内从图像库中查询到符合要求的图像。尽管c b i r 技术已经研究了十多年，有了很大发展，不过像图像检索实时性，计算复杂性、动态性强和内容难以精确描述等这些具有普遍性的问题还是远远没有得到解决。解决这些问题需要寻找一种新的计算技术，而网格技术正是这种要求的最好选择。网格1 3 j 是在动态变化的、拥有多个部门、或团体的复杂虚拟组织内，能提供灵活的、安全的协同资源共享或问题求解的计算环境。网格突破了计算能力的限制、存储能力的限制、资源分布的限制、资源共享方式的限制，其适用于计算密集型、数据密集型应用。是解决复杂海量、分布数据的访问、存储、组织和管理的一种有效技术。网格技术与图像检索相结合，可以将网格技术高效的分布式资源管理能力、良好的系统伸缩能力和超强的计算处理能力应用于图像检索中，提高图像的检索性能。为此，本文提出了一种结合网格技术的图像内容检索解决方案，即将图像内容检索应用于网格中间层之上，建立基于网格的图像内容检索应用层，为用户提供图像内容检索服务平台。山东理t 人学硕f 学位论文第一章绪论1 2 国内外c b i r 研究现状和存在的问题1 2 1 国外c b i r 技术发展现状国外有很多研究机构和商业组织都在进行图像检索的深入研究，提出各自的框架模型，其中比较有影响的是i b m 公司的q b i c i 4 系统，m i t 实验室的p h o t o b o o k 5 】系统和哥伦比亚大学的v i s u a l s e e k l 6 j 系统，这些系统还在不断完善，逐步向商用化发展。q b i c 4 j 系统是w n i b l a c d 和r b a r b e r 等组成的i b m 研究小组，自9 0 年代初一直致力于图像检索算法和系统研究，他们开发的q b i c 是第一个商业化的基于内容的图像检索系统，也被公认是基于图像检索的范例。该系统的框架和采用的技术对后来的图像检索系统产生了深刻的影响。q b i c 系统的图像库中存在几千幅图像，同时支持文本方式和基于内容的图像检索，基于内容的检索可以采用颜色，纹理和形状特征，颜色特征采用r g b 直方图法，用粗细度，对比度和方向性作为纹理特征，用圆度，偏心率，主轴方向和代数矩作为形状特征，此外，系统还可以根据用户提供的图像草图进行检索，系统检索的相似性采用加权的欧氏距离作为度量。后来，系统又添加了q u e r y b y p a i n t i n g 7 1 ，f l o o df i l l 8 1 ，e d g e b a s e d 9 j 等辅助工具，用户可以利用这些工具画出大概的查询图像，然后进行检索。q b i c 系统既可对整幅图也可对图像中的目标进行检索。b h o l t 和l h a r t w i c k 就是利用q b i c 系统，成功地对加州大学艺术系1 0 0 0 幅的图像进行了检索。p h o t o b o o k 5 j 系统着重解决预先决定的检索准则，通过对每一幅图像存储足够多的信息以减少系统运行时的实时计算丌销。图像在装入时，按颜色、形状或纹理特征分类，并且可以实现这些过程的自动化。一旦分类，图像根据类别通过显著语义特征压缩编码。这些较小的编码版本采用在查询时重构图像和计算附加的检索准则，如颜色直方图，用来匹配图像和识别手工工具。v i s u a l s e e k 6 j 是一种视觉特性搜索工具，其姊妹系统w e b s e e k 是面向w w w的文本图像搜索工具，两者都是由哥伦比亚大学开发的。其主要的研究是图像区域的空间关系查询和从压缩域中抽取视觉特性。系统所采用的视觉特性是颜色集( c o l o rs e t ) 和基于小波变换( w a v e l e t ) 的纹理特性。为了加速检索过程，他们采用了基于二叉树的索引算法。v i s u a l s e e k 支持基于视觉特征和它们之间空问关系的查询。w e b s e e k 是面向w e b 的搜索工具，包括三个主要模块：图像视频收集模块、主题分类和索引模块、搜索浏览和检索模块，并支持基于关键字和视觉内容的查询。除了上述几个检索系统外，还有一些其它的图像检索系统，如v i r a g e 公司的v i r a g e 系统【i o j 。美国u c s b 大学的a l e x a n d r i a 数字化图书馆项目中用于图像检索的n e t r a 系统】，u i u c 的m a r s 系统【1 2 】等等，这些系统也都取得了较好的研究成果。2山东理t 人学硕i 学位论文第一章绪论1 2 2 国内c b i r 技术发展现状国内从1 9 9 4 年开始关注这方面的研究，清华大学图形图像研究所、中科院计算所、微软亚洲研究院多媒体技术组、国防科技大学多媒体中心等科研机构在这方面都取得了一定的成果i l3 i 。i f i n d 1 4 】系统是微软亚洲研究院多媒体组开发的基于内容图像检索的原型系统，它提供了关键词检索、示例检索、分类浏览、相关反馈和半自动标引功能。其主要技术在于物理特征和语义信息相结合的检索技术，其特色在于基于语义传递的相关反馈技术。这项技术能够根据用户的相关反馈更新图像的标引信息，增加正反馈图像的标引链接或权值，减小负反馈图像的标引链接或权值，更新后的标注信息反过来可以更好的帮助相关反馈和接近语义层次的检索。清华大学计算机系结合国家8 6 3 高技术研究发展项目“w e b 上基于内容的图像检索的研究，于1 9 9 7 年研制了一个i n t e m e t 上的静态图像的基于内容检索的原型系统。该项目的研究目标是开发能在i n t e m e t i n t r a n e t 环境下，通过友好的人机界面，以颜色、纹理等图像特征或样本图像检索图像的方法和工具。国防科大多媒体开发中心设计开发了一个基于内容的视频新闻节目浏览检索系统i j l _ n e w sv i d e oc a r ( n e w sv i d e oc o n t e n ta n a l y s i s & r e p r e s e n t a t i o n ) 。该系统能对新闻视频的内容进行自动分析、分类和管理，用户在该系统的帮助下可以快速定位感兴趣的新闻片断，也可以快速掌握一段新闻的大意。另外，用户还可以通过关键字检索特定内容的新闻。中国科学院声学研究所开发的图像检索系统i m a g e h u n t e r 1 6 】主要基于纹理和颜色特征对图像进行检索，并且对这两种图像特征的综合检索进行了实现。此外，系统还加入用户反馈，通过反馈信息对参数进行不断调整以得到更佳的效果。云南大学信息学院设计开发了基于内容的商标图像检索系统【1 7 】，该系统使用图像的单元熵( 系统将图像等分为若干个子单元，然后计算每个单元的熵) 来描述图像的形状，用欧氏距离作为特征向量间相似性度量，该系统的建立有助于加强对商标的管理和保护。1 2 3 目前c b i r 存在的问题尽管国内外很多学者都在进行基于内容的图像检索系统研究，并取得一定的成果，但在某些方面仍存在不足，主要问题总结如下：1 、人机交互问题近几年，基于内容的图像检索技术强调特征提取和检索过程的完全自动化，试图找出能够解决一切检索问题的最佳视觉特征，但是计算机视觉和图像理解技术的山东理t 人学硕i j 学位论丈第一章绪论发展程度以及图像内容的多样化使这种方法始终没有取得理想的效果。2 、多特征融合问题在实际的图像检索中，仅仅依靠单一的视觉特征效果往往不够理想，需要将多特征融合在一起进行图像检索，但是，每一种低层特征都是有局限性的，对某一类图像有较好的检索效果，对其他类别的图像的检索效果未必适用。所以，即便是很多学者提出多特征融合，因为权重的分配、如何判断和表征每种特征在总体特征中占有多大的贡献依旧是个亟待解决的问题。3 、面向w e b现在w e b 正在以难以想象的速度发展和扩张，w e b 上已经存储了海量的数据，其中很多是图像数据，为了使用户能够从这些海量数据中检索出自己需要的资源，必须有强大的图像搜索引擎。而目前尽管已经有一些图像搜索引擎的相关项目，但需要达到和文本搜索引擎媲美的实用性阶段还需技术上的突破。综上所述，可以看出基于内容图像检索仍然是一个开放性的研究课题，其研究将涉及认知科学、人工智能、模式识别、图像处理、信息检索等多个领域。对于基于内容的图像检索中存在的重要问题，在图像处理和模式识别方面今后较长的时间内仍需要继续完善图像特征的提取、表达及相似性度量。网格技术的出现为我们提供了一条新的解决方法，利用网格可以充分利用网络上的计算和图像资源完成图像检索工作。1 3 网格技术的发展现状网格的发展正如火如荼，从网格的概念提出至今，国际上网格的研究已经由美国、欧洲、日本等发达国家发展到了印度等发展中国家。他们加入到网格研究的行列中更加地壮大了网格研究的规模并体现出网格将成为未来的一种发展趋势，目前网格的研究向着协议标准化，技术融合化，规模大型化的方向发展引。目前，网格研究组织和全球各大公司的合作更加促进了网格的发展。美国政府用于网格技术的基础研究经费已达5 亿美元。美国自然科学基金会资助的网格项目有n p a c ig r i d 和t e r a g r i d 等。美国军方对网格技术更为重视，正规划实施名为“全球信息网格( g l o b a li n f o r m a t i o ng r i d ) ”的巨型网格计划，此外还有美国宇航局( n a s a ) 支持的i p g 网格项目等。美国各大i t 公司如s u n 、o r a c l e 、i b m 、h p 等也纷纷投入巨资进行网格研究【1 9 】。国际上大型的网格项目还有欧洲数据网格e u r o p e a nd a t ag r i d ( e d g ) 、欧洲网格e u r o p e a ng r i d 、亚太地区网格a p g r i d ( a s i ap a c i f i cg r i d ) 、日本的d a t af a r m 网格和韩国的n g r i d 网格项目等。我国网格研究从1 9 9 8 年国家科技部的国家高技术研究发展计划( 8 6 3 ) 启动中国的“高性能计算环境”项目开始至今经历了1 1 个年头。尤其是在国家“十五”计4山东理t 人学硕i j 学位论文第一章绪论划期间，国家各部委先后启动了包括国家科技部的国家高技术研究发展计翅j ( 8 6 3 )“中国国家网格( c n g r i d ) ”、教育部2 1 1 公共服务体系建设项目“中国教育科研网格计戈l j ( c h i n a g r i d ) ”、国家自然科学基金委的重大专项“以网络为基础的科学活动环境研究”、国家重点基础研究发展规划( 9 7 3 ) 中的“语义网格的基础理论、模型、方法及关键技术”和“虚拟计算环境聚合与协同机理研究 等在内的国家级网格研究、开发和建设项目。这些研究项目在网格的各个方面都取得了有代表性的成果【2 们。目前，国内外开发的网格基础平台也有很多，如国内的清华大学校园网格c g ( c a m p u sg r i d ) t 具包、中科院计算所的织女星网格v e g ag o s 2 1j 工具包，以及国外的u n i c o r e ( u n i f o mi n t e r f a c et oc o m p u t i n gr e s o u r c e s ) 网格工具包和g l o b u s 2 2 1 项目组开发的g l o b u st o o l k i t 网格工具包等，其中以g l o b u st o o l k i t 工具包应用最为广泛，它目前是国际网格开发工具包事实上的标准。g l o b u s 项目是一个开源的研发项目，提供一套支持网格计算和网格应用的服务和软件开发的平台。由于g l o b u st o o l k i t 实现了网格的最新思想并且提供了良好的底层接口，所以目前很多大型的网格都是基于g l o b u s 平台开发的。g l o b u s 网格项目是由美国a r g o n n e 国家实验室等科研单位共同研发，全美有1 2 所大学和研究机构参与了该项目，它是目前国际上最有影响的网格计算项目之一。g l o b u s 工具包的源码向公众开放，任何人都可以从其官方网站下载。它能帮助人们开发在各种平台上运行的网格计算工具软件，帮助规划和组建大型的网格试验平台，开发适合大型网格系统运行的大型应用程序。g l o b u st o o l k i t 是g l o b u s 项目组晟重要的成果，其第一版在1 9 9 9 年推出，最新版本是2 0 0 8 年推出的r e l e a s e 4 2 i ( g t 4 ) 。目前，g l o b u s的技术已经在n a s a 网格( n a s a i p g ) 、欧洲数据网格( d a t ag r i d ) 、美国国家技术网格( n t g ) 等多个项目中得到应用。本文中的系统也是基于g l o b u s 网格平台设计实现的。1 4 论文研究的主要内容针对图像检索中出现的检索实时性、计算复杂性、动态性强及内容难以精确描述等问题，作者对网格技术进行了深入的学习与研究，分析了网格技术中的o g s a体系结构和g l o b u st o o l k i t 的组成，结合网格的特点，利用开放网格服务结构核心思想提出了一个基于网格的图像内容检索框架，并实现了该系统的功能。论文的内容组织结构如下：第一章：绪论介绍了课题的研究背景和意义，基于内容的图像检索研究现状和存在问题，c b i r 和网格技术的发展现状，以及本文的组织结构。第二章：阐述了网格的产生、概念、特点、体系结构和网格计算项目g l o b u s ，让我们对网格有了一个初步的认识，为应用网格技术作理论基础。山东理t 人学硕l ，学化论文第一章绪论第三章：介绍了基于内容的图像检索技术的系统框架，颜色空间，重点阐述了图像检索中常用的底层视觉特征描述方法，相似性度量方法和评估标准。第四章：针对图像检索中的问题，将网格技术引入图像检索系统中，阐述了系统设计思想、基于网格的图像检索系统体系结构，和系统总体流程。第五章：本章介绍了g t 4 安装过程，从而搭建网格平台并且在网格平台上开发了一个网格实例。搭建虚拟的网格平台，模拟实现了基于网格的图像内容检索系统，为今后开发一个完整的实际应用的基于网格的图像检索系统打下了基础。第六章：总结了全文和作者的工作，并指出了基于网格的图像检索技术的未来研究和发展方向。6山东理t 人学硕f j 学位论文第一二章网格卡几关技术2 1 网格的产生和概念第二章网格相关技术随着高性能计算应用需求的迅猛发展，传统的高性能计算和局域网环境下的并行计算已经不能胜任超大规模应用，人们需要数据处理能力超强的计算机，廉价而能力超强的计算模式网格计算就随之产生了。网格1 2 副的概念产生于9 0 年代中期，其构想来源于电力网。当用户用电时，只需将插头插入电源插座，并不关心所用的电是来自哪个发电厂的哪台发电机、是怎么分配、调度和传输的。同样，人们期望对计算机资源的使用能达到类似的状态，只要通过简单的接入，就可以获取自己所需要的资源，而不必关心资源的来源、实现细节和调度过程。网格是继传统互联网、w e b 之后的“第三个信息技术大浪潮”。传统互联网实现了计算机资源的硬件互连，w e b 实现了网页的连通，而网格则试图实现所有资源的全面连通和共享，其中包括计算资源、存储资源、通信资源、软件资源、信息资源和知识资源等。网格希望用户使用网格就像使用电力网一样简单和方便。顾名思义，网格是将广域范围的各类计算资源( 包括c p u 、存储器、数据库等)通过高速互联网组成充分共享的资源集成，提供一种高性能计算、管理及服务的资源能力。综合网格之父g l o b u s 项目开发组的领导者i a nf o s t e r 对网格的定义以及科研和产业界所提的各种网格概念，网格可描述成：网格集成动态、跨机构的虚拟组织的各种资源( 包括计算机、网络、数据、知识、仪器设备等) ，形成一台超级虚拟计算机，提供一种强大、易用、可靠、经济、标准的计算和服务能力，实现广域范围、多机构问的资源共享和协同问题解决阱】。网格计算利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”来使用，通过这种方法提高各台计算机的使用效率，使其整体的处理能力大大提高。在网格计算模式下，系统可以自动向每台计算机分配任务。如果其中一台计算机出现故障，其他的计算机可以自动替代它继续进行处理，网格计算是分布式计算( d i s t r i b u t e dc o m p u t i n g ) 的- - 种方式，这种计算方式具有很强的数据处理能力，其实质就是集中利用网上分散的闲置处理能力和资源。网格技术能更好的管理网上的资源，将之虚拟成为一个空前强大的体化信息系统，在动态变化的网络环境中，共享资源和协同解决问题，从而让用户从中享受可灵活控制的、智能的、协作式的信息服务，并获得前所未有的使用方便性和超强能力【2 5 1 。7山东理t 人学硕l j 学化论文第一二章网格相关手土术2 2 网格的特点及优势网格计算平台与过去的单机平台和局域网平台有质的不同，研究网格特点可以更好地认识与把握好网格的开发和应用。网格具有以下几种特点【2 6 1 。( 1 ) 分布性分布性是网格的一个最主要的特点，网格的分布性首先是指网格的资源是分布的。组成网格的各种资源，是分布在地理位置互不相同的多个地方，而不是集中在一起的。分布的网格一般涉及的资源类型复杂，规模较大，跨越的地理范围较广。因为网格资源是分布的，因此基于网格的问题求解一般也是分布式计算而不是集中式计算。( 2 ) 共享性网格资源虽然是分布的，但是它们却是可以充分共享的，即网格上的任何资源都可以提供给网格上的任何使用者。共享是网格的目的，没有共享便没有网格，解决分布资源的共享问题，是网格的核心内容。这罩共享的含义是非常广泛的，不仅指一个地方的计算机可以用来完成其它地方的任务，它还可以指中间结果、数据库、专业模型库以及人才资源等各方面的共享。分布是网格硬件在物理上的特征，而共享是在网格软件支持上实现的逻辑上的特征。( 3 ) 异构性网格资源是多种多样的，包括跨地理分布的多个管理域，组成网格系统的计算机也有多种类型，不同类型的计算机在体系结构、操作系统等多个层次上可能具有不同的结构。( 4 ) 动态性和可扩展性网格资源不是一成不变的，可以动态的加入和退出网格系统，原来拥有的资源或者功能，在下一时刻可能就会出现故障或者不可用，而原来没有的资源，可能随着时间的推移会不断地加入进来。由此可能带来网格性能的巨大变化，网格必须能够适应规模的变化。利用网格进行计算能够提供许多传统计算模式所没有的好处，具体地讲网格具有如下优势例：( 1 ) 更好地利用计算资源。网格计算可以更加有效地使用分布式的计算资源，提供更多可用的计算力。这可以减少对市场的响应时间，提高产品创新能力，为改进产品质量进行额外的测试和仿真。网格计算通过使用现有的资源帮助组织机构保护i t 方面的投资，以不变的投资获得更多计算能力。( 2 ) 增加用户的生产力。通过提供对资源的透明访问，用户可以更快地完成工作。用户还可以获得额外的生产力，因为他们可以专注于设计和开发，而不必为其它工作浪费宝贵的时间。山东理t 人学硕l ：学化论文筇：章嘲格栩天技术( 3 ) 高度可伸缩性。网格可以随时间无缝地增长，允许成千上万的处理器集成为一个聚簇。可以独立地升级系统组件，一旦需要就可以增加额外的资源，减少大量一次性支出。( 4 ) 高度柔性。网格计算可以在最需要的地方提供计算力，帮助更好地满足动态变化的工作负荷。网格可以包含异构的计算节点，允许根据指令增加或删除资源。2 3 网格体系结构网格体系结构是关于如何构建网格的技术，它包括两个层次的内涵。一是要标识出网格系统由哪些部分组成，清晰地描述各个部分的功能、目的和特点；二是要描述网格各个组成部分之间的关系，如何将各个部分有机地结合在一起，形成完整的网格系统，从而保证网格系统有效地运转。网格技术的权威i a nf o s t e r 将网格体系结构定义为“划分系统基本组件，制定系统组件的目的与功能，说明组件之间如何相互作用的技术”。由此可见，网格体系结构是网格的骨架，只有建立合理的网格体系结构，才能设计和构建好网格。到目前为至，比较重要的网格体系结构有三个，一个是f o s t e r 等在早些时候提出的五层沙漏结构【2 8 j ；另一个是f o s t e r 等结合w e bs e r v i c e 提出的开放网格服务体系结构( o p e ng r i ds e r v i c ea r c h i t e c t u r e ，o g s a ) t 2 9 】；第三个是最近提出的w 曲服务资源框架( w e bs e r v i c er e s o u r c ef r a m e w o r k ，w s r f ) t 川j ，下面分别加以介绍。2 3 1 五层沙漏结构五层沙漏结构主要以“协议”为中心，同时强调服务与a p i ( ( a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e ) 和s d k ( s o f t w a r ed e v e l o p m e n tk i t s ) 的重要性。五层沙漏结构根据各组成部分与共享资源的距离。将功能分散在五个不同的层次，从底层往上依次是：构造层、连接层、资源层、汇聚层和应用层。越向下层越接近于物理的共享资源，而且各部分的协议数量是不同的，其最核心的部分，要能够实现上层协议向核心协议的映射，同时实现核心协议向下层其它各种协议的映射，因此核心协议形成了协议层次结构中的瓶颈，在五层结构中，资源层和连接层组成了这一核心。各层具体构成如图2 1 所示：9山东理t 人学硕i j 学化论文第二章嗍格卡几关技术k - 一工具弓应扇应用层目录代理汇聚层诊断与监控等)磊婆主罂盖(资源与连接层稿嘴器等构造层图2 - 1 五层沙漏结构( 1 ) 构造层( f a b r i c )网格构造层的基本功能是控制局部的资源，向上提供访问这些资源的接口。构造层的资源是非常广泛的，可以是计算资源、存储系统、目录、网络资源以及传感器等。构造层网格组件实现对本地特定资源的访问，向上提供访问这些资源的接口。因此在构造层的各种功能实现上，有紧密和互相依赖的联系，还有对共享的支持。构造层能实现的基本功能包括查询机制、控制服务质量的资源管理能力等。( 2 ) 连接层( c o n n e c t i v i t y )连接层的基本功能是保证构造层的资源实体间相互通信的便利和安全。在这一层，网格定义了核心的网络事务处理所需要的通信和认证协议。通信协议允许在构造层资源之间交换数据，建立在通信服务上的认证协议提供加密的安全机制，用于识别用户和资源。通信的必要条件包括传输、路由和命名等功能。在实现上，通信协议大部分是从t c p i p 协议栈中抽取出来的。比如i n t e r n e t 体系结构的i n t e m e t 层( i p 与i c m p ) ，传输层( t c p 与u d p ) ，和应用层( d n s 、o s p f 、r s v p 等) 。( 3 ) 资源层( r e s o u r c e )资源层的主要功能是实现对单个资源的共享。资源层建立在连接层的通信和认证协议之上，定义的协议包括安全初始化、监视控制单个资源的共享操作、审计和计费等。资源层的协议只考虑单个的局部资源，忽略了全局状态和跨越分布式资源集合的原子操作，其协议实现调用构造层的功能以访问和控制本地资源。资源层的最重要两个协议是信息协议和管理协议，前者用于获得关于资源结构和状态的信息，后者用来协商对共享资源的访问。( 4 ) 汇聚层( c o l l e c t i v e )汇聚层的基本功能是协调多个资源的共享，实现虚拟组织。汇聚层组件建立在资源层和连接层形成的协议瓶颈之上，它们能够在不对资源强加新的要求的情况下实现广泛的和多样化的共享行为，如目录服务、协同分配、调度和代理服务等。由于汇聚层协议在资源层通用目的协议的基础上实现更高级的应用，因此，资源层协议必须是通用的，而且可以广泛使用。l o山东理t 人学硕l 学化论文第一：市网格相灭技术皇暑! 曼! 曼曼! 曼! 暑。一一一nmi i|( 5 ) 应用层( a p p l i c a t i o n )虚拟组织中的所有用户应用构成了网格的应用层，它调用下一层次中的服务来构造网格应用。从网格应用开发者的角度来看，下面各个层级的协议和服务都提供了相应的a p i 和s d k ，使得用户可以很容易的构造网格应用。五层结构的一个重要特点就是沙漏形状，“沙漏 的颈部定义了一组核心抽象和协议的集合，位于顶部的各种高级操作可以映射到这个集合中，同时这个集合可以映射到底部的各种不同的实现技术。核心协议在所有支持网格计算的地点都应该得到支持，所以核心协议的数量不应该太多。在五层结构中，资源层和连接层组成这一核心瓶颈部门。2 3 2 开放网格服务体系结构开放网格服务体系结构o g s a ( o p e ng r i ds e r v i c ea r c h i t e c t u r e ) 是在五层沙漏结构的基础上，结合w e bs e r v i c e 技术提出来的，它是一种以“服务 为中心的结构。这里的服务是指具有特定功能的网络化实体，包括各种计算资源、存储资源、网络和程序等等。五层模型中实现的是对资源的共享，而在o g s a 中，实现的是对服务的共享。从资源到服务将资源、信息和数据统一起来，使分布式系统管理具有标准的接口和行为。o g s a 中定义了“网格服务”，这是一种w e bs e r v i c e ，提供一组接口，定义明确并且遵守特定的惯例，解决服务发现、动态服务创建、生命周期管理和通知等问题。在o g s a 中，网格就是可扩张的网格服务的集合。支持w e b 服务的o g s a 架构如图2 2 所示，它还可以抽象为图2 3 所示的四个主要层次。图2 - 2o g s a 架构结构l iauo；量icnap叮ilito一l jj 东理t 人学顾i j 学化论史第一二章网格相关技术网格应用层基于o s g a 的网格服务层w e b 服务层物理和逻辑资源层图2 3o g s a 架构结构的四个抽象层o g s a 架构由四个主要的层构成，从下到上依次为：资源层( 物理资源和逻辑资源) 、w e b 服务层( 包括定义网格服务的o g s i ( o p e ng r i ds e r v i c ei n f r a s t r u c t u r e ) 扩展) 、基于o g s a 架构的网格服务层、网格应用程序层。具体介绍如下：( 1 ) 资源层资源的概念是o g s a 以及通常意义上的网格计算的中心部分。构成网格能力的资源不仅限于处理器。物理资源包括服务器、存储器和网络，物理资源之上是逻辑资源。它们通过虚拟化和聚合物理层的资源来提供额外的功能。通用的中间件，比如文件系统、数据库管理员、目录和工作流管理人员，在物理网格之上提供这些抽象服务。( 2 ) w e b 服务层o g s a 架构中的第二层是w e b 服务。所有网格资源( 逻辑的与物理的) 都被建模为服务。o g s i 规范定义了网格服务并建立在标准w e b 服务技术之上。o g s i 利用诸如x m l 与w e b 服务描述语言( w e bs e r v i c e sd e s c r i p t i o nl a n g u a g e ，w s d l ) 这样的w e b 服务机制，为所有网格资源指定标准的接口、行为与交互。o g s i 进一步扩展了w e b 服务的定义，提供了动态的、有状态的和可管理的w e b 服务的能力，这在对网格资源进行建模时都是必需的。( 3 ) 基于o g s a 架构的网格服务层w e b 服务层及其o g s i 扩展为下一层提供了基础设施：基于架构的网格服务。g g f 目前正在致力于诸如程序执行、数据服务和核心服务等领域中定义基于网格架构的服务。随着这些新架构的服务开始出现，o g s a 将变成更加有用的面向服务的架构( s o a ) 。( 4 ) 网格应用程序层随着时间的推移，一组丰富的基于网格架构的服务不断被开发出来，使用一个或多个基于网格架构的服务的新网格应用程序亦将出现。这些应用程序构成了o g s a 架构的第四个主要的层。o g s a 结构与五层沙漏结构相比有着以下特点：( 1 ) 以服务为中心的模型：如果说五层沙漏结构是以协议为中心的“协议结构”，1 2山东理t 大学硕i j 学位论文第二章网格相关技术其试图实现的是对资源的共享，则o g s a 就是以服务为中心的“服务结构”，其实现的是对服务的共享。o g s a 将一切看作服务，并定义了“网格服务”，该服务提供了一组接口，这些接口遵守特定的惯例，解决服务发现、动态服务创建、生命周期管理和通知等问题。因此，网格是可扩展的网格服务的集合。简单地说，网格服务= 接h 行为+ 服务数据。( 2 ) 统一的w 曲s e r v i c e 框架：w 曲s e r v i c e 描述了一种新出现的、重要的分布式计算范式，定义了一种技术，用于描述被访问的软件组件、访问组件的方法以及找到相关服务的发现方法，解决了发现和激发永久服务的问题。o g s a 是符合标准的w e bs e r v i c e 框架的。但是在网格中，大量的是临时服务，因此o g s a 对w e bs e r v i c e进行了扩展，提出的是网格服务( g r i ds e r v i c e ) 的模仿，使得它可以支持临时服务实例，并且能够支持创建和删除。( 3 ) 突破科技应用领域：正如w e b 技术一开始是为了科学协议而出现的，但是后来在商业领域却大量使用一样，o g s a 将原来主要在科技领域应用的网格技术转移到工商业领域。o g s a 面向服务的特点允许在不同的层次虚拟化资源，因此相同的机制可以应用于多个组织之问的分布式网格支持的协作，或者是跨越多个环境。o g s a 包括两大关键技术，即网格技术和w e bs e r v i c e 技术，它是在五层沙漏结构的基础上，结合w e bs e r v i c e 技术提出来的，解决了两个重要问题一标准服务接口的定义和协议的识别。以服务为中心是o g s a 的基本思想，在o g s a 中一切都抽象为服务，包括计算机、程序、