（计算机应用技术专业论文）基于oracle+10g的网格计算及其优化查询的研究.pdf

摘要 摘要 网格计算是伴随着互联网技术而迅速发展和逐渐成熟起来的，这给数据网 格提供了基本的框架体系。但通用的网格技术又远远不能满足数据网格的需求， 因为大量数据需要及时查询与处理，并且需要有效、安全、快速、可靠的被分 散于世界各地的专家、学者访问，比如电子政务系统，每天有数以万计的人员 浏览网页、查询资料、递交文件、审批等，其中查询占有相当大的比重。这种 计算和数据密集性的特性使得数据网格与其它专业网格容易区分开来，因而在 数据网格中需要寻求提高副本快照的查询效率。 在数据网格环境中，对快照管理在执行单个查询前需要相关数据副本被本 地复制，这就产生了数据副本的一致性问题。必须对副本进行管理，一是复制 数据集的定位管理问题，另一个是维持已更新的原始数据及快照副本的一致性。 目的是使访问者可以精确地定位并获得可靠的、一致的副本快照，节省网络带 宽的开销和减少同步。因此，优化查询也成为数据网格中的关键技术之一。 本文针对数据网格中多站点的副本快照的非一致性管理，参考当今国内外 最新的研究成果。首先，介绍了典型的副本管理方法，以及在o r a c l el o g 数据 网格中的负载平衡，目的是使经典的副本管理技术和网格中的负载平衡应用到 优化查询当中。然后，结合当前的实验条件，本文探讨了一种基于快照管理的 数据副本的定位方法和处理技术，设计和实现了在o r a c l el o g 数据网格中的一 种基于副本快照管理的优化查询方法，该方法的目在于定量定位副本和定量处 理副本的一致性问题。最后，并以电子政务查询为背景进行实验得以验证，以 提高在副本快照的优化查询系统当中的处理速度和性能。 实践表明，基于o r a c l el o g 网格平台构建的电子政务查询方法符合电子政 务的发展要求。现实中较好地解决了当前电子政务各部门资源的冗余和共享问 题，尽可能寻求一致性相对较好的快照副本，减少副本快照的同步，均衡局部 网络出现的拥塞，成功地降低了网络带宽的限制，从而提高了优化查询的效率。 并且，这里使用o r a c l el o g 构建的网格平台有利于优化查询，并具有运行稳定、 性能良好、易于维护，也具有较好的可扩展性和安全性等优点。 关键词：数据网格副本快照负载平衡非一致性优化查询 东北电力大学硕士学位论文 a b s t r a c t n l ei n c r e a s i n gd e v e l o p m e n ta n dm a t u r a t i o no fg r i dc o m p u t i n gi sa l o n gw i t ht h e d e v e l o p m e n to fi n t e r a c tt e c h n o l o g y , w h i c hp r o v i d ee l e m e n t a r yf r a m e w o r kt ot h e d a t ag r i d b u tt h eg e n e r a lg r i dt e c h n o l o g yi sf a rf r o ms a t i s f y i n gt h ed a t ag r i d s r e q u i r e m e n t i nt h ed a t ag r i d ，al o to fd a t an e e dt ob eq u e r i e da n dp r o c e s s e di nt i m e ， a n dn e e dt ob ea c c e s s e de f f i c a c i o u s l y , s e c u r e l y , q u i c k l y , r e l i a b l yb ye x p e r t sa n d s c h o l a r sd i s t r i b u t e da l lo v e rt h ew o r l d f o ri n s t a n c e e v e r yd a yt h o u s a n d so fp e o p l e n e e db r o w s et h es a m ew e bs i t e ，q u e r yi n f o r m a t i o n ，s u b m i td o c u m e n t ，e x a m i n ea n d a p p r o v e ，e t c a n do c c u p a t i n gc o e f f i c i e n t i sv e r yl a r g e - s c a l e ，w h i c hi s e a s i l y d i f f e r e n t i a t e db e t w e e nt h ed a t ag r i da n do t h e rs p e c i a lg r i d sb e c a u s eo ft h e c h a r a c t e r i s t i co fc o m p u t i n ga n dd a t ai n t e n s i v ep r o b l e m s t h u st h e r en e e dt os e e kt o e n h a n c et h eq u e r ye f f i c i e n c yo fs n a p s h o tr e p l i c a i ti sa d v i s a b l et ob el o c a l l yr e p l i c a t e dd a t as e t sf r o mt h er e p l i c ao fd i f i e r e n t n o d e si nt h ed a t ag r i db e f o r ee x e c u t i n gas i n g l eq u e r yi ns n a p s h o tm a n a g e m e n t ， w h i c hw i l lb r i n go u tt h ec o n s i s t e n c yp r o b l e m h o w e v e r , t h e r ea r et w ov e r yc r i t i c a l p r o b l e m si nr e p l i c am a n a g e m e n t o nt h eo n eh a n d i t st ol o c a t ea n dm a n a g et ob e r e p l i c a t e dd a t as e t s ，o nt h eo t h e rh a n d ，t h e r eh a v et om a i n t a i nu p d a t e do r i g i n a ld a t a a n dt h ec o n s i s t e n c yo fs n a p s h o tr e p l i c a i no r d e rt ol e ta n ya c c e s s e dp e r s o nt o a c c u r a t e l yl o c a t ea n da c q u i r et h er e l i a b l ec o n s i s t e n c yr e p l i c as n a p s h o t , a n dr e d u c e t h eo v e r h e a do fn e t w o r kb a n d w i d t ha n dd e c r e a s et h eo c c u r r e n c eo fs y n c h r o n i z a t i o n c o n s e q u e n t l y , t h eo p t i m i z a t i o nq u e r yw i l lb e c o m eo n eo fc r i t i c a lt e c h n o l o g i e si n d a t ag r i d s t h i sp 印e rf o c u s e st h ei n c o n s i s t e n c ym a n a g e m e n to fs n a p s h o tr e p l i c ab a s e do n t h ed a t ag r i di nm u l t i n o d e s a n dh a v er e f e r r e dt ot h ei n t e r n a t i o n a la n dd o m e s t i c r e s u l t so fu p t o d a t er e s e a r c h a tf i r s t ，t h ep a p e ri n t r o d u c e st y p i c a lm e t h o d so fr e p l i c a s n a p s h o tm a n a g e m e n ta n dl o a db a l a n c i n gi no r a c l e10 9d a t ag r i d s ，i no r d e rt o c o m b i n ec l a s s i c a lr e p l i c am a n a g e m e n tt e c h n o l o g yw i ml o a d i n gb a l a n c ei nt h eg r i d w h i c ha p p l yt oo p t i m i z a t i o nq u e r y n l e nt h e r ec o m b i n et h ec u r r e n te x p e r i m e n t a l c o n d i t i o n sw i t hm e n t i o n e dm e t h o d sa n dd e a lw i 血r e p l i c am a n a g e m e n t ，t h ep a 口e r d i s c u s s e sal o c a t i n gm e t h o da n dp r o c e s s i n gt e c h n o l o g yo fd a t ar e p l i c ab a s e d s n a p s h o tm a n a g e m e n t ，a n dh a v ed e s i g n e d ao p t i m i z a t i o nq u e r ym e t h o db a s e d r e p l i c as n a p s h o tm a n a g e m e n ti no r a c l e10 9d a t ag r i d ，a n dt h e nh a v ei m p l e m e n t e di t ， w h i c hi si no r d e rt oq u a n t i f i c a t i o n a l l yl o c a t ea n dd i s p o s et h ec o n s i s t e n c yo fr e p l i c a s n a p a h o t s m o r e o v e r , i ti se x p e r i m e n t e da n dc e r t i f i c a t e db yt h eq u e r yo p e r a t i o no f i i e l e c t r o n i cg o v e r n m e n ta f f a i r s ，s ot h a tw eh o p et oi m p r o v ep r o c e s ss p e e da n d p e r f o r m a n c ei no p t i m i z a t i o nq u e r ys y s t e m t h ep r a c t i c es h o wt h a tt h eq u e r ym e t h o db u i l d e du p o no r a c l e 10 9g r i d d l a t f o r mi ne l e c t r o n i cg o v e r n m e n ta f f a i r sa c c o r dw i t hi t sd e v e l o p m e n tr e q u e s t i nt h e f a c t ，i tp r e f e r a b l yr e s o l v er e s o u r c er e d u n d a n c ea n ds h a r ed u r i n gv a r i o u sg o v e r n m e n t d e p a r t m e n t s ，i no r d e rt os e e kt oc o m p a r a t i v e l yc o n s i s t e n tr e p l i c as n a p s h o t ，r e d u c e t h es y n c h r o n i z a t i o no fr e p l i c as n a p s h o t s ，a n db a l a n c et h ec o n g e s t i o no fp a r tn e t w o r k ， s u c c e s s f u l l yd e c r e a s et h el i m i to fn e t w o r kb a n d w i d t h s e q u e n t i a l l yt h em e t h o dc a n e n h a n c et h ee f f i c i e n c yo fo p t i m i z a t i o nq u e r y m o r e o v e r ，u s i n go r a c l el o ga n d c o n s t r u c t i n gg r i df r a m ep l a t f o r mt ot h ea d v a n t a g eo fo p t i m i z a t i o nq u e r y , w h i c hi s p r o v i d e dw i t hs t a b i l i z a t i o n ，b e t t e rp e r f o r m a n c e ，m a i n t a i na b i l i t y , e x p a n s i b i l i t ya n d s e c u r i t y , e t c k e y w o r d s ：d a t ag ri dr e p ii c as n a p s h o t l o a db a i a n t i n g i n c o n s i s t e n c y o p t i m iz a t i o nq u e r y i i i - 论文原创性声明 本人声明i 所呈交的学位论文系在导师指导下本人独立完成的研究成果。 文中依法引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法 律意义上已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申 请的论文或成果。 本人如违反上述声明，愿意承担以下责任和后果： 1 交回学校授予的学位证书； 2 学校可在相关媒体上对作者本人的行为进行通报； 3 本人按照学校规定的方式，对因不当取得学位给学校造成的名誉损害， 进行公开道歉。 4 本人负责因论文成果不实产生的法律纠纷。 论文作者签名：逐翌丝日期：盘竺年土月上日 论文知识产权权属声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属学校。 学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本人 离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时，署名单 位仍然为东北电力大学。 论文作者签名 导师签名： 日期：坦墨年生月上日 日期：兰年上月上日 第1 章绪论 第1 章绪论 1 1 课题的背景及意义 网格计算( g r i dc o m p u t i n g ) 是一个分布式和并行计算的支持平台，是一种无 缝、集成的计算和协同环境。它可以作为虚拟的整体而使用在地理上分散的计 算资源，如高速互连的异构计算机、数据库、科学仪器、文件和超级计算系统 等“1 1 。基于i n t e m e t 的网格计算系统不但能使人们聚集分散的计算能力，形成 超级计算的能力，解决诸如虚拟核爆炸、新药研制、政务、气象预报和环境等 重大科学研究和技术应用领域的问题，而且还能使人们共享和充分利用网络中 的各种资源。3 。 统计表明，一般p c 机的c p u 时间资源平均得不到5 的利用，同时许多 应用项目需要巨大的计算时间去解决专门的问题。由上亿台计算机组成的国际 互联网为纯数据交换提供了基础架构。作为为高级w e b 提供服务的新技术，网 格让未利用的机器时间来解决计算密集型和数据密集型问题。网格通过提高各 台计算机的使用效率，对所有重要的资源柔性的、高性能的访问把整个网络整 合成一台巨大的超级计算机，实现对计算资源、存储资源、数据资源、信息资 源、软件资源、通信资源、知识资源、专家资源等的全面共享。网格的核心就 是分布式计算和资源的共享与管理一“1 。 在网格环境中，主要是处理地理上分布在不同结点上的非均衡的海量数据， 为了能使用运行当中的未利用的计算机能力，网格的基础架构的先决条件就是 高速度数据传输率，目的是为了在运行时减少数据传输的存取时间和提高数据 传输的可靠性。这引起两个值得关注的问题，一是复制数据集的定位和管理， 另一个是维持已更新的原始数据和副本的一致性m ，。 在快照管理( 也叫物化视图管理) 方面对本地数据集的分布和定位副本提 出高标准要求。为了避免在存储静态快照时存在多个版本的副本同步，把本地 数据集的新版本分布到数据网格中的不同结点，而且将新版本添加到本地存储 的快照集中，有了快照的多个版本，用户可及时合并在不同结点所取得的以及 达到全局一致的快照。在原始数据和副本中要求完全一致将会付出非常昂贵的 代价，下面介绍用两阶段更新处理合并原始副本的方法。文献 3 ，7 中提到的方 法是将原始副本要么被修改要么副本保存在一种旧的状态，这样在原始副本和 副本之间导致非一致性，本文通过使用已变化的原始副本在第二步中副本进行 异步更新，以最低传输代价在那些可能的结点当中找到和定位副本，以更加准 确地保证快照的全局一致性。 东北电力大学硕士学位论文 本论文集中讨论了在数据传输中存在的非一致性问题的解决方法。为了存 取与主副本不同步的快照，不时地建立全局一致性，主副本的快照需要立即本 地存储，来避免同步更新的复杂处理，如果新的快照增加到现有的快照上而不 是替换老的快照，那么一个新版的历史纪录就建立了。如果接受过时的副本的 存取，这可能让用户通过在某一时刻选择不同的快照来建立一个差不多全局的、 但可能更加旧的全局非一致性快照。本文将阐述量化和比较快照不同的可能选 择方法以及当快照的本地储存受到限制时快照的管理机制，使得网络尽可能动 态负载平衡，以及在这种快照定位的量化分析下实现分布式环境下的网格电子 政务方案。 1 2 国内和国外的网格研究现状 1 2 1国外网格的研究和网格项目情况 在国外，网格研究主要在美国、加拿大和欧洲。如美国的“全球信息网格 ( g l o b a li n f o r m a t i o ng r i d ) ”、g l o b u s 项目，以及美国国家科学基金会正在建立 的“分布式兆兆级网格( t e r a c n - i d ) ”，利用网格技术将伊利诺州立大学超级计算中 心、圣地亚哥大学超级计算中心、阿贡国家试验室和加少 i 理工学院计算中心连 接起来，形成一个处理能力约为每秒1 3 5 万亿次浮点操作，存储容量接近7 0 0 兆兆字节的“巨无霸”计算中心，以供许多领域的研究机构使用9 1 。英国建设的“英 国国家网格( u kn a t i o n a l g r i d ) ”。2 0 0 2 年2 月微软公司加入推广网格计算技 术的行列，决定支持著名的网格计算技术组织g l o b u sp r o j e c t 。同时还向该组织 提供了1 0 0 万美元的资金支持，希望g l o b u s 工具包可以支持w i n d o w sx p 操作 系统及其w e b 服务解决方案n e t 。微软公司提出的参与计算( p a r t i c i p a t o r y c o m p u t i n g ) 概念与网格计算有异曲同工之处。i b m 决定将g r i d 技术应用拓展到 商用计算领域。i b m 希望以网格计算技术、o s 2 操作系统及w e b s p h e r e 平台软 件打造出可提供与n e t 类似的服务环境。同时，i b m 公司表示其w e b s p h e r e 、 t i v o l i 管理软件、服务器和内存系统以及服务器硬件设备都将支持g r i d 技术， i b m 还把o g s a 作为电子蜥蜴( e l i z a ) t 程的关键基石，为电子商务和商业网格 实现建立一个开放的、异构的、自我管理的服务器基础设施。s u nm i c r o s y s t e m s 公司在2 0 0 2 年2 月发布了针对网格计算和w e b 服务全面集成的软件平台一技术 计算门户( t e c h n i c a lc o m p u t ep o g a l ) ，s u n 公司新的网格计算w e b 服务解决方案 将为群集计算环境和校园网格环境，甚至全球网格( g r e a tg l o b a lg r i d ) 环境注入 活力。欧盟的“g l o b e ”项目，其目的在于研究一个统一而强大的大规模广域分 布式系统；另外，还有欧盟的c e r nd a t ag r i d 、荷兰的d a s 等”“。事实证明， 从美国、欧洲、日本等发达国家到泰国这样的发展中国家都启动了大型网格研 第1 章绪论 、 究计划，并得到了信息产业界的大力支持。 目前许多学者、企业和政府部门都热衷于o r a c l e 公司开发的网格数据库和 企业网格上。o r a c l ea p p l i c a t i o ns e r v e r1 0 9 作为o r a c l e 下一代的应用基础架构 软件集成套件，专门设计用于在计算网格上运行企业应用程序。首先，由于它 的出现，企业应用程序可以在许多低成本的服务器上运行，具有非常高的性能、 可伸缩性和可用性，同时极大地降低了监控和管理系统和应用程序的成本。其 次，客户不必做任何更改就可以将其全部现有的o r a c l e 9 i a s 应用程序部署到 a p p l i c a t i o ns e r v e r1 0 9 上，并能利用新的网格功能。o r a c l e a s1 0 9 通过o r a c l e e n t e r p r i s em a n a g e r1 0 9 网格控制进行管理，o r a c l ee n t e r p r i s em a n a g e rl o g 网格 控制是一种基于w e b 的管理控制台，能够使管理员将许多应用服务器作为整体 进行管理，因此使管理任务自动化并降低了管理成本。网格控制还提供实用工 具来支持许多管理员协调管理一个应用服务器网格。最后，o r a c l ea s1 0 9 还与 o r a c l ed a t a b a s el o g 进行多种方式的集成，从而优化在一个统一的网格计算基 础架构中数据管理和企业应用程序的服务质量“”。 1 2 2 国内网格的项目研究情况 在我国，许多研究单位和企业都开始了网格及其网格计算的研究。2 0 0 2 年 4 月，科技部在京召开“网格战略研讨会”，之后通过“8 6 3 ”计划“高性能计算”专 项的形式在“十五”期间支持网格的研究和应用工作。已经完成的网格研究项目 主要有清华大学的先进计算基础设施a c i ( a d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e ) 和以中科院计算为主的国家高性能计算环境n h p c e ( n a t i o n a lh i g hp e r f o r m a n c e c o m p u t i n ge n v i r o n m e n t ) 。 另外，我国正在进行的网格研究项目有：8 6 3 计划支持的“中国网格( c h i n a g r i d ) ”建设，有多家单位参加，“上海教育科研网格”，多所上海的大学参加，“仿 真网格”的研究，由航天二院和清华大学等单位共同开展，“织女星网格”由中科 院计算所负责组织开发。“。教育部组织的教育科研网格、上海教育科研网格， 北京一上海等城市网格等瞬”“，。人们正在研究百万亿次巨型计算机作为网络计 算节点来组建大范围的专业网格，实现大型科学研究和资源共享。 1 3 基于网格计算的电子政务的发展现状 许多地方政府都将国民经济和社会信息化作为“十五”规划的重要内容，北 京、上海、深圳、广卅i 、天津等沿海城市纷纷提出建设数字化城市或数码港计 划，其中电子政务的建设是数字城市建设的核心内容之一。有些地方政府明确 地提出了建设电子政务的时间表，如北京市的具体目标是：力争用两年时间， 东北电力大学硕士学位论文 到2 0 0 2 年底初步实现政府面向企业和市民的审批、管理和服务业务在网上进 行，政府内部初步实现电子化和网络化办公；在此基础上，到2 0 0 5 年底建成体 系完整、结构合理、高速宽带、互联互通的电子政务网络体系，最终建成北京 市政务系统共建共享的信息资源库，全面开展网上交互式办公。我国目前完成 和正在建设的主要电子政务项目有：建立领导个性服务系统；建立高速数据通 信平台；实现全国公文无纸化传输( 带电子红头印章) ；中国城市环境信息系统； 国务院防减灾系统( 包括g i s 和d s s ) ；国务院西部大开发系统( 包括g i s 和 d s s ) ：跨部门跨平台办公自动化、分布式交互政务典型应用系统等“。 在国外，加拿大以“政府在线”积极推动其电子政务的发展，计划在2 0 0 4 年 底将政府的信息和各种服务全部上网。这个计划从1 9 9 9 年1 0 月起动，首先加 强政府门户网站的建设，同时进行政府组织结构上的调整，使政府信息得以在 网上发布。 发展电子政务主要面临的问题就是“一体化”问题、“信息孤岛”问题及其所 谓的“数字鸿沟”1 。而产生这些问题的根本原因，在于政府部门之间都在抓 各自的应用，却忽略了数据的统一管理，造成对实施电子政务的目的还存在某 些偏差。o r a c l e1 0 9 网格应用于电子政务中的主要目的就是通过自动负载管理， 以达至4 有效地使用多余的计算容量，避免过剩的计算容量，使得信息资源协同 工作，统一管理；通过快速而有效的软件供应按需在低成本模块化单元中增加 计算容量，支持模块化的低成本容量扩展；通过自动管理系统减少昂贵的、容 易出错的人工干预。同时，网格中许多系统之间自动的软件供应和管理也起一 定作用，大幅度降低管理成本”。 1 4 课题研究的主要内容 1 4 1主要内容 本课题首先对o r a c l e1 0 9 网格计算体系结构进行了简要说明，然后阐述 o r a c l ed a t a b a s e1 0 9 、副本快照、网格负载平衡以及数据网格在电子政务中的优 化查询，在此基础上搭建了基于o r a c l e1 0 9 的网格计算平台，接着介绍了o r a c l e 1 0 9 网格环境中的快照管理策略，以此在全局数据网格中实现多个成员结点的非 一致性和快照管理的量化分析，将负载平衡的调度策略算法修改为分布式的基 于w e b 的并行算法并移植到网格电子政务环境中运行，增强了原有系统处理大 量数据的能力，提高电子政务系统的处理大容量数据和优化查询效率o ”2 ”。具 体解决的主要内容有： 网格电子政务系统的运行环境的搭建； 使用o r a c l e1 0 9e m 企业网格控制管理器实现网格的监控和管理服务，完成 第l 章绪 论 对网格计算环境中信息的发现、注册、分布式查询、修改等工作； 实现网格电子政务中协议传输文件的功能； 实现o r a c l e1 0 9 中数据网格资源的分配管理( g r i dr e s o u r c ea l l o c a t i o n m a n a g e m e n t 简称g r a m ) 的功能，完成远程应用的资源请求处理、远程任务 调度处理、远程任务管理等工作； 对o r a c l e1 0 9 网格来说，完善副本快照的管理，包括快照的选择、定位和 优化查询处理； 实现o r a c l e1 0 9 网格环境下的负载平衡，对照单数据库与网格数据库在信 息传输的响应，以提高电子政务的查询效率； 编写并行查询程序，使并行分布式查询算法在网格环境中运行。 针对以上几点，本课题做了大量的前期工作，搭建的网格计算平台适合于 进行各种类型的分布式计算和处理，并以电子政务的优化查询为实例进行测试， 使查询系统具有分布性、并行性和健状性等特点，在定程度上达到了预期的 目的。 1 4 2 论文的组织形式 论文共分五章。从网格计算的研究现状、网格的基本概念，到课题所关心 用到的数据网格的两个主要理论，其一是副本的定位管理与处理技术，其二是 分布式系统的负载平衡。最后，结合前面的两个主要问题，具体到基于网格的 查询优化上来。 第1 章为绪论，对网格计算和o r a c l e1 0 9 网格的研究现状作了较全面的介 绍，并分析o r a c l ed a t a b a s e1 0 9 网格数据库应用于电子政务的现状和展望。第2 章分析了现有网格计算框架以及o r a c l e1 0 9 网格计算的体系结构，重点分析了 o r a c l e1 0 9 网格计算环境的新特征。第3 章介绍了经典的数据网格中的副本管理 技术，主要描述副本管理服务的组成和功能。第4 章讨论了o r a c l e1 0 9 网格环 境中的数据传输策略，并分析了并行分布计算中的动态负载平衡及其迁移策略。 第5 章分析了数据网格的副本快照的定位与管理策略，设计了基于网格计算的 模拟电子政务的优化查询系统，并对一种在全局数据网格中多个成员结点的非 一致性和快照管理的量化分析方法进行详细分析与优化查询实践。使前面讨论 的并行算法、负载平衡等能在网格环境中运行与实验，以实现在o r a c l e1 0 9 网 格计算环境下的电子政务的动态负载平衡和查询优化。 1 5 主要贡献和创新 本文重点研究了数据网格环境下的一种快照管理策略和在o r a c l e1 0 9 数据 东北电力大学硕士学位论文 网格环境下的模拟电子政务当中的数据传输时的动态负载平衡。实验的结果丰 富了网格计算研究，对网格资源的有效分配和共享有着重要的实践价值。 具体来说，有以下几个方面的特点： 第一，本论文分析了o r a c l el o g 网格计算应用于电子政务的现状和可能性； 第二，本论文详细分析了o r a c l el o g 网格计算的框架体系结构，以及应用 于电子政务中的优化查询及网格数据库的可行性和特点； 第三，本论文重点探讨了在电子政务中应用网格于查询时，集中分析和实 践了两个关键问题：一是网格数据库中数据传输的效能，另一个是在传输时候 的动态负载平衡性； 第四，本论文集中探讨一种在全局数据网格中多个成员结点的非一致性和 快照管理的量化分析方法，设计了一种基于o r a c l el o g 分布式数据网格架构下 的电子政务优化查询方法，并通过多次重复实验获得了良好的效果。 第2 章o r a c l e1 0 9 网格计算的体系结构 第2 章o r a c l e1 0 9 网格计算的体系结构 网格计算( g r i dc o m p u t i n g ) 是- - 1 7 前景光明的新兴技术，业内人士对它的关 注程度与同俱增，而它与行业的关系更是越来越密切。学术与商业组织都正在 开发利用网格技术的应用程序。通常认为当前的i n t e r n e t 技术和w e b 技术实现 了计算机硬件和网页的连通，而网格技术则是要把整个因特网上的各种资源聚 合成一个巨大的虚拟计算机系统，从而实现全面的资源共享和协同工作。“网格” 代表了一种先进的技术和基础设施，是继i n t e m e t 之后又一次重大的科技进步。 2 1网格计算基础 2 1 1o r a c i e1 0 9 网格计算的定义 对于网格的深入研究，最早是从对网格计算，又称为元计算( m e t ac o m p u t i n g ) 开始的，它的核心思想是共享广域分布的各种计算机资源，从而获得超级计算 能力、数据处理能力和信息处理能力。简单的讲，网格是把整个网络整合成一 台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识 资源、专家资源的全面共享8 2 。网格不一定十分大，我们也可以构造地区性的 网格、企事业内部网格、局域网网格、甚至家庭和个人网格。网格的根本特征 并不一定是它的规模，而是资源共享。 那么，究竟什么是网格呢? o r a c l e1 0 9 数据网格又是什么样呢? 同样， o r a c l e1 0 9 网格是一个集成的计算与资源环境，或者说是一个计算资源池。网 格能够充分吸纳各种计算资源，并将它们转化成一种随处可得的、可靠的、标 准的，同时还是经济的计算能力。基于网格的问题求解就是网格计算。 这里给出的网格和网格计算的概念是相对抽象的，而且是广义的定义，其 实网格计算还有狭义的定义。狭义网格定义中的网格资源主要是指分布的计算 机资源，而网格计算就是指将分布的计算机组织起来协同解决复杂的科学与工 程计算问题。狭义的网格一般被称为计算网格( c o m p u t a t i o n a lg r i d ) ，是主要用于 解决科学与工程计算问题的网格。 有人认为，网格是仅仅通过网络把计算机、人、仪器、数据等连接起来， 这种观点是过时的，它过分强调了物理的网络和离散的网格资源，而没有将它 们作为一个有机的同一整体来看待。还有人把网格看作是中间件系统，这种观 点也是不全面的。中间件的确在网格中占有很重要的地位，但是网格决不仅仅 东北电力大学硕士学位论文 只是中间件。这两种观点都存在一定的片面性，第一种观点是过分强调网格物 理上的资源组崩，第二种观点过分强调网格逻辑上的功能，只有将两者结合起 来才是完整的网格系统。 一个基本的网格系统可以分为三个层次：资源层、中间件层和应用层，如 图2 - 1 所示。 图2 - 1网格系统层次构成 网格资源层是构成网格系统的硬件基础，其中包括各种网格资源，如超级 计算机、贵重仪器、可视化设备、现有应用软件。这些资源通过网络设备( 如 广域网) 连接起来。网格资源层仅仅实现了网格资源在物理上的连通性，而逻 辑上这些资源仍然是孤立的，不能解决共享的问题，因此，在网格资源层上要 实现网格中间件层来完成广域计算资源的有效共享。 网格中间件层是指实现网格资源共享的一系列工具和协议软件，其功能是 屏蔽网格资源层的分布、异构特性，向网格应用层提供透明、一致的使用接口。 网格中间件层也称为网格操作系统( o d do p e r a t i n gs y s t e m ，简称g o s ) 。网格中 间件层同时需要提供用户编程接口和相应的环境支持网格应用的开发。 网格应用层是用户需求的具体实现。在网格操作系统的支持下，网格用户 可以使用其提供的工具或环境开发各种应用系统。能否在网格系统上开发应用 系统解决各种大型计算问题是衡量网格系统优劣的关键。1 。 到目前为止，关于什么是网格和什么是网格计算，还没有一个普遍接收的 定义，关于网格概念的分歧和争议仍然存在，下面我们看看其他的关于网格或 者网格计算的定义： 1 网格即是下一代i n t e r n e t 这是一种非常简洁的定义方式，借助于人 们对i n t e m e t 的了解和认识，来说明网格可能对我们造成的巨大影响。但是它 没有对网格到底是什么给出直接的说明，这一定义强调的是网格的重要性和意 义。 2 网格即是复杂的虚拟组织网格计算就是在动态变化的、拥有多个部门 或者团体的复杂虚拟组织( v i r t u a lo r g a n i z a t i o n ) 内，灵活、安全地协同资源共享 与问题求解。所谓虚拟组织就是一些个人、组织或者资源的动态组合。这一概 念强调的是网格是为虚拟组织服务的，网格必须具备动态、协同资源共享的特 点。 第2 章o r a c l e1 0 9 网格计算的体系结构 3 网格即是资源的管理与共享网格就是方便资源管理、有效支持广域分 布的、多领域的科学与工程问题解决的中间件系统。这一定义强调的是中间件 系统在网格中的作用，正是因为中间件的存在，所以才使网格可以表现出与以 往系统不同的特点。实现资源的充分共享，网格的功能是在中间件的支持和管 理下完成的。 4 网格即是一体化的集成方法网格是创建分布式科学计算环境的一种一 体化的集成方法，这一环境包括计算、数据管理、科学仪器以及人类的协作。 这一定义强调的是主要用于科学计算的网格所应该具备的特点。 为什么会有这么多关于网格或者网格计算的定义昵? 首先，这说明了不同 的定义者看问题的角度以及侧重点的不同，也就是说网格具有多方面的特点， 网格功能具有多面性：其次，网格是面向问题的，网格是在真实的问题求解中 存在的，网格所面临的问题不同，对网格提出的要求就不同，因此在不同问题 求解者眼中的网格有所不同；再次，网格还处于发展阶段，并没有定型，因此 出现各种各样的关于网格的定义就不足为奇了。 为了解决这些问题，出现了一种新的计算模型网格计算模型。虽然业 内的一些领袖人物创造了一些新的名词，如按需计算( c o m p u t i n go nd e m a n d ) 、 自适应计算( a d a p t i v ec o m p u t i n g ) 、效用计算( u t i l i t yc o m p u t i n g ) 、托管计算 ( h o s t e dc o m p u t i n g ) 、有机计算( o r g a n i cc o m p u t i n g ) 和泛在计算( u b i q u i t o u s c o m p u t i n g ) 等”。但是，整个业界还是看好网格计算模型这个名词的前景，普 遍使用“网格计算”的说法。 随着大量网格项目的展开和网格技术的发展，关于网格概念和技术的一些 重要方面已经取得了相当大的相互认同，应该指出，网格概念应该是面向问题 的，随着人们解决问题的重点的变化，网格的概念也必然会产生转变，问题求 解刊是网格的最终目的。 2 1 2o r a c i e1 0 9 网格发展及其分类 1 o r a c i e1 0 9 网格发展在通信技术和计算机技术如此发达的今天，我 们为什么需要网格和进行网格计算呢? 下面有几点原因促使它的发展： ( 1 ) 设备利用率低几乎所有机构都存在大量的闲置计算资源，广泛分布在各 个地方。大型主机有4 0 的时间处于闲置状态，u n i x 服务器只有少于1 0 的 时间在真正“执行”任务，几乎所有的p c 每天有9 5 的时间什么都不做。这一 点从我们实验室的现状也可以看到。平时我们的p c 机使用效率很低，从 w i n d o w s 自带的任务管理器上可以看出，c p u 的使用经常在1 5 之间。只用 在启动一个程序或者运行一个大型程序时，c p u 的使用率才高一些。与此相对 的是，有些大型机或资源是不可复制的，有些资源无法和特定的地理位置分开。 东北电力大学硕士学位论文 这一切都造成了资源的极大浪费，我们投入大量的资金购置的i t 设备，却又一 半以上的时间没有利用，而有人却急需这些资源，却没有购买这些昂贵的 设备的资金，那么多余的计算能力该如何处理呢? 这是一个观念的转变。一些 人提出，计算能力最终也会像水力、电力那样成为整个商业社会发展的基础设 施。计算能力就像电力、自来水一样当作商品由公共购买。当一个企业在解决 某项问题需要计算能力时，他的第一反应不是去购买计算机等i t 设备，而是像 购买水力、电力一样去购买计算能力。 ( 2 ) 普通系统集成度不高网格计算的第二个由来是系统之间的集成问题( 如 动态的电子商务) 。现阶段我们开发的软件有一个很严重的问题就是所谓的”烟 囱式”问题。即各个应用程序之间的联系是很弱或是没有的。如各个企业系统之 间信息交互问题，这是企业进行电子商务所必须解决的问题。这一问题在企业 规模很小的时候可能体现不出来，但一旦企业的规模很大，要和其伙伴或客户 进行电子商务时这一问题就很明显的暴露出来。 因此，为了更好的集成、实现和维护这些系统，需要标准的技术和平台构 架以支持系统之间的集成。网格计算就是提供这种计算能力和解决系统集成所 需要的步骤中的一个阶段。网格环境把网络上现有的计算资源、存储资源能看 作一台虚拟的“超级计算机”，用户就像使用本地机群样使用和管理网格上的 各种资源。如同电力网中的电压、频率一样，网格环境也提供了一系列的标准 来解决异构、异种平台系统之闻的集成问题。 2 网格计算的具体表现类型根据系统的集成情况，网格计算主要有这样 几种表现类型：集中式任务管理系统，分布式任务管理系统，分布式操作系统， 参量分析、资源监测和预测，分布式计算接口等。 2 1 3o r a c i e1 0 9 网格的新特性 1 负载平衡负载平衡分为静态负载平衡s l b ( s t a t i cl o a db a l a n c i n g ) 和 动态负载平衡d l b ( d y n a m i cl o a db a l a n c i n g ) 两类o 。 静