（计算机科学与技术专业论文）服务网格门户关键技术研究与设计.pdf

西北工业大学硕士学位论文 摘要 摘要 网格计算是近几年来出现的新兴技术。建立网格系统可以最大限度地综合利 用分布资源( 数据，计算能力，存储能力等) ，真正实现资源共享。然而面对目前 政务、科研、商业等领域普遍存在业务需求快速多变，迫切需要网格系统能够按 需动态集成，以即时应对需求变化的现状，传统单一的网格己不能满足需求，服 务网格被认为是一种满足上述需求的有效手段，其研制与开发逐步成为热点。但 不容乐观的是，对于用户及管理员来说，要想方便地“接入”服务网格环境，使 用服务网格中的丰富的应用服务，管理和维护服务网格中的资源，目前仍然是件 让人头疼的工作。服务网格门户能够很好地解决这一问题，它可以为用户使用服 务网格提供简单的、必要的接口。 但是目前在网格门户的建设方面，还只停留在计算网格、数据网格等几类最 早提出并投入实际应用的、大规模的专用网格上。并且这些网格门户系统过于庞 大，开发复杂，不易部署、集成及更新。在相对提出较晚，内容较新的服务网格 门户的建设方面，并没有很好的解决方案。因此，本文主要的研究对象是服务网 格门户。 针对服务网格资源分布面较广、处理对象较多、难以维护的特点，加以结合 网格门户结构设计的特点，本文研究设计了一种基于s t r u t s 1 0 l 框架、m v c ( m o d e l - - v i e w - - c o n t r o l ，模式一视图一控制) 模式的服务网格门户，并对其缺乏标准 支持的不足，进一步提出了一种改进型的，基于混合模式的多框架式服务网格门 户。其次，鉴于服务网格中安全管理模块的重要性，本文提出了一种基于角色和 消费者模式的访问控制策略，并结合基于代理的证书管理模式和集中式的验证、 授权方式，来构建服务网格门户的安全策略。再者，为了提高服务网格管理的质 量，减小网格系统的投资成本，增大网格系统所带来的效益，服务网格门户需要 一种服务网格状态监控服务，因此本文还提出了一种基于框架式设计的按需服务 网格状态监控技术。 最后，本文对设计实现的门户，进行了测试及分析，并对本文的研究工作做 了总结与展望。 关键词：服务网格，服务网格门户，s t r u t s 框架，基于角色的访问控制 西北工业大学硕士学位论文 a b s w a c t a b s t r a c t c , r i dc o m p u t i n gi st h en e wt e c h n o l o g yi nr e c e n ty e a r s e s t a b f i s l d n g 鲥ds y s t e m c a nm a x i m i z et h ec o m p r e h e n s i v eu t i l i z a t i o no ft h ed i s t r i b u t i o n 煳删r c e s ( d a t a , c o m p u t i n ga b i l i t y ，s t o r a g ec a p a c i t y ，e t c ) ，a n da c h i e v et h er e a lr e s o u r e c ss h a r i n g h o w e v e r , w h e nf a c i n gt h er a p i d l yc h a n g i n go ft h eb u s i n e s sr e q u i r e m e n t so ft h e p r e s e n t sg o v e r n m e n ta f f a i r , 敝a r e ha n dc o m m e l l d y n a m i c a l l yd e m a n d f o r i n t e g r a t e dg r i ds y s t e mi su r g e n t l yn e e d e dt od e a lw i t ht h ec h a n g i n gn e e d so ft h e c u r r e n ts i t u a t i o n , t h et r a d i t i o n a li n d i v i d u a lg r i di su n a b l et om e e tt h ed e m a n d , s e r v i c e g r i dw a sc o n s i d e r e da ne f f e c t i v em e a n st om e e tt h e s en e e d s ，8 0t h er e s e a r c ha n d d e v e l o p m e n tf o ri tw i l l 伊a d u a l l yb c n ：o m eh o t b u tw h a ti sn o to p t i m i s t i ci st h a t , f o r 姗a n dm a n a g e r s , i no r d e rt of a c i l i t a t et h e ”a c c e s s ”s e r v i c eg r i de n v i r o n m e n t , u s i n gt h es e r v i c eo f i df r o mt h er i c ha p p l i c a t i o ns e r v i c e s ，m a n a g i n ga n dm a i n t a i n i n g t h er 髓m 】扎船o ft h es e r v i eg r i ds t i l li sah e a d a c h e s e r v i c ec n i dp o r t a li sag o o d s o l u t i o nt ot h i sp r o b l e m , a si t 啪p r o v i d et h es i m p l ea n dn e c e s s a r yi n t e r f a c ef o rt h e u s 既b yu s i n gs e r v i c eo r i d b u ta tp r e s e n t , i nb u i l d i n gag r i dp o r t a l ，o n l ys t a yo nt h es e v e r a ll a r g e - s c a l e s p e c i a lg r i d s ，w m c hw e l 它f i r s tp r o p o s e da n dp u ti n t o 删a p p l i c a t i o n , s u c ha s c o m p u t a t i o n a lc n i d ，d a t ag r i de t c a n dt h o s es y s t e m sa r et o ob i ga n dd e v e l o p m e n t c o m p l e xa n dd i f f i c u l tt od e p l o y , i n t e g r a t e da n du p d a t e d o nt h eo t h e rs i d e ，t h en e w e s t s e r v i c eg r i dp o r t a lw h i c hw e r ep r o p o s e di nr e l a t i v e l yl a t e ，s t i l ll a c ko f g o o ds o l u t i o n t h e r e f o r e ，t h em a i ns t u d yo f t h i sp a p e ri st h es e r v i c eo r i dp o r t a l c o n s i d e rt h ef e a t u r e so ft h es e r v i c eg r i d ，i n c l u d i n gw i d er a n g eo fd i s t r i b u t e d l e s o u r c e ，al a r g en u m b e ro f h a n d l i n go b j e c t sa n dd i f f i c u l tt om a i n t a i n , a n dc o m b i n i n g t h ec h a r a c t e r i s t i c so fg r i dp o r t a ld e s i g n , t h i sp a p e ri sd e s i g n e dt ob eas e r v i c eg r i d p o r t a l w h i c hi sb a s e d0 1 1s 恤t s 州f i a m e w o r ka n dm v cp a t t e r n ( m o d e l - - v i e w - - c o n t r 0 1 ) f u r t h e r m o r ed u et ol a c ko f t h es t a n d a r es u p p o r t ，p a p e ri sp r o p o s e d t og i v ea n e - w re n h a n c e dm u t i l f r a m e w o r ks e r v i c eg r i dp o r t a l ，w h i c hi sb a s e do nm i x t u r ep a t t e n m o r e o v e ra st h ei m p o r t a n c eo f s e c u r i t ym a n a g e m e n tm o d u l eo f t h es e r v i c eg r i d ，t h i s p a p e ri sa l s od e s i g n e dt os t u d yt h ew a yo f v i s i t i n gs e c u r i t yo f t h es e r v i c eg r i dp o r t a l ， b yg i v ea na c c e s sc o n t r o l lp o l i c yb a s eo nr o l e - b a s e da n de o n s l l m e rm o d e l ，a c c o m p a n y w i t ht h ec e n t r a l i z e dv e r i f i c a t i o na n da u t h o r i z a t i o n , a n dt h ew a yo fc e r t i f i c a t i o n m a n a g e m e n tb a s e do na g e n tu s i n g l a s t l y ，t ot h eq u a l i t yi m p r o v e m e n t o fs e r v i c et h e 西北工业大学硕士学位论文 a b s t r a c t i n v e s t m e n tc o s t so ft h ec n i ds y s t e m ，t h es e r v i c eg r i dp o r t a la l s on e e d sak i n do f s e r v i c et h a tc a nm o n i t o rt h es t a t u so fs e r v i c eg r i du s i n g ，t h i sp a p e rt h u sg i v e san e w t e c h n o l o g y ，c a l l e do nd e m a n ds e r v i c eg r i dp o r t a lm o n i t o r i n g f i n a l l y ，p a p e rw i l lr e p r e s e n tt h ec o n c l u s i o no fd e s i g nt e s t i n ga n da r l a l y z i n g ，a n d s h o ww h a tf u r t h e rw o r kw en e e dt od oi nt h ef u t u r e k e yw o r d s ：s e r v i c eg r i d , s e r v i c eg r i dp o r t a l ，s t r u t sf r a m e w o r k , r o l e - b a s e d a c c e s sc o n t r o l h i 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定即：研究生在校攻读学位期间论文工作 的知识产权单位属于西北工业大学。学校有权保留并向国家有关部门或机构送交论文的复 印件和电子版。本人允许论文被查阅和借阅。学校可蚍将本学位论文的全部或部分内容编 入有关数据库进行检索，可毗采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业 大学。 保密论文待解密后适h j 本声明。 学位论文作者签名：j 蹲 础年t 月f 日 指导教师箍名 印年z 月f 日 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位论文，是本 人在导师的指导f 进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 和致谢的地方外，本论文不包含任何其他个人或集体已经公开发表或撰写过的研究成 果，不包含本人或其他已申请学位或其他用途使用过的成果。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式表明。 本入学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名：l l i 篱一 狮年z 月f 日 西北工业大学硕士学位论文第一章绪论 1 1服务网格 1 1 1 网格的概念 第一章绪论 网格( g r i d ) 的概念产生于9 0 年代中期，是从电力网( p o w e rg r i d ) 概念 借鉴过来的嘲。 网格作为一种新兴的技术正处在不断发展和变化当中因而尚未有精确的 定义和内容定位。可以简单地说。网格是一种以提高分布式资源的利用率、提高 处理能力为目的的技术。网格可以把整个因特网整合成一台巨大的超级计算机， 实现计算资源、存储资源、数据资源、信息资源、知识资源的全面共享。 网格的最终目的，是希望用户可以不用关心资源的具体位置，便能够象使用 电力一样方便地使用分布在网络上强大而丰富的计算能力，即用户直接面对的是 一台超级计算机嘲。网格计算( g r i dc o m p u t i n g ) 就是基于网格的问题求解， 它是在1 9 9 5 年的1 w a y 项目中提出来的。 1 1 2 网格的分类 根据用户不同的需求目的，我们可以将网格的应用目标划分为：数据网格 ( d a t ag r i d ) 、计算网格( c o m p u t i n gg r i d ) 及服务网格( s e r v i c eg r i d ) 。数 据网格的基本单位是数据，主要用于解决数据的共享问题；计算网格中的基本单 位是计算资源，为用户提供共享资源的良好接口和机制。服务网格中共享的对象 是服务，在服务网格中，人们可以将不同的资源经过封装，用服务( s e r v i e e ) 的形式提供给网格主体使用。 1 1 3 服务网格 服务网格是一种通用的网格，是面向服务的。服务网格的基本构架是一个提 供跨资源分布的服务与功能的公共集，利用组织和使用服务，通过网格化服务资 源的虚拟组织与协作，更好地满足复杂、多变用户的应用需求。其目的就是为服 务资源提供一个统一的访问接口，同时又保持了网格的动态性。在o g s a ( o p e n g r i d s e r v i e e a r c h i t e c t u r e ，开放网格服务体系结构) 中，最突出的思想就是以服 西北工业大学硕士学位论文 第一章绪论 务为中一t ) ( e v e r y t h i n g i ss e r v i c e ) ，服务只是一个笼统的、抽象的概念嘲啪。o g s a 利用虚拟组织的手段，将一切都抽象为服务( s e r v i c e ) ，包括硬件资源和软件 资源。因此服务网格不仅支持科学计算，还支持其他服务，包括通信服务、数据 服务、计算服务等。 1 2 服务网格门户 1 2 1 门户 门户( p o r t a l ) 的概念在计算机界还没有一个统一的定义，有时它指集成的 桌面、电子市场、或信息通道。门户，其主要特点有，个性化定制、单点登陆、 内容聚合等。在本文中，我们将其解释为一个统一入口点的服务，通过它可以在 一个集成环境中访问各种信息、数据、应用和其他服务。 目前比较流行的门户框架( p o r t a lf r a m e w o r k ) 主要有，g r i d s p h e r e t 、 j e t s p e e d 2 3 2 7 1 、i b mw e b s p h e r e 、s u no n e p o r t a ls e r v e r 等，通过使用这些门户 框架，我们可以开发出标准化的门户，使得各种已有的门户应用得以较好地集成， 在一定程度上可以解决网格环境中应用冗余，信息孤岛等不良问题。 1 2 2 网格门户 网格门户( g r i dp o r t a l ) 作为一个非常有用的工具，它通常用于以聚集的方 式提供信息和应用的接入，为网格用户及管理员提供了一个获得网格资源信息和 使用网格资源的简单、直观的界面。用户不需要知道自己需要的服务需要什么资 源，是如何完成的，与其他服务有着什么样的依赖关系等等，管理员也可以方便 部署、分配及维护各类网格资源。 网格门户工具的研究主要有g p d k 【2 6 ( g r i dp o r t a ld e v e l o p m e n tk i t ) 及 g r i d p o n 【 1 2 2 1 等。 1 2 3 服务网格门户 服务网格门户是针对服务网格设计的。由于服务网格可以通过虚拟组织的手 段，将网格中的一切资源都抽象成为服务的特点，使得服务网格门户不同于其它 传统的专用门户，其作用的不仅仅是某种类型的对象。而是各种各样的数据，经 过一系列虚拟组织后变成的服务“”。 2 西北工业大学硕士学位论文 第一章绪论 1 3 国内外研究现状和本课题的研究内容 1 3 1 国内外研究现状 随着网格技术的推广与进步，越来越多的专家和学者们发现，网格环境异常 的复杂，在很大程度上影响了他们的工作，影响了网格技术的普及与推广。此外 随着网络的开放性、共享性、互联程度的扩大及面向服务体系结构和服务网格的 深入研究，使得对网格门户，尤其是服务网格门户的研究与开发变得越来越重要。 网格门户是一个非常有用的工具，它不仅可以为网格用户提供了一个获得网 格信息和使用网格资源的简单、直观的接口，还可以作为网格管理员管理和控制 网格资源的重要工具。因此在国内外，现在很多大型的网格上都开发、部署和使 用了网格门户，其中包括美国国家科学基金会( n s f ) 先进计算基础设施合作 ( p a c i ) 计划的t e r a o r i d 、n a s a 的i p g 和美国国家健康协会( n i ) 的生物 科学信息搜索网格，中国的国家织女星网格( v e g 2 4 3 1 1 ) 等。它通常用于以聚 集的方式提供信息和应用的接入，为网格用户提供了一个获得网格资源信息和使 用网格资源的简单、直观的界面。用户不需要知道自己需要的服务需要什么资源， 是如何完成的，与其他服务有着什么样的依赖关系等等。 但是由于面向的对象不同，设计的目标不一样，无论是数据网格门户，还是 计算网格门户都有其专用性，及局限性。因为用户有可能既要使用数据网格门户， 又要使用计算网格门户所提供的应用。用户对网格的要求不再是局限与某种单一 的网格形式，有些用户可能会同时使用多种网格中的资源为其服务。因此，我们 有必要将多种形式的网格应用抽象成虚拟化的网格服务，并将满足用户对各种网 格的需求的这些服务，以特定的、统一的的形式展现给用户，用户通过使用服务 网格门户，可以实现对各种网格的需求。因此，对服务网格门户的研究设计及使 用，能够取长补短，对推动服务网格的构建与发展起着相当大的作用，最终将会 成为网格化进程中研究和实现的热点。 但是目前在网格门户的建设方面，还只停留在计算网格、数据网格等几类最 早提出并投入实际应用的、大规模的专用网格上并且这些网格门户系统过于庞 大，开发复杂，不易部署、集成及更新。在相对提出较晚，内容较新的服务网格 门户的建设方面，并没有很好的解决方案。因此，本文主要的研究对象是服务网 格门户。 3 西北工业大学硕士学位论文第一章绪论 1 3 2 本课题的研究内容 本课题主要是服务网格门户关键技术的研究与设计。主要包括以下几方面内 容： ( 1 ) 结构设计。通过分析服务网格的特点和目前网格门户的结构设计，研究 服务网格门户的结构设计，提出了一种基于s t r u t s 的m v c 模式的服务网格门户 结构，及其改进型的基于混合模式的多框架式服务网格门户结构。 ( 2 ) 安全控制。通过研究分析服务网格门户的安全管理体系，提出了一种基 于角色、消费者模式的访问控制策略，并辅以集中式的验证、授权方式和基于代 理的证书管理方式来实现门户的安全控制策略。 ( 3 ) 网格状态监控。为了满足用户对服务网格门户能够方便地、直观地获取 整个服务网格使用状态的需求，本文提出了一种按需服务网格状态监控技术。 1 4 论文结构和内容简介 以下简单介绍一下本文的组织结构和主要内容： 第一章是绪论。主要是对一些基本概念的介绍，指出了什么是网格，网格的 分类都有哪些，什么是服务网格门户以及一些相关知识的简介，并指出了目前国 内外对服务网格门户研究的现状和本课题的研究内容。 第二章主要是服务网格门户结构的设计，通过分析服务网格的特点，结合网 格门户架构设计的方法，给出两种服务网格门户结构的研究与设计。 第三章主要是对服务网格门户中安全控制管理的研究，通过研究分析服务网 格门户中安全控制的特点和方法，实现了对服务网格门户的安全控制。并及基于 消费者的资源分配策略，为服务网格门户提出了一种基于角色与消费者的访问控 制策略。 第四章的研究内容是，服务网格门户对网格状态的监控技术，针对用户对网 格状态监控的需求，提出了一种按需服务网格状态监控技术。 第五章对系统进行测试，并对本课题的研究工作做了总结，提出了今后的工 作方向。 本人的主要贡献： ( 1 ) 设计了一种基于s t r u t s 框架、m v c 模式的服务网格门户结构，并针对其 非通用、难以扩充和集成的不足，提出了一种基于混合模式的多框架式服务网格 门户结构。 4 西北工业大学硕士学位论文 第一章绪论 ( 2 ) 提出了一种基于角色与消费者的访问控制策略。并辅以集中式的身份认 证及授权机制，实现对服务网格门户的安全控制管理。 ( 3 ) 针对用户对网格状态监控的需求，提出了一种按需服务网格状态监控技 术。 5 西北工业大学硕士学位论文 第二章服务网格门户的结构设计 第二章服务网格门户的结构设计 由于服务网格门户是针对服务网格设计的，与其它类型的网格门户不同，因 此我们有必要对服务网格的特点进行分析，并结合网格门户设计的特点，对其结 构进行分析设计。 2 1服务网格门户设计分析 2 1 1 服务网格的特点 与其它类型网格不一样，服务网格是一种通用的网格，是面向服务的，它 将一切资源及应用等都虚拟成服务( s e r v i c e ) 目的就是为服务资源提供一个 统一的访问接口，同时又保持了网格的动态性。服务网格不仅支持科学计算，还 支持其他服务，包括通信服务、数据服务、计算服务等。其基本构架只是提供一 个跨资源分布的服务与功能的公共集，利用组织和使用服务，通过网格化服务资 源的虚拟组织与协作，更好地满足复杂、多变用户的应用需求。 由于服务网格所针对的对象与其他网格不一样，其对象的集合比其它类型的 网格都大，使得其用户接口( i i i ) 及应用接口( a p i ) 都很复杂，有些服务甚至 是需要多重验证及互操作的，这就使得其中的内部资源的分布及关系变更加复 杂，加大了用户对资源的使用及维护的难度。作为面向用户，简化网格使用操作 的服务网格门户，应具有较高的通用性、易用性。此外，服务网格追求的不再单 纯是计算速度，而是一套服务，以用户满意度或服务质量为主，因此我们还需要 较高的可维护性。 通用性是指，为了解决服务网格环境中的大量冗余及孤岛效应，门户中的各 种应用，包括对服务的控制、网格系统信息查询、作业提交等都应该进行相应的 封装，使其符合特定的规范或标准，能独立地进行操作，并且能够尽可能少或是 直接地就能为其它系统或是其它门户所用。 易用性是指，为复杂的环境提供必要的简化，并屏蔽了底层基础结构及可用 资源间的复杂关系，门户应能屏蔽底层网格系统环境中复杂的操作，给予用户简 洁、方便的操作。并且用户还可以针对自己特定的需要，独立地、简单地定制分 布的各种服务。 可维护性是指，为提高网格中各种服务的质量，针对网格中的各种服务，包 括系统默认服务，用户提供的服务、用户定制的服务、各种软硬件资源、系统负 载信息、用户特定的作业等，用户应能及时地，直观地从网格门户的监控模块中 6 西北工业大学硕士学位论文第二章服务网格门户的结构设计 得到相应的详细的、友好的展现 2 1 2 网格门户的特点 网格门户可以通过普通的测览器及其它1 7 i 的方式，使用户和科学家更容易、 更直接地访问那些分散的、种类各异的网格服务，用户不在需要手动的执行各种 命令并输入各种参数指令进行操作，简化了用户对服务的使用，给用户提供了一 定易用性。 通过s s o 6 】 7 1 1 2 1 ( s i n g l es i g n0 n ，单点登陆) 的特点，网格门户只需要通过 网格门户登陆，便可以得到网格内部所有可用资源的身份验证及授权操作，可以 解决网格中，各种资源的互操作问题，省去了用户在使用服务过程中繁琐的验证 授权过程。 通过网格门户为用户提供的内容聚合及统一定制的能力，用户或者开发者可 以按需地c o nd e m a n d ) 定制各种工具集和相关的资源的内容和形式。 除此之外，网格门户还可以允许特殊应用的自动执行、提供到特殊应用的直 接链接、集成( 隐藏) 应用间的工作流程等。 这些都将使得网格底层资源及应用相互间的操作对于用户来说是透明的，这 可以为用户屏蔽了底层复杂、繁琐的操作，解决了网格中资源的孤岛效应，降低 了网格中资源的冗余量，提高了网格资源的使用率，提高了用户的工作效率，从 而加速了网格化进程。 2 1 3 网格门户设计的特点 用于建立网格门户的软件必须结合大量的其它软件和硬件系统，网格门户通 常代表一个集成的系统，它在网格中间件层中扮演着特殊的角色，网格门户必须 与网格基础平台及运行于该平台之上的网格服务及中间件互相作用，才能使用分 布在网格系统中的多样的资源，其结构如图2 - 1 所示。 图2 - l 网格系统结构图 西北工业大学硕士学位论文第二章服务网格门户的结构设计 网格门户的设计有多种方式，如基于网格类型的，基于设计模式的，基于门 户框架的等。 基于网格类型的可分为，数据网格门户，计算网格门户，信息网格门户，制 造网格门户，服务网格门户等，带有专用色彩。如d o c t 数据网格门户，它主要 用来建设一个复杂的文档环境，文档可能分布在不同地理位置的数据档案和不同 的计算平台中，为门户用户提供数据的透明性；g a t e w a y 计算网格门户，它为门 户用户提供了访问远程分布式高性能计算资源的途径。 基于设计模式的网格门户可包含有，基于m y c ( m o d e l - v i e w - c o n t r o l l e r ) 模式的( g p d k ，g r i dp o r t a ld e v e l o p m e n tk i t ) 网格门户，基于j s r l 6 8 1 6 j ( j a v a s p e c i f i c a t i o nr e q u e s t1 6 8 ) 标准模式的网格门户，基于j s f 的网格门户，基于 p e r l c g i 的网格门户g r i d p o r t 等。 基于门户框架的又可包含，基于j e t s p e e d 的网格门户，基于g ：i d s p h e r e 的网 格门户，基于m mw e b s p h e r e 的网格门户等。 2 2 服务网格门户的结构设计 本文所研究的服务网格门户的开发与实现是以p l a t f o r m 公司的服务网格系 统平台为基础的，并结合服务网格的特点及网格门户的众多优点，将二者糅合在 。一起设计开发的，有两个版本。前一版本( 以下简称v 1 ) 是基于s t r u t s 架构开 发的，并不支持j s r l 6 8 标准，因此带有一定的专用性。后经研究与分析，考虑 到网格门户的通用性，将其升级为符合j s r l 6 8 标准的，且支持多门户框架的服 务网格门户( 以下简称v 2 ) 。 2 2 1基于s t r u t s 的m v c 模式的服务网格门户 v 1 在架构设计上，是将服务网格的特点及网格门户的优点糅合在一起，针 对p l a t f o r m 公司的网格基础平台而设计开发。 v l 是一个类似于g p d k 的基于s t r u t s 的网格门户。其最大的优点是符合 m v c 设计模式，该模式可以将网格中的每个服务模块划分为模型、逻辑及前端 显示，这使得门户在设计开发上逻辑更清晰。门户开发者可以将工作划分为前端 显示开发、后端接口设计、业务逻辑组合等，便于分离门户开发、网格系统开发、 门户一网格系统接口的开发，即满足了对门户模拟测试、业务逻辑单元测试、接 口a p i 测试等需要独立开发的需要，又便于日后对网格门户，乃至整个网格系 统的维护。其体系结构如下图2 - 2 所示。 8 西北工业大学硕士学位论文 第二章服务网格门户的结构设计 i 用户 黧 豳图图 【嚣】【翟】匕割 按i 需l 网i 安 w r a p p e rc o n t r o l l e r格 全状 k i 酬 控 态 制监 、控 网格服务 l 中间件( s i m u l a t i o n ，b q l ) 框 架 网格基础平台 、 网、 ： 格： l ： 门： i i 、 芦 - ， 如图2 - 2 所示，其中m o d e l 对v 1 中的服务进行控制和集中组织，由a c t i o n 来控制服务的逻辑组织，最后由v i e w 来组织显示服务的运行结果。当执行某一 服务时，根据预先配置，m o d e l 将选择执行对应的a c t i o n ，当a c t i o n 执行完成后， v i e w 通过j s p 将执行结果显示给用户，其服务响应图由下图2 - 3 所示。 回旺口口臣3 网 格 门 户 i ，与m o d e l 交互 2 。选择服务 3 ，根据预配置选择 l 4 ，将结果填入j s e 视目 i 一 l i 戎h t m l 返回给网g门户 w r a p p e rc o n 舡0 l l e r 主要是负责检测及选择，当前的服务是使用哪个模块，及 改某块当前是用于测试( m o c k ) ，还是用于实际应用( r e a l ) 。其结构图如图2 _ 4 所示。w r a p p e rc o n t r o l l e r 中主要是由w r a p p e r f a c t o r y 、w r a p p e ri n e r f a c 圮及各个模 9 西北工业大学硕士学位论文第二章服务网格门户的结构设计 块中实现了w r a p p e ri n t e r f a c e 的m o c k 和r e d 。其中m o c k 用于每个网格服务的 独立的模拟测试( s i m u l a t i o nt e s t ) ，可以通过多种手段来实现，如直接是一段程 序产生数据，读写文本等，而r e a l 则是真实环境中所使用的，可以通过j n i ( j a 、，a n a t i v ei n t e r f a c e ) 或是调用其它网格基础环境中提供的一些其它接口来实现。这 样做的好处是将网格门户中的每个服务的前端设计实现与网格基础环境中底层 应用开发的设计实现相分离，即使底层应用开发未实现也可以先完成网格门户前 端的逻辑与展示的开发。另一个好处是方便服务的维护，通过这一设计，开发人 员可以清楚地知道是网格门户开发的错误，还是网格底层应用出的问题。再者， 这样实现，使网格门户每个网格服务的单元测试可以实现，即使没有投入到真实 的网格系统环境中。 ，- 、 ， w r a p p e rc o n t r o l l e r 、 w m p l ) c rf a c t o r y 用来产生每个网格服务模块所使用的w m p p , 盯，其代码如图 2 5 所示。 p i 岫cd sw r a p p e r f a c t o r y ( p r a t e 础a h ch a s h m a p tg e t w r a p p e “c l a s sd 哪也煳。曲细印血m ( tw r a p p e r = f t ) - , v r a p p e “掣c i a z z ) 1 f ( w r a p p e r m 四 ( d s ：d a t c q o m c e s 图4 5 数据库配置 ( 3 ) 数据采集模块任务管理配置，为数据采集模块管理所有的数据采集子任 务，一个数据采集模块可以控制多个子任务进行数据采集，包括各个数据采集子 认为的名称、调度时间间隔及各自所使用的配置文件。 如图4 - 6 所示，其中n a m e 指定数据采集子任务的名字；i n t e r v a l 指定采集间 隔；l o a d x m l 指定予任务使用的配置文件。该配置指出数据采集模块共有两个 数据采集任务 钾n 1v e c s i o n = 1 0 e n c o d i a e = 。叽f 噌? q a t a l o a d “n n e = j o b s t a t e l o a d e r i n t e r c a l = 3 0 0 e n a b l e ：恤”l o a d m = d a t a t o a d e z j o b s t a t e s d ， 佃a t a l o a d 盱l l a a e = s e z w c e s t a t e 工n t e r v a l - 3 6 0 0 e n a b l e = t r u e ，l o a 册d a t a l o a l i e 口 e f v s t a t e s z 1 1 鲰 4 6 数据采集模块管理配鬣 西北工业大学硕士学位论文 第四章按需服务网格状态监控技术 ( 4 ) 数据采集子任务的配置，指定每个子任务所使用的数据采集子程序，及 指定数据库的写入方式。 臼 z 2 0 0 1 ，x 也s c h n r 妇t c r z o i ：加h 绷司) a c e s c h 翻- a l o c a t l o z 卢d a t a l o a d e r x d 。 ，s t a t e - e n t ) 图4 7 数据采集子任务的配置 如图4 7 所示，r e a d e r 指定数据采集子程序；w r i t e r 指定写数据库的属性， 其中t y p e 指定操作方式，b a t c h s i z e 指定一次可以写几条数据；s q l 元素指定了 采集回来的数据与数据库中表的关系，及要将哪些数据写入数据库中；其中i n p u t 元素用于有多表的情况，指定写入的表名；f i e l d 元素规定了采集回来的数据与 数据库表中列名的映射关系。 4 2 。3 数据采集方式 数据的采集方式涉及三个方面：怎样采集数据，采集的数据与数据库表中列 的映射关系和怎样将数据写入数据库。 ( 1 ) 怎样采集数据 在4 2 1 章节中的研究分析中，已经讨论过，数据采集模块只负责数据采集 的逻辑控制，具体采集数据的实现，是由每个数据采集子任务，根据框架预留的 接口，设计实现子程序来完成的。其接口主要提供了以下几个方法： p u b l i ca b s t r a c tv o i dp r e r e a d ot h r o w sr e a d e r e x c e p t i o n ： 主要是用来做数据采集的预处理工作，比如说，有一个采集子任务要从数据 库中读取数据，这时可以在p r e r e a d 方法中，建立与数据库的连接。 p u b l i ca b s t r a c tb o o l e a nh a s m o r e ot h r o w sr e a d e r e x c e p t i o n ； 西北工业大学硕士学位论文 第四章按需服务网格状态监控技术 主要是用在需要读取大量数据的数据采集子任务中，为了提高采集效率，子 任务可以分批读取数据，按次读写数据。 p u b l i ca b s t r a c tm a p 】r e a d r e - 汜o r d s 0t l l r o w sr e a d e r e x c e p t i o m 采集子任务主要是在该方法中实现自己数据采集形式，最后将读取到的结 果，按接口规定的m a p h 形式，封装打包采集的数据。采集到的每条数据，按键 值对( k e y v a l u e ) 的形式打包。比如图4 7 中所显示的作业状态采集子任务， m a p 中的记录应该是：n a l n c m x x x ，t y p e - - x x x ，s t a t e - - x x x 。 假如采集子任务采集的数据涉及子表，则返回结果m a p 的形式应该如下： m a p - 的长度与主表的长度相同，且m a p i q ，键值对应该是，主表名；主表 数据中的的i 个元素，且其形式也应该是m a p u ，但是长度为1 ；子表表名= 子表 的m a p 口。其目的是统一了写数据库的方法，无论是单表，还是带多子表形式， 其数据格式都是m a p n 。 ( 2 ) 数据与表的映射 如图4 7 所示，其映射关系由f i e l d 元素反映，n r m c 属性代表m a p i 中的k e y 值，c o l u m n 属性代表表中的列名。如果存在子表的形式，则s q l 元素的i n p u t 属性值必须为表的名称。 ( 3 ) 怎样写数据库 将返回的m a p h 按照数据与表的映射关系，写入图4 - 6 的数据库配置中的数 据库中。或是用户重载下面的方法，按自己的方式存储采集的数据。 p u b l i ca b s t r a c ti n tw r i t e g e c o r d s ( m a p r e c o r d s ) t h r o w sw f i t e r e x c e p t i o n ； 4 3 自主式的数据库优化管理。 对于用户来说，他们希望能借助服务网格门户，迅速地、直观地访问到经过 服务网格门户服务处理过的，各种能够直接反映网格状态的报表，这也是本文研 究及设计这个按需服务网格状态监控框架的目的。但是，在这个具有海量数据信 息的服务网格门户中，要想达到这个目的，保证服务网格门户对报表处理的正确 性，优化报表加工处理的效率，在一定程度上还得依赖于对数据库的优化。 本文通过优化服务网格门户所处理的数据量，来达到这一目的，关键在于缩 小门户所访问处理的数据量。通过章节4 1 1 ，我们可以知道，t r a n s f o r m e r 服务 主要是用来对数据库中的数据进行有效的合并重组。而p u r g e r 服务则可以针对 数据库中的数据进行删除，打包备份。这两个服务的结合可以大大的缩小数据库 中的数据量，从而提高数据检索效率，优化服务网格门户对报表处理的效率。如 西北工业大学硕士学位论文第四章按需服务网格状态监控技术 果我们加以利用网格系统平台的服务调度功能，对其进行有效的监控和调度，便 可实现自主式的数据库优化处理。 西北工业大学硕士学位论文 第五章系统测试和总结 第五章系统测试和总结 本章，我们对综合使用本文设计实现的网格门户进行测试，并对该门户加以 验证。 5 1 系统测试环境 本节的测试环境中有一个结点，基于w i n d o w s - x p 操作系统，测试平台为 p l a t f o r m 公司的产品e g o 。如图5 - 1 所示。 5 2 测试内容 图5 - 1 测试平台 5 2 1 基本网格门户服务验证 图5 -