（模式识别与智能系统专业论文）基于本体的异构数据集成与融合方法研究.pdf

摘要 摘要 整合分布异构数据资源、实现数据共享，为管理决策提供更加完整和可靠 的数据服务支持，是当前及未来各领域深化信息系统建设发展的重要课题和方 向。而从各种分布、异构数据源中抽取数据，并进行数据变换? 数据合并和数 据融合等加工处理，则是数据集成处理的一项最基本任务。 本文在充分研究现有数据集成方法和数据融合方法的基础上，结合课题组 提出的“基于数据服务匹配的数据集成系统”框架体系，对其中“异构数据集 成处理与数据服务管理”平台部分，进行了重新优化设计和改写，并增加了可 针对不同数据源数据的融合处理模块。主要工作和贡献如下： 1 在深入研究了国内外现有数据集成与数据融合的主要处理方法的基础上， 提出了一种基于关键属性的知识融合方法，并将该方法应用到数据集成处 理系统中，改善了对异构数据进行自动合并处理的合理性。有关实验测试 表明，此方法可有效识别并融合异构数据源中存在的实例冲突，可在语义 层次上提高数据集成效果。 2 重新优化设计和改写了课题组原有的“异构数据集成处理与数据服务管理” 平台。该平台借助于h i b e r n a t e 、s p r i n g 技术框架，优化了对异构数据源的 存取访问，不仅能以直观、可视化的方式将从多个数据源抽取数据、变换 数据、合并数据等处理步骤定义到一个数据集成处理描述包( d i p s p ) 中；而 且可实现d i p s p 包的数据服务单元封装、注册和数据服务响应执行，可有 效解决异构数据集成中的语法语义异构问题。 关键词：异构数据集成数据融合可视化处理数据服务 a b s t r a c t a b s t r a c t i n t e g r a t i n gd i s t r i b u t e dh e t e r o g e n e o u sd a t ar e s o u r c e s ，a c h i e v i n gd a t as h a r i n g ， a n ds u p p o r t i n gt h eu s e rw i t ham o r ec o m p l e t ea n dr e l i a b l ed a t as e r v i c e ，h a v eb e e n b e c o m i n gt h e m o s t i m p o r t a n tt o p i ca n dd i r e c t i o no ft h ec o n s t r u c t i o n a n d d e v e l o p m e n to fi n f o r m a t i o ns y s t e m si ne v e r yf i e l da tp r e s e n ta n di nt h ef u t u r e e x t r a c t i n gd a t af r o mv a r i o u sd i s t r i b u t e da n dh e t e r o g e n e o u sd a t as o u r c e s ，a n d p r o c e s s i n gd a t ai n t e g r a t i o na n dd a t af u s i o ni saf u n d a m e n t a lt a s ko ft h ed a t a i n t e g r a t i o n b a s e do nm u c hr e s e a r c ho fe x i s t i n gd a t ai n t e g r a t i o na n dd a t af u s i o nm e t h o d ， c o m b i n e dw i t ht h ep r o j e c to fo u rl a b o r a t o r yn a m e d ”d a t a i n t e g r a t i o ns y s t e mb a s e d o n i n t e l l i g e n tm a t c h - r e t r i e v a l ”，t h i s t h e s i s r e o p t i m i z e s a n dr e w r i t e st h e ”h e t e r o g e n e o u sd a t ai n t e g r a t i o na n ds e r v i c em a n a g e m e n tp l a t f o r m ”，a n da d d sad a t a f u s i o nm o d u l et op r o c e s sd a t af r o md i f f e r e n td a t as o u r c e s m a j o rw o r ka n d c o n t r i b u t i o n sa r ep r e s e n t e da sf o l l o w s ： 1 a f t e rw e l ls t u d y i n gt h ee x i s t i n gm e t h o d so fd a t ai n t e g r a t i o na n dd a t af u s i o na t h o m ea n da b r o a d ，p r o p o s eak n o w l e d g ef u s i o nm e t h o db a s e do nt h e k e y a t t r i b u t e s ，a n da p p l yt h i sm e t h o dt ot h ed a t ai n t e g r a t i o na n dm a n a g e m e n ts y s t e m ， a n di m p r o v i n gt h er a t i o n a l i t yo fa u t o m a t i c a l l ym e r g i n gt h eh e t e r o g e n e o u sd a t a t h er e l a t e de x p e r i m e n ts h o w st h a tt h i sm e t h o dc a ne f f e c t i v e l yi d e n t if ya n d i n t e g r a t ec o n f l i c ti n s t a n c e si nh e t e r o g e n e o u sd a t as o u r c e s ，a n dc a ni n c r e a s et h e e f f e c to fd a t ai n t e g r a t i o ni ns e m a n t i cl e v e l 2 r e o p t i m i z ea n dr e w r i t et h e”h e t e r o g e n e o u s d a t a i n t e g r a t i o na n ds e r v i c e s m a n a g e m e n tp l a t f o r m ”t h i sp l a t f o r mo p t i m i z e st h em e t h o do fa c c e s s i n gt o h e t e r o g e n e o u sd a t as o u r c e su s i n gh i b e m a t ea n ds p r i n gt e c h n i q u e ，n o to n l y d e f i n e st h eo p e r a t i o no fe x t r a c t i n gd a t af r o mm u l t i - s o u r c e ，t r a n s f o r m i n gd a t a ， c o n s o l i d a t i n gd a t aa n di n t e g r a t i n gd a t ai n t oad i p s pi na ni n t u i t i v ea n dv i s u a l w a y , b u ta l s oe n c a p s u l a t e st h ed i p s pi n t oad a t as e r v i c eu n i t ，a n da c h i e v e st h e r e g i s t r a t i o n ，e x e c u t i o na n dr e s p o n s eo ft h es e r v i c eu n i t i tc a ne f f e c t i v e l ys o l v e t h es y n t a x s e m a n t i c h e t e r o g e n e i t yo f t h eh e t e r o g e n e o u sd a t ai n t e g r a t i o n k e yw o r d s ：h e t e r o g e n e o u sd a t ai n t e g r a t i o n ，d a t af u s i o n ，v i s u a lp r o c e s s i n g ，d a t a s e r v i c e i i i 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作 了明确的说明。 作者签名：座墨蔓签字同期：旌 翌：尘：圭星 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有 关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 曰公开口保密( 年) 作者签名：座遵 签字同期： 2 q z 旦：士! 旌 导师签名： 签字日期：且尘 第一章绪论 1 1研究背景及意义 第一章绪论 随着信息建设的飞速发展，无论是w e b 上还是大型企业或政府部门内部都 积累了越来越多的数据资料。由于现有的应用系统大多是在不同时期、不同厂 商、不同技术水平上构建的，因此造成了部门之间信息共享困难、大量“信息 孤岛”存在的现象。这些异构现象不仅体现在技术平台与地理分布的不同，而 且体现在数据模式、存取技术上的不同，例如既有传统的关系型数据库，又有 e x c e l 、x m l 等结构化、半结构化甚至非结构化的数据源。通过手工复制的方 式建立各部门之间的联系，不仅消耗大量人力，容易出现操作错误，而且也是 对现有应用的极大浪费。如何在不影响现有应用的功能与数据资源的前提下， 屏蔽底层异构数据源的差异，为用户提供一个统一的查询接口，使用户可以不 必考虑底层数据模型和存储位置的不同而实现透明的访问，是当前企业信息化 建设中面临的巨大挑战，也是增强企业竞争力的必然选择。另一方面，海量数 据造成的信息冗余，也是数据集成面临的一个非常严峻的问题。 近几年来，数据集成技术得到了很大的发展，但是现有的数据集成及传统 的信息发布技术很难同时解决前文所提出的问题。如果不能获得完整、正确、 实时的数据，将会直接影响用户做出正确的判断和决策。本文从数据集成的角 度出发，综合运用语义w e b 技术、本体技术、融合技术来考虑信息获取问题， 其基本思想是运用松散耦合的数据集成技术从分布式数据源中取得所需的数 据，然后利用融合技术加以提升，解决数据的不一致问题，从而为用户提供更 为合理的数据结果。 1 2 异构数据集成方法及研究现状 1 2 1 异构数据集成的基本任务 随着信息化建设的飞速发展，企业发展呈现了地域分散、管理又相对集中 的发展趋势，造成了各部门之间信息共享困难、大量“信息孤岛 存在的现象， 各区域信息在结构、存储模型及格式上存在很大的差异。用户迫切需要将这些 分散信息实现共享和互联，因此，数据集成技术研究就成了一个热点问题。 第一章绪论 数据集成着眼于对各种分布异构数据源的数据抽取、数据变换、数据合并 与融合等问题研究，建立一个相对静态的集成环境，对用户提供统一的信息存 取接i ：3 。目前常用的数据集成方法有虚拟的数据集成方法和数据仓库方法。无 论哪一种集成方法，本质问题是解决数据在语法、语义上的异构问题。 1 2 2 异构数据集成主要方法综述 传统的异构数据集成方法可以分为两种：1 ) 模式集成方法，主要是利用 自定义的全局模式提供一个所有异构数据源的虚拟视图，数据仍然保留在数据 源处。模式集成方法由于其灵活性和典型性，成为数据集成的常用方法。2 ) 物 化方法，主要是数据仓库方法。该方法在查询前将各个数据源的数据复制到同 一处，即数据仓库中，其优点是容易获得较好的集成查询性能，但不能灵活的 适应需求变化。 1 2 2 1 基于模式的数据集成方法 模式集成方法是人们最早采用的数据集成方法。模式集成的基本思想是为 异构数据提供一个全局模式上的虚拟视图，使用户可以按照全局模式透明的访 问各异构数据源的数据。全局模式描述了数据源的语法、语义和操作等，用户 直接在全局视图上提交请求，由集成系统处理这些请求，将其转换为针对各个 异构数据源的、可以在本地执行的子查询。模式集成过程将异构数据源数据模 式做适当的转换后，映射为全局模式。全局模式与数据源模式之间映射的建立 方式有两种：全局视图法和局部视图法【1 ，2 ，3 】。全局视图法( g l o b a l a s v i e w , g a v ) 中的全局模式是在数据源视图基础上建立的，它由一系列对应于各个异构数据 源的元素组成，表示该数据源上的操作和数据结构；局部视图法( l o c a l a s v i e w , l a v ) 先建立全局模式，然后在全局模式的基础上按一定的规则推理得到数据 源的数据视图。 联邦数据库 联邦数据库是早期采用的一种模式集成方法，其系统结构如图1 1 所示。 在联邦数据库中，数据源之间共享部分数据模式，形成一个联邦模式。按照集 成度分类，联邦数据库系统可以分为松散耦合联邦数据库系统和紧密耦合联邦 数据库系统。松散耦合联邦数据库系统没有全局模式，它提供统一的查询语言， 把很多异构问题交给用户去解决。其优点是数据源动态性能好，自治性强，集 成系统不需要维护全局模式。紧密耦合联邦数据库使用统一的全局模式，将各 数据源上的局部的数据模式映射到全局数据模式上，这种方法的集成度较高， 用户参与较少。 2 第一章绪论 图1 1 联邦数据库系统结构 中介器包装器集成方法 中介器包装器集成方法是目前比较流行的数据集成方法，也称中间件集成 方法，如图1 2 所示。该方法通常由一个中介器和多个包装器组成。中介器位 于数据源层和应用层之间，向上为访问集成系统数据的应用提供统一的数据模 式和通用接口：向下协调各个异构数据源。中介器主要集中为异构数据源提供 一个高层次的检索服务。与紧密耦合联邦数据库系统一样，中介器方式同样使 用全局数据模式，通过中介器提供的统一的逻辑视图来隐藏底层数据细节。 g w i e d e r h o l d 最早给出了基于中介器包装器的集成方法构架【4 】o 中介器包 装器方法不仅可以集成结构化数据源，也可以集成半结构化或非结构化的数据 源中的信息。斯坦福大学g a r c i a m o l i n a 等人开发的t s i m m i s l 5 】就是一个典型的 中间件集成系统。 图1 2 基于中间件的数据集成模型 第一章绪论 1 2 2 2 基于物化的数据集成方法 物化法数据集成技术比较典型的代表是数据仓库【6 】。该方法将各个数据源 的数据复制到同一处，使用户可以像访问普通数据库一样访问数据仓库。与传 统的操作型数据库不同的是，数据仓库的设计是面向主题的，其中存储的一般 是历史数据，设计时人为地引入冗余，使用反范式的方式来设计。图1 3 给出 了一个典型的数据仓库应用体系结构。 数据仓库具有四个基本性质：主题性、时变性、集成性和只读性。 主题性 数据仓库中的数据是针对特定客观分析领域组织的。这些特定客观分析领 域称之为主题，比如成本、销售、质量等。主题是进行数据归类的标准。它不 是无序的、泛泛的数据集合，而是按主题的分析而组织起来的特定数据集合。 时变性 数据仓库的数据内容随着时间不断变化，具体表现为随着时间变化：( 1 ) 需 要转存旧的数据内容；( 2 ) 不断添加新的数据内容；( 3 ) 需要按照时间段对仓库中 有关的综合数据进行汇总，或者间隔一定的时间段进行抽样。 集成性 数据仓库中的数据是从原先的数据库中按一定主题和规则抽取出来的。数 据仓库中每个主题对应的数据，来源于不同的数据库中，它们之间很可能存在 冗余或冲突想象：不同的事务处理系统的数据都与不同的应用逻辑关联，所以 它们之间存在复杂的异构性；数据仓库中的综合数据需要在源数据基础上进一 步加工。鉴于以上几点原因，数据在进入数据仓库之前，必须经过清洗和转换。 只读性 数据仓库的数据一般是一段时间内企业的历史数据。数据仓库中的数据是 不同时间点的数据快照的集合，基于这些快照进行数据统计、重组和汇总等， 而不是联机处理系统中的实时数据。终端用户所涉及的操作主要是数据查询( 只 读操作) 。 诞；i 矗i 1 图1 3 一个典型的数据仓库应用体系结构 4 一递甸q 黼 旦日日 第一章绪论 由于数据仓库投资费用大、实施周期长、实施风险大等原因限制了其在中 小型企业中的应用。 1 2 2 3 基于s o l 的数据集成方法 面向服务的集成【7 j j ( s e r v i c e o r i e n t e di n t e g r a t i o n ，s 0 1 ) 是企业数据集成发 展的新方向，它可以定义为：在以服务为中心的体系构架中，通过服务的交互 来集成各企业的信息资源，如分布的数据或者应用，帮助企业各部门将已有的 零散的系统集成起来，尽可能重用已有的服务或业务流程。 面向服务的集成在w e bs e r v i c e 框架下，使用w e b 服务协议，对异构数据 源创建w e b 服务或服务集，使用w s d l 描述语言来描述，并向u d d i 注册中 心进行注册。每个w e b 服务或服务集对外提供可调用的服务接e l ，用户无需知 道服务内部是如何实现的。 s o i 继承并发展了传统的企业应用集成( e n t e r p r i s ea p p l i c a t i o ni n t e g r a t i o n ， e a i ) ，使用s o i 的优势在于： 1 实现技术和位置的透明。服务提供者的位置和所实现的技术对用户来说 是屏蔽的，不需要固定的服务提供者。 2 定义了良好的基于标准的接口技术，使服务描述易于理解。 3 灵活性，可重用性。只要服务接口不变，服务提供者和服务请求者都可 以变化而不影响彼此。 4 渐进式集成。s o i 是将若干已有的应用或数据转化为服务形式来进行集 成。随着项目的进行，可重用的数据服务越来越多，从而使新的集成需求可以 通过已有的服务来满足。由于服务的灵活性，即使已有的应用迁移至新的平台， 也不会影响依赖这个应用所提供功能的其他应用，从而可以保证业务的灵活性。 1 2 3 利用数据融合技术处理异构数据 数据集成主要是解决异构数据源的模式上的语义差别，为用户提供全局的、 一致的语义视图，但它忽略了实例级数据的冲突问题，其结果只是通过简单的 排序算法处理，需要用户按照信息排序进行浏览，人工查找正确结果，而信息 本身并没有发生任何改变。数据集成过程一般可划分为三个步骤： 1 ) 数据源的模式集成； 2 ) 数据的抽取与清理； 3 ) 数据的合并。 数据知识融合区别于一般数据集成的地方主要在于数据集成处理数据内 涵的不一致，而数据融合侧重于解决数据外延的不一致性【9 】。数据集成的结果 是抽取到的数据的集合，而数据融合侧重于产生新的数据。作为数据集成的高 第一章绪论 级阶段，数据融合对分布式数据源中存在的信息不一致现象进行处理，将多个 冲突的实例信息统一为一个知识体。 1 2 4 异构数据集成系统的现状与发展趋势 模式集成方法透明度高，可以为用户提供全局视图及统一的查询接口，但 该方法需要系统有良好的网络性能。物化法数据集成在用户使用某数据源之前， 预先将其复制到数据仓库中，这种方法大大提高了集成系统处理用户请求的效 率，但是该方法实时性较差，不能保证用户获得的数据与数据源的数据保持一 致。面向服务的方法为每一个数据源建立服务，系统耦合性低，数据源增删容 易，但当大文件传输时，服务的效率会明显降低。各种集成方法各有其优缺点 和适用范围，随着研究的深入，越来越多的研究者倾向于融合这些技术，尽量 做到互补长短，从而为企业提供更为高效的数据管理。 1 ) 虚拟数据集成与数据仓库技术融合 虚拟数据集成方法一个重要的缺点就是每次查询都要重新计算和获取分布 的数据源。应用数据仓库技术来优化虚拟数据集成方法的一个思路：将常用的 虚拟数据查询进行预计算处理。 2 ) 虚拟数据集成、数据仓库技术与其他数据集成技术的融合 除了虚拟数据集成技术、数据仓库技术以外，也出现了一些新的、与集成 系统的构建密切相关的技术。例如，文献 1 0 ，1 1 】采用移动a g e n t 作为一种辅助 计算用来提高集成系统的性能。这些技术一般不能作为构建集成系统的主导技 术。 3 ) 虚拟数据集成方法与语义w e b 技术的融合 文献【1 2 】认为，未来虚拟数据集成系统将会大量采用语义w e b 技术。w e b 本体语言o w l 强调了基于概念术语的体系结构来表达数据的语义，o w l 与资 源描述框架r d f 将会成为形式语义的主要表达语言。 图1 4 松散耦合集成的模式图谱 基于以上的研究分析，可以从两方面总结数据集成系统未来的发展趋势： 6 第一章绪论 一是，融合现有的技术，产生新的、综合型的数据集成方法，必然使数据集成 系统向更为健壮，可伸缩性、智能性、灵活性更强的方向发展；二是，数据集 成正在由传统的紧密耦合的模式集成方法向低风险、松散耦合的、服务型数据 集成方法过渡( 如图1 4 所示) 。 1 3 本文的主要工作内容 本论文工作是课题组正在研发的“一种基于服务匹配的数据集成系统”项 目的一部分，主要任务是完成该系统底层组件“异构数据集成处理与服务管理 平台 的升级改造。本文的研究主要围绕上述问题展开，具体工作内容包括： 1 重新设计和改写异构数据集成与服务管理平台。通过引入s p r i n g 、 h i b e m a t e 技术架构，降低系统的耦合性，优化对各种异构数据源的存 取访问；改进该平台系统的前端用户界面设计，以直观、可视化的方 式将复杂的语义集成过程定义到一个数据集成处理描述包中，并实现 其封装、注册发布、执行等功能。 ( 注，对师兄：余银所完成的原有系统，只能抽取保留原有的部分设 计思想和部分功能代码片段。) 2 深入研究国内外现有数据集成与数据融合方法，在此基础上，提出可 自动合并异源相关数据的处理方法，并尝试将该方法应用于现有的数 据集成系统中。 1 4 论文结构安排 本文工作主要围绕“异构数据集成处理与服务管理平台”研发而展开。论 文的结构和主要章节内容安排如下： 第一章绪论。介绍论文选题背景与意义，分析总结现有异构数据集成处 理方法，归纳比较其优缺点、适用范围；分析未来异构数据集成处理系统的发 展趋势；给出论文工作主要内容和论文内容结构安排。 第二章相关技术研究。简要介绍本文工作涉及的相关理论与技术体系。 具体内容包括：1 ) 可有效改善系统存取访问各类数据源一通用性、灵活性和可 扩展性的h i b e m a t e 技术体系；2 ) 可有效降低系统中间层模块间和层间耦合度、 提高中间层软件开发效率的s p r i n g 技术体系；3 ) 介绍与本文工作相关的、项 目组其它成员已完成的方法体系和系统组件，着重介绍项目系统的整体架构体 系和数据服务封装、发布注册方案，并简要介绍方案必须涉及的语义w e b ， 7 第章绪论 o w l s 等相关知识。 第三章融合技术及其在数据集成中的应用。首先，概要介绍数据融合的 现有方法体系，并重点介绍知识融合的概念、体系结构及其在数据集成中的应 用方法。其次，介绍本文研究提出的、可指导异源相关数据自动整合处理的一 种知识融合方法，该方法可使数据集成系统兼顾模式级和实例级的异构处理， 能有效改善集成系统自动处理异源相关数据整合的智能性。 第四章 异构数据集成与服务管理平台设计与实现。按照规范软件设计与 管理要求，对本文主要完成的目标系统“异构数据集成与服务管理平台 ( h d i s m p ) 进行全方位描述，包括：系统概述与总体描述；系统设计目标； 系统功能需求描述；系统功能模块结构设计描述；系统整体架构和体系结构设 计描述；系统主要功能模块设计描述；系统主要功能模块详细设计与实现描述。 第五章总结与展望。总结全文工作，描述论文工作已完成的目标系统情 况和程度，总结说明论文主要完成工作和主要贡献，并简要说明下一步工作目 标和展望。 第二章相关技术研究 第二章相关技术研究 本章主要针对后续章节将要用到的相关技术及项目组其他成员已完成的、 并与本文工作密切相关的工作做了简要介绍。重点介绍了本文的背景项目一“基 于服务匹配的数据集成系统”及已有工作。 2 1m v c 相关技术 h i b e r n a t e 技术对j d b c 进行了轻量级封装，可实现对各类关系型异构数据 源的透明访问。s p r i n g 技术可有效降低系统中间层模块间和层间耦合度，提高 中间层软件开发效率。 2 1 1h i b e r n a t e h i b e r n a t e 是一种开放源码的对象关系映射技术( o b j e c tr e l a t i o n a lm a p p i n g ， o 砌 v 0 ，它解决了关系数据库与面向对象存在的阻抗不匹配现象。该框架建立了 j a v a 类和关系型数据库表之间的对应关系，对底层的j d b c 接口进行了轻量级 的封装，并且提供了一种类似于s q l 的面向对象查询语言爿q l ( h i b e m a t e q u e r yl a n g u a g e ) 语言来查询持久化对象，从而可以使得程序员可以使用面向 对象编程思想来操纵数据库，处理继承、关联、多态、集合等方式的持久化， 并在内部维护对象的生命周期。目前，h i b e r n a t e 技术支持大部分主流的关系数 据库，它是一种比较成熟的数据持久化方案。 o r m 对象关系映射模型 o r m 的全称是o b j e c tr e l a t i o n a lm a p p i n g ，其主要功能是实现实体域对象 的持久化并封装数据访问细节i l 引。 在o r m 中，最重要的概念是映射( m a p p i n g ) ，通过映射可以将业务逻辑 与数据库分离。o r m 对底层数据库进行了轻量级的封装，使数据库层对用户来 说是透明的，从而使开发人员的开发真正符合面向对象的思想。 h i b e r n a t e 体系结构 h i b e r n a t e 内部结构比较复杂，如图2 1 所示，图中各对象的定义如下： 1 ) 会话工厂s e s s i o n f a c t o r v s e s s i o n f a c t o r y 是生成s e s s i o n 的工厂，它是对属于单一数据库的编译后的 映射文件的缓存快照，是线程安全的。它可能持有一个可选的数据缓存，可以 第二章相关技术研究 在集群级别或进程级别保存可重用的数据。 2 ) 会话s e s s i o n s e s s i o n 是持久化层与应用层之间交互的一个单线程对象，生存周期很短。 s e s s i o n 隐藏了j d b c 连接。它会保存有必需的持久化对象的缓存，便于遍历对 象图。 3 ) 事物t r a n s a c t i o n 它是应用程序用来表示原子操作的单线程对象，生命周期较短。它是底层 的j d b c 、c o r b a 和j t a 事物的抽象。 4 ) 持久化对象p e r s i s t e n to b j e c t s 它们是包含了商业功能和持久化状态的单线程对象，生命周期短。它们可 能是普通的p o j o s 或j a v a b e a n s ，从属于且仅从属于一个会话。一旦会话被关 闭，它们都将从会话中取消联系，可以在任何程序层自由使用。 5 ) 临时对象t r a n s i e n to b j e c t s t r a n s i e n to b j e c t s 是指当前没有从属于一个会话的持久化类的实例。它们可 能是刚刚被实例化，而没有来得及被持久化，或是被一个已经关闭的会话所实 例化的。 6 ) t r a n s a c t i o n f a c t o r y t r a n s a c t i o n f a c t o r y 对应用程序不可见，但可被开发者实现或扩展。 7 ) c o n n e c t i o n p r o v i d e r c o n n e c t i o n p r o v i d e r 是生成j d b c 连接的工厂。可供开发者实现或扩展，但 是对应用程序使用者不可见。 巾b cj a t烈d i 图2 1h i b e r n a t e 体系结构概要图 使用h i b e r n a t e 技术的优势 第二章相关技术研究 1 ) 实现透明持久化。当保存一个对象时，这个对象不需要继承。 2 ) 面向对象特性。使用h i b e r n a t e 无需编辑j d b c ，只需要操作对象就可 以实现加载、存储、查询、删除、更新等操作，所以我们的开发更对象化。 3 ) 可移植性好。使用h i b e r n a t e 标准开发，在更换数据库时，只需要配置 相应的配置文件，不需要做其它任何操作。 4 ) 性能优化策略。有些对象如果已经加载过了，就不会去数据库查询，直 接在内存中查找。 5 ) 无入侵性，轻量级框架。h i b e m a t e 中的任何类、任何接口，都只是一 个纯粹的p o j o 对象，这个对象没有继承第三方框架的任何类和实现其任何接 口。 2 1 2 s p r in g s p r i n g 是一个开源的j 2 e e 全功能栈的应用程序框架，致力于以一致、高效 的方式构造应用程序。s p r i n g 框架是一个分层的构架，如图2 2 所示，由七个 定义良好的模块组成，这些模块构建在核心容器之上。 图2 2 s p r i n g 框架结构图 组成s p r i n g 框架的每个模块都可以单独存在，或与其他一个或多个模块 联合实现。每个模块的功能如下： 1 ) 核心容器( s p r i n gc o r e ) ：提供了s p r i n g 框架的基本功能。其主要组件 是b e a n f a c t o r y ，它是工厂模式的实现。b e a n f a c t o r y 使用控制反转模式将应用 程序的配置和依赖性规范与实际的应用程序代码分开。 2 ) s p r i n gd a o ：j d b cd a o 抽象层提供了异常层次结构，可用该结构来 管理不同数据库供应商抛出的错误消息和异常处理。异常层次结构简化了错误 的处理，且降低了需要编写的异常代码量。s p r i n gd a o 面向j d b c 的异常遵 守通用d a o 的异常层次结构。 第二章相关技术研究 3 ) s p r i n g 上下文：s p r i n g 上下文是一个配置文件。s p r i n g 上下文包括企 业服务，如e j b 、j n d i 、国际化、电子邮件、校验和调度功能。 4 ) s p r i n go r m ：s p r i n g 框架提供了o r m 的对象关系工具，包括 h i b e r n a t e 、j d o 和i b a t i ss q lm 印。 5 ) s p r i n gw 曲模块：w 曲上下文模块为基于w 曲的应用程序提供了上 下文。它支持与j a k a r t as t r u t s 的集成。 6 ) s p r i n ga o p s p r i n ga o p 模块通过配置管理特性直接将面向方面的编 程功能集成到s p r i n g 框架中。s p r i n ga o p 模块为基于s p r i n g 的应用程序中的 对象提供了事务管理服务。使用s p d n g a o p 可以不依赖e j b 组件而将声明性 事务管理集成到应用程序中。 7 ) s p r i n gm v c 框架：m v c 框架是一个全功能构建w e b 应用程序的 m v c 实现。通过策略接口，m v c 框架变为高度可配置的，它容纳了大量视图 技术，如v e l o c i t y 、j s p 、p o i 和t i l e s 等。 2 2 s o a 构架与实现技术 2 2 1面向服务的体系构架( s o a ) 面向服务的体系结构( s e r v i c e o r i e n t e da r c h i t e c t u r e ，s o a ) t 8 1 是一种标准的 构架模型。它根据需求对松散耦合的应用组件进行分布式部署和使用。s o a 中， 三个重要角色服务提供者、服务注册中心和服务请求者交互操作。其结构图如 图2 3 所示。 图2 3w e bs e r v i c e 体系构架 i ) 服务提供者 负责将服务发布到服务注册中心，同时控制对服务信息的访问、执行及维 护工作。在典型情况下，服务提供者即为服务的所有者。从体系构架角度看， 1 2 第二章相关技术研究 服务提供者是管理被访问服务信息的平台。 2 ) 服务注册中心 服务注册中心u d d i 负责管理、发布服务，集中存储服务信息。服务提供 者向服务注册中心发布服务描述：服务请求者在注册中心查找所需的服务。服 务请求者可以通过两种方式进行服务绑定：静态绑定和动态绑定。静态绑定是 指在开发应用程序时查询相关服务信息，得到服务的a p i 接口。对采用静态绑 定的服务请求者来说，服务注册中心是可选的，服务提供者可直接将服务描述 发动给静态绑定的服务请求者。动态绑定是指在运行过程中服务请求者从服务 注册中心获得服务信息。 3 ) 服务请求者 实现服务的发现与调用。服务请求者在本地或到服务注册中心检索服务描 述，一旦发现，将服务描述与服务提供者进行绑定，并进行实际的w e b 服务调 用。 基于上述三种角色，它们之间的相互操作有：发布( p u b l i s h ) 、发现( f i n d ) 和绑定( b i n d ) 。 1 ) 发布，即发布服务描述。使服务提供者可以在服务注册中心注册已有的 服务信息和访问接口。 2 ) 发现，即发现服务描述。服务注册中心提供标准的接口，使服务请求者 可以通过注册中心发现所需的、特定种类的服务信息。 3 ) 绑定。主要是为了实现对找到的服务信息的绑定或调用，发生在服务提 供者和服务请求者之间。注册中心向服务请求者返回所需服务的详细信息，如 访问路径、调用的参数、传输的协议等，服务请求者这些绑定信息进行服务定 位和调用。 2 2 2 语义w e b 技术 语义w e b 1 4 】是s o a 一种标准的参考实现技术。其概念是由万维网的创始 人t i mb e m e r s l e e 于1 9 9 8 年首次提出的，是对未来w e b 的一个伟大构想。语 义w e b 的基本思想是利用元数据对w e b 上的信息资源进行语义描述，使计算机 可以利用语义信息对资源的内容进行理解及处理，从而实现更高级的应用。 简单来说，一个服务可以是一段w e b 可以访问的程序代码，它的调用不依 赖于其他服务，并在用户和服务之间没有更进一步的交互；更为复杂的情况： 一个服务由多个基本服务组成，并且需要在服务和用户之间建立会话，便于用 户选择。o w l s ( o n t o l o g yw 曲l a n g u a g ef o rs e r v i c e ) 1 1 5 , 1 6 1 设计初衷就是为了支持 这两种形式的服务。o w l s 主要功能包括： 第二章相关技术研究 1 ) 服务的自动发现：将w e b 服务的语义描述注册到u d d i ，代理服务器通 过推理找到服务请求者期望的服务。 2 ) 服务的自动调用：是指由代理服务器代替人来完成w e b 服务的执行。 3 ) 服务的自动组装和互操作：服务请求者的需求可能需要几个w e b 服务 结合才能完成，代理服务器帮助用户协调相关服务的事务。 4 ) 服务的自动执行监控：在执行复杂服务时，代理服务器代替用户跟踪、 查询服务及执行过程中的状态变化。 在语义w e b 服务中，采用o w l s 语言描述服务，克服了w s d l 缺乏服务 语义描述能力的问题，对实现w e b 服务的自动发现、自动调用、自动组装和互 操作，以及自动执行监控都是至关重要的。 o w l s 是用o w l 描述w e b 服务的本体语言，它的早期版本是d a m l s ( d a r p aa g e n tm a r k u pl a n g u a g ef o rs e r v i c e ，基于d a m l + o i l ) ，它是一种具 有显示语义的机器可理解的标记语言。o w l s 使用o w l 建立一个上层本体， 描述了w e b 服务的属性、能力及执行结构等，目的是使服务对机器来说是可理 解的，方便服务的发现、调用、结合和互操作等。 图2 4 中，s e r v i c e 是上层本体，一个s e r v i c e 有三部分来描述s e r v i c e p r o f i l e ， s e r v i c e g r o u n d i n g 和s e r v i c e m o d e l 。简单来说，s e r v i c e p r o f i l e 用来描述服务是做 什么的，s e r v i c e g r o u n d i n g 用来描述怎样访问服务，s e r v i c e m o d e l 用来描述服务 是如何工作的。一个s e r v i c e 最多被一个s e r v i c e m o d e l 描述，一个 s e r v i c e g r o u n d i n g 必须和一个s e r v i c e 关联。下面我们将详细描述这三个部分。 图2 4o w l s 的本体服务描述模型 s e r v i c e p r o f i l e 在o w l s 模型中，s e r v i c e p r o f i l e 既可以描述服务请求者所需的服务，也可 以描述服务提供者提供的服务。在服务发现时，匹配器利用这种双向信息进行 匹配。s e r v i c e p r o f i l e 描述服务主要包含三个方面的信息：服务提供者提供的基 本信息、服务的功能描述信息和服务的所属分类、服务质量等信息。 1 4 第二章相关技术研究 1 ) 服务提供者提供的基本信息。主要包括：服务提供者的名称，服务的文 本描述，服务提供者的联系方式等。 2 ) 服务的功能信息。主要包括服务进行计算所需的信息、服务的输出结果、 服务被请求前要满足的逻辑条件以及服务被执行后所导致的影响，这些信息分 别对应于i n p u t 、o u t p u t 、p r e c o n d i t i o n 和e f f e c t 。 3 ) 服务的所属分类、服务质量等信息。主要包括：s e r v i c e c a t e g o r y 和 q u a l i t y r a t i n g ，在比较几个具有相同功能的服务时，可以提供额外的信息。 s e r v i c e c a t e g o r y 指定了服务所属分类，主要包含4 个属性：分类法的名称、该 服务在分类法中对应的值、对应的代码值、以及对分类法模式的引用。 q u a l i t y r a t i n g 通过对特定的等级系统指定服务级别来提供服务的质量信息，它 主要包含2 个属性：分类系统的名称和该服务在等级系统中的级别。 s e r v i c e m o d e l s e r v i c e m o d e l 主要用来描述服务的内部流程。o w l s 把每个服务看成一个 过程( p r o c e s s ) ，因此，在o w l s 中定义了s e r v i c e m o d e l 的一个子类 p r o e e s s m o d e l ，详细描述了一个服务是如何操作的。 p r o c e s s 类用h a s l n p u t 、h a s o u t p u t 、h a s p a r a m e t e r 、h a s e f f e c t 和h a s p r e c o n d t i o n 等属性( 分别属于i n p u t 、c o n t i o n a l o u t p u t 、p a r a m e t e r 、c o n d i t i o n a l e f f e c t 和 p r e c o n d i t i o n 等类) 来描述服务的l o p e 。p r o c e s s m o d e l 定义了一个过程本体， 它包含原子过程、