基于WEB服务的异构数据源统一检索研究(仅供参考).doc_第1页
基于WEB服务的异构数据源统一检索研究(仅供参考).doc_第2页
基于WEB服务的异构数据源统一检索研究(仅供参考).doc_第3页
基于WEB服务的异构数据源统一检索研究(仅供参考).doc_第4页
基于WEB服务的异构数据源统一检索研究(仅供参考).doc_第5页
已阅读5页,还剩3页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

窗体顶端基于WEB服务的异构数据源统一检索研究(仅供参考)摘要:随着INTERNET和异构数据源技术的迅速发展,异构数据源统一检索的内涵在不断扩展.基于目前流行的WEB服务技术,提出并设计了一个异构数据源统一检索框架,并针对检索服务分发和结果融合提出了检索服务统一模型、记录统一模型,以及相应的结果融合算法.该系统结合XML方便地统一了来自各数据源检索返回的异构数据记录,充分利用WEB服务机制的完好封装性、规范性、松散耦合、高度集成能力等特点,实现了异构数据源检索接口的透明集成.基于WEB服务的异构数据源统一检索系统实现简单,时空性能好,可扩展性强,能兼顾各数据源的特点实现全局优化.关键词:Web服务;异构;数据源;检索;结果融合Research on Heterogeneous Data Source Union Search Based on Web ServicesWU Zebin, WEI Jie, LI Weiqing, WU HuizhongAbstract: Along with the development of Internet and heterogeneous data source technology, connotation of heterogeneous data source union search was extended continuously. Combined with web services, a framework of heterogeneous data source union search was designed. Search Services Unified Model, Record Unified Model and Corresponding Results Fusion Algorithm are proposed for search services distribution and results fusion. Based on this design, Heterogeneous Data source Union Search System could be implemented simply and would have good space-time performance. It could also unify heterogeneous data records by XML expediently and accomplish the global optimization by giving attention to character of every data sources search interface. Besides, it could archive transparent integration to heterogeneous data sources search interface, taking full advantage of web services mechanisms capability of loose coupling, fine encapsulation, high grade integration.Key words: web services; heterogeneous; data source; search; fusion引言以多个分布式异构数据源为对象,向用户提供统一的检索接口,将用户的检索要求转化为不同数据源的检索表达式,并发地检索本地的和广域网上的多个分布式异构数据源,并对检索结果加以整合,在经过去重和排序等操作后,以统一的格式将结果呈现给用户的检索系统,就是异构数据源统一检索系统.与元搜索引擎相比,异构数据源统一检索的检索对象除了网页与网站,还包括网络数据库、网络文件系统等其它数据源.随着INTERNET和异构数据源技术的发展,异构数据源统一检索的内涵在不断扩展.人们要求统一检索系统不仅能集成检索数据库系统中的数据,而且能集成检索非数据库系统中的数据;不仅能集成检索本地数据源,而且能集成检索互联网WEB数据;不仅能集成检索已有数据源中的数据,而且能集成检索随时加入的新数据源中的数据.目前,异构数据源统一检索在国内外都受到了广泛关注,已成为数字图书馆领域的一项核心技术.多种异构数据源统一检索的解决方案和相应系统应运而生.美国洛斯阿拉莫斯国家实验室研究图书馆开发的FlashPoint可以统一检索包括网络数据库、图书馆目录、电子杂志在内的11个数据源;美国加利福尼亚大学SearchLight可以检索包括商业数据库、OPAC、自建的全文库在内的55个数据源;我国的CALIS(中国高等教育文献保障体系)统一检索平台采用了基于元数据的检索技术,能够对分布在本地和异地的各种异构资源提供统一的检索界面和检索语言;此外,还有清华大学的同方异构统一检索平台、南京大学图书馆网络数据库一站式检索系统、以及一些商业系统如ExLibris公司的MetaLib等.目前国内外的异构数据源统一检索系统普遍存在如下问题:(1) 系统扩展性差.需要对各个数据源的检索处理接口进行详尽分析,各个数据源的检索处理接口如发生改变则需重新设计,系统的稳定性较差.(2) 各数据源查询结果排序方式不同,对检索结果的融合处理实现复杂、时空性能不佳,而且效果不理想,没有针对特定领域异构数据源检索的特殊情况进行优化.(3) 对返回的异构结果记录大多采用固定格式,无法实现动态整合.而且需要进行大量的字符处理来解析记录,造成检索速度较慢,很难进行分类等二次处理.本文在异构数据源统一检索系统中引入了WEB服务思想,设计了一个基于WEB服务的异构数据源统一检索系统框架,并针对检索服务分发和结果融合提出了检索服务统一模型、记录统一模型,以及相应的结果融合算法,并在该设计的基础上实现了统一检索原型系统.基于WEB服务的统一检索思想异构数据源统一检索的目的就是并发地检索本地的和广域网上的多个分布式异构数据源,并对检索结果加以整合,以统一的格式将结果呈现给用户.INTERNET技术的快速发展要求统一检索系统必须具有高可扩展性,可以实现数据源检索节点的即插即用,这是传统的异构数据源统一检索技术难以实现的.Web Service技术经多年的发展,正在走向成熟,并因其独有的完好封装性,松散耦合,使用协议的规范性,高度可集成能力的特点,使其非常适合INTERNET的发展,能够在异构数据源统一检索领域得到广泛应用.而且Web服务设计基于服务定向的架构(SOA),能够简化和方便解决信息系统集成的困难.将Web服务应用于异构数据源统一检索,能够实现系统跨网络、跨平台数据通信以及系统间灵活集成.Web服务是用标准的、规范的XML概念描述的一些操作的接口.这一描述包括了与服务交互需要的全部细节,包括消息格式(详细描述操作)、传输协议和位置.该接口隐藏了实现服务的细节,允许独立于实现服务基于的硬件或软件平台和编写服务所用的编程语言使用服务.这支持基于Web服务的应用程序成为松散耦合系统,可以面向组件和跨技术实现.Web服务体系结构是基于三种角色(服务提供者、服务注册中心和服务请求者)之间的交互.交互涉及发布、查找和绑定操作.这些角色和操作一起作用于Web服务软件模块及其描述.Web服务具有以下优点:(1) 良好的封装性,调用时只考虑Web服务的功能列表,无需了解实现细节; (2) 促进松耦合的分布式应用,只要Web应用的界面不变,其他任何变更,甚至迁移到其他平台,对于调用者来说都是透明的;(3) 基于Internet标准协议的开发和使用,提高了系统的开放性、通用性和扩展性;(4) 通过跨平台、透明化的动态业务集成,降低了系统复杂性.以Web服务的形式把各数据源检索整合起来,能够实现数据源节点内部检索对整合的透明性以及数据源检索节点的即插即用.基于Web服务的异构数据源统一检索系统(HDUS-WS)设计思想如下:部署检索服务注册和反馈代理,该代理遵循现有WEB服务通用描述、发现和集成(UDDI)规范,负责各数据源检索服务的注册,以及各数据源检索服务辅助信息和反馈信息的统一维护,是联系统一检索系统中各个功能服务的纽带.用Web服务技术对各异构数据源的检索接口进行封装,并用WEB服务统一描述语言(WSDL)通过WEB服务机制在检索服务注册和反馈代理上进行注册,WSDL中需要包含数据检索源的个性化信息,包括服务分发和结果融合的辅助信息.部署负责检索源服务调度和查询转换的检索分发服务,该服务利用检索服务注册和反馈代理中的各数据检索源对应的WSDL,对客户端的用户检索请求进行预处理,将其转化为若干个检索源服务能够处理的格式,然后分发给各个数据检索源.部署结果融合服务,该服务根据各检索数据源对应WSDL文件中的辅助信息,对各检索源服务的结果进行后处理,包括组合各个检索源服务返回的检索结果,消除重复项,对结果进行排序等.以统一的格式向客户端返回经过组合和处理后的检索结果.基于Web服务的统一检索系统框架基于上述思想设计统一检索系统框架如图1所示.在该框架基础上的统一检索,对于设计人员而言不需要建立和维护庞大的索引数据库,也不需要使用复杂的检索机制,同时新的检索服务可以方便地加入,不需要改动系统的底层设计和上层接口;对于用户而言,提供了一个能够透明地同时查询多个异构数据源的集成界面,将各个搜索源的位置、接口等细节屏蔽了起来,提高了检索的查全率、精度和时空性能.图1 基于Web服务的统一检索系统框架HDUS-WS自顶向下共分为五层,分别为应用层、检索统一层、服务通讯层、基础服务层、数据源层.功能分别如下:数据源层是系统的最底层.该层负责基于数据源自身的特点和能力对数据源中的数据进行有效的存储和索引,该层的具体实现对于HDUS-WS是透明的,只需提供对其内部数据进行检索的接口.基础服务层负责根据检索服务统一模型将底层异构数据源提供的数据检索接口进行分析并封装成服务,然后通过WSDL文档将服务注册到检索服务注册与反馈代理中.当服务被调用的时候,相应的数据源执行其检索行为,并将结果经由服务通讯层返回到结果融合模块中进行处理.服务通讯层负责各服务元(包括各数据源的检索服务、检索分发服务、结果融合服务)的部署、服务之间的通讯、并提供相应服务执行所需的辅助信息.检索统一层负责从上一层接收查询请求,并根据已有的服务注册和反馈信息将请求分解成与不同数据源上的具体检索服务对应的子请求,产生查询分发方案和结果整合方案.按照分发方案调用不同数据源上的检索服务,并根据结果整合方案将检索返回的结果进行融合处理,产生模式统一的结果集并传递给上一层.基础服务层、服务通讯层、检索统一层合称为服务层,是整个异构数据源统一检索系统的核心.应用层是系统的最顶层,为外部用户或其他系统提供统一的检索接口,允许用户采用单一的语言对所有的数据源都进行检索,并向用户展示检索结果,或者将结果传递给其他系统.统一检索模型及算法在系统框架研究的基础上不难发现,HDUS-WS的核心在于基于Web服务的检索分发和结果融合.WEB服务采用基于XML的WSDL文档来定义和描述服务,用于描述服务提供者的细节以及服务本身的属性、功能、参数等.服务描述的重点在于交互所用的操作:服务、调用操作的消息、构造这种消息的细节.WSDL不包括服务实现的任何技术细节.用WSDL描述服务,其文档可以方便快捷的通过SOAP协议传输,并且具有全球统一性,便于服务的重用和集成.检索服务分发和结果融合是根据检索服务注册和反馈代理中各检索服务源的描述信息(包含于WSDL文档)进行的.如何结合WSDL实现高效的服务分发和结果融合是非常关键的.3.1 检索服务统一模型本文提出了一个侧重于服务分发和结果融合的检索服务统一数据模型.定义1 一个检索服务元是一个三元组(1)其中是检索空间元,如常规数据库系统、含索引的文件系统、WWW搜索引擎数据库系统;是检索条件元;为检索结果元.定义2 一个统一检索系统US是一个三元组:(2)其中WS为检索服务集(3)UQ为统一检索条件集(4)UR为统一检索结果集(5)统一检索系统US是利用WEB服务中的UDDI技术,通过整合各检索服务的WSDL文档在检索服务注册和反馈代理中进行统一的.一个检索服务元的详细定义对应于UDDI中的一个WSDL描述文件,而对应于相应WSDL文档中的检索条件描述元素集合,对应于相应WSDL文档中的检索结果描述元素集合.这些WSDL文档在遵循标准WEB服务协议规范的基础上,针对检索服务的辅助描述信息和反馈信息,以元素的形式进行了相应扩展.具体的服务分解算法和合成算法就是在检索服务注册和反馈代理所维护的WSDL文档集的基础上进行的.3.2 服务分解和结果融合本文对服务分解算法进行简化处理,直接将客户端的用户检索请求转化为每个搜索源服务能够处理的格式分发给各个异构数据源检索服务;对检索结果融合算法进行重点说明.针对异构数据源统一检索的特点,检索结果融合需要重点考虑两个关键问题:(1) 实现各异构数据源检索结果记录的统一.在异构数据源环境下,检索结果既包含结构化的数据,如数据库记录,又包含半结构化的数据,如HTML文档、文本,以及无结构化的数据,如图片、图像、音频等.异构数据源统一检索系统必须实现这些异构数据的统一表示.(2) 实现高效的结果融合算法进行检索结果集的后处理.在HDUS-WS这种即插即用的松散耦合模式下,数据源的数量和规模通常是不可限制的,搜索结果的规模常常比较庞大,而用户又通常缺乏足够的耐心、精力和时间去遍历所有的命中文档,通常只有前几条或几十条信息是用户关心的有效数据.因此,需要设计一种高效的结果融合算法用于组合各个搜索源服务返回的检索结果,消除重复项,对结果进行排序.3.2.1 记录统一模型在统一检索的结果融合中,需要考虑检索返回结果记录的异构性,检索结果中的记录可能是关系数据库表中的一条记录,可能是文件系统中的一个文件,也可能是WWW上的一个网页节点.当集成的大量检索数据源具有不同的数据模型时,考虑使用一种介于这些模型的中间模型形式是有利的.为了对不同数据源检索服务的结果记录进行统一描述,本文提出了一种便于XML格式化描述的记录统一模型.定义3 一条检索结果记录是一个五元组:(6)其中是记录标志符,是记录名,是记录类型,是记录值,是记录权重.(7)的值与记录所对应的检索源服务的有效权成正比,.例 特定仿真领域文件系统中一个文本文件的记录统一描述如图2所示.图2 文本文件的记录统一描述范例记录统一模型具有完备描述和强大融合的能力,既能描述结构化数据也能描述半结构化和非结构化的数据,还特别适合于用XML表示;而且该模型支持数据记录之间的引用关系,并屏蔽了异构数据记录的具体存储方式,使得统一检索系统能够结合XML方便地统一来自各数据检索源返回的异构数据记录.3.2.2 基于检索反馈的结果融合算法查询结果的合成有以下几种典型的方法:间隔排列合成法:首先把每个查询结果中的第1项交叉列出,然后再把各个查询结果中的第2项交叉列出,依此类推.这种方法适用于只有文档的原始顺序已知的情况.规范分值合成法:对倒排文档频率等进行标准化来得到规范的相关性分值,并以之为根据确定文档的合成排列次序.这种方法适用于文档原始相关性分值已知,但是这些分值不能直接比较.加权分值法:首先计算出各个信息源相应于查询条件的重要性,再以此为权乘上文档的相关性分值作为决定其合成排列次序的根据.修改底层引擎法:修改底层搜索引擎以返回某些额外信息,如各个搜索项在文档中出现的次数和在整个数据库中出现的次数,元搜索引擎利用这些信息在客户端重新计算文档的相关性,并依此为根据决定文档的最终排列顺序.该方法的前提是能够修改底层搜索引擎.概念可信度法:引入概念可信度来决定文档与查询的相关程度,引入各个搜索引擎就最终结果中文档的排列顺序进行投票,被多个搜索引擎选中的文档更有可能排在只被一个搜索引擎选中的文档前面.客户端重新计算法:对搜索引擎查询结果中的文档进行下载,然后再在客户端独立计算文档与查询之间的相关性.上述这些方法或多或少都存在着一定的局限性,例如融合效果不佳(方法1、5)、对集成检索不透明(方法4)、可扩展性差(方法2、3)、实现复杂(方法4)、时空性能差(方法7)等,而且这些方法都没能有效地针对特定领域异构数据源检索的特殊情况进行优化.本文结合WEB服务机制的特点,在HDUS-WS框架基础上设计了一个基于检索反馈的结果融合算法.算法思路:首先,为每个数据源检索服务定义一个有效权来描述其检索的有效性.根据用户经验,对各检索服务源进行有效权的初始化,记检索源的初始有效权为,.各数据检索源的初始有效权是一个全局化的参数,例如对于分布仿真资源库中的异构数据源统一检索系统,仿真资源库内部基于数据库的仿真资源检索服务和基于Lucene引擎的仿真领域文档文件系统检索服务比WWW搜索引擎检索服务有更高的有效性,也就是更有可能检索到对于分布仿真有用的记录,那么前两者就应该被赋予较高的初始有效权.其次,根据统一检索的反馈信息对数据源检索服务的有效权值进行动态更新.每次检索过程中检索服务的有效权就会衰退,记衰退程度为,;每次检索到有效记录(在检索返回的记录中被用户点击查看了详细内容的记录即为有效记录)会释放有效能量增加对应检索服务的有效权重,记为,.第一次检索之后数据源检索服务的有效权值为(8)(9)第n次检索之后,(10)第三,参考数据源检索服务的有效权进行结果融合处理.设当前检索服务的有效权为,检索服务返回的结果记录集中的某条结果记录的序号为j,则该条记录的权重为(11)对每个检索源所返回的结果记录进行权重计算,然后根据该权重进行降序排序就得到最后统一检索系统的结果序列.算法描述:检索服务集为;,执行某次检索返回的结果集为,其中1,2,m表示结果记录在结果集中的序号;对应的有效权为.第k次检索后,对应的有效权为,则第k+1次检索的结果融合处理算法为:结果合并for( each in WS )for( each in );/利用快速排序算法/以为关键字降序排列所有的结果记录;return UR;(2)结果反馈for( each in WS );for( each in )if( is valid );break;elsecontinue;/返回更新有效权后的检索服务元集return (WS);该算法用于异构数据源统一检索的优势:实现简单,时空性能好.该算法使用数据检索源服务描述文档中的一个元素来存储对应的有效权;结果融合过程中记录的权重计算、排序简单.设n为所有的结果记录数,该算法时间复杂度为,空间复杂度为,时间和空间的开销都很小.透明集成,可扩展性强.该算法充分考虑WEB服务机制的完好封装性、松散耦合、使用协议的规范性、高度可集成能力的特点.算法的实现不依赖于任何特定的数据检索源,新检索源的加入也不用更改其底层实现.数据检索源只要提供检索接口.在统一检索框架下按照WEB服务规范封装该接口为WEB服务并通过标准WSDL描述在服务注册与反馈代理中进行注册就可以集成到统一检索系统中,实现了真正意义上的即插即用.针对特定领域应用兼顾各数据源的特点实现全局优化.该算法根据各数据检索源返回的结果记录顺序,透明地利用了各数据检索源内部的排序算法;同时辅之以一个全局化的初始有效权,并通过每次检索过程的反馈实现了结果记录融合的不断优化.原型系统实现应用上述统一检索的框架、模型和算法,在面向SBA的分布式仿真资源库平台上实现了一个基于WEB服务的异构数据源统一检索原型系统.该原型系统对基于SQLServer2000的INTRANET内部仿真资源数据库、基于Lucene引擎的仿真领域文档文件系统、CNKI中国期刊全文数据库、Yahoo Search API、Google Search API等5个异构数据源的检索接口进行了WEB服务封装,并基于AXIS引擎部署服务,进行SOAP通讯,实现了异构数据源的统一检索以及检索服务的动态加入.HDUS-WS原型系统根据UDDI规范,在检索服务注册与反馈代理中遍历查询,获得异构数据源检索服务列表,在主界面中以统一的列表格式提供给用户,用户可以根据特定应用动态选取检索服务.主界面中的检索服务列表能够动态刷新,实现了新加入数据源检索服务的及时显示.原型系统的主界面如图3所示.图3 HDUS-WS原型系统主界面针对分布仿真资源库的特定应用,对各检索服务返回的结果进行融合处理之后按记录权重的降序排列显示,同时重新排序后的数据结果集被导入基于POSTGRESQL的内存数据库中进行缓存已备二次检索等后续处理.检索结果界面如图4所示.图4 原型系统结果记录显示界面该原型系统在面向SBA的分布式仿真资源库平台上的应用,为资源库的用户提供了一种更好的统一检索服务,提高了资源的利用率,初步验证了该设计的可行性.结束语本文在分析现有异构数据源统一检索现状的基础上,结合目前流行的WEB服务技术,设计了一个异构数据源统一检索框架,并针对检索服务分发和结果融合提出了检索服务统一模型、记录统一模型,以及相应的结果融合算法.其特点是:1) 能够结合XML方便地统一来自各数据检索源返回的异构数据记录;2) 实现简单,时空性能好;3) 充分利用WEB服务机制的完好封装性、协议规范性、松散耦合、高度可集成能力的特点,实现异构数据源检索接口的透明集成,可扩展性强;4) 针对特定领域兼顾各数据源检索服务的特点实现全局优化.HDUS-WS原型系统对分布仿真资源库中现有的2个异构数据资源的检索接口、1个CNKI自建全文库检索接口、2个WWW搜索引擎接口进行整合,为资源库的用户提供了一种更好的统一检索服务,提高了资源的利用率,初步验证了该设计的可行性.集成更多数据源检索接口进行大规模的实验,对结果融合算法的全局性参数进行最优化配置,基于检索源能力的服务分发,是后续工作的重点.参考文献Habegger B, Quafafou M. Web services for information extraction from the Web. IEEE International Conference on Web Services, 2004, 7(6): 279286.Etban Cerami. Web Services Essentials. Sebastopol, USA: OReilly & Associates, Inc.2002.Melloul L, Fox A. Reusable functional composition patterns for Web services. IEEE International Conference on Web Services, 2004, 7(6): 498505.Callan, J.P., Lu, Z., Croft, W.B. Searching distributed collections with inference networks. In: Fox, E.A., Ingwersen, P., Fidel, R.,eds. Proceedings of the 18th International Conference on Research and Development in Information Retrieval. ACM Press, 1995.2128.Ning Wang; Ying Chen; Benquan Yu; Nengbin Wang. Versatile: a scalable CORBA-based system for integrating distributed data. IEEE International Conference, on Intelligent Processing Systems, 1997, 2: 1589 - 1593.Lorence, S., Giles, C.L. Inquirus, the NECI meta search engine. Computer Networks and ISDN Systems, 1998, (30):95105.Kirsch, S.T. Document retrieval over networks wherein ranking and relevance scores are computed at the cl

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论