地理编码系统中地址匹配引擎的设计与实现.pdf

PRINCIPLES AND APPLICATIONS OF SEQUENTIAL STATIC POINT POSITIONING REN Kai1 ,2 Y ANGLi1 FENG Y ong2 ZHANG Hao1 (1 Institute of Surveying and Mapping ,Information Engineering University ,66 Middle Longhai Road , Zhengzhou 450052 ,China ; 2 Xian Technical Division of Surveying and mapping ,36 Xiying Road , Xian 710054 ,China ) ABSTRACT The methods of first using parameter eliminating method to simplify the GPS pseudorange observation equations , and then using sequential static parameter adjustment to calculate the position are introduced. The accuracy of each epochs positioning can be improved. KEYWORDS GPS; point positioning; parameter eliminating method; sequential static param2 eter adjustment 项目来源:国家科技支撑计划课题资助项目(2007BAH16B03) ;福建省科技重大专项专题资助项目(2006HZ000121) ;福建省科技计划重点资 助项目(2008H0046) ;AMD合作项目奖励基金资助项目。 文章编号:100723817(2008)0620012203中图分类号:P208 文献标志码:B 地理编码系统中地址匹配引擎的设计与实现 张林曼1 ,2 吴 升1 ,2 (1 福州大学福建省空间信息工程研究中心,2空间数据挖掘与信息共享教育部重点实验室,福州市软件大道89号,350002) 摘 要 分析了地址匹配流程和几种模糊检索技术,选用了全文检索引擎包Lucene设计了地址匹配引擎,实现 了基于XML Web Services的地理编码系统。 关键词 地理编码;地址匹配;地址匹配引擎;Lucene 在电子地图的实际应用过程中,经常需要在已知地名、 地址的情况下,找出其相应的位置,被称为地理编码。地理 编码系统是数字城市重要的空间信息基础设施1。地址匹 配是实现地理编码系统的核心技术,直接决定地理编码的效 率。地址匹配是指根据用户输入的包含地址信息的文字描 述,按照一定的地址匹配策略,与地理编码库中的地址信息 进行比对,从而获得对应的空间地理坐标,并定位到电子地 图的相应空间位置的过程。 1 地址匹配过程 地址匹配的目标是为任何输入的地址数据返回最准确 的匹配结果。其过程通常包括地址标准化和数据库匹配2。 地址标准化是指街道地址匹配之前的数据处理。包括街道 地址信息的标准化、 纠正街道和地址名称的拼写形式等。数 据库匹配是指将记录的地址属性与地理编码库中地理实体 的地址属性进行匹配,然后将地理实体的坐标赋给匹配成功 的记录。 理想的地址匹配情况是用户提交的地址信息和地理编 码库中的相应信息完全匹配,但实际上出现这种情况的概率 很小,并且地名简称的广泛应用无疑增加了地址匹配的难 度。在分析研究各种模糊检索技术的基础上,基于Lucene 设计了一种高效的城市地址匹配引擎,有效解决了地址匹配 中的模糊检索问题。 2 模糊检索技术 传统的数据库系统通过SQL查询进行模糊检索,但是对 于海量的地理信息数据,使用类似like%keyword % 的SQL 查询效率很低,因为查询的过程需要逐个记录进行匹配。 全文检索技术有效解决了这一问题。全文检索是指对 文章中的每一个字、 词建立索引,指明该词在文章中出现的 次数和位置3,当用户查询时,检索程序就根据事先建立的 索引进行查找,并将查找的结果反馈给用户。其原理与通过 字典的检索字表查字的过程类似。由于其包含信息的原始 性、 信息检索的彻底性、 所用检索语言的自然性等特点,所以 全文检索近年来发展比较迅速,成为一种非常有效的信息检 索技术。 目前比较成熟的全文检索技术有两类:一是关系数据库 中的全文检索功能组件,比较典型的有Oracle的Oracle Text ,Microsoft SQL Server的Microsoft Full Text Search 等。二是全文检索引擎工具包,比较典型的有Apache Jakar2 ta的Lucene引擎工具包4。Lucene的检索过程实际是把模 糊查询转化为多个可以利用索引进行精确查询的逻辑组合 的过程,它不需要很多的I/ O操作,大大提高了多关键字检 索的效率。此外,Lucene通过复杂的映射过程,进行相似度 运算,使得检索结果的精确度更高。 Lucene与其他全文检索系统的区别如表1所示。 21测绘信息与工程 Journal of Geomatics Dec. 2008 ; 33(6) 表1 Lucene与其他全文检索技术比较 Lucene关系数据库中全文检索组件 索引方式支持批量索引和增量索引只支持批量索引 支持的数据源支持文档、 数据库记录,word、pdf文档等各种数据源只对本关系数据库记录建立索引 中文分词带有几种中文分词器没有中文分词功能 扩展性有良好的扩展性扩展性较差 Lucene引擎包以其良好的扩展性、 易用的接口、 高效的 检索性能、 多并发使用等优点被广泛应用。基于Lucene开 发高效的地址匹配引擎不失为一种较好的解决方案。 3 地址匹配引擎设计 利用Lucene进行模糊检索的原理是在数据源顺序存储 的同时建立一个排好序的关键字索引列表,用来储存关键字 和记录之间的映射关系,包括关键字和记录编号的映射,关 键字在记录中出现的次数、 频率、 位置的映射。建立这样的 索引避免了在所有记录中搜索关键字的麻烦,大大提高了检 索效率。 逻辑结构设计如图1所示,建立地理编码库数据索引, 然后根据关键字在索引数据库中进行检索。其中索引器和 检索器是关键。 图1 逻辑结构设计 1) 从数据库读数据。在用Lucene索引数据之前,首先 必须将数据转换成Lucene能够处理的格式 纯文本字符 流。构造函数,建立数据库连接,返回数据库表的内容。 2) 索引器设计。对地理编码库中选定的字段分词后索 引入库,按照倒排索引方式存储在索引数据库中。首先定义 一个IndexWriter() ,将索引写进Lucene自己的数据库中,其 存放的位置由设计者定义。在定义IndexWriter ()时,要指 定其分析器。Lucene自己带有几个分析器,如StandarAna2 lyzer()、SimpleAnalyzer()、 StopAnalyzer()等,对文本进行分 析,判断如何进行切词。接着,定义一个Document ,Docu2 ment相当于二维表中一行数据。Document里包含的是 Field字段,Field相当于数据库一列,也就是一个属性,一个 字段。然后对不同字段分别建立索引。另外要考虑索引的 优化、 索引的合并及索引的更新问题。主要实现代码如下: IndexWriter writer = new IndexWriter (path , new StandardAn2 alyzer() ,true) ;/ /设置索引位置、 分析器、 以及是否进行增量索引 doc. Add(newField( ActualName ,myRed ActualName . ToString() ,Field. Store. YES ,Field. Index. UN_TOKENIZED) ; / / 对Name字段建立索引 writer. AddDocument (doc) ;/ /将索引添加到文档中 3) 检索器设计。设计检索器对索引入库的数据进行检 索,用户提交检索关键字,先调用Lucene的查询分析器,然 后调用IndexSearcher类的Search方法进行搜索,返回结果 为Hits结果集。定义一个新的方法IndexSearch ()从Index 目录读取索引,然后根据IndexReader创建对应的搜索器 Searcher ,Query负责解析检索的关键字,包含查询内容、 查 询字段、 分析器三个参数;Hits则是检索器返回的搜索结果, 相当于数据库中的Resultset。Lucene内部有一套计算检索 结果得分的公式,按照得分高低依次排序。设计者可以修正 评分公式,设置相应的权重,按照设计者定义排序。并且 Lucene支持 “AND” 、“OR” 、“NOT” 、“+” 、“-” 查询。主要 实现代码如下: QueryParser parser = new QueryParser ( ActualName ,analy2 zer) ;/ /设置查询分析器 Query query = parser. Parse(queryString) ;/ /解析用户输入的 查询字符串 IndexSearcher mysea = new IndexSearcher (directory) ;/ /创建 新的IndexSearcher类对象,参数为索引位置目录 hits = mysea. Search(query) ;/ /进行搜索 4 地理编码系统开发 分布式GIS的应用及软件松散耦合的发展趋势,要求地 理编码服务能够实现跨平台操作,实现一次部署、 多次调用。 将XML Web Services技术与地址匹配引擎相结合,把地理 编码系统的接口封装成Web服务进行发布,从而实现地理 编码的在线服务。 1) 地理编码系统的体系结构设计。系统框架分为四个 层次,应用系统框架如图2所示,分别是数据层、 中间件层、 服 务层、 应用层。数据层主要是为中间件层提供各种地理编码 数据库;中间件层实现地址匹配引擎;服务层设计并实现按照 图2 应用系统框架 不同查询方式的地理编码服务5接口以及反地理编码服务接 口。应用层主要用于与外界的数据交换,通过客户端接收用 户的查询请求,并将结果显示在地图上,适当辅以统计分析功 能。采用Ajax技术提高用户体验,在异步通信过程中使用 JSON数据格式将数据从Web客户端传递给服务器端程序。 2) 试验与结果。根据应用系统框架和实现方案,使用 Microsoft . NET平台,实现了地理编码系统,并对福建省下 31测绘信息与工程 Journal of Geomatics Dec. 2008 ; 33(6) 属不同级别城市兴趣点数据进行了匹配效率测试,测试环境 为:Windows Server 2003 ; Intel P4 3. 0G;2G内存,测试5次 取平均值,地址匹配时间折线图如图3所示。 图3 地址匹配时间折线图 随着城市级别的增大,地理编码库数据量随之增加。如 测试结果表明,数据量增大不会造成地址匹配引擎效率的急 剧下降,该引擎能满足数字城市地理编码系统建设的需要。 地理编码系统查询结果如图4所示。 图4 地理编码系统查询结果 5 结束语 地理编码系统是数字城市重要的空间信息基础设施,地 址匹配又是实现地理编码的核心技术。在研究地理编码和 地址匹配相关理论的基础上,充分利用Lucene高效的检索 效果、 优良的可扩展性等特点,开发了地址匹配引擎,实现了 地理编码服务的开发,经试验该引擎在海量地理编码的查询 效率上能满足数字城市建设的需要。由于地理编码系统是 个比较庞大的工程,要考虑的问题还很多,以后还需要进一 步研究。 参考文献 1江洲,李小林,刘碧松.地理信息系统地址编码技术标准化研究 J .标准化研究,2007(5) :22225 2江洲,李琦.地理编码 Geocoding的应用研究J .地理与地理 信息科学,2003 ,19(3) :22225 3苏新宁.信息检索理论与技术M.北京:科学技术文献出版社, 2004 4张校乾.基于Lucene的全文检索系统的研究和应用D.大连: 大连理工大学,2005 5李洵,陈云浩,刘纯波.基于Web Service的地名地址发布技术与 应用J .遥感信息,2006(5) :56259 收稿日期:2008206216。 第一作者简介:张林曼,硕士研究生,现主要研究地理信息系统的 开发与应用。 E2mail:zlm3210 DESIGN AND REALIZATION OF ADDRESS MATCHING ENGINE IN GEOCODING SYSTEM ZHANGLinman1 ,2 WU Sheng1 ,2 (1 Spatial Information Research Center of Fujian Province ; 2 Key Laboratory of Spatial Data Mining and Information Sharing , Ministry of Education , Fuzhou University , 89 Ruanjian Road , Fuzhou 350002 , China) ABSTRACT Address matching process and some fuzzy search technology are analyzed in de2 tail. The full text engine package“Lucene”is chose to implement address matching engine. Using this engine , a geocoding syste