全文检索技术的研究与实现

全文检索技术的研究与实现

1、全文学研究系统技术的总结1.1用户检索流程和方法全文检索是指计算机索引程序通过扫描文章中的每个词并将每个词标记为索引，以表明文章中的单词数和位置。在用户请求的情况下，搜索程序将根据默认索引进行搜索，并将搜索结果发送给用户搜索方法。全文检索的方法主要有按字索引和按词索引。按字索引是指对于文章中的每一个字都建立索引,检索时将词分解为字的组合。按词索引是对文章中的词,即语义单位建立索引,索引时按词索引,并且可以实现与按字处理类似,添加同义处理也很容易。中文文字需要切分词,以达到按此索引的目的。1.2文本处理和检索检索过程全文检索主要由两方面核心技术结合实现:一个是建立和维护索引,另外一个是提供有效的检索机制。下面简单介绍一下全文检索的基本流程。(1)扫描源文档,建立索引库.首先将源文件转换为能够进行文本查找的全文数据库。这个过程包括全文的分割处理,规范格式等工作。处理完成后需要过滤源文档中的格式控制,然后将文档中的词进行切分,再开始建立索引,把文档中的每一个词的出现位置记录到索引库中。(2)实现全文检索。当用户输入查询条件,经过查询分析器分析后遍历索引树,得到查询结果,经过相关的排序算法后结果显示在查询结果页面。1.3全文检索系统功能模块全文检索系统是按照全文检索理论建立起来的用于提供全文检索服务的软件系统。功能上讲,全文检索系统具有建立索引、处理查询返回结果集、增加索引、优化索引结果等功能,外围则由不同应用具有的功能组成。结构上来看,全文检索系统具有索引引擎、查询引擎、文本分析引擎、对外接口等,加上各种外围应用系统共同构成了全文检索系统。2、工具包的应用Lucene是apache软件基金会jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,它不是一个完整的全文检索引擎,而是一个使用java语言编写的全文检索引擎的架构,主要提供了查询引擎、索引引擎、存储管理和文本分析接口。它可以嵌入到各种应用中来实现针对应用的全文搜索功能。Lucene中包括7个包,每个包完成特定的功能,下面列出了本文开发的系统中要用到的5个包如下表1所示。3、基于lucene的web搜索引擎开发3.1数码产品搜索系统的应用现在数码产品已经渗透到普通百姓的生活,由于网络提供信息的快捷性,许多在市场上看不到的新数码类产品在网上能第一时间看到,所以越来越多的人喜欢在网上搜索自己感兴趣的产品、在线查看该产品的图片和性能介绍等情况。用户在搜索栏中输入待查询的数码类产品的名称型号或其它关键字,按下搜索按钮之后可以看到系统返回的相关内容。具有非常强的实用性。本项目实现的是一个具备全文搜索功能的数码产品搜索引擎系统。为用户提供一个搜索数码类产品信息的平台。3.2信息资料收集和搜索模块的实现系统设计的要求:(1)方便的用户接口,尽可能提供细致的查询项目,从而满足用户更加有效地查询信息的需求(2)结果显示要尽可能简明扼要,符合方便用户的准则(3)程序接口要有利于日后的扩展,增加新功能该搜索引擎系统主要是由五个主要功能模块组成:信息抓取模块,数据库处理模块,Indexer索引模块,Searcher搜索模块,分词模块。如图1所示:Core负责流程之间的交互;信息抓取模块,负责收集网络资源;Searcher搜索器,负责从索引的数据中搜索包含查询关键字的内容;IndexWriter写索引器,负责将信息索引后写入本地存储器中;IndexReader读索引器,用来读取索引文件中的数据,转换为查询的信息结果;Analyer分词器,负责对生成的文件进行分词处理,并提供词元序列供进行查询;索引文件:负责保存索引内容,以文件的形式保存在本地的文件系统中;数据库文件:用来存储产品的各种信息;网站前台负责响应用户查询,返回查询结果。信息抓取模块从Internet上抓取数据,然后将数据通过Core核心模块传给写索引模块,由写索引模块处理之后产生索引文件,存储到本地文件系统中。当用户需要搜索数据时,通过在网站前台界面上输入要查询的内容,向搜索模块发出搜索请求,搜索模块向Core核心模块转发请求,也就是说,由搜索模块将用户的请求进行分析和转换,之后向Core模块请求搜索相关的关键词,随后Core模块调用读索引模块读取存储在本地的索引文件,将结果通过Core模块,搜索模块,前台反馈给用户。上图的虚线表示逻辑控制,写索引模块实际上是由信息抓取模块控制的,Core模块对于链接的两个模块来说是透明的,它的存在是为了降低各模块之间的耦合度。4、搜索和搜索教育图2为本项目开发的数码产品搜索系统的首页,在输入栏中用户可以输入待搜索的关键词,在这里可以是产品的品牌,型号等,如输入诺基亚手机,按下确定按钮之后,返回的搜索结果如图所示。检索结果共15页,每页显示诺基亚的一种型号。现在看到的是最后一页型号是N78的情况。5、全文检索系统的研究结果本文是对全文检索技术的一个初步探索,具体在LuceneAPI的基础上实现了一个全文检索系统,这个系统包括信息抓取模块,分词模块,数据库处理模块,索引器,检索器。在数码产品搜索引擎系统的研究和实践中,取得的成果总结如下:1.分析了全文检索系统的特点。2.系统基于ApacheLucene开源项目上进行设计开发