WEB全文信息检索技术.doc

WEB全文信息检索技术摘要：本文探索了在INTERNET网上实现全文检索的技术。计论了从网上信息的标引、分类等预处理到组织信息检索的过程，并就智能检索技术的发展进行了阐述。关键词：信息检索 因特网 全文检索一、 前言网是目前全球最大的、最有影响力的信息网络，它将政府、学校、图书馆、商务场所、研究机构和其它组织中的局域网（）集成为一个单一的、庞大的、跨越全球的通讯网络。越来越多的人们利用这一网络与世界各地的人进行交流。如何利用网获取有价值的信息，已成为科研人员必备的一项基本技能。因特网是一个开放型的巨大的信息资源库，拥有上千万台以上的主机和过亿的用户；并且由于因特网信息蕴含的无限丰富，信息组织、表达的直观、生动以及信息服务的方便性和多样性，愈来愈多的信息搜索者被其独特的魅力所吸引。而在近几年，因特网用户的数量更是成倍地增长。可见，因特网检索已成为实际上最普及、最受关注、最常涉及的信息检索领域。二、 概述网上的信息具有数量大、形式多、内容广、专业性不强等特点，给情报搜集、分类、检索等工作带来了新的问题和挑战。如何充分利用因特网上的信息资源正成为情报科学研究者所关注的热点。全文信息检索就是概据信息的特点而发展起来的一种检索方式。它主要指研究对整个文档信息的表示，存储、组织和访问，即根据用户的查询要求，从信息数据库中检索出相关信息资料。全文检索的中心环节是文件内容表达、信息查询的获得以及相关信息的匹配。一个好的全文信息检索系统不仅要求将输出信息进行相关性排列，还应该能够根据用户的意图、兴趣和特点自适应和智能化地调整匹配机制，获得用户满意的检索输出。要实现全文检索，首先必须对WEB信息进行预处理。三、 WEB信息的预处理信息预处理的主要功能是过滤文件系统信息，为文件系统的表达提供一种满意的索引输出。其基本目的是为了获取最优的索引记录，使用户能很容易地检索到所需信息。（）格式过滤：信息预处理应该能够过滤不同格式的文档，以及图片、声音、视频等信息。这使得搜索引擎不仅能够检索文字，而且能够检索原始格式文件的所有信息。（）语词切分：语词是信息表达的最小单位，而汉语不同于西方语言，其句子的语词间没有分隔符因此需要进行语词切分。常用的语词切分方法有按词典进行最大词组匹配、逆向最大词组匹配、最佳匹配法，联想回溯法、全自动词典切词等。近年来，又出现了基于神经元网络的和专家系统的分词方法和基于统计和频度分析的分词方法。（）词法分析：汉语语词切分中存在切分歧异，如句子“网球拍卖完了”，可以切分为“网球拍卖完了”，也可以切分为“网球拍卖完了”。因此需要利用各种上下文知识解决语词切分歧异。此外，还需要对语词进行词法分析，识别出各个语词的词干，以便根据词干建立信息索引。对于英语语词，建立索引之前首先要去除一些停顿词（如常见的功能词“”，“”，“”等）和词根（如“”，“”，“”等）。（）词性标注和短语识别：在切分的基础上，利用基于规则和统计的方法进行词性标注。在此基础上，还要利用各种语法规则，识别出重要的短语结构。（5）自动标引：从网页文档中提取出一组能最大程度上概括其内容特征、可作为用户检索入口的关键性信息，用该组信息对文文件进行标引，使用户可以通过输入关键信息检索到该文文件的简要信息，如标题、摘要、时间、作者和等，进一步点击可查询到该文档（6）自动分类：建立并维护一套完整的分类目录体系，根据文文件的信息特征，计算出与其相关程度最大的一个或多个分类，将文档划归到这些分类中去，使用户可以通过浏览分类体系直接查询到该文档四、检索检索包括文件信息表达和查询信息表达以及相关信息预测过程。（）信息表达：信息的表达有多种方式，如布尔表达、矢量空间表达、自然语言表达等，每种表达方式由应用系统服务者提出并由整个应用系统的目的和需求所决定，并对应于相应的存储模式和检索算法，信息查询和组织的效率，也就是速度和存储的空间在很大程度上决定了检索服务系统的性能。（）查询分析：用户端的查询信息首先要进行分析处理，提取出查询项索引、逻辑表达式或其它查询特征描述。和文件信息索引不同的是：查询索引处理是及时地提交处理形成索引，而文件信息索引是由搜索引擎按某种策略进行远程数据的搜索和获取预先生成的本地索引。查询索引和文件索引采取同样的表达方式，因此能够采取相似性估计算法检索出相关文件。（）查询扩展：近年来，为了提高信息检索的性能，将应用领域知识和索引、相关性、估计、查询表达相结合实现查询扩展，即查询索引还包括不在用户查询中出现的查询词部分。典型的知识库查询扩展应用如图所示，知识库中存储的知识为原始查询增添了相关词，从而扩展了原始查询。（）查询词的选择策略：非独立词：非独立词指的是和查询词具有较大相关性的词。但是预先必须计算文件集合中的所有词之间的相关性。反馈词：根据用户反馈的文件信息，按照在相关文件和非相关文件中词的出现频率和分布决定出重要的词，将这些词增加到用户查询中。交互式选择：用户从通过上述策略得出的待选词中决定最后的查询词。反馈网络属于人机交互范畴，目的在于提高查询性能和针对性。不同的用户根据实际情况提供不同的反馈信息，不同的信息检索服务系统按照其功能与检索方法也有不同的反馈结构和交互方式，因此查询结果也不尽相同。（5）信息检索模型：信息检索系统的核心是搜索引擎，它需要从大量复杂信息中，筛选出符合用户需要的信息。根据搜索引擎查找相关信息方式的不同，可将信息检索分为：布尔逻辑模型、模糊逻辑模型、矢量空间模型以及概率模型等。布尔逻辑模型布尔逻辑模型是最简单的检索模型，也是其他检索模型的基础。标准布尔逻辑模型为二元逻辑，即一系列对应于文件特征的二元变量。这些变量包括从文件中提取的文本检索词，有时也包括一些更为复杂的特征，如数据、短语、私人签名和手工加入的描述子。在布尔模型中有确切的文件特征表达集合。用户可以根据检索项在文档中的布尔逻辑关系递交查询。匹配函数由布尔逻辑的基本法则确定。所检索出的文档或者与查询相关，或者与查询无关。查询结果一般不进行相关性排序。模糊逻辑模型为了处理精度和复杂性之间的矛盾，引入了模糊逻辑模型，它以逻辑真值为，的模糊逻辑为基础的，以隶属函数概念来描述现象差异的中间过渡。在查询结果处理过程中引入模糊逻辑运算，将所检索的文件信息和用户的查询要求进行模糊逻辑比较，按照相关性的优先次序排出查询结果，在布尔检索中借助模糊逻辑模型能够克服布尔逻辑查询结果的无序性。矢量空间模型和布尔检索模型不同，矢量空间模型中查询和文件都映射为同一维空间矢量。利用奇异值分解（）、查询词和文件的内部结构联系，通过欧几里德距离和余弦法则作相似性比较，根据矢量空间的相似性，排列查询结果。矢量空间模型不仅可以方便地产生有效的查询结果，而且能够提供查询结果分类，为用户提供准确定位所需的信息。概率模型在信息检索中存在不确定性问题，对查询本身来说，它不能唯一地表示信息需求，对于结果来说，定查询结果的正确与否。对于布尔检索也是如此，因为查询的提交本身就是一种不确切方式。为了解决在布尔检索模型中的不确定性问题，引入了概率检索模型。该模型基于概率排队理论：当文件按相关概率递减原则排列时可以获得最大的检索性能。五、全文信息检索技术的发展目前的全文检索技术还存在着一些未尽人意的结果，主要是通常的信息检索系统性能较低，原因是将孤立词和词汇术语作为查询描述子，因而文件内容的相似性较差。智能化信息检索是人工智能和信息检索的相结合的产物。它能使信息检索系统“理解”用户的信息需要和文件包含的信息内容。它在对内容的分析理解、内容表达、知识学习、推理机制，决策等基础上实现检索的智能化。目前人工智能和信息检索的结合主要包括三方面：（1）信息检索和专家系统：主要研究方向是开发一个专家中介系统来协助查询形成、搜索策略选择以及预测检索文件；（2）信息检索和自然语言处理：它实际上是以字或词为符号的一种符号系统。目前自然语言处理对信息检索的应用仍停留在简单语言处理上，例如确认词根和词组等。（）信息检索和知识表达：此领域的研究主要是通过应用领域知识来理解文件和查询的信息内容。目前，虽然某些在上的信息检索服务系统采取了智能用户代理的等方式，可以根据用户事先定义的信息检索要求，在网络上实时监视信息源，如指定页面的更新、网络新闻、电子邮件等，并将用户所需的信息通过电子邮件等方式，主动提供给用户，减少用户检索信息的时间。但是商用信息检索系统仍主要以布尔模糊逻辑为主，辅以部分自然语言的处理。智能化信息检索技术的发展，特别是知识学习和知识库以及人机交互方式的应用，将大大提高信息检索服务系统的精度和相关性。随着智能化技术的发展，全文信息检索技术必将更广泛地应用于网上信息检索领域。附：参考文献1）、WWW上的全文信息检索技术，金燕等，计算机应用研究，1999年第一期，P40-432）、全文数据库建库原理与应用技术，王兰成等，情报学报，1999年第4期3）、H T Ng, W B Goh, K L Low. Feature Selection, Perceptron Learning, and a Usability Case Study for text Categorization. 20th annual international ACM SIGIR conference on Research and development in information retrieval, July 27-31, Philadelphia, 1997, 67734)、MicrosoftCorporation.VisualInterDev6.0ProgrammersGuideM.希望电子出版社，19995)、杨文清，黄宜华，张福炎. 中文Web文档库全文检索技术研究与实现. 中文信息学报，1999，13(4): 4956 英文文献原文The contributions of this dissertation are as follows: 1. A Chinese Web page classification algorithm that is based on SVM-Decision Tree is presented. The multiple-class classifier is composed of SVM and binary decision tree and used for Chinese Web page classification. The category whose amount of training examples is maximum is selected as the category that can be identified by current classifier and the training data of remain categories is used as negative examples when a new classifier is constructed. It can reduce the train scale of SVM classifier and improve the training efficiency. During the test process, each classifier is called in the order that it was constructed. The experiments show that it not only reduces the size of train set, but also has very high training efficiency. Its precision and recall are also very good. 2. A Chinese Web page classification algorithm that is based on the combination of SVM-Decision tree and clustering is proposed. For multi-class classification, the classifiers are composed of SVM and binary decision tree. Combined with some clustering method, we select those negative examples that may be support vectors with high probability and add them to the SVM training set. Any page can be classified by comparing the distance of clustering centers or by SVM. Experiments show that this method can greatly reduce the train scale of SVM classifiers and improve the training efficiency. Its precision and recall are also very high. 3. A valid method to use the unlabeled web page data to improve the classifier which has only a few labeled training examples is designed. It first selects some web pages with high similarity and appropriate difference from the unlabeled web page pool using vector space model and adds these unlabeled examples to the labeled training set. SVM classifiers are retrained and used for classification again. Experiments show that this method can use the unlabeled data effectively and enhances the training set. It improves the classification recall and reduces the need for labeled training examples. 4. An open Chinese web document classification system is designed and implemented. Several Chinese web page classification algorithms and research work on using unlabeled data to improve classification performance presented in this thesis are integrated into this system. It is also designed according to the practical need of experiments and use. Modular architecture is adopted to facilitate functional expansion and performance improvement. 5. The application of character-based indexing technology to the search of Chinese web documents is studied. Because Chinese Web