（计算机应用技术专业论文）基于潜在语义索引的文本分类及其在科技信息检索中的研究.pdf

摘要 随着科技的进步，科技创新越来越受重视，但目前科技项目评审 缺乏科技创新参考指标，因此需要对以往科技项目创新性指标进行分 类，提高科技项目评审的质量。采用传统的基于向量空间模型的方法 不能满足查全率和查准率的需要，因此论文给出潜在语义索引的文本 分类模型，以提高查全率和查准率。 本文在潜在语音索引奇异值分解的基础上，分析奇异值分解方 法在实际分类中所存在的问题，引入偏最小二乘法来替代奇异值分解 方法。通过对全局潜在语义索引分类模型的实验，发现该分类模型整 体上具有良好的分类稳定性和准确度。但是这种全局潜在语义索引分 类模型对稀有类别的分类效果比较差，为此，进一步引入局部潜在语 义索引分类模型。同时为了进一步降低存局部潜在语义分类的存储空 间的开销，采用半离散分解方法替代奇异值分解方法。通过实验，发 现局部潜在语义模型能很好地解决了稀有类别的分类问题，并且全部 类别的查全率和查准率都有一定的提高。实验语料采用标准中文语料 和科技项目信息语料两种语料，以提高分类模型上的通用性。 本文在潜在语义索引的基础上，通过对全局潜在语义分类模型和 局部潜在语义分类模型的研究，发现潜在语义索引能一定程度上提高 文本分类的性能。 关键词信息检索，文本分类，潜在语义索引，奇异值分解，偏最小 二乘法，半离散分解 a bs t r a c t w i t ht h ed e v e l o p e m e n to ft e c h n o l o g y , s c i e n c ea n dt e c h n o l o g y i n n o v a t i o ni s b e i n gt a k e nm o r es e r i o u s l y , b u ta tp r e s e n t ，t h el a c ko f r e f e r e n c ei n d e xo fi n n o v a t i o nm a k e si tn e c e s s a r yt oc l a s s i f yt h ee x i s t i n g s c i e n c ea n dt e c h n o l o g yp r o j e c t s i n n o v a t i v e n e s s i n d e x ，w h i c hc a n c o n t r i b u t et oi m p r o v et h eq u a l i t yo fp r o j e c ta p p r a i s a l t h ea d o p t i o no f t r a d i t i o n a lm e t h o db a s e do nv e c t o rs p a c em o d e ic a n n tm e e tt h ed e m a n d o fr e c a l la n dp r e c i s i o nr a t i o ，t h e r e f o r e ，ad o c u m e n tc l a s s if i c a t i o nm o d e l b a s e do nl a t e n ts e m a n t i ci n d e x i n gi sp r e s e n t e di nt h ep a p e rt oi m p r o v e t h er e c a l la n dp r e c i s i o nr a t i o t h i sp a p e rb a s e do nl a t e n ts e m a n t i ci n d e x i n g s i n g u l a rv a l u e d e c o m p o s i t i o n ，a n a l y s e st h eu s a g eo fs i n g u l a rv a l u ed e c o m p o s i t i o ni n a c t u a lc l a s s i f i c a t i o n a n dd e c i d e st or e p l a c et h es v db yt h ep a r t i a ll e a s t s q u a r e s e x p e r i m e n t a t i o n o ft h eo v e r a l lc l a s s i f i c a t i o no fl a t e n t s e m a n t i ci n d e x i n gm o d e li n d i c a t e st h a tt h ei m p r o v e dm o d e li sw h o l e b e t t e ri n s t a b i l i t y a n da c c u r a c yo fc l a s s i f i c a t i o n b u tt h eo v e r a l l c l a s s i f i c a t i o no fl a t e n ts e m a n t i ci n d e x i n gm o d e ld o e sw o r s ei nt h e c l a s s i f i c a t i o ni nr a r et y p eo fi n f o r m a t i o n s ot h el o c a lc l a s s i f i c a t i o no f l a t e n ts e m a n t i ci n d e x i n gm o d e li sa d v a n c e d m e a n w h i l et or e d u c et h e c o s to fm e m o r ys p a c e ，t h i sp a p e rt a k e st h es e m i - d i s c r e t ed e c o m p o s i t i o n m e t h o dr a t h e rt h a nt h es i n g u l a rv a l u ed e c o m p o s i t i o n e x p e r i m e n t ss h o w t h a tt h el o c a lc l a s s i f i c a t i o no fl a t e n ts e m a n t i ci n d e x i n gm o d e l a m e l i o r a t e st h ec l a s s i f i c a t i o ni nr a r et y p eo fi n f o r m a t i o n a n da l s o i n c r e a s e sb o t ht h es i z ea n dt h ec o r r e c to ft h ei n f o r m a t i o n i nt h i sp a p e r b o t hs t a n d a r dc h i n e s e c o r p u s i n f o r m a t i o na n dt e c h n o l o g y p r o j e c t i n f o r m a t i o na r et a k e da se x p e r i m e n t a lc o r p u s s ot h eu s eo fc l a s s i f i c a t i o n m o d e lw i l lb ei m p r o v e d t h i sp a p e r , t a k i n gt h el a t e n ts e m a n t i ci n d e x i n ga sf o u n d m i o na n d c o m p a r i n gt h es t u d yi nb o t ht h eo v e r a l lc l a s s i f i c a t i o no fl a t e n ts e m a n t i c i n d e x i n gm o d e la n dt h el o c a lc l a s s i f i c a t i o no fl a t e n ts e m a n t i ci n d e x i n g m o d e l ，f i n d st h a tt h el o c a lc l a s s i f i c a t i o no fl a t e n ts e m a n t i ci n d e x i n g i l m o d e lc a ni m p r o v et h e p e r f o r m a n c eo ft e x tc l a s s i f i c a t i o nt o s o m e e x t e n t k e yw o r d si n f o r m a t i o nr e t r i e v a l ，t e x tc l a s s i f i c a t i o n ，l a t e n t s e m a n t i c i n d e x i n g ，s i n g u l a rv a l u ed e c o m p o s i t i o n ，t h ep a r t i a l l e a s t s q u a r e s ，s e m i d i s c r e t ed e c o m p o s i t i o nm e t h o d i i i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名： 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 懒名挚新签名拯眺寸必五日 硕士学位论文 第一章绪论 第一章绪论弟一早瑁比 随着信息化网络化时代的到来，信息的搜集、分类、查询越来越被人们所重 视。进入2 l 世纪，网络上给大家带来丰富的信息资源的同时，也给大家带来了 越来越多的困惑，使人们陷入了所谓的信息垃圾的包围之中无所适从。 为了更好的解决文档的信息检索【3 9 】【蛔，文本的自动分类是必不可少的。文本 的自动分类对文档的预处理，可以很好的组织和管理文本信息，它可以在一定程 度上解决信息的使用效率低下、杂乱无章的问题，使用户能够更加容易准确的检 索到所需的信息。以前那种手工分类虽然具有传统性和习惯性，但是由于信息量 的爆炸式的递增，手工分类已经无法满足人们的需求，利用计算机对海量文本信 息进行自动分类已经成为顺理成章的事情。随着文本自动分类技术在图书馆、自 定义的信息检索、信息过滤等领域的应用前景非常广泛，因此是有极高的研究价 值。 本章首先阐述了论文的课题提出的背景，接着就文本分类和潜在语义索引的 研究现状作了介绍，最后介绍了本文所做的工作和组织结构。 1 1 课题的提出 科技是第一生产力，对科技工作者的奖励也是十分重要的事情。为了使科技 奖励工作跟上信息化时代大潮，国家奖励办公室和教育部科技发展中心以及各省 市地区科技厅奖励办公室和成果中心均对奖励评审工作信息化、网络化。本人所 在的实验室是中南大学网络评审系统工程研究所，承接了国家科学与技术奖励办 公室、教育部科学与技术发展中心以及部分省市地区科技厅的科学与技术奖励办 公室的科技奖励评审研究课题。经过几年的应用，科技奖励评审基本实现了信息 化和网络化p o 。 随着评审的信息化，评审专家对科技奖励的信息的需求量越来大，要求也越 来越高。但是科技奖励根据不同的需要分成了科技进步奖、科技发明奖、最高贡 献奖等不同的奖种。奖种的不同给信息统一查询提供了不小的难度，因为不同的 奖种可能都是多学科的，而查询的信息分类标准不一。还有，对于科技奖励的分 组的情况，每个部门都不一样，国家科技奖励办公室和教育部科技发展中心使用 的分组的代号不一样，各省市地区又不一样，这样要实现同一主题的信息统一就 有不小的难度。反过来，评审专家在评审科技项目时，对主审项目不仅希望看到 横向的和同类项目的比较，也想看到纵向的课题间的比较。为此，研究所开始着 硕士学位论文第一章绪论 手科技奖励信息检索课题的研究。 1 2 科技奖励信息检索的研究与应用 研究所最初的科技奖励信息检索系统的设计如图1 1 所示： 项目信息抽取 科技奖励项目 特征提取科技奖励项目名称 l 、 信息数据库 翻俑日枯厶 t一 、 、 匹配成功 关键词组 特征项库 类别库 库 。 手 。- _ _ _ _ _ _ 一 匹配1 、厩切 结果文档集合 相关度排序 索引器 信息存储 l r n 图i - i 科技奖励项目信息检索系统结构 2 硕士学位论文 第一章绪论 这种检索系统i 5 8 j 是建立在向量空间模型的基础上的，这种检索模型基于关 键字的文档处理方法，依据的是词频信息，两个文档的相似度取决于共同词汇的 数量，无法分辨自然语言的语义模糊性；它假设词与词之间是相互独立的，一个 关键字唯一代表一个概念或语义单元，而实际的情况是文档存在很多的一次多义 和同义词现象，因此这种假设很难满足实际情况。 文档中词与词之间往往存在一定的关联性，信息检索的本质就是语义的检 索，孤立的用关键字来表示文档内容，通过简单的词汇模式匹配进行检索，忽视 上下文语境的影响作用，会影响到信息检索的结果的查准率和查全率。针对这种 情况，必须在文本分类的上进行改进，才能使科技奖励项目信息检索查全率和查 准率的性能上有所提高。 下面对文本分类的研究现状以及潜在语义索引的分类方法的研究应用进行 说明。 1 3 文本分类的研究现状 文本分类( t e x tc l a s s i f i c a t i o n ，t c ) 从2 0 世纪6 0 年代开始出现，到2 0 世纪 9 0 年代后逐渐成为热点话题。 最开始，文本分类系统都是基于知识工程( k n o w l e d g ee n g i n e e r i n g ，k e ) ， 即如何把一篇文档放到给定的类别里面的专家知识，用人工的方式编写成一条条 的规则，添加到规则库中。后来，人们开始转向使用机器学习( m a c h i n el e a r n i n g ， m l ) 的方法【i 】，以便从预先分类好的文本中学习各个类别的特征，从而产生一 个自动分类器。 相对于基于规则的文本分类方法，机器学习的优点明显。首先，机器学习不 需要知识工程师和领域专家，节省大量的人力物力：其次机器学习的效果不比基 于知识的文本分类差。 目前，文本分类处于机器学习与信息检索的相结合的阶段。目前使用文本分 类还要完成诸如文本挖掘、信息抽取等工作。文本挖掘本身就是通过对大量文本 分析，检测使用的模式，抽取有用的信息。所以从这点来说，文本分类也是文本 挖掘的一种。 自动文本分类的应用领域也是十分的广泛的。下面介绍一下现在应用的比较 多的几个方面： 1 布尔信息检索系统的自动索引 在一个受控词典上对信息检索系统进行自动文档索引，是最新使用自动文本 分类的领域，布尔系统就是其中之一。 布尔系统为每一篇文档分配了一个或者多个关键词来描述它的内容，用控 3 硕士学位论文 第一章绪论 制词典收集这些关键词，由一个主题层次词典组成。利用控制词典来进行分配的 过场通常需要一个具有专业素质的人工索引员来完成，代价较高。 2 文本组织 通常很多的人工组织的文本库需要对其结构化，这时可以使用文本分类技 术来解决，通过典型的约束使每个文档有且只能有一个类别。 3 文本过滤 文本过滤【4 8 】是对一个动态集合进行分类。过滤可以被看作是一个单标签的 分类问题，到来的文档被分到两个不同的类别中：相关的和不相关的。 4 消除词义歧义( w o r ds e n s ed i s a m b i g u a t i o n ，w s d ) 给定一个在文本中有歧义的词，如多义词和同义词，找到它的位置并且在 它出现的地方给出准确的含义。一些如自然语言理解或者通过词义建立文档索引 而不是为信息检索而用词来建立索引，用w s d 就相当方便了。对于一个文档来 说如果把它看成上下文，把词义看成类别，那么w s d 就是分类任务了。 5 网页层次分 自动文本分类也可用于网络。比如自动地的将网页或者网站按流行的f - j p 网站的商业层次类别分成不同的类别里面。网页通过这种方式组织起来，如果要 查找相关的信息就先到相关的类别中查询，相对网页搜索引擎要来得容易和方 便。 与前面的几种分类应用相比，网页的自动分类有两个不同的特点： 1 文档的超文本特性：超链接的丰富的信息可以看成连接内容与连接网页 的相似度的一种体现。 2 类别集合的层次结构：可以利用这一点把分类问题分解成一系列的与内 部节点的分支对应的小一些的分类问题。 1 4 潜在语义索引的研究与应用 传统的分类的模型以词作为特征，一般认为词与词之间是相互独立的，在降 低分类系统的同时，也使空间向量模型的效果打了折扣。直到2 0 世纪9 0 年代， s c o t td e r r w e s t e r 提出了潜在语义索引( l a t e n ts e m a n t i ci n d e x i n g ，l s i ) 的方法1 2 】， 并且将其应用于信息检索，取得很好的效果。此后人们开始对l s i 在信息检索上 的应用进行了深入的研究。 在分析文本的时候，大量的同义词和多义词的出现，特征不可避免的存在关 联。统计这些词的关联信息，找到它们之间的内部联系，称之为文本的语义。 l s i 认为每篇文档都包含不同几种语义， 些语义表示成文档，并且应用于计算中， 4 而且它们之间是相互独立的，如果将这 则在降低计算复杂度的同时，还可以保 硕士学位论文第一章绪论 持很好的效果。l s i 的一个缺点是可能出现强力特征在空间转换变得弱化。 传统潜在语义是通过奇异值分解的方法解决。它可以得到很好的效果，但是 时间复杂度和空间复杂度相对较高。所以在奇异值分解的基础上对如何设定较为 合理的向量空间维数的阈值进行大量的研究，并且取得一些进展。 在潜在语义索引分类模型的基础上，人们开始研究一些分类方法和原始向量 空间的分解方法，对潜在语义索引分类的性能进行不同程度的提升。 1 5 本文的工作 目前，对于潜在语义索引的研究主要基于全局文本的分类，主要都是文本分 类算法的研究，很少有对奇异值分解的改进和对局部潜在语义索引分类的研究。 对这些问题的研究可以对以后科技信息检索的研究有帮助。为此，我们对全 局潜在语义索引和局部潜在语义索引的分类模型进行一系列的实验，来探讨不同 的因素对潜在语义索引的影响。本文认为，下列因素的影响比较大： 1 稀疏程度。由于潜在语义索引是利用信息公共特征信息的相似度来进行 分类。因此数据稀疏程度的不同将对潜在语义索引的分类效果可能产生影响。 2 语料的特征数。不同的语料特征数不一，训练语料时选取的特征维数可 能对潜在语义索引的分类效果产生影响。 3 阈值的选取。潜在语义索引对原始向量空间分解后的秩的选择就是选取 相似程度较近的语料进行分类，所以本文也认为阈值的选取可能对潜在语义索引 分类产生影响。 在实验的基础上，本文通过不同的方法组合，研究了对潜在语义索引分类的 改进模型。首先在全局潜在语义索引分解时，引入类似于偏最t j , 、- 乘法的模型来 替代原始的奇异值分解，并且着重分析在不同特征维数和阈值条件下分类效果的 对比，使用局部潜在语义索引分类模型，并且针对不同的类别进行分析说明。 1 6 本文组织 本文的具体安排如下： 第一章为绪论，简单介绍潜在语义索引在信息检索课题的相关研究背景，说 明本文的研究工作，并罗列了文本章节安排。 第二章概括性地介绍文本分类系统的相关技术以及评价方法。按照分类的步 骤介绍了文本表示与预处理、特征选取及权值算法、文本分类算法和分类效果的 评价。 第三章分析潜在语义索引和奇异值分解的分类模型，使用偏二乘回归方法替 硕士学位论文 第一章绪论 代奇异值分解的潜在语义索引分类模型，给出相应的算法和推导，并就不同的特 征维数和阈值对全局潜在语义索引模型的分类效果使用复旦大学标准中文语料 和科技项目信息预料进行实验。 第四章对第三章实验中出现的问题将局部潜在语义索引应用于分类中，并且 使用半离散分解方法替代奇异值分解带来的存储空间过大的问题。给出了相应的 算法和推导。并且对第三章语料进行实验，进行分析和总结。 第五章总结全文，并展望下一步的工作。 6 硕士学位论文 第二章基于文本分类的信息检索 第二章基于文本分类的信息检索 文本分类是一个比较复杂的系统，由不同的模块组成。根据在分类中的不同 的阶段，整个流程分为训练过程和分类过程两部分。训练过程主要分为训练语料 的预处理、特征抽取、语料的重新生成以及建立训练器等几个模块构成。分类的 过程主要包括对测试文本的预处理和分类两部分。文本分类的系统框图如图2 1 所示： 图2 1 文本分类的系统框图 下面就文本分类步骤对一些处理模块作一些介绍。 2 1 文本表示与预处理 2 1 1 文本数据的数学表示 计算机只识别0 和l ，所以必须将待处理的文档转换成计算机识别的格式【5 6 】。 为了处理的方便，一般是采用贝叶斯假设。贝叶斯假设认为文本的字或词在确定 文本类别的作用上相互独立，这样可以用文本上出现的字或词的集合代替文档， 但是这样的处理将丢失很多有关文档内容的信息，特别是文档结构的信息。但是， 7 硕士学位论文第二章基于文本分类的信息检索 使用这种假设可以使文档的表示和处理形式化，本文可以采用不同的统计方法和 机器学习方法对文档进行处理。 目前，使用最广泛的文本表示方法是空间向量模型【3 j ( v e c t o rs p a c em o d e l ： v s m ) ，在v s m 中文档被看成是由一组正交词条构成的向量v ( d ) ： y ( d ) = ( 口i ，a 2 ，a 。) ( 2 1 ) 其中a ，为词条，的权值，表示该词条在文本中的重要程度。这样如果有刀 个文档，就可以构成一个二维的1 * m 的矩阵a ，其中第f 行，表示第f 行表示第 f 个文档，第，列代表第k 个词条。彳腑则代表第k 个词条在第f 个文档中所具 有的权值。 2 1 2 禁用词和稀有词 当用词作为特征来表示文本时，有一些词如冠词、叹词、助词等只在文本中 起辅助作用发虚词，基本上不携带任何文本信息，对分类起不到任何帮助作用， 这些词称为禁用词【3 1 1 。将禁用词作为特征只能带来效率上的下降而没有什么好 处，因此对文本处理之前，要把这些词从文本中去掉。具体比如英文中的a ，t h e ， i s ，a r e ，o f 等单词和中文中的了，啊，吗，昵等词。 还有，文档集中的一些出现频率极低的一些稀有词可能是由于拼写等原因而 出现也应该滤去。 2 1 3 文档的格式标记处理 在文本分类系统的待处理的文档，有一部分是也网页形式存在。网页是采用 超文标记语言( h y p e rt e x tl a n g u a g e ，h t m l ) ，而h t m l 文件都存在的大量表 示格式信息的的标记( t a g ) ，在文本分类处理前，一般需要滤去【5 5 l 。 当然标记中的 、 和 等标记能帮助本文提取相应部分的文 档内容可以保留。 2 1 4 字符处理 在文本分类中，大家把分类系统中不需要使用的字符比如数字、连字符和标 点成为“非法字符”。一般大家不希望这些字符作为文档特征项存在，因此在与 处理阶段也将它们滤去。 在一般情况下，英文字符的大小写不同不会对其语义产生影响，所以预处理 阶段将这些字符统一为大写或者小写。 8 硕士学位论文 第二章基于文本分类的信息检索 2 1 5 中文分词 中文分i 百- j 1 3 2 】是中文信息处理的特有的文本预处理步骤。目前的分词的方法 主要是两类： 1 基于概率统计的分词。该方法不需要任何词典就可以得到分词结果，主 要依据的概率统计的方法来得到最终的分词结果。 2 基于机械匹配的分词。即根据已有的词典来机械匹配来得到分词的结果。 所谓的机械匹配就是对已有词典的词进行一一匹配，匹配的词输出到结果，匹配 不上的词常以单字的形式输出。 中文分词技术面对的主要是切分歧义【3 3 j 与未定义词的识别两大问题。关于 切分歧义，可以解决自然语言的问题，根据语境，在不同的切分结果中选择最优 解。未定义词的识别主要解决词典中为收录词的识别。虽然上述两种方法都能解 决中文分词问题，但是主流的方法还是通过概率统计求解切分歧义和未定义词识 别问题。 2 2 特征选择及其权值算法 在文档集中特征出现的频率是离散的，至少出现一次的特征的集合是巨大 的，会给文本分类中带来巨大的系统的开销。因此，在构建分类器的时候，会有 一个降维的预处理过程，把向量空间维数由r 降低到t o 为拉格郎日乘数。 根据二次线性规划技术原理，对( o 和b 求偏微分并令其为0 ，将原问题转换 成为对偶问题。在约束条件： 善y 以= o , a t 0 扣1 ，刀 ( 2 - 2 2 ) 下对a i 求解下列函数的最大值： q ( 口) 2 酗一言毳即口，w y ，。( x t x j ) ( 2 - 2 3 ) 如果q 0 为最优解，那么： 矿= 善口：) y ，( 2 - 2 4 ) s v m 的决策面由刚好和决策面的距离为1 l l e l l 的数据点来决定，这些点就是 支持i s - 量( s u p p o r tv e c t o r s ) ，它们是训练数据集中仅有的有效数据点，其他的 1 6 硕士学位论文第二章基于文本分类的信息检索 数据点都可以删除。目前的比较有效的s v m 实现的方法包括j o a c h i m s 的s v m l g h 系统和p l a t t 的序列最小优化算法( s e q u e n t i a lm i n i m a lo p t i m i z a t i o n ，s m o ) 【1 5 】。 2 4 分类效果评价 一个分类器试验结果通常是通过其有效性的测量来实现的，其中最主要的评 测指标就是正确率和召回率。正确率也叫查准率，召回率也叫查全率。分类本质 上就是一个映射的过程，映射的速度取决于映射规则的复杂程度，而评估映射准 确程度的参照物是通过专家思考判断后对文档分类结果。如果与人工的分类结果 越相近则分类才准确程度就越高。 为了评价单类二分分类问题的性能，先做以下约定： a ：正例测试文档被正确分类为属于该类的数量； b ：负例测试文档被错误分类为属于该类的数量： c ：正例测试文档被错误分类为不属于该类的数量； d ：负例测试文档被正确分类为不属于该类的数量； 基于上面四个值，就可以定义下面的一些评价指标： 删刀= 去a n v - - 2 5 ) + c 。l j ) ( 2 - 2 6 ) ( 2 2 7 ) n + d c 舢钞2i i 万万 ( 2 2 8 ) c l口+ d + c + 。 b + c p 啪怍i i 丙7(229)a-4-+ dc + d 厶。 其中，查准率( p r e c i s i o n ，正确率) 、查全率( r e c a l l ，召回率) 它们两个反 映了分类器分类性能的两个方面1 5 4 1 ，单独考虑没有意义。如果综合考虑p r e c i s i o n 查准率与查全率，可以得到新的评价指标f l 测试值，也称为综合分类率： f i = = 2 p r e c i s i o n x r e c a 1 l p r e c i s i o n + r e c a l l ( 2 - 3 0 ) 为了综合多个类别的分类情况，评测系统整体性能，经常采用的还有微平均 f i ( m i c r o - a v e r a g i n gf 1 ) 和宏平均f i ( m a c r o - a v e r a g i n gf i ) 两种指标。宏平均 1 7 叶l “ = 一6 刀 = 伽 = 西 c k 倒 肋 厂 口 脚 庇 硕士学位论文 第二章基于文本分类的信息检索 f l 与微平均f 1 是以两种不同的平均方式求得全局的f l 指标。其中宏平均f l 的 计算方法先对每个类别单独计算f l 值，再取这些f 1 值的算术平均值作为全局 指标。而微平均f 1 的计算方法是先累加计算各个类别的a ，b ，c ，d 的值，再由 这些值求出f l 值。由两种平均f l 的计算方式不难看出，宏平均f l 平等对待每 一个类别，所以它的值主要受到稀有类别的影响，而微平均f 1 平等考虑文档集 中的每一个文档，所以它的值受到常见类别的影响比较大。 除了上述的评测方法，人们还提出了一些组合评测方法，下列是一些比较常 用的方法： 1 使用1 1 点平均查准率来计算有效性。通过调节参数是的查准率的值取遍 0 0 ，0 1 ，0 9 ，1 0 ，这1 1 个点上计算查全率的值，并取它在这1 1 个点上的 平均值。这种方法主要可用在带类别的信息检索上。其他的分类器不能使用。 2 使用b r e a k e v e n 点。一般情况下查准率和查全率是相互矛盾的，提高其 中的一个指标，很有可能会使另一个指标降低。在两个指标之间取一个平衡，即 将它们的值相等的点作为评价指标，就是b r e a k - e v e n 点，也叫无胜负点。 2 5 本章小结 本章节介绍了文本分类的系统结构，接着详细介绍了文本分类的过程：文档 的表示与预处理、特征选择和权值计算、文本分类算法等，并对分类的效果评价 指标进行了介绍。 硕士学位论文第三章潜在语义索引与分类 第三章全局潜在语义索引与分类 在传统的科技信息检索中，一般采用的是基于向量空间模型的检索方式，权 重选取为布尔型权重，所以查询的效果不是很理想。下面先阐述传统向量空间模 型的不足，再介绍一种基于全局潜在语义索引的分类模型。 3 1 传统向量空间模型的不足 3 1 1 传统向量空间模型介绍 在传统的信息检索模式【4 5 】中，向量空间模型具有概念简单、应用方便等优 点，是有效的文档表示模型之一。 传统空间向量模型f 4 9 】f 5 0 】f 5 7 】的基本思路是借助向量之间距离来逼近文档之间 的语义相似性，具体做法是： 1 用向量模式表示文档特征项； 2 用t f i d f ( 特征项赋权因子) 进行特征项加权； 3 用倒排文档的方式进行索引； 4 用向量夹角余弦进行文档相似性的度量； 5 以查全率和查准率作为检索模型效果的评测指标。 传统空间向量模型的优点在于将非结构化的文档表示为向量形式，使得各种 数学上对文档的处理成为了可能。 3 1 2 传统向量空间模型的缺点 传统空间向量模型的缺点在于： 1 它基于关键字的文档处理方法，依据的是词频信息，两个文档的相似度 取决于共同词汇的数量，无法分辨自然语言的语义模糊性； 2 它假设词与词之间是相互独立的，一个关键字唯一代表一个概念或语义 单元，而实际的情况是文档存在很多的一次多义和同义词现象，因此这种假设很 难满足实际情况。 3 文档中词与词之间往往存在一定的关联性，信息检索的本质就是语义的 检索，孤立的用关键字来表示文档内容，通过简单的词汇模式匹配进行检索，忽 视上下文语境的影响作用，会影响到信息检索的结果的查准率和查全率。 1 9 硕士学位论文第三章潜在语义索引与分类 在自然语言领域，不同的检索者会有不同的检索需求，他们对同一语义或概 念往往用不同的词汇来表达，有i 雪夕1 - 学者研究发现【16 1 ，以西文为例，两个人用 相同的词汇表达一个人们熟悉的概念的几率小于2 0 ，这样会大大降低信息检索 系统的查全率。因此，解决此类问题将会促进文本信息检索、文本过滤、文本摘 要和文本分类文本领域的发展。 3 2 潜在语义出现的背景 由于传统向量空间模型的缺点，需要寻求一种新的模型，使原来的空间结构 能够简化，这就需要进行因子分析。因子分析模型采用文档相似矩阵，通过线性 代数方法来构造一个低维的稀疏模型，在这个空间上，相似的文档在空间位置上 十分接近。但是因子分析只能提取特征或者文档的因子模型，并且需要通过复杂 的矩阵运算来求得结果，代价较大。 因此需要一种新的模型，而且这种模型应该具有以f 的条件： 1 潜在语义结构不是一成不变的，需要有足够的能力来表示和标注的结构， 这就需要模型有可调节的能力。 2 采用严格的数学手段获得的子空间，并且其特征和文档在模型中的同一 空间内表示， 3 新模型需要简化原来的空间结构，能对大型文档集合有简单的计算方法。 符合上面的条件的模型是双模式因子分析模型。基于潜在语义索引奇异值 分解的分析模型很好的满足了条件。 3 3 潜在语义索引与奇异值分解方法 3 3 1 潜在语义索引模式的基本思想 潜在语义索引( l m e ms e m a n t i ci n d e x i n g ，l s i ) 是一种智能型的信息检索模 式，是一种用于知识自动提取和表示的方法。l s i 产生主要是解决关键字检索中 遇到的同义词和多义词的问题。 在l s i 模型中，文档集可以表示成为一个m * n 的词文档矩阵a ： 口i 拼 口2 肼 口胂= ( x 。，j r r ：，_ f 历，= 量 。3 。， 其中每一列x j 代表一个文档，一行y i 代表是特征项在各个文档中的权值a i j 一 ! 尥；以 口口 口 甜州 口 口 口 ，。一 = a 硕士学位论文 第三章潜在语义索引与分类 般表示词频，即诃j 在文档i 中出现的频率，也可以是其他的权值计算方式。 一般情况下，一个信息检索的实例都可以看成是由不同的词组成的文档。通 过一般的文档预处理过程后，变转换成了一个带有权值的集合。因此，这个检索 的实例就类似看作一个文档的向量，通过向量之间的内积或者余弦距离来分析比 较不同向量之间的相似程度，相似度越高，则可以认为该检索实例的结果越接近 所需检索信息。词文档矩阵的三维表