（计算机软件与理论专业论文）基于用户本体模型的文本信息过滤方法研究.pdf

上海大学硕士学位论文 摘要 随着互联网的发展，文本过滤技术成为互联网内容处理的关键技术，对海 量信息处理具有很重要的意义。传统的文本过滤方法，如基于统计的向量空间 模型方法和概率模型方法，速度快，可实现性好，但由于这些方法缺乏语义理 解能力，从而使过滤效果难以满足日益复杂的用户需求。目前的研究热点是基 于语义的过滤方法，但是这些方法一般都需要大量规则和领域知识的支持，可 用性不好。为了使机器更好地理解用户需求和文本内容，提高文本过滤的准确 率和召回率，本文提出了基于用户本体模型( u s e r o n t o l o g y m o d e l ，u o m ) 的文本 信息过滤模型。该方法主要包括u o m 构建、文本结构分析、信息匹配和语义 相关度计算等。基于u o m 的过滤方法，不仅可以表示复杂的用户需求，而且 还避免了领域本体的构建，因而其有效性和实用性得到了很大的提高。通过在 网络教学资源的智能按需服务系统中的实际运用，表明此方法能更有效的为用 户提供过滤服务。 本文的主要研究工作有以下几点： 首先，本文给出了过滤技术的历史与现状，给出了文本信息过滤中的关键 技术，包括文本信息过滤的含义、基本结构与流程、常用的信息过滤模型、过 滤系统的分类、评价指标、以及中文文本过滤中常用的分词理论。 其次，本文介绍了用户需求的表示和获取、本体的相关理论和技术，在此 基础上提出了基于u o m 的用户需求模型，详细描述了u o m 的形式化描述方 法和构建过程。 再次，本文提出了基于u o m 的文本信息过滤模型，给出了文本结构分析 及文本与u o m 匹配算法、语义相关度的计算等。 最后，本文将以上研究成果运用到实际应用中，设计并实现了基于u o m 的文本信息过滤系统网络教学资源的智能按需服务系统。 关键词：文本过滤；本体；语义相关度；用户本体模型；文本结构分析 上海大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fi n t e r n e t ，t e x tf i l t e r i n gi sak e yt e c h n o l o g yi nc o n t e n t p r o c e s s i n g t e x tf i l t e r i n g i so fi m p o r t a n c ei n h u g e i n f o r m a t i o n p r o c e s s i n g t r a d i t i o n a lm e t h o d so ft e x tf i l t e r i n g , s u c h 鹤v e c t o rs p a c em o d e la n dp r o b a b i l i t y m o d e l ，a r ee f f i c i e n ta n dr e a l i s t i c ，b u tt h e yc a nn o ts a t i s f yu s e r sr e q u i r e m e n t sd u et o l a c ko fs e m a n t i ca b i l i t y n o w , m o r ea n dm o r er e s e a r c h e r sf o c u so nf i l t e r i n gm e t h o d b a s e do ns e m a n t i c s h o w e v e rt h eu s a b i l i t yo ft h e s en e wm e t h o d si sn o tw e l lb e c a u s e 吐l e ym u s tb es u p p o r t e db yp l e n t i f u lr u l e sa n dd o m a i nk n o w l e d g e t oi m p r o v e f i l t e r i n gp r e c i s i o na n dr e c a l l ，t h i sp a p e rp r e s e n t san o v e lm e t h o dt ot e x ti n f o r m a t i o n f i l t e r i n gb a s e do nu s e ro n t o l o g ym o d e ll o o m ) ，s ot h a tt h em a c h i n e sc a n u n d e r s t a n du s e r sr e q u i r e m e n t sa n dt e x tc o n t e n tt os o m ee x t e n t ，a n dt h ef i l t e r i n g r e s u l t sa r em o r es u i t a b l ef o rt h eu s e r s r e q u i r e m e n t s t h em e t h o di n c l u d e su s e r m o d e lb u i l d i n g , t e x ts t r u c t u r ea n a l y s i s ，i n f o r m a t i o nm a t c h i n g ，s e m a n t i cc o r r e l a t i o n c o m p u t i n ga n ds oo n t h ef i l t e r i n gm e t h o db a s e do nu o mc a nn o to n l ye x p r e s st h e c o m p l e xr e q u i r e m e n t sb u ta l s oa v o i db u i l d i n gd o m a i no n t o l o g y , s oi t se f f e c t i v i t ya n d u s a b i l i t yh a v eag r e a tp r o m o t i o n t h i sm e t h o di sa p p l i e dt ot h es y s t e mo fi n t e l l i g e n t o n - d e m a n ds e r v i c e sf o ri n t e r n e tt e a c h i n gr e s o u r c e i ts h o w st h a ti tc a np r o v i d e f i l t e r i n gs e r v i c e se f f e c t i v e l y m a i nc o n t r i b u t i o n so ft h i st h e s i sa r e ： f i r s t , h i s t o r ya n dt h es t a t u sq u oo ff i l t e r i n gt e c h n o l o g ya r ep r e s e n t e d t h ek e y t e c h n o l o g yo ft e x ti n f o r m a t i o nf i l t e r i n ga r eg i v e n , i n c l u d i n gs i g n i f i c a t i o n ，b a s i c f r a m e ，f l o w , c o m m o nf i l t e r i n gm o d e l ，c l a s s i f i c a t i o no ff i l t e r i n gs y s t e m ，e s t i m a t e i n d e x p a r t i c i p l et h e o r yw i d e l yu s e di nc h i n e s et e x tf i l t e r i n gs y s t e mi si n 仃o d u c e d s e c o n d “sp a p e ri n t r o d u c e st h ee x p r e s sa n do b t a i n m e n to fu s e rr e q u i r e m e n t a n dr e l a t i v et h e o r ya n dt e c h n o l o g yo fo n t o l o g y t h e nt h i sp a p e rp u t sf o r w a r du s e r s r e q u i r e m e n t sm o d e lb a s e do no n t o l o g ya n dg i v et h em e t h o d so ff o r m a ld e s c r i p t i o n a n db u i l d i n go fm o d e l t h i r d ，t h i sp a p e rp r e s e n t st e x ti n f o r m a t i o nf i l t e r i n gm o d e lb a s e do nu o ma n d g i v e so u tt e x ts t r u c t u r ea n a l y s i s ，t h ea l g o r i t h mo fi n f o r m a t i o nm a t c h i n g ，a n dt h e c a l c u l a t i o no fs e m a n t i cc o r r e l a t i o n f i n a l l y , t h i sp a p e ra p p l i e st h er e s e a r c hr e s u l t si n t op r a c t i c s ，a n dd e s i g n sat e x t i n f o r m a t i o nf i l t e r i n gs y s t e m - t h e s y s t e mo fi n t e l l i g e n to n d e m a n d s e r v i c e sf o r i n t e r n e tt e a c h i n gr e s o u r c e k e y w o r d s ：t e x tf i l t e r i n g ；o n t o l o g y ；s e m a n t i cc o r r e l a t i o n ；u s e ro n t o l o g y m o d d ；t e x ts t r u c t u r ea n a l y s i s n 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：型l 业盔：e t 期：。翘：三= _ 丝 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 辫吼 上海大学硕士学位论文 第一章绪论 信息领域是一个充满活力；具有强劲生命力的领域。经济、贸易区域化、 全球化的飞速发展，使社会信息量急剧增加。联合国工业发展组织1 9 9 3 年公布 的数据表明：在全世界的g n p 中，有6 5 与电子信息技术有关，信息服务已经 占到发达国家全部市场份额的4 0 以上。信息技术将成为支撑国家政治、经济、 军事、科技的重要战略资源和力量基础。 1 1 信息检索和信息过滤 随着信息科学的进步和因特网的发展，网络信息资源越来越丰富，网上信 息呈爆炸式增长。信息技术已经渗透到我们社会生活的各个角落，正以前所未 有的速度和能力改变着我们的生活和工作方式，我们真正处于一个“信息爆炸 的时代。这一方面给用户发现信息、利用信息带来了方便，另一方面，无序、 极其庞大的信息世界和成千上万的超级链接，又常常使用户在查找其所需信息 时感到力不从心。 目前解决这个矛盾的方法大致可分为两种：信息检索和信息过滤。所谓信 息检索，是指对有序化知识信息的检索查找，本质上是一种“人找信息 的服 务形态，每次检索时要求用户一次性提交一个或几个查询关键词。由于无法全 面准确地描述用户真正的信息需求，传统信息检索技术已经远远不能满足需要， 网络信息过滤技术应运而生。 信息过滤，就是根据用户的信息需求，利用一定的工具从大规模的动态信 息流中自动筛选出满足用户需求的信息，同时屏蔽掉无用的信息的过程。广义 的信息过滤包括对文本、音频、图像、视频等多种信息存在形式的过滤处理， 狭义的信息过滤是特指对文本信息的过滤处理。由于目前在因特网上主要的信 息载体为文本形式，文本信息过滤技术首先成为研究焦点，本文主要探讨文本 信息的过滤技术。 信息过滤具有重要的现实意义和巨大的应用价值。信息过滤可以克服重复 查询，信息是时常变化的，用户关心这种变化，在搜索引擎中用户只能不断地 上海大学硕士学位论文 在网络上查询同样的内容，以获得变化的信息，这花费了用户大量的时间；信 息过滤是实现信息的个性化主动服务的前提。个性化服务的实质是针对性，即 针对不同的用户采取不同的服务策略，提供不同的服务内容。主动服务的实质 是主动性，即系统自动按照用户的信息需求提供相应的服务。个性化主动服务 将使用户通过尽可能小的投入获得尽可能好的服务回报【1 1 。信息过滤能实现有 害信息的过滤，比如一些反动言论、谣言和色情内容；能实现垃圾信息过滤， 比如常见的垃圾邮件；能实现有用信息推荐，比如可以根据不同用户之间需求 的相关性来推荐信息。 1 2 过滤技术的历史与现状 随着计算机的应用和发展，信息过滤技术从设想变为现实，并不断地完善 自身的功能。在因特网日益普及的今天，信息过滤技术在i n t e m e t 信息查询、个 性化信息服务和网络安全的维护等方面发挥着越来越大的作用【2 ，3 1 。 1 9 5 8 年，l u h n 提出了“商业智能机器 的设想【4 】，在这个概念框架中，图 书馆工作人员为每个用户建立用户需求模型，然后通过精确匹配的文本选择方 法，为每个用户产生一个符合用户信息需求的新文本清单。同时记录下用户所 订阅的文本用于更新用户的需求模型。虽然微缩胶片和打印机技术的发展，使 得实现的物理细节有所不同，但他的工作涉及到了信息过滤系统的每一个方面， 为文本过滤的发展奠定了有力的基础。 1 9 6 9 年，s d l ( s e l e c t i v ed i s s e m i n a t i o ni n f o r m a t i o n 选择性信息分发系统) 【5 】 引起了人们的广泛兴趣，导致了美国信息科学协会成立了s i g s d i ( 选择性信息 分发系统兴趣小组) 。但是大多数系统都遵循l u h n 模型，只有很少的系统能够 自动更新用户需求模型，其他大多数仍然依靠专门的技术人员或者由用户自己 维护。s d i 兴起的两个主要的原因是实时电子文本的可用性和用户需求模型与 文本匹配计算的可实现性。 1 9 8 2 年，d e n n i n g 提出了“信息过滤”的概念1 6 1 ，他的目的在于拓宽传统 的信息生成与信息收集的讨论范围。他描述了一个信息过滤的需求的例子，对 于实时的电子邮件，利用过滤机制，识别出紧急的邮件和一般例行邮件。他采 2 上海大学硕士学位论文 用了一个“内容过滤器 来实现过滤。其中采用的主要技术有层次组织的邮箱、 独立的私人邮箱、特殊的传输机制、阈值接收、资格验证等。 1 9 8 7 年，m a l o n e 等人发表较有影响的论文忉，并且研制了系统信息透镜 “i n f o r m a t i o nl e n s ”。提出了三种信息选择模式，即认知、经济、社会。所谓 的认知模式相当于d e n n i n g 的“内容过滤器 ，即基于内容的过滤( c o n t e n t b a s e d f i l t e r i n g ) ；经济模式来自于d e n n i n g 的“阈值接收思想；社会模式是他最重 要的贡献。目前也称为“合作过滤 。在社会过滤中，文本的表示是基于以前读 者对于文本的标注，通过交换信息，自动识别具有共同兴趣的团体。 1 9 8 9 年，在这个时期信息过滤获得了大规模的政府赞助。由美国国防部高 级研究计划局( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c ta g e n c y ：d a r p a ) 资助的消 息过滤会议( m e s s a g eu n d e r s t a n d i n gc o n f e r e n c e ：m u c ) 极大地推动了信息过滤 的发展。它用信息抽取技术支持信息的选择，在将自然语言处理技术引入文本 过滤研究方面进行了积极的探索，1 9 9 0 年，d a r p a 建立了t i p s t e r 计划，目 的在于利用统计技术进行消息预选，然后再应用复杂的自然语言处理。这个文 本预选过程称之为“文本检测 。 1 9 9 2 年，n i s t ( 美国国家标准和技术局) 与d a r r a 联合赞助了每年一次的 t r e c ( t e x tr e t r i e v a lc o n f e r e n c e 文本检索会议) ，对文本检索和文本过滤倾注了 极大的热忱【8 】。t r e c 旨在通过提供规范的大规模语料( g b 级) 和对文本检索系 统性能的客观、公正的评测，来促进技术的交流、发展和产业化；促进政府部 门、学术界、工业界间的交流和合作，加速技术的产业化，发展对文本检索系 统的评测技术。对文本过滤的形成和发展提供了强有力的支持。 目前随着因特网的迅速发展，需求的不断增加，在信息过滤以及其相关技 术方面，取得了长足的进展，成为了信息产业新的增长点。b e l k i n 和c r o f t ( 1 9 9 2 ) 阐述了“用户角色 ( 包括用户兴趣及兴趣表示) 在信息过滤系统中的地位及其 在交互中的作用；l a m 等人( 1 9 9 6 ) 设计了个人兴趣漂移探测算法；y a n g 和c h u t e ( 1 9 9 4 ) 实现了基于实例和最小平方利益的线性模型文本分类器。m o s a f a ( 1 9 9 7 ) 构造了智能信息过滤的多层次分解模型。些信息过滤系统也相继问世，目前 国外研制的一些主要信息过滤系统有：斯坦福大学的t a l cw y a n 和h e c t o r 3 上海大学硕士学位论文 g a r c i a m o l i n a 开发的基于内容的过滤系统s i f t i 9 1 ，s t e v e n s 研制的i n f o s c o p e 系统、n i c h o l s 等人研制的t a p e s t r y 系统、麻省理工学院m i l l e r 等人开发的 g r o u p l e n s 1 0 】、b r e w e r 等人开发的u r n 系统。 信息过滤是当前国际上信息检索领域研究的热点之一。英文信息过滤的研 究开展较早，人们在用户模板、信息的比较和选择、自适应学习、共享评注和 文档的可视化等方面都进行了一定了研究，但仍有较大的提升空间。 中文信息过滤的研究起步较晚，目前中文信息过滤和推送系统主要还是基 于关键词规则的过滤，真正的文本过滤特别是自适应的过滤的研究很少。这一 方面是限于中文文本的表示和处理的难度，另一方面也是因为缺少适当的有说 服力的评测集和评测标准。 近些年来，以t r e c 会议提供的较为成熟的评测过滤系统的指标为契机， 国内的中科院软件所、清华大学、复旦大学、哈工大、东北大学以及微软亚洲 研究院等机构相继开展了信息过滤技术特别是面向中文的信息过滤技术的研 究，积累了很多宝贵的经验，也取得了一些不错的成绩。 中国科学院软件研究所阮彤提出了一种基于贝叶斯网络的信息过滤模型 b m i f ( b m i f 描述了信息过滤的基本结构) ，并在b m i f 定义的基础上提供了它 的各种使用方法【l l 】。清华大学计算机科学与技术系的田范江等人对进化式信息 过滤方法进行了研究【l2 1 ，清华大学自动化系卢增祥等对信息过滤中用户需求的 表示进行了研究，并提出了一种用固定文章集表示用户需求的新方法【l3 1 。复旦 大学的吴立德教授和黄萱菁博士等人研制的基于向量空间模型的文本过滤系统 参加了2 0 0 0 年举行的第9 次文本检索会议( t r e c 9 ) 的评测，取得了良好的成绩， 在来自多个国家的1 5 个系统中名列前茅，其中自适应过滤和批过滤的平均准确 率分别为2 6 5 和3 1 7 c 1 4 】。东北大学的姚天顺教授和林鸿飞博士等人进行了 中文文本过滤的研究，他们提出了基于示例的中文文本过滤模型，在该模型中， 用户需求采用基于示例文本的主题词表示，文本表示采用向量空间模型，需求 与文本的匹配度采用向量夹角余弦来衡量【b 】。目前，基于知识的过滤系统还比 较少，文献【1 6 利用“知网 建立了真实文本的概念关系图，并在此基础上对 文本的内容进行了基于理解的推理；文献 1 7 】则是利用w o r d n e t 将文档表示为 4 上海大学硕士学位论文 一个带有分值的概念节点集合来表示文档中的语义内容。在对用户的需求表述 上，文献 1 8 ，1 9 】提出了以语义框架构造用户需求模型的方法，利用已有的概念 层次词典将用户的需求以一种语义框架的结构来表述，这种语义框架其实就可 认为是一种本体结构模型。文献 2 0 】提出了以本体构造需求模板的方法，以本 体的形式定义需求中概念间的语义关联关系，将向量空间模型中的特征向量定 义为本体中的实例，通过实例间的关联路径计算特征项间的语义关联，但文献 【2 0 对文本的特征项提取只是基于统计的方式，缺乏对文本的语法语义分析。 中文语言上的特殊性和其特有的复杂性、灵活性，给中文信息过滤技术的 研究工作带来了较大的困难。在借鉴国外信息过滤技术成果的基础上，对中文 信息过滤技术进行深入的研究并开发出适合我国国情的中文信息过滤系统成为 了我国信息化进程的一种迫切需要。 1 3 主要研究内容 信息过滤是当前国际上信息检索领域研究的热点之一，对信息过滤技术特 别是中文信息过滤技术的研究具有较高的理论意义和应用价值。由于目前 i n t e r n e t 上大量信息载体为文本形式，并且随着i n t e m e t 的迅猛发展，i n t e r n e t 上 的中文文本信息以前所未有的速度递增，中文信息过滤技术成为研究的焦点。 本课题对中文信息过滤的相关技术特别是中文文本信息过滤的相关技术进行了 研究，本课题的具体研究内容如下： 1 ) 提出了基于用户本体模型( u s e ro n t o l o g ym o d e l ，u o m ) 的用户需求模 型，并给出了u o m 形式化描述方法和构建过程。 2 ) 提出了基于u o m 的文本信息过滤模型，给出了文本与u o m 的匹配算 法，语义相关度的计算公式。 3 ) 在基于u o m 的文本信息过滤模型的基础上，设计并实现了基于u o m 的文本信息过滤系统。 5 上海大学硕士学位论文 1 4 本文组织结构 本文共分为六章。 第一章介绍了信息检索与信息过滤的关系，过滤技术的历史与现状。 第二章介绍了文本信息过滤的关键技术，包括文本信息过滤的含义和基本 结构与流程，常用的文本信息过滤模型，信息过来系统的分类，文本信息过滤 系统的评价指标。中文文本信息过滤系统中用到的分词理论。 第三章介绍了文本信息过滤系统中的用户需求模型。首先，介绍了用户需 求的表示方法以及如何获取用户需求：然后，介绍了本体的相关理论和技术； 最后，提出了基于u o m 的用户需求模型，给出了u o m 的形式化描述方法和 构建过程。 第四章提出了基于u o m 的文本信息过滤模型，包括文本结构分析，文本 和u o m 的匹配算法，语义相关度的计算。 第五章设计并实现了基于u o m 的文本信息过滤系统。对系统的主要模块 进行了介绍，对系统的性能进行了实验并分析了实验结果。 第六章对论文的结论与展望。 6 上海大学硕士学位论文 第二章文本信息过滤的关键技术 信息过滤技术是以一种系统化的方法，将用户需求与动态信息流进行匹配 计算，从信息流中抽取出符合用户个性化需求的信息并将其传送给用户【2 1 , 2 2 】。 本章首先介绍了文本信息过滤系统的含义和基本结构与流程，然后介绍了文本 信息过滤的主要技术：包括信息过滤与信息检索的关系，常用的信息过滤模型， 信息过滤系统的分类，信息过滤系统的评价指标，最后介绍了中文文本信息过 滤系统中常用到的分词理论，详细介绍了中文分词的常见问题，中文分词的主 要方法。 2 1 文本信息过滤系统 2 1 1 文本信息过滤的含义 尽管国内外许多学者对信息过滤问题早已有所研究，但至今为止对文本信 息过滤尚没有形成一个统一的定义。不同时期学者曾从不同的角度对文本信息 过滤进行了描述。比如，1 9 9 4 年美国学者c a n a v e s e 从系统的角度对文本过滤进 行了如下定义：“文本过滤是针对某一用户的信息需求，采用一个系统的研究方 法，从大量的文本信息中抽取用户最需要的信息的一个领域 【2 3 1 。1 9 9 6 年， 美国计算机科学专家o a r d 针对文本过滤提出“文本过滤是从一个动态的文本流 中搜寻信息以满足用户相对稳定的信息需求的过程”1 2 4 。1 9 9 7 年美国学者 s h a p i r a 直接从用户模型研究的角度来限定信息过滤，认为“所有的信息过滤模 型及系统都是基于表述用户信息需求的用户模型基础上进行的 【2 5 】等等。 本文认为文本信息过滤意指：“为满足用户动态的信息需求，在动态的文本 信息源中过滤掉不相关信息，然后按相关度排列把信息推送给用户的过程 。这 里涉及到两个“动态：用户的“动态信息需求及信息源的“动态 变化。这 是因为用户在开始表述兴趣需求时往往处于一种模糊认识状态( a s k ) ，但是随 着研究的不断深入，用户的信息需求会发生一定的变化或者科研兴趣有所变化， 7 上海大学硕士学位论文 这就要求信息过滤系统能够追踪用户的这种改变，适时地反映用户的这种动态 性以满足用户需求。而“动态的信息源是指在开放自由的网络社会中，网络 资源呈现出指数级的增长趋势，用户面对的是随时可能变化更新的信息源，这 就要求过滤系统能够及时掌握网络资源的这种改变，以便于更好地为用户提供 服务。 2 1 2 文本信息过滤系统基本结构与流程 为了实现过滤信息的目的，每个系统有自己的实现方法，但他们仍然有共 同之处。 图2 1 表示了一个信息过滤系统经抽象后的一般功能模型。从图2 1 可以 看出一个信息过滤系统主要包含信息分析模块，过滤模块，过滤模板生成模块， 学习模块，信息采集模块( 可选) 。信息分析模块主要是对海量信息进行分析， 提取其中特征信息，如将每条信息表示为空间向量或作索引等；过滤模板生成 模块是收集用户对信息的需求和喜好来生成过滤模板。过滤模块就是根据上两 个模块的结果来处理海量信息并将最终结果返回给用户从而实现过滤的目的。 学习模块就是不断跟踪用户兴趣的变化来调整甚至更改过滤模板这样才可以不 断实现正确过滤无用信息的目的。 图2 1 文本信息过滤的一般功能图 上海大学硕士学位论文 2 2 文本信息过滤技术 2 2 1 信息过滤与信息检索的关系 信息过滤是随着信息检索的发展而发展起来的：信息检索( i n f o r m a t i o n r e t r i e v a l ：瓜) 是将信息按一定的方式组织和存储起来，并根据信息用户的需要找 出有关的信息的过程和技术。广义上的信息检索又叫“信息存储与检索 ，狭义 的信息检索仅指该过程的后半部分，即从信息集合中找出所需要的信息的过程， 相当于人们通常所说的信息查询。信息过滤，也就是所谓的信息的选择性传播。 与信息检索不同，信息过滤关注用户的长线需求( 指一段时间内，比较固定的信 息需求) ，其目标是帮助用户对大量的信息流进行筛选，着重于排除用户不希望 得到的信息。 表2 1 信息过滤与信息检索的主要区别 信息过滤信息检索 系统目标根据用户的兴趣需求，从输入的为一次性用户的搜索要求而设 数据流中屏蔽无用的或不良的信计，目的是满足用户一次性的信 息息需求 用户特点用户相对较少，且固定，用户需用户数量大，需求不固定，用户 要了解系统、系统的用户模板不需要了解系统 信息源特点 海量、动态的无结构化的或半结相对静态的数据库 化的数据库 信息需求表固定的用户需求被表示为用户兴用户的信息需求被表示为查询 示趣模板 信息需求特是相对稳定、长期的，需要保存随机的、易变的，不必保存和修 点维护和更新修改改 使用频率被有长期信息需求的固定用户长被大范围的多用户一次性使用， 期使用满足用户一次性的信息需求 信息过滤和信息检索如同一个硬币的正反面，大部分的信息过滤的早期研 究都是基于“有效的信息检索技术同样也是有效的信息过滤技术这一设想开 展的。信息过滤和信息检索的目标都是为用户选取合适的信息，但二者的侧重 点不同。信息过滤和信息检索在系统目标、用户特点、信息源、用户信息需求 的表示、使用频率等方面存在差异。表2 1 列出了信息过滤和信息检索的主要 9 上海大学硕士学位论文 区别【2 6 1 。 2 2 2 常用的信息过滤模型 信息过滤和信息检索如同一个硬币的正反面，有效的信息检索技术同样也 是有效的信息过滤技术。同样，有效的信息检索模型也是有效的信息过滤模型。 经典的信息检索模型有布尔模型( b o o l e a nm o d e l ) 、向量空间模型( v e c t o rs p a c e m o d e l ：v s m ) 、概率模型( p r o b a b i l i s t i cm o d e l ) 、潜在语义索引模型( l a t e n ts e m a n t i c i n d e x i n gm o d e l ：l s i ) 等，它们同样也是经典的信息过滤模型【2 7 】下面分别对这四 种常用的经典的信息过滤模型做详细的介绍。 1 ) 布尔模型 布尔模型是基于特征项的严格匹配模型。首先建立一个二值变量的集合， 这些变量对应着信源的特征项。信息源用这些特征项变量来表示，如果在信息 源中出现相应的特征项，则特征变量取“t r u e ，否则特征变量取“f a l s e 。查 询是由特征项和逻辑运算符“a n d ，“o r ”和“n o t 组成的布尔表达式。信 息源与查询的匹配规则遵循布尔运算的法则。根据匹配规则将信息源分为两类， 相关类和不相关类。由于匹配结果的二值性，所以无法对结果集进行相关性排 序。 布尔模型实现简单，检索速度快，易于理解，在许多商用的过滤系统中得 到了应用。但是这种传统的布尔过滤技术也存在着一些不足之处： ( 1 ) 原始信息表示不精确。布尔模型仅仅以特征项在原始信息中出现与否 的布尔特性来表示原始信息，忽略了不同特征项对信息内容贡献的重要程度， 容易造成结果的冗余。 ( 2 ) 基于布尔运算法则的匹配规则过于严格，容易造成漏检。严格且缺乏 灵活性的布尔过滤规则往往会导致仅仅因为一个条件未满足的文档被漏检。 ( 3 ) 布尔模型匹配结果的二值性导致系统无法按结果信息的相关性大小为 用户提供信息。 为了克服传统布尔模型的缺陷，人们对其进行了改造，引入了权重来表示 特征项对文档的贡献程度，形成了所谓的加权布尔模型，即拓展的布尔模 l o 上海大学硕士学位论文 ( e x t e n d e db o o l e a nm o d e l ) 。关于拓展的布尔模型的详细介绍，参见【2 8 ，2 9 1 。 2 ) 概率模型 概率模型是为解决信息过滤中存在的一些不确定性的问题而引入的。信息 过滤中用户信息需求表示的模糊性、原始信息与用户模板相关性判断的不确定 性都可能导致不确定性的问题。概率模型考虑到了词条、文档间的内在联系， 利用词条间以及词条和文档间的概率相依性进行信息过滤【3 0 1 。 概率模型的理论基础是概率排序规则：如果文档按照与查询的概率相关性 的大小排序，那么排在前面的文档是最有可能被检索到的文档。 在基于概率模型的信息过滤中，用户模板和原始信息一般都表示为同一关 键词空间的关键词集合，过滤的依据是原始信息和用户模板之间的相关性，若 原始信息与用户模板不相关，则过滤掉。如果某一文档西满足公式( 2 1 ) 则该文 档被认为是与用户模板相关的，否则被过滤掉。 尸( r k ) d 胀i d ，) ( 2 1 ) 其中r 是与查询相关的文档的集合，凇是与查询不相关的文档的集合， 尸( 尺l 鳓表示文档西与用户模板p 相关的概率，p ( n r i 砌表示文档盔与用户模板尸 不相关的概率。 由此可以记文档盔与用户模板p 之间的相似度的计算公式为： 跏p ，力= 币e ( r 羽l d i ) ( 2 2 ) 跏p t ，力2 币网 ( 2 2 ) 运用贝叶斯原理，公式( 2 2 ) 可以改写为公式( 2 3 ) 。 啉彤= 剖p ( d , i n 盟r ) p ( r ) ( 2 3 )研聊限，彤= 二二二二( 2 3 ) 计算s i m ( d _ c , p ) ( 计算过程参见文献 3 1 】，若s i m ( d i , p ) 1 ，则认为文档西与 用户模板相关，按相似度大小的顺序提供给用户，否则被过滤掉。 概率模型有严格的数学理论基础，采用了相关反馈原理来克服不确定性推 理的缺点，它的缺点是参数估计的难度比较大，文件和查询的表达也比较困难。 3 ) 向量空间模型 向量空间模型己被人们普遍认为是一种非常有效的检索模型【3 2 1 。它具有自 上海大学硕士学位论文 然语言界面，易于使用。同样向量空间模型也可以应用到信息过滤系统中来。 在以向量空间模型构造的信息过滤系统中，用户模板和原始信息均被表示成竹 维欧氏空间中的向量，用它们之间的夹角余弦作为相似性的度量。运用向量空 间模型构造信息过滤系统主要包括四个方面的工作： ( 1 ) 给出原始信息的向量表示。 ( 2 ) 给出用户模板的向量表示。 ( 3 ) 计算原始信息和用户模板之间的相似度。二者的相似度通常用原始信 息向量和用户模板向量之间夹角的余弦值来衡量。 ( 4 ) 将与用户模板之间相似度大于给定阈值的原始信息提供给用户，并获 得用户的反馈。 向量空间模型的优点在于将原始信息和用户模板简化为项及项权重集合的 向量表示，从而把过滤操作变成向量空间上的向量运算，通过定量的分析，完 成原始信息和用户模板的匹配。 向量空间模型的缺点在于信息的向量表示时的项与项之间线性无关的假 设，在自然语言中，词或短语之间存在着十分密切的联系，即存在“斜交”现 象，很难满足假定条件，这对计算结果的可靠性造成一定的影响。此外，将复 杂的语义关系，归结为简单的向量结构，丢失了许多有价值的线索。因此，有 许多改进的技术，以获取深层潜藏的语义结构。如下面介绍的潜在语义索引方 法就是对向量空间模型的一种有效的改进。 4 ) 潜在语义索引模型 潜在语义索引模型是1 9 8 8 年s t d u m a i s 等人提出的一种信息检索代数模 型，它主要是为了克服布尔模型、概率模型、向量空间模型基于字、词匹配带 来的局限性 3 3 , 3 4 , 3 5 】。 在布尔、概率和向量空间这三种检索模型中，用户查询和和文档都是采用 基于关键词的技术来表示的，检索是通过用户查询和文档之间的字、词的匹配 来实现的。尽管这种匹配在三种模型中表现形式各异，但都是某种形式上浅层 次的概念匹配，而非深层次的语义匹配。所以，这种匹配是不准确的。事实上， 独立的字、词集合不能完全、准确的反映文档和查询的语义。因此，改善传统 1 2 上海大学硕士学位论文 信息检索性能的一个有效途径就是让用户根据文档的概念主题或者说语义来进 行信息检索。 潜在语义索引模型就可以看成是一种基于语义概念的检索模型，它利用统 计计算得出的潜在语义关系进行信息检索，而不再依赖于传统的索引字、词的 匹配。同样，潜在语义索引方法也被广泛应用于信息过滤中。 在潜在语义索引模型中，文档库被表示为一个m n 的词文档矩阵4 。这 里，以表示文档库中的文档数：m 表示文档库中包含的所有不同词的个数。a 中的元素a ：，为非负值，表示第f 个词在第，个文档中的权重。由于词和文档的 数量都很大，而单个文档中出现的词又非常有限，因此a 一般为稀疏矩阵。 彳建立后，利用奇异值分解( s i n g u l a rv a l u ed e c o m p o s i t i o n ：s v d ) ，矩阵a 可 以表示为三个矩阵的乘积：a = u y v r 。其中，u 和y 分别是矩阵么的奇异值 对应的左、右奇异向量矩阵；矩阵么的奇异值按递减排列构成对角矩阵罗。 取u 和y 最前面的k 个列构建么的b 秩近似矩阵a “k m i n ( m ，以) ) ，即 a 。= u 。k r ，其中巩和圪分别是u 和矿的前七列组成。彳七是对彳的一个 近似，同时它又保持了索引项和与文档之间的潜在语义关系，但又去掉了因用 词习惯或语言的多义性等带来的“噪声 。 用彳七近似表示词文档矩阵彳，巩和k 的行向量分别作为词向量和文档向 量，在此基础上进行信息检索和信息过滤，这就是潜在语义索引技术。尽管它 也是用文档中包含的词来表示文档的语义，但它并不把文档中所有的词看作文 档概念的可靠表示。正相反，文档中用词的多样性很大程度上掩盖了文档的语 义结构。潜在语义索引通过奇异值分解和取k - 秩近似矩阵，一方面，消减了原 词文档矩阵中包含的“噪声因素，从而更加凸现出词和文档之间的语义关系； 另一方面，使得词、文档向量空间大大缩减，因而可以提供信息过滤的效率。 2 2 3 信息过滤系统的分类 面对大量的按照信息过滤系统的一般模型构建的信息过滤系统，按照单一 的标准是无法对其进行分类的。下面按照系统操作的主动性、信息过滤系统所 上海大学硕士学位论文 处的位置、系统采用的过滤方法、系统从用户获取信息的方法四个不同的方面 对信息过滤系统进行了分类。 1 ) 按照操作的主动性分类 根据操作的主动性将信息过滤系统分为主动过滤系统和被动过滤系统。 主动过滤系统主动为用户寻找他们需要的信息。系统可以在一个较大的范 围内，或局部范围内帮助用户收集同用户兴趣相关的信息，然后发送给用户。 m t e r n e t 上信息“推送技术 ( p u s h i n gt e c h n o l o g y ) 就是这个范畴内的应用，运用 它可以为用户提供主动的个性化的信息服务。如g o o g l e 推出的主动新闻服务 g o o g l e 快训3 6 】就属于此类。 被动过滤系统是针对一个固定的信息源过滤掉其中用户不感兴趣的信息， 它主要应用在邮件服务器或网络新闻组的过滤中。在这些应用中，数据是自动 流入到系统，系统无需花费时间去收集信息源。这类系统的作用就是根据用户 的信息需求将信息源中新到的信息根据相关度从大到小的顺序提供给用户，或 者根据某一过滤规则将系统认为用户不感兴趣的信息过滤掉。典型的电子邮件 过滤系统和基于内容过滤的防火墙就属于此类。 2 ) 按照过滤操作所处位置分类 过滤操作可能发生在信息源、过滤服务器、用户场地三个不同的位置。因 此，过滤系统按照过滤操作所处的位置分为应用于服务器端的过滤系统、应用 于过滤服务器的过滤系统、应用于客户端的过滤系统。 在应用于服务器端的过滤系统中，用户把信息需求模板提供给信息提供者， 信息提供者仅将与用户信息需求相关的信息提供给用户。因此这类信息过滤系 统不仅解决了“信息过载”问题，而且还减少了网络通信的负担。但是，这种 好处是以服务器端的高计算量为代价的，当客户的信息需求量很大时，有可能 会导致服务器过载；并且这种类型服务的信息提供者通常会按照信息的流量、 用户的使用时间等向用户收取费用，价格比较昂贵。 应用于过滤服务器的过滤系统的过滤操作是在特定的中间过滤服务器上实 现的。过滤服务器如同一个大型的网络缓存器，信息提供者提供的信息需要经 过它的过滤才能进入客户端。一方面，用户把他们的信息需求模板提供给中间 1 4 上海大学硕士学位论文 服务器；另一方面，信息提供者也把提供的信息发送给它；而中间过滤服务器 则根据某一过滤规则进行匹配计算，并把相关的信息发送给用户。同应用于服 务器端的过滤系统相比，应用于过滤服务器的过滤系统减少了服务器的负载。 大部分的过滤系统的过滤操作都发生在用户场地。在这种应用于客户端的 过滤系统中，信息提供者将所有提供的信息一律传送到客户端，用户根据需要 设定一定的过滤规则，将不感兴趣的无关信息排除在外。这类过滤系统一般会 加重网络通信负担，但是系统容易实现，而且成本也较低，这也是大部分实际 使用的过滤系统都是应用于客户端的一个原因。 3 ) 按照采用的过滤方法分类 按照采用的过滤方法的不同将信息过滤系统分为两大类，采用认知过滤 ( c o g n i t i v ef i l t e r i n g ) 方法的过滤系统和采用社会过滤( s o c i o l o g i c a lf i l t e r i n g ) 方法 的过滤系统。 认知过滤也称为基于内容的过滤( c o n t e n t - b a s e df i l t e r i n g ) 。在采用认知过滤 方法的过滤系统中，用户的信息需求模型和信息源的表示都是基于信息内容的， 每个用户假定是相互独立的，过滤的结果仅仅依赖于用户的信息需求模型与信 息源内容的匹配程度。基于内容的过滤方法不需要多用户的协作，比较容易实 施，因此它也是大多数商用信息过滤系统所采用