（模式识别与智能系统专业论文）基于本体的网络信息检索.pdf

北京邮电人学硕十学位论文基于本体的网络信息检索摘要随着i n t e r n e t 规模的不断发展，网络信息检索已经成为人们获取信息的主要手段，如何提高网络信息检索的能力成为目前研究的热点之一。本文在网络信息检索方面开展了如下工作：提出了一种网页噪音自动过滤和基于d o m 树解析的网页内容提取方法“容器树”。该方法根据w e b 页面的特征，从分析其结构的角度入手，去除网页中的t a g 标签、广告、版权信息，并有效地剔除与网页主题无关的内容，保留网页正文及相关信息。基于语义是提高信息检索能力的一个有效途径，o n t o l o g y 由于具有良好的概念层次结构和对逻辑推理的支持，具有通过概念之间的关系来表达语义的能力，所以基于o n t o l o g y 的信息检索成为一个重要的研究课题。本文总结了国内外基于本体的信息检索理论研究，领域本体构建的基础上，尝试基于领域本体的文本信息语义检索研究。针对传统向量空间模型在语义处理方面的缺陷，提出了一种基于本体的语义信息检索模型，从语义项权重的设计、语义关系体现等方面进行了研究。综合考虑了本体在语义检索中的作用，改善了检索效果。语义信息检索的研究不仅具有重要的理论价值，而且还具有广阔的应用前景，本文针对其中的一些问题展开了研究和讨论，如何进一步把基于语义的信息检索研究推向实际的应用，并为每个普通的用户提供个性化的语义推荐，是我们今后工作的目标和期望。关键词本体语义信息检索网页内容提取北京邮电大学硕十学位论文o n t o l o g y - b a s e dw e bi n f o r 【a t i o nr e t r i e v a la b s t r a ( 了tw i t ht h ed e v e l o p m e n to fi n t e r n e t ，t h ew e bi n f o r m a t i o nr e t r i e v a lh a sb e c o m et h em o s tp o p u l a rm e t h o dt oo b t a i ni n f o r m a t i o n t h e r e f o r eh o wt oi m p r o v et h ea b i l i t yo fw e bi n f o r m a t i o nr e t r i e v a lh a sb e c o m ea ni m p o r t a n tr e s e a r c ht o p i c i nt h i sp a p e r ，t h ef o l l o w i n gw o r kh a sb e e nd o n eo nw e bi n f o r m a t i o nr e t r i e v a l ：t h et h e s i sp r o c e e dw i t ha n a l y z i n gw e b p a g e s s t r u c t u r eb a s e do nt h e i rf e a t u r ea n dp r o p o s eam e t h o dn a m e dw e b p a g en o i s ef i l t e r i n g ( w n f ) w n fc a ne l i m i n a t eh t m lt a g ，c o p y r i g h ti n f o r m a t i o na n dm o s ta d s o faw e b p a g e e x p e r i m e n t si nt h i st h e s i ss h o wag o o de f f i c i e n c y i nt h ew a yo fw e b p a g et h e m ee x t r a c t i o n ，t h ep a p e ru s ed o mt r e ep a r s i n ga n dp r o p o s ec o n t a i n e rt r e em e t h o d e x p e r i m e n t ss h o w st h a tt h ee x t r a c t i o nm e t h o d s 啪e f e c t i v e l ye l i m i n a t ec o n t e n t si r r e l a t i v ew i t hw e b p a g e st h e m ea n dr e s e r v ew e b p a g e s t h e m ea n dr e l a t i v ei n f o r m a t i o n s e m a n t i c - b a s e di sa ne f f e c t i v ew a yt oi m p r o v et h ea b i l i t yo fw e bi n f o r m a t i o nr e t r i e v a l b e c a u s eo fo n t o l o g y se x c e l l e n th i e r a r c h i c a lc o n c e p ts t r u c t u r e ，l o g i cs u p p o r ta n dt h ea b i l i t yt oe x p r e s ss e m a n t i c s ，o n t o l o g y b a s e di n f o r m a t i o nr e t r i e v a lb e c o m ea l li m p o r t a n tr e s e a r c ht o p i c t h i st h e s i ss u m m a r i z e st h ed o m e s t i ca n di n t e r n a t i o n a lt h e o r yo nr e s e a r c ho fo n t o l o g yb a s e di n f o r m a t i o nr e t r i e v a l b a s e dc o n s t r u c t i o no fd o m a i no n t o l o g y ,a t t e m p t st h er e s e a r c ho fd o m a i no n t o l o g yb a s e ds e m a n t i ct e x ti n f o r m a t i o nr e t r i e v a l p r o p o s ea n di m p l e m e n t ea l lo n t o l o g y b a s e ds e m a n t i cr e t r i v a lm o d e l i no r d e rt oo v e r c o m et h es h o t c o m i n g so ft r a d e t i o n a lv e c t o rs p a c em o d e li n北京邮电人学硕士学位论文- _ - 一一一d e a l i n gw i t hi t e m s ，m a t e r i a l i z t i o no fs e m a n t i cr e l a t i o n sb e t w e e nk e y w o r d s ，a n dt h es i m i l a r i t yb e t w e e ns e m a n t i cv e c t o r s ，a n ds oo n t h i sm e t h o di m p r o v e st h ep e r f o r m a n c eo ft h ei n f o r m a t i o nr e t r i e v a ls y s t e m r e s a r c ho ns e m a n t i ci n f o r m a t i o nr e t r i e v a li so fi m p o r t a n tt h e o r e t i c a lv a l u ea n dw i d e l yu s e di ns e a r c he n g i n ea r e a t h i sd i s s e r t a t i o nh a sd o n es o m er e s e a r c ho ni t sm o d e l i n ga n da p p l i c a t i o n t h ee m p h a s i so fo u rf u r t h e rr e s e a r c hw i l lb eo nt h ea p p l i c a t i o n ，e v a l u e a t i o n ，a n de m p l o y m e n to ft h es e m a n t i ci n f o r m a t i o nr e t r i e v a lm e t h o dt ot h ew e bs e a r c he n g i n e k e yw o r d se x t r a c t i o n ；o n t o l o g y , s e m a n t i ci n f o r m a t i o nr e t r i e v a l ，w e b p a g et h e m e独创性( 或创新性) 声明本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切相关责任。本人签名：重监盈日期：巡：! ：丝关于论文使用授权的说明学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存，汇编学位论文。( 保密的学位论文在解密后遵守此规定)保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权书。本人签名：导师签名：嘞嚼毳日期：日期：缸5 砷北京邮电人学硕士学位论文1 1 论文背景与研究意义第一章绪论1 1 1i n t e r n e t 的现状及信息资源的特点随着瓦联网的快速发展与计算机的普及，互联网已经渗入了我们日常生活中的方方面面。信息的发布与共享不再受时空的限制，网络资源按以指数规律快速增长。特别是w w w 的飞速发展使i n t e r n e t 网络成为了全球最大的分布式信息库。网络上的信息资源呈指数级增长，i n t e r n e t 己经成为拥有几十亿个页面的分布式信息空间，人们从信息缺乏的时代过渡到信息极为丰富的数字化时代。在这个数字化的时代里，人们可以获得越来越多的数字化信息包括文本、数字、图形、图像、声音甚至是视频。当网络规模越来越大，信息越来越多时，信息的查找和获取也变得越来越困难。i n t e r n e t 是一个开放、分布的信息空间，与传统的信息资源相比，w e b 信息资源有着以下特点：( 1 ) w e b 信息资源的数据是异质，异构，动态，模糊的半结构化，非结构化或数据库信息，并且分布在全世界的各个站点上：( 2 ) 数据和服务的类型以及数量每天都在大量增加，因而信息可利用性和可靠性也在不断地变化，同时给数据存储带来极大困难：( 3 ) 由于信息源的动态性以及潜在的有用信息的更新和保存问题，信息常常是模糊的，有时甚至是错误的；( 4 ) 语义理解难度加大，造成基于内容的信息检索难以实现。由于上述原因，在i n t e r n e t 上进行的信息检索经常会出现“信息过载一，即网上的信息是海量和无组织的，易发生“资源迷向”，即用户不知道如何更加有效的利用资源等问题。因此如何迅速、有效地从大量信息中找到所需的信息，让i n t e r n e t 有效的为人类服务，已成为一个迫切需要解决的问题。北京邮电人学硕十学位论文1 1 2 信息检索的发展现状信息检索( i n f o r m a t i o nr e t r i e v a l ，i r ) ，通常指文本信息检索，包括信息的存储、组织、表现、查询、存取等各个方面，其核心为文本信息的索引和检索。从历史上看，信息检索经历了于工检索、计算机检索到目前网络化、智能化检索等多个发展阶段。从本质上讲，信息检索就是对信息集合于需求集合的匹配与选择。从系统相似性原理来看，信息检索是在己有的信息中查找与用户需求相似或者相同的内容，即揭示检索对象和用户需求这两个系统之间的相似关系。对于这两个系统，我们通常采用向量，也就是集合这种数学模型来进行描述，集合中的元素代表了系统的特征。但是采用集合进行表示就将整体化的系统分散成互不关联的元素，缺乏系统整体上的意义。所以，本文中将两个系统都集中映射到领域本体中，在这同一个背景下进行系统的相似性计算。虽然仍采用集合来描述各个系统，但是集合中元素的权重根据本体的结构给出，将各个系统的结构信息包含在元素不同的权重中去，包含到元素之间的语义距离中去，从本质上揭示系统之间的相似关系。信息检索的重要应用一搜索引擎为大家所熟悉，但是传统的搜索引擎存在很多不足的地方，其中主要有三个方面：一是相关性信息太多。传统的搜索引擎返回的相关网页太多，用户很难快速准确地定位到所需的信息。例如，用户在g o o g l e 上输入几个关键字，它有可能返回成千上万个网页，用户将浪费很多时间在这些网页中查找自己所需要的信息。二是以关键词的逻辑组合来表达检索需求，因为人们的检索需求往往是非常复杂而特殊的，是无法以几个关键词的简单组合来表达的，这样用户都没有将自己的检索意图表达清楚，搜索引擎自然也就没有办法找出令用户满意的答案了比1 。三是以关键词为基础的索引、匹配算法尽管简单易行，毕竟停留在语言的表层，而没有触及语义，因此检索效果很难进一步提高。目前，信息检索己经发展到智能化阶段，将人工智能技术引入信息检索领域。通过自然语言理解，知识表示与推理，知识库的构建等，将信息检索的对象从相对封闭、稳定一致、由独立数据库集中管理的信息内容扩展到开放、动态、更新快、分布广泛、管理松散的信息内容。这样就解决了传统信息检索中出现的，“忠实表达”，“表达差异一，“过度查全 和“信息孤岛”等问题。由于检索实时性的需要和现阶段可供检索采用的自然语言处理手段的不足，信息检索领域一直以来都是采用数学方法来处理，例如经典布尔模型、向量模型和概率模型等。智能信息检索利用分词词典、同义词典，同音词典来改善检索效果，比如用户查询“计算机 ，与“电脑”相关的信息也能检索出来：进一步还可在知识层面或者2北京邮电人学硕士学位论文说概念层面上辅助查洵，通过主题词典、上下位词典、相关同级词典，形成一个知识体系或概念网络，给予用户智能知识提示，最终帮助用户获得最佳的检索效果。比如用户可以进一步缩小查询范围至“微机 、“服务器”或扩大查询至“信息技术一或查询相关的“电子技术”、“软件”、“计算机应用等范畴。另外，智能检索还包括歧义信息和检索处理，如“苹果 ，究竟是指水果还是电脑品牌，“华人”与“中华人民共和国”的区分，将通过歧义知识描述库、全文索引、用户检索上下文分析以及用户相关性反馈等技术结合处理，高效、准确地反馈给用户最需要的信息。但是，在现阶段的智能信息检索中也存在着一些问题，如词表更新不及时：受自然语言理解发展的制约：语义关系弱等。鉴于词表，语料库等的局限，研究者将本体( o n t o l o g y ) 引入到信息检索领域。从哲学上讲，本体论是关于客观现实存在的抽象理论一人世界观的反应。任何表示均是现实的不精确近似刻画现实的某些方面而忽略其它方面。如何观察现实和观察什么的决策则构成知识表示的本体论，其通过定义基本的术语( 概念和关系) 以及合成这些术语去描述世界的法则来作为知识表示的约定。在本体库的支持下，实现基于语义的检索，如语义蕴含，语义外延和语义联想检索等。定义的任何领域的形式化本体论有以下两个方面的作用：( 1 ) 能够自动分析文档的类别属性一般来讲，在本体论知识的协助下，可以判断文档属于哪个类别，并以此对文档进行分类。然后经过进一步相关有效的处理，过滤掉不相关词汇，得到有可能与该文档相关的内容。使某一领域的相关文档的分类自动进行，使信息的查询不再是遍历和扫描所有文档，而是有选择地进行查询与其相关的信息，与此同时将检索得到的结果进行相关的排序输出，可以大大节省检索的时间开销和加快用户对检索的语用相关性判断。( 2 ) 可以智能化地规范和显化用户的查询要求由于用户对信息需求认识的模糊性，应该如何通过一定的手段使模糊的信息需求在检索的初始阶段得以显性化和清晰化就显得极为重要。对于用户给出的查询关键词，在本体论知识的协助下，可以有效地判断其所属的可能领域，然后分别将该领域及其所属的相关概念与定义罗列给用户，用户据此进行相应的选择和相关判断。一方面，通过选择和判断过程帮助用户明确其信息需求，把未意识到的或者未明确清晰表达的客观信息需求进一步显性化；另一方面，让系统了解用户所关心的领域，为检索过程提供更为精确的信息，有利于在客观上使相关性的判断向语用相关靠近3北京邮电人学硕十学位论文和转移，借以快速有效地达成信息用户的检索请求和满足用户的信息需求，从而提高系统的检索质量。1 1 3 基于本体的信息检索的研究现状国外在基于本体的信息检索方面的研究起步比较早，成果也比较显着。出现了不少著名的项目。女h o n t o b r o k e r 面向w w w 上的网页资源，帮助用户检索所需的网页。o n t o s e e k 开发了s e n s u s 本体用来对网络上的黄页资源和产品分类进行基于概念的检索。t e x t p r e s s o 是基于本体的牛物学文献检索和抽取系统。t e x t p r e s s o 系统是由美国加州技术学院w o r m b a s e t _ 作组开发的网络环境下的面向生物学领域的检索工具，主要处理和检索c e l e g a n s 数据集中的文献摘要和全文。s h o e ( s i m p l eh t m lo n t o l o g ye x t e n s i o n s ) 通过对h t m l 进行扩展在h t m l 页面的头部或者尾部加入一些基于o n t o l o g y 的元数据来对页面的内容进行标注。这种标注和页面的内容是分离的。s h o e采用h o r n 逻辑作为它的规则语言，表达能力和基于框架逻辑的o n t o b r o k e r 类似。虽然国外的研究者做了大量的工作，但是基于本体的信息检索还处于起步阶段，杀手级的应用还没有出现。国内有许多学者对于将本体应用于信息检索进行了研究。但基本上处于试验或小范围的验证阶段，开发了一些原型系统，是现阶段研究的热点。如东南大学的万捷等，提出基于内容的信息检索系统，利用本体对检索需求进行语义扩充，并用文档分析器对检索文档进行过滤，因此增加了检索结果的准确性，更加符合用户的检索需求。国防科技大学的徐振宁等，把本体作为信息检索系统的核心，通过构造形式化的领域本体，提出了一种将知识表示和知识处理引入互联网信息处理的方法，为互联网上半结构化数据和关系数据库提供了统一的语义模型。中国科学院计算技术研究所智能信息处理开放研究实验室的武成岗等，提出了基于本体和多智能主体的信息检索服务器，该系统利用本体协助智能主体对网络上的各类信息进行领域分类，并规范用户信息检索的模式，精度较高。中国农业大学的赵庆龄等，设计开发了基于本体论的土壤知识体系智能检索系统，采用了导航、语义检索和全文检索融合的检索方法。综合分析以上研究，可以发现主要集中在w e b 应用上，主要集中在有标签的网页或结构化比较强的文献上，对于无结构或弱结构文本信息的检索还没有进行深入研究。4北京邮电大学硕士学位论文1 2 研究内容的提出本文要讨论的信息检索系统是基于w e b 的信息检索系统。通常所说的搜索引擎就是基于w e b 的信息检索系统的典型代表。它融合了超文本和多媒体文件，使用了图形界面，操作简单，使用方便，因而基于w e b 的全文搜索引擎系统越来越成为信息检索工具的研究热点。随着信息检索领域在文档内容表示、索引模型、匹配策略等方面不断取得新的成果，检索技术也由简单的串匹配模式发展到布尔检索模式( 扩展布尔模式) 、向量空t r a l 模式和统计模式，预计在不久的将来，自然语言检索模式的信息检索系统将会提供更优质的检索服务。在信息检索时，用户不仅希望能够检索出所有感兴趣的信息，过滤掉不相关的信息，同时也希望获得最有价值的信息，以便以最快的速度高效地解决问题。当前检索信息的搜索引擎不但检索出大量无关信息，而且浪费网络流量，消耗了用户的时间和精力，因此具有信息实时性差和信息导航能力差等缺点，这就要求对搜索引擎进行内部改造或引入新的检索机制。面对i n t e r n e t 信息过载和用户使用信息时的迷航状况，改善现有的w e b 检索工具，研究新一代的智能w e b 信息检索系统，是当前迫切需要解决的问题。本文针对当前w e b 检索工具存在的缺点和不足，把现有的智能技术一本体技术应用于智能w e b 信息检索系统的研究开发之中。本体具有的良好概念层次结次，研究基于领域本体的语义方法可以为提高文档标引的语义准确性和信息检索的查准率提供有效的手段。本体对逻辑推理的支持可使处理后的用户查询式中的概念与文档标引用词的语义一致以提高查全率。研究基于本体的信息检索策略可有效提高搜索的准确性。1 3 本文的工作和内容安排1 3 1 本文主要工作本文的工作包括两部分：一、剔除网页中的噪声i n t e r n e t 信息绝大多数是以网页形式存在的，我们的信息检索工作的对象就是这样纷乱芜杂，浩如烟海的网页数据。网页是一种半结构化的文本，它除了包含对5北京邮电人学硕士学位论文于户有价值的信息之外，还包含着大量的结构信息，外观信息，甚至于无任何作用的垃圾信息等等大量的噪声信息。这些噪声信息无疑会对智能的检索工作造成巨大的有害的影响。因此，我们面临的第一个突出问题就是如何去剔除网页中的噪声信息，得到有效内容。在解决这个比较抽象的问题中，我们还会面临很多具体的问题，例如：1 网页格式多样化：多种格式并存，而且同一格式的网页也存在多个标准，同时由于网页的写作风格及内容变化都很大，因此如何解析不同格式、不同风格的网页成为网页预处理的一个难点：2 网页去噪：网页中存在大量与页面丰题无关的噪音信息，如何提高去噪算法的性能是有待研究的问题：3 网页结构信息：网页含有丰富的结构信息，除纯文本以外，还有其它一些内容对分类有贡献。如h n 和t i t l e 标注网页的标题和段落子标题，m e t a 标记中的n a m e属性值和c o n t e n t 属性值是对网页主题的描述，网页中的超链接指向的内容有可能是与该网页主题相关的内容，这些信息都对网页分类有贡献，也可能存在噪声，要综合利用上述特征。二、基于本体的信息检索研究我们希望能够利用本体来改善现有信息检索系统。但是现在在信息检索系统中的本体使用方法不一而同，大多是都是用本体做查询的语义扩展，这种方法被证明是可以有效的提高检索系统的召回率，但是，在当今信息膨胀的时代，用户追求的更多是准确率，单纯召回率的提高是没有什么意义的。我们希望能够有一种新的本体利用方法，来提高信息检索系统的准确率。在解决这个问题时，我们还会面临很多具体的问题，例如：本体如何表示，如何构建本体，如何解析本体，如何查询本体等等。1 3 2 文章组织结构本文针对当前w e b 检索工具存在的缺点和不足，把现有的智能技术本体技术应用于智能w e b 信息检索系统的研究开发之中。以使检索系统更加智能，提高其准确率。本文共分五章，本文的结构安排如下：第一章绪论，主要介绍w e b 信息检索的研究现状及存在问题。6北京邮电人学硕士学位论文第二章网页内容的自动提取，主要介绍在进行检索前，我们对网页主题内容自动提取所采用的方法。第三章基于本体的网页检索，主要介绍利用本体进行信息检索。第四章实验系统设计和效果分析，主要介绍文本的实验过程与实验结果。第五章结论与展望，对全文工作进行了总结，并提出下一步的工作展望。7北京邮电人学硕士学位论文第二章网页内容的自动提取网络信息与传统信息不同，网络信息需要很强的效果表达手段，为了展现各种效果，需要在网页中添加各种其他信息，但是并没有规定的具体规范，导致很多信息的结构性仍然很差。网页由h t m l 语言标签把那些其他信息和网页正文组织起来，但是h t m l 是一种不太规范的标识语言，这就导致网络信息同噪声信息参杂在一起，构成半结构化或者无结构的网络文本。因此，如何把有效内容从网页中提出取来成为一个关键性问题。2 1 网页结构及特点为了有效地剔除网页中的噪音信息，得到有用的内容，就必须首先了解网页的基本结构和特点。目前普遍使用h t m l 语言作为创建w e b 页面的语言。从形式上看，h t m l是标准的a s c i i 文件，与普通文本不同的是，它加入了很多h t m l 标签，这些标签对应于h t m l 语言中的不同元素。用于组织文件的内容和指导文件的输出格式。以下是一个w e b 页面典型结构 t i t l e h t m l 标签经常是嵌套关系，比如h t m l 标签的元素体部分，包含h e a d 和b o d y ，h e a d又包含t i t l e 标签，实际上，一个规范的w e b 页面的标码往往对应于一棵树形结构，h t m l标签为树根，个个字标签成为该树形的各个节点。标签大体可分为三类：结构、语义和样式。8北京邮电大学硕士学位论文1样式标签： 2 语义标签： 3 结构标签： 随着w e b 开发的发展，c s s 已经取代了样式标签的地位，在新w e b 网页中，样式标签已经出现的较少。 标签表示其中内容为c s s 样式标， 标签表示其中内容为脚本， 表示其中内容为j a v aa p p l e t d 、程序，语义标签用于效果展示或者网页逻辑控制，对于理解该网页没有任何贡献，所以其内容完全属于噪音，应该直接过滤掉。结构标签用于使网页结构清晰，方便编辑。2 2 网页初步去噪在了解了w e b 网页的基本结构和特点后，我们可以根据其特点对网页中与主题无关的噪音信息进行初步去噪。2 2 1d o m 文档对象模型如果要处理网页，那么就不能抛弃d o m 这个强有力的武器。h t m ld o m 是一个w 3 c标准，它是h t m l 的文本对象模型( d o c u m e n to b j e c ty o d e lf o rh t m l ) 的缩写。h t m ld o m定义了一套h t m l 的标准对象，以及对h t m l 文本对象访问和操作的标准方法。所有h t m l元素，连同它们包含的文本和属性，都可以通过d o m 来访问。其内容可以被修改或删除，并可以生成新的元素。h t m ld o m 则是专门适用于h t m l x h t m l 的文档对象模型。可以将h t m ld o m 理解为网页的a p i 。它将网页中的各个元素都看作一个个对象，从而使网页中的元素也可以被计算机语言获取或者编辑。例如j a v a s c r i p t 就可以利用h t m ld o m 动态的修改网页。d o m 采用树状的模式来表示一个文档。每一个标签都是一个节点，比如 ， 等等。文本内容也是一中特殊的标签块，t e x t 标签。首先经过处理过的h t m l 文档被转换为x h t m l 文档，具有格式良好”的) 咖。特征，d o m通过对h t m l 文件的再解释，生成一个文件的树型内部结构，称为文件的树型逻辑结构或逻辑结构。d o m 在进行了文件解释时，将h t m l 文件看成一棵树， h t m l ) 作为树的根，而h t m l 的其它组件被看作树中的结点( n o d e ) ，可以作为父结点包含结点，也可以作为其它结点的子结点。同一层的结点成为兄弟结点。下面一个简单的例子说明t d o m 是如何建立文件的逻辑结构。9北京邮i 乜人学硕十学位论文考虑如下一个w e b 文档：图2 1 一个常见的网页 标题 内容 内容图2 - 2 格式良好的b t m l 源码示意下图表示了该文档的d o m 结构。1 0北京邮电人学硕士学位论文2 2 2 网页的初步过滤图2 - 3 图2 - 2 所示源码的d o 咐示意图h t m l 语言是不严谨的，也就是说，即使在网页中出现了不符合h t m l 语法的现象，但这样的网页仍然可以被游览器很好的现实出来，这就导致网络上存在着“残疾”的网页，比较常见的现象就是h t m l 标签不匹配和h t m l 标签缺失。如果不采用d o m 来处理网页的话，这个问题就相当的严重，必须采取一定的策略来补全标签。但实际上，这个问题可以说是不存在的，因为游览器可以兼容和现实这些“残疾”网页，那么我们仿照游览器的策略就可以了。游览器正是使用d o r a 来解析和显示网页的。h t m ld o m 是独立于平台和编程语言的。它可以被任何编程语言所使用，例如j a v a , j a v a s c r i p t ，和v b s c r i p t 。脚本语言天生就是为了操纵网页而存在的，但是出于安全性考虑，是不允许与文件系统有任何交互的，也就是说不允许读写文件( 在j a v a s c r i p t 最新版本中限制虽有放宽，但是仍然很不方便) ，因此不适合作为网页内容提取的编程语言。j a v a 语言功能强大，开源项目极多，完全能够满足我们的需要。这里我们使厍l c o b r a 这个开源的j a v ah t m lp a r s e r 来操纵网页是l o b op r o j e c t 下的一个开源项目，它包含一个嫡e , j a v ah t m ld o m 分析器和一个页面表现引擎。l o i x ) p r o j e c t旨在用j a v a 语言实现一套完全支持h m t l ，j a v a s c r i p t ，c s s 2 的游览器，作为l o b o 的d o r a北京邮电人学硕十学位论文解析工具。c o b r a 完全支持h t m l 4 ，j a v a s c r i p t 和c s s 2 ，功能十分强大。使用c o b r a 可以把网页解析直接解析为一个d o m 树对象，无需在意原网页是否“残疾”。网页的噪声就是与主题无关的页面信息。w e b 页面中可能包含大量的与主题无关的信息，这些信息有些是样式信息( c s s ，层叠样式表信息) ，有些是用于逻辑控制的j a v a s c r i p t 程序信息( 或者其他脚本语言) ，有些干脆是无用的注释，还有些是图片连接，导航连接和版权信息。这些噪声信息会极大的损害对网页的处理。网页噪声的初步过滤。初步过滤是有针对性的过滤掉w e b 页面中的指定信息。以下列举过滤的内容：1 注释标签2 脚本代码3 样式标签4a p p l e t 标签5 表单及相关标签 ， ， 等经过了初步过滤处理，各种与内容提取无关的页面和标签等噪音信息等都被过滤掉，大大减少了进一步处理的数据量。2 3 网页内容去噪网页处理还是一个很新的领域，人们在这个领域里，还没有非常成型的理论。我们将就网页内容提取的最主要的应用，提出我们的方法，实验证明，该方法是有效且能节省计算成本的。2 3 1 多网页参照去噪经过对大量中文网页结构进行分析，我们发现，绝大多数网页结构存在相似之处。首先，网页中大量使用 和 标签，目的是具有美化效果，并且使网页结构清晰，方便编辑：其次，同一类网页具有结构相似的特征，噪音数据和有效文本内容大多处于不同的 或 标签中，而且同一类数据，如广告等噪音信息，它们所在的t a b l e 或d i v 的风格基本相同：第三，如果以 标签内的数据为一个单元，那么通常情况下，网页中有效文本单元的内容相对于每噪音数据单元的内容要多，噪音数据多为广告、图片、站点链接以及版权信息等。北京邮电人学硕十学位论文夕广告导就止誓内容条舨戡依息图2 - 4 结构相似的网页在网络上一个非导航网页单独存在的情况极少。极大多数网页都是伴随着相同类别的网页一同出现的。从网页编写者的角度出发，这些网页都会被赋予相同的风格，相同的背景，相同的导航条，相同的版权信息。这样，在我们看来，统一网站中，相同类别或者相类似类别的网页的噪声信息是极相似的，而有效信息是很不相似的。通过这种方式，我们就能够鉴别出一系列网页中的噪声信息和有效信息。也就是说，在同一网站中，多篇网页往往具有同一种风格结构。它们的噪声都是极其相似的( 广告，导航信息，版权信息等) ，而有效信息是极其不相似!用于控制接口包含内容的标签我们称之为容器标签，这样的标签对我们的提取工作有非常大的价值，应为所有的有效信息都会被包含在这样的容器标签内。在网页中这类标签最常见的就是 和( t a b l e ，还有一种使用的比较少的就是( s p a n 他的功能同( d i v ) 类似。在d o m 树中的容器标签节点，我们称之为容器节点。容器树( c o n t a i n e rt r e e ) ，这是我们只利用h t m ld o m 树中容器节点构建出来的树。他的每个叶子节点内容包括容器标签值t a g ，容器标签s t y l e ，原d o m 树中的容器节点。t e x t n o d e 是网页中的文字内容部分。北京邮电人学硕士学位论文图2 - 5t e x t l q o d e 结构示意图r o o ti b o d y ， b 9 0 0 i o r = w h i l e ji 脚f 荔一一j亟图2 - 6 容器树( c o n t a i n e rt r e e ) 示意图网页中的文本内容并不独立于d o mt r e e 而存在，它也作为d o mt r e e 中的一个节点而存在于d o mt r e e 中，不过这个节点的t a g 类型为t e x t n o d e ，这个节点的v a l u e 为文本内容，不同的游览器或是h t m lp a r s e r 对文本内容如何分割为t e x t n o d e 的策略不尽相同，但依据w 3 c 标准，应该是以换行符为切分标志，来把文本内容分割成的多个t e x t n o d e 节点。简言之，就是网页中的文本内容一段落为单位，构成多个t e x t n o d e节点，同一般的t a g 节点一样地存在于d o mt r e e 中。如果两个t e x t n o d e 的v a l u e 相同，我们就称这两个t e x t n o d e 相同。在比较容器树叶子节点相似的方法上，我们借鉴了刘冰1 2 。3 1 的工作，他采用s t y l et r e e 的方法进行比较，取得了不错的效果。如果在容器树中的两个节点的s t y l e 相同，且这两个节点在原d o mt r e e 中具有的相同的子t e x t n o d e 的比例大于阈值，那么就称这两个节点相似。1 4北京邮电人学硕士学位论文2 3 2 多网页参照内容提取以下是我们的内容提取算法。步骤一：为每个网页构造d o m 树：步骤- - - ：为每个网页构造容器树：步骤三：遍历每个容器树，对于每一叶子结点计算与其它容器树相同位置节点的相似度。与其它叶予结点的相似程度，若相同，则将所有与该叶子结点相似的结点从容器树上去除，否则转步骤四：步骤四：重复步骤三直到全部叶子结点都处理完毕，对于容器树中未作标记的叶子结点，转步骤五：步骤五：对于容器树中未作标记的叶子结点，步骤三的操作。顺序比较与其它未作标记的叶子结点的相似程度，若相同，则将所有与该叶子结点相似的结点从容器树上去除，否则转步骤六：步骤六：重复步骤五直到全部未标记的叶子结点都处理完毕：经过以上处理，我们已经可以得到比较纯净的文本。最后，再经过转义符的替换处理，将叶子合并，就可以得到经过过滤后和网页内容提取后的文本文件。下面分别为内容提取的效果：北京邮电人学硕十位论文瞄盈隧繇黼融。l豳麟翮豳酝蕊嘲。翮豳潮鍪li黼黛l髓e融l一一，基( j 、1s ；r舯l l豳一墓l暖。w “g 伯。mt _掰目：l盈目隧匿，。挈j h 培训阿j 叫。立章气葛单n ：j ”j 兰$佰单的j 程序f。霹量目壹量。；。 7警型赞蓓下面强 先秆螭两十苘盟舯j 程j 丰，井对h 琏厅r 哳f淳j ! # 兰，# *，7 辩型静冕：删1il。m 午翟封菇拳倒p 1 止h 。1 u ：“。1 13 。1 4 却9；h * 祀十p z一勺； 盾苴h【77 a n 蚱p 1 1 。9 乞，一，：“。m 一一m 。u - _ ，童弩家瓷讯”“。1 “”- 投术宝辫邮费网m 。，。，。一m m v 一“，弋吃尚鲜网f中固吻乏丛铃履j 川r a ， 、f j 培训】网z一嘏嗍作用是辆出下面百恒息霉l一一- 一一!北京邮电大学硕士学位论文第三章基于本体的网页检索本章提出一个基于本体的语义检索的系统框架，它能够提取和利用上的语义信息并根据用户的检索条件找到准确的结果，使得用户能够比较准确，全面地找到自己感兴趣的信息。3 1 基础理论和相关技术智能w e b 信息检索中，涉及到很多关键性技术。包括语言学中的自然语言处理，。；数学领域的统计学等，以及计算机领域的模式识别、人工智能、神经网络等研究方向。本章将着重介绍跟本文有关的关键性技术，将对文本表示，本体，和语义网的基本概念、基础理论和相关技术，进行分别的介绍。3 1 1 本体近几年来，随着计算机应用需求的不断增长，计算机科学与技术的发展日新月异，但在这种快速发展的同时，也遇到种种困难。如知识的表示、信息的组织、软件的复用等。而由于因特网的快速发展，面对信息的海洋，如何组织、管理和维护海量信息并为用户提供有效的服务也成为一项重要而迫切的研究课题。本体作为一种能在语义和知识层次上描述信息的概念模型的建模工具，自被提出以来就引起了国外众多科研人员的关注，在计算机的许多领域得到了广泛的应用，如知识工程、数字图书馆、软件复用、信息检索和w e b 上异构信息的处理、语义w e b 等。1 9 9 3 年，g r u b e r 给出了本体的一个最为流行的定义，即“本体是概念模型的明确的规范说明”1 6 1 。b o r s t 在此基础上，给出了本体的另外一种定义：“本体是共享概念模型的形式化规范说明一1 7 1 。s t u d e r 等对上述两个定义进行了深入的研究，认为本体是共享概念模型的明确的形式化规范说明。这包含4 层含义：概念化1 7北京邮电人学硕士学位论文( c o n c e p t u a l i z a t i o n ) 、明确( e x p l i c i t ) 、形式化( f o 珊a 1 ) 和共享( s h a f e ) 【8 】。“概念化”指通过抽象得出客观世界中一些现象( p h e n o m e n o n ) 的概念模型。概念化所表现的含义独立于具体的环境状态。“明确”指所使用的概念及使用这些概念的约束都有明确的定义。“形式化”指本体是计算机可读的( 即能被计算机处理) 。“共享”指本体中体现的是共同认可的知识，反映的是相关领域中公认的概念集，即本体针对的是团体而非个体的共识。本体的目标是捕获相关领域的知识，提供对该领域知识的共同理解，确定该领域内共同认可的词汇，并从不同层次的形式化模式上给出这些词语和词语间相瓦关系的明确定义。本体原来是一个哲学上的概念，是指对客观存在的一个系统的解释或说明，反映客观现实的抽象本质。在人工智能界，最早给出本体定义的是n c c h e s 等人，他们将本体定义为“给出构成相关领域词汇的基本术语和关系，以及利用这些术语和关系构成的规定这些词汇外延的规则的定义1 9 】p e r e z 等人认为本体可以按分类法来组织，他归纳出本体包含5 个基本的建模元语( m o d e l i n gp r i m i t i v e ) 1 0 l 。这些元语分别为：类( c l a s s e s ) ，关系( r c l a t i o n s ) ，函数( f u n c t i o n s ) ，公理( 觚i o m s ) 和实例( i n s t 柚c e s ) 1 1 6 l 。通常也把c l a s s e s 写成c o n c e p t s 。概念可以指任何事物，如工作描述、功能、行为、策略和推理过程等等。关系代表了在领域中概念之间的交互作用。形式上定义为n 维笛卡儿乘积的子集：r ：( l 宰( ：2 ( 、n 。函数是一类特殊的关系在这种关系中前n 一1 个元素可以唯一决定第n 个元素。形式化的定义如下：f ：c 1 宰c 2 宰c n 1 c n例如m o t h e 卜o f 关系就是一个函数，其中m o t h e r - o f ( x ，y ) 表示y 是x 的母亲，显然x 可以唯一确定他的母亲y 。公理代表永真断言，比如概念乙属于概念甲的范围。实例代表元素。从语义上分析，实例表示的是对象，概念表示的则是对象的集合，而关系对应于对象元组的集合。概念的定义一般采用框架( f r a m e 结构，包括概念的名称，与其它概念之间关系的集合，以及用自然语言对该概念的描述。基本的关系有4 种：p a r t - o f ,k i n d - o f , i n s t a n c e - o f 和a t t r i b u t e - o f p a n 帕f 表达概念之间部分与整体的关系；k i z d o f表达概念之间的继承关系，类似于面向对象中的父类和子类之间的关系，给出两个概念c 和d ，记c = ( x l x 是c 的实例 ，d = ( x l x 是d 的实例) ，如果对任意的x 属于d ，x 都属于a ，则称c 为d 的父概念，d 为c 的子概念；i n s t a n c e - o f 表达概念的实例和概念之间的关系，类似于面向对象中的对象和类之间的关系；a t t d b u t c - o f 表1 8北京邮电人学硕士学位论文达某个概念