（计算机应用技术专业论文）基于本体的可定制化网页信息智能提取技术研究.pdf

浙江大学硕r j 二学位论文 摘要 w w w 上拥有海量、分布、动态、异质、非结构化的丰富信息资源，但用户 一赢没有合适的途径获取它们，而互联网传统的信息检索的粒度不能满足客户的 需要，人们迫切需要w e b 挖掘技术来方便地获取互联网中细粒度，结构化的信 息。w e b 挖掘技术负责从大量的w e b 文档和w e b 活动中发现、提取感兴趣的、 潜在的有用模式和隐含的、事先未知的、潜在的信息。但现有的w e b 挖掘系统 存在着应用领域小，自动化程度不高的不足，满足不了复杂数据源和数据表达方 式多样化下信息提取的需求。 论文针对现有w e b 挖掘系统所存在的问题，提出一种基于本体论的网页信 息提取算法，并成功地应用到u t 斯达康手机信息服务系统中。算法基于h t m l 结构，结合本体论，能够自动分析网页结构并提取数据，具有高度鲁棒。陀和适应 性。 第一章首先叙述了信息提取技术意义与本文的研究背景，进而提出本文的研 究内容。 第二章介绍了信息提取技术的发展过程，简要介绍了传统信息提取技术的方 法以及代表性系统，对它们的优缺点进行了分析。同时介绍了本体论的概念，以 及本体论在信息提取领域相关的一些工作。 第三章对系统所采用的本体模型o r m 进行了阐述。系统采用对象关系模型 ( o i t m ) 构造目标本体，通过解析本体描述，可以获得目标数据的结构，描述方式， 以及数据库模式，为信息提取做好数据准备。 第四章提出了基于本体论的网页去噪技术。通过构造网页标签树并对其进行 简化统计得到网页结构树，在此基础上，利用网页日j 结构块的相似性和页丽内噪 音结构块的特征来排除网页噪音，提高信息提取的准确性。 第五章在网页结构树的基础上给出了基于本体论的信息提取算法。利用最大 扇出树，并结合改进的启发式规则，寻找出网页数据区，最后利用本体论进行记 录的划分和记录的分解提取，并将提取的信息按本体描述保存到数据库中。 第六章介绍了信息提取系统的实现，给出了系统的体系结构，并使用业界标 准评价体系对系统进行测试，测试结果表明系统在性能上与同类产品存在定的 优势，验证论文在系统性能方面的改进工作。 第七章总结了本文的研究成果，指出今后研究的方向。 关键词：w e b 信息提取，h t m l 结构树，本体论，对象关系模型 浙江大学硕上学位论文 引言 第一章绪论 随着i n t e m e t 的普及推广，人们越来越多的通过w e b 方式来获取信息。w e b 全面的信息和快捷的访问方式人们带来了巨大的便利。随着w e b 信息的爆炸式 地增长，从w e b 获取信息变得越来越困难，人们丌始越来越多地借助搜索引擎 的帮助。搜索引擎也一直在随着的w e b 的发展一直在完善，从早期的简单分类 目录已经发展到具有复杂算法和庞大集群系统的高级应用服务。到目前为止，搜 索引擎主要都是提供全文索引的方式来提供服务。但“全文检索”会带来大量的无 关信息，人们迫切需要更精确的检索技术。 在这种情况下，信息代理开始出现。信息代理从大量的资源网站收集资源， 然后根据用户的需求或兴趣过滤和转换信息，再将处理后的信息发送给用户。但 是，由于各个网站资源的异构性，很难准确地从大量的网页资源中发现用户需要 的信息。 造成这种情况的根本原因是目前w w w 所采用的描述方式大部分还是采用 h t m l ( h y p e n e x tm a r k u pl a n g u a g e ) 。h t m l 语言结构是非常松散的，没有如 类似x m l 的d t d 或s c h e m a 来做数据的解析。它是面向显示的，而非面向数据 的。而且h t m l 对语法要求并不严格，很多并没有遵循h t m l 规则的代码在浏 览器中依然运作正常。尽管x m l 在一定程度上可以解决上述问题，x m l 可以 告诉我们文档的意义，即定义内容而不只是形式，但在短期内，i n t e m e t 上的大 量信息不可能从h t m l 替换到x m l ，而且为互联网上无数的资源定义统一的描 述方案也是不可行的。现今的数据挖掘通常都是面向结构化数据库的，如果将 w w w 里的信息提取整理出来，那么数据挖掘等等系列新的服务都可以在这个 基础上成为可能。 在这个背景下，w e b 信息提取技术兴起。它是种浅层的文档处理。它从文 档中自动提取信息，整理成为结构化的信息。它以w e b 页面为输入，输出成结 构化数据，我们可以将它存储到数据库中。在w e b 信息提取技术的基础上，我 们还可以实现元搜索，信息代理等。 浙江人学硕 一学位论文 响：一是醛驰船吖她醚锄班彰辩时铸裂蓄i 止箍张浒诗鬟8 瓠为。i 墓琴童i 辫曝强循爿篙差霄缎甥醺拦酴裂， 塑荔姥耀珲韬菱羹斋壤瑙瓣兰量夔蓁羹稽国粥玛添搿始i l 笋秭l ；鞘驱雾镰j 龆燥型萋器重j 茎龟瑟瑟霉孽z 燃氍g ；彰卅剐 掣妻营型要可魏醑耄薹紊剐春 蓍鼎些薹嚣雏霎帮究鬟繁；涤蝗饕囊篓墓鏊璧薹隋盱俐塞雾蠹霉霎薹嫠霎璧! 墓耐信 级别的运营过程中，某些时候需要对所有的o n u 下发或查询同 样的配置命令，所以这里我们提出了eo a m 批量o n u 的操作。由于一次性对 批量0 n u 进行批量配置下发和查询的过程过于复杂，这里我们仅实现对批量 0 n u 单个配置进行下发查询和文件下发操作。 5 6 1 批量o n u 下发查询单个配置实现 在批量o n u 下发查询单个配置时，0 n u 侧的e o a m 模块操作不变，o l t 需要定义数组用来标识各o n u 是否收到响应报文的状态，0 u 1 每收到一个响应 报文都需要保存操作结果并修改0 n u响应状态数组。当o l t 发送完配置下发 查询命令后，对于所有正常状态的0 nu 都需要接收到响应报文，如果一定时间 段内没有收到响应报文则需要重传，重传时对单个l l i d 发送命令且不采用等待 机制，重传三次没有响应报文作为操作 x 浙江大学硕l 学位论文 只有读过网页的内容爿能够知道自己所需要的信息的位置。而且，用，1 无法对这 些信息二次利用，对网上信息的利用效率低。搜索引擎难以在查询粒度上使用户 满意，信息提取技术却能够改善这一现状。有研究人员试图通过将信息检索和信 息提取结合，提出垂直搜索引擎的概念。垂直搜索是针对某一个行业的专业搜索 引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合， 定向分字段提取出需要的数据进行处理后再以某种形式返回给用户。 垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构 化信息提取，也就是将网页的非结构化数据提取成特定的结构化信息数据，好比 网页搜索是以网页为最小单位，基于视觉的网页块分析是以网页块为最小单位， 而垂直搜索是以结构化数据为最小单位。然后将这些数据存储到数据库，进行进 一步的加工处理，如：去重、分类等，最后分词、索引再以搜索的方式满足用户 的需求。整个过程中，数据由非结构化数据提取成结构化数据，经过深度加工处 理后以非结构化的方式和结构化的方式返回给用户【3 3 。 2 3 w e b 信息提取技术的传统途径 一般而言，传统的w e b x 浙江大学硕学位论文 规则的知识工程师对该知识领域有深入的了解。这样的人才有时找不到，且丌发 的过程可能非常耗时耗力。 ( 2 ) 自动训练方法( a u t o m a t i ct r a i n i n g a p p r o a c h ) 。应用归纳学习技术来自动或 半自动地生成提取规则通过提供样本输入和样本输出，以机器学习的方法自动 提取规则，生成相应的模板。通过摸板与目标网页对比，对比如果成功匹配，则 从中提取数据。自动训练方法不一定需要如此专业的知识工程师。任何对该知识 领域比较熟悉的人都可以根据事先约定的规范标记语料库。这种方法要比知识工 程方法快，但需要足够数量的训练数据，才能保证其处理质量。 对于基于包装器( w r a p p e r ) 的系统的体系架构可以用如图2 1 来表示： 、v e b 页面 专家指导或 机器学习 放弃或创建 新包装器 图2 - l 基于包装器的信息提取典型架构 2 4 典型信息提取系统的体系结构【12 】 h o b b s 曾提出一个信息提取系统的通用体系结构，他将信息提取系统抽象为 “级联的转换器或模块集合，利用手： 编制或自动获得的规则在每一步过滤掉不 浙江火学硕士学位论文 相关的信息，增加新的结构信息”。 h o b b s 认为典型的信息提取系统应当由依次相连的十个模块组成： l 、 文本分块：将输入文本分割为不同的部分块。 2 、预处理：将得到的文本块转换为句子序列，每个句子由词汇项( 词或特 定类型短语) 及相关的属性( 如词类) 组成。 3 、过滤：过滤掉不相关的句子。 4 、预分析：在词汇项( l e x i c a li t e m s ) 序列中识别确定的小型结构，如名 词短语、动词短语、并列结构等。 5 、 分析：通过分析小型结构和词汇项的序列建立描述句子结构的完整分析 树或分析树片段集合。 6 、 片段组合：如果上一步没有得到完整的分析树，则需要将分析树片段集 合或逻辑形式片段组合成整旬的一棵分析树或其他逻辑表示形式。 7 、 语义解释：从分析树或分析树片段集合生成语义结构、意义表示或其他 逻辑形式。 8 、 词汇消歧：消解上。一模块中存在的歧义得到唯一的语义结构表示。 9 、共指消解或篇章处理：通过确定同一实体在文本不同部分中的不同描述 将当前旬的语义结构表示合并到先前的处理结果中。 1 0 、 模板生成：由文本的语义结构表示生成最终的模板。 当然，并不是所有的信息提取系统都明确包含所有这些模块，并且也未必完 全遵循以上的处理顺序，比如6 、7 两个模块执行顺序可能就相反。但一个信息提 取系统应当包含以上模块中描述的功能。图2 2 给出了美国纽约大学p r o t e u s 信 息提取系统的体系结构，具有一定的代表性。 图2 2 纽约大学p r o t e u s 信息提取系统体系结构 浙江人学删l 学位论义 2 5 代表系统简介 7 】 2 5 1s h o p b o t 作者：r 。b d o o r e n b o s ，o e t z i o n i ，d s w e i d s h o p b o t 是比价代理系统，专门从网上卖家的网站上提取信息。s h o p b o t 的运行分两个阶段：离线学习阶段和在线比价阶段。在学习阶段，系统分析每个 购物网站，获得其符号化描述，然后在比价阶段，利用获得的符号化描述，从网 站上提取信息，找到用户指定的产品的最低价格。其算法主要针对以表单形式提 供查询的页面，而且返回的搜索结果是以表格形式显示的产品信息页面。从结果 页面中提取信息的技巧结合了启发式搜索、模式匹配和归纳式学习。 2 5 2w i e n 作者：n k u s h m e r i c k k u s h m e r i c k 是第一个提出分装器归纳生成这一术语的。其方法不只局限于 某一领域，适用于所有包含表格信息的结构化文本，也不只是用于h t m l 文本。 这种方法可以处理被他们称之为具有h l r t 结构的网页：头分隔符、左右分隔符 ( 在每个待提取的对象的左右) 和尾分隔符。系统寻找标记信息点开始和结尾的 统一的分隔符，以及那些把表格信息与其他周围信息分开的分隔符。符合这一规 则的页丽几乎都是搜索数据库所得的结果页面。 2 5 3w h i s k 作者：s 。s o d e r l a n d 系统采用指导学习算法，而且需要输入一系列手工标注的训练实例。标注和 学习过程是交织在一起的。每次循环，系统将提交一批实例让用户标注，系统则 从标注的实例中归纳出规则。 w h i s k 属于机器学习算法家族中的覆盖学习法，与自上而下的学习分类归 纳法相关。首先，找到一个最宽泛( g e n e r a l ) 的能覆盖规则种子的规则，然后 一次加一个条件，直到错误率为零，或者满足一个事先设定的标准为止。 2 5 4s r v 作者：d f r e i t a g 浙江大学硕士学位论文 s r v ( s e q u e n c er u i e sw i t h 、，a d a t i o n ，带确认功能的次序规则) 是一种 自上而下、关系型的信息提取算法。其输入是一系列的网页，上面标记了待提取 区域的实例( i n s t a n c e ) ，以及一系列基于字串( t o k e n ) 的特征。输出是一系列 的提取规则。 s r v 从学习所有正反例子开始。所谓反例是没有被标记为实例区的字串。归 纳过程也是用正排除法，即当一条规则覆盖的例子全部是正例，或该规则已无法 继续具体化时，所有与之匹配的正例将被从训练集中删除。然后重复以上过程。 2 6信息提取的相关工作及存在的问题 j h a m m e r 在文献 1 设计了一种声明型的高级语言。书写模板来定义提取舰 则。由手工方式书写命令文件，并按顺序执行，如果输入满足命令的条件。则触 发命令的行为，将输入分块导入到中间结构中，最后再由中问结构将数掘置入输 出对象。需要用户描述提取过程的具体变量并编写提取方法，该方法只能适用于 某种特殊的页面，对不同结构的页面需要书写不同的命令文件。该文中用该方法 对特定网站的天气预报进行提取。 k u s h m e r i e k n 在文献 2 最早把归纳学习方法引入包装器构造过程通过分 析w e b 数据源，识别出一类可以通过高效学习得到并对实际数据源具有足够表达 能力的包装器h l r t ( h y p e r t e x t 【。e a r n i n gr u l e st r a n s f o r m ) 但h l r t 主要针对那 些以表格布局显示内容的数据源，有其局限性 l i a n g y o u c h e n 在文献 4 主要利用了网页标签树中的重复模式，它基于这样 一个假设，对于拥有多条记录的网页，在数据前的标签应该以一定规律重复出现。 该文可以将网页的表格解析出来，表示到程序的表格中去，但并没有给2 十 表格的 行列所对应的属性。 x i a o f e n g m e n g 等人在文献 5 给出了制定规则的一种新途径。用户需要书写 所要提取对象的d t d ，并通过图形晃面将d t d 与网页数据结合起来。而由程序根据 用户制定的关联自动生成规则。最后根据d t d 将数据输出到相应的x m l 文件。 传统的提取方法存在以下主要问题： ( 1 ) 对网页中的数据类型有较强依赖。如文献 4 主要用于处理表格数据，对 其他类型的数据并不适用。 ( 2 ) 不同的页面需要编写不同的包装器。由于数据提取过程与具体的页面结 构绑定在一起，因此当页面的结构发生变化时，就需要重新编写新的包装器，使 得包装器不具有重用性。 ( 3 ) 丌发和使用包装器程序需要较高的技巧，如文献 1 输入的页面描述文件 浙江大学硕士学位论文 需要用户对其输入方法有清晰的理解，因而不利于数据集成系统的推广 上述主要问题主要是由于包装器的局限性，包装器使用提取规则描述数据 在网页中的位置，而提取规则是和页面完全相关的，每条规则都只对一部分网页 适用，虽然对新页面可以生成新的规则，并合并到规则集中，但新规则的生成仍 然需要用户的参与，无论是通过视觉工具的辅助还是训练集的培训。 2 7本体论技术以及其在信息提取领域的应用 2 7 1 本体论概要 o n l o i o g y 的概念最初起源于哲学领域，在人工智能界，最早给出o m o l o g y 定义的是n e c h e s 等人，他们将o m o l o g y 定义为“给出构成相关领域词汇的基本 术语和关系，以及利用这些术语和关系构成的规定这些词汇外延的规则的定义”。 最著名并被引用得最为广泛的定义是由g n l b e r 提出的，“本体是概念化的明确的 规范说明”。 o n t o l o g y 中体现的是共同认可的知识，反映的是相关领域中公认的概念集， 它所针对的是团体而刁i 是个体。 o n t o l o g y 的目标是捕获相关的领域的知识，提供对该领域知识的共同理解， 确定该领域内共同认可的词汇，并从不同层次的形式化模式上给出这些词汇( 术 语) 和词汇之间相互关系的明确定义。 认为0 n t 0 1 0 9 y 的作用主要有以下两方面： 1 ) o n t o l o g y 的分析澄清了领域知识的结构，从而为知识表示打好基础。 o n t o l o g y 可以重用，从而避免重复的领域知识分析。 2 ) 使统一的术语和概念使知识共享成为可能。 0 m o l o g y 的具体作用包括，通讯( c o m m u n i c a t i o n ) 、互操作( i n t e r _ o p e r a b i l i t y ) 和系统工程( s y s t e m se n g i n e 州n g ) 。 1 ) 通讯：主要为人与人之间或组织与组织之间的通汛提供共同的词汇。 2 ) 互操作：在不同的建模方法、范式、语言和软件工具之间进行翻译和映射， 以实现不同系统之间的互操作和集成。 3 ) 系统工程：0 n t o l o g y 分析能够为系统工程提供以下方面的好处： a ) 重用( r e _ u s a b i l i t y ) ：0 m o l o g y 是领域内重要实体、属性、过程及其相 互关系形式化描述的基础。这种形式化描述可成为软件系统中可重用和共享 的组件( c o m p o n e n t ) 。 b ) 知识获取( k n o w l e d g ea c q u i s i t i o n ) ：当构造基于知识的系统时，用已有 的o m o i o g y 作为起点和基础来指导知识的获取，可以提高其速度和可靠性。 浙江人学硕 ：学位论文 第三章领域知识的构造 在这一章中，将介绍领域本体的构造模型，它给出了所要描述领域的抽象 概念，是整个系统的基础。 以天气预报为例，一个典型的天气预报记录包括地址，f 1 期，天气，气温， 风向，可见度等属性。这些属性包含有特殊的关键词，并且有些属性拥有特定的 描述方式。即使在不同的网站中间，表示天气预报的网页排版格式各有不同，但 在天气预报内容上也都符合上述所述的规范。 领域本体包含了所描述领域的相关信息要设计基于本体的信息提取系统， 首先就要建立本体描述，并通过一定的方式把它所包含的信息提取出来。本系统 中本体是采用b r i g h a my o u n gu n i v e r s i t y 丌发的o s h 构件器a l l e g r o 建立。 本文着重处理的w e b 页面拥有多条记录，每条记录在格式上都是相似的。 记录对应的本体描述较为简单，我们可以使用相对较小的本体来描述记录所对应 的抽象对象。 首先介绍系统所用的0 s m 模型。 3 1o s m 模型 本文中，使用o s m ( o b j e c t - o r i e n t e ds y s t e m sm o d e l ) 中的0 r m 来对本体进行描 述，面向对象系统模型o s m 最初设计应用于系统分析。它由三个子模型组成：描 述对象以及对象之间关系的o r m ( o b j e c t r e l a t i o n s h i pm o d e l ) ，描述个体对象行 为的o b m ( o b j e c t b e h a v i o r m o d e l ) ，描述对象之间交互的o i m ( o b j e c t i n t e r a c t i o n m o d e l ) 。在这罩，由于我们只关心数据的结构，所以仅使用对象关系模型o r m 。 3 2o r m 模型 结合示例简要介绍对象关系模型o r m 中使用到的几个主要构件 浙江人学坝l ：学位论史 ! p a 舡e n tl d n a m e ： a a d r e s s 图3 卜一个简单的o r m 示例 1 对象( o b j e c t s ) 一个对象是在概念上或实际上都唯一的物体，它可以是个确定的人，或者 是确定的地方。它在o s m 图中由一个黑色圆点来表示。 2 对象集合( o b j e c ts e t s ) 具有相同属性的对象可以被集中到一个集合，称之为对象集合，在0 s h 图中由矩形来表示。对象集合中有类特殊的对象称之为词汇对象集合 ( l e x i c a lo b i e c ts e t ) 。词汇对象集合中的对象和它们的表示是可对应的，也 就是它们是可被读写的( 例如字符串，数字，图像等等) 。词汇对象集合 采用虚线框表示。图中p e r s o n ，d o c t o p a t i e n t 都是非词汇对象集合， 而n a m e ，a d d r e s s ，p a t i e n ti d 则为词汇对象集合。 3 关系( r e l a t i o n s h i p s ) 关系陈述了对象之间的联系，在o s h 图中，它是连接对象的线段，并在 上面标明关系的名字。 4 关系集合( r e i a t i o n s h i ps e t s ) 对象之间的关系同样也可以被集中到一个集合中，称之为关系集合，关系 集合表示了两个或多个对象集合之间的关系，表示为对象集合中的连线， 并在表明关系集合的名字。图中h a s ，t r e a t s 为关系集合。 5 参与约束( p a r t i c i p a t i o nc o n s t r a n t s ) 参与约束声明了对象集合中有多少个对象可以参与到一个关系中( 一般 位于对象集合与关系集合的连接点旁) 。举例如a d d r e s s 上的l ：+ 表示每个 a d d r e s s 类中的对象可以与p e r s o n 类中的一个或多个对象通过p e r s o nh a s a d d r e s s 关系相关联。 6 一般特殊( g e n e r a i i z a t i o n s p e c i a i z a t i o n ) 一般特殊的主要作用是表明一个对象集合是另一个对象集合的子集。在 o r m 图形中，它由一个三角形与连线表示。三角形的某个顶点连接了 般类，也就是父类。而子类则与三角形的边相连接以作区分。图中，连 接p e r s o n ，d o c t o r ，p a t i e n t 的三角形表示了d o c t o r 和p a t i e n t 是p e r s o n 的子类。 浙江大学硕士学位论文 3 3构建领域知识 本节中，以天气预报为例，我们采用o r m 模型构建出天气预报本体，如图3 2 ：w i n d ： a d d r e l e m d e r a t ur e 幽3 2大气预报本体图形化表不 该图中的参与约束表示一个w e a t h e r f o r e c a s t 对象有且只有“h a s ”一个 d a t e ，而d a t e 可以与o 个或多个w e a t h e r 内r e c a s t 对象相关联。 在图3 - 3 显示了同图3 - 2 等效的文本表示( 加入了关键词与描述方式) ，该文 本使用o s 卜1 语言描述( o b j e c t o r i e n t e ds y s t e mm o d e ll a n g u a g e ( o s m l ) ) ，同图形 表示是等质的，可以通过编译器互相转化。 塑坚叁堂竺! ! 兰些望兰 w e a 七h e r f o r e c a s 七 一 o b e c c 】； u e a t h e r f o r e c a s t 1 ，1 】h a 目w e a 七h e r 0 ，。】； w e a c h e r 瑚a c c h 1 0 d 】 c 。n s t a n tte x t r a 。七? 。【雨暗云阴】? 删) ； k e y r dr r 天气iv e a 饨e r ”； e n d j w e a 七h e r f o r e c a s t 1 ，1 】 h a st e m p e r a 七u r e 0 ，。】； c e 瑚p e r a t u r e 抽a 七c h 1 0 c 。n s 七a n 七 e x c r a 。七r r o 一9 】。 i 摄氏度) ? ； k e y w 。r d ”气温i 温度| 七e 瑚p e r a 七u r e ”； e n d ： w e a t h e r f o r e c a s c 1 ，1 】 h a 8d a c e 0 ，。】； d a 七em a c c h q d c o n 8 七a n t e x 七七a c 七” 0 9 q c 、s 。l 、 口一9 1 ，2 ( 、so 0 9 1 ，2 f 、s 。 k e y 研o r d ”日期i d a 七e ”； e n d ； w e a c h e r f o r e c a s 七 1 ，1 】h a 搴a c l d r e s o 0 ，。 ； a d d r e 8 日r n a c c h q 0 】 c o n s 七a n t e x 七r a c c ? 【省市县】? 青 l ； k e y w 。r d ”地址ia d d r e s s ”； e n d 二 v e a 七h e r f o r e c a s 七 i ，1 】 h a sw i n d 0 ，。】； w i n d 瑚a 七c h 1 0 c o n s t a n 七 e x 七r a c 七? 。风7 。” ； k e v o r d 风向，v i n b ”； e n d ； w e a 七h e r f o r e c a s 七 1 ，1 】h a sv i s l b i l i c y 0 ， ； v i s i b i l i t y 瑚a 七h c 4 0 】 c o n s t a n 七 e x t r a c c ? k m i 公里】，t ； k e y v o r dr r v i s i b i l i 七y ，可见度”； e n d ： 图中，代码片断 e n d ： 图3 3大气预报本体文本描述 1 年) 、1 月) 、i 臼) ” ； 1 年) 、1 月) 、1 日】”) ； 是词汇对象类d a t e 的词法描述，它声明了一个d a t e 对象最大长度为4 0 ， 它可能被表示为如下字符串：4 个数字，在其后跟随空格或符号7 一或者符号或 者汉字7 年，然后是l 到2 个数字，紧跟着是空格或符号7 - 或者符号7 或者汉字 6 、一一 叫h h 、* s s 、 s 0 0 、 2 2 4 1 1 町郫羽 一 一 一 0 o d l_， c 强 c a a d rn 期 日 七 n d ，基 r 0 t o q s w n y h 0 e c c k care北d 浙江大学硕士学位论文 月，最后是1 到2 个数字，紧跟着是空格或符号，_ ，或者符号i 或秽汉字。 k e v w o r d 声明了在文档中，闩期通常的前导字符是”日期”或者”d a t e ”。 2 0 0 6 3 。1 2 ，2 0 0 6 年3 月1 2 同，2 0 0 6 3 1 2 等均满足上述的f 则表达 式。 词法描述中k e v w o r d 描述了对象的前导字符，而c o n s t a n t 则采用正则表 达式的方式刻画了对象通常的描述方式，表3 1 给出了o s m l 使用的正则表达 式规则。 特殊字符匹配任意单个字符 匹配一次或多次 世配方括号中的任意 n )匹配n 次 一个字符 匹配1 i 住方括号中的 n )匹配至少n 任意一个，符 匹削任意尊个 符，或( n n l匹配至少n 玖，至多n 次 4 i 匹晖己 女 匹配0 次或多次 转义字符 如果需要在规则表达式中将特殊字符_ j i 作正常字符，可以在前面加字 符、”，例如”? ”表示一个正常的问号 表3 - 1止则表达式运算规则 根据o s h l 对词典对象集合的描述，解析器可以自动生成对应的数据库存 储。在描述中，o b j e c t n a m em a t c h ( m a x l e n g t h ) 限定了词典对象集的描述最 大长度为m a x l e n g t h ，根据m a x l e n t h ，可以设定该属性在数据库中的长度 以非词典对象集为表，词典对象集为数据段，数据类型均为字符串，在数据库中 可以建立如下的表。 t 曲l ew e 砒h e r f o r e c a s t w 哪h e rv a c h w ( 1 0 0 ) d a 把v 甜c h 甜( 4 0 ) a d d r e s sv a r c h a “4 0 ) w i n dv a r c l a “l o ) v i s i b i l 时v a r c h a r ( 4 0 ) w c 砒l m r f o m c t o b j c c t 】； w e a l l l e r f o r e c a s t 1 ，1 1h a sw e a t h e r 【o ，】； 1 、a n l e rm 劬m 【1 0 0 】 e n d ； w e a t h e f f o 地c 越t 【l ，l 】h 船d 砒e 【0 ，+ 】； d a t em a t c h 4 0 1 e n d ： w e 栅f o r e c 口t 【l ，1 1h a sa d d r e s s 【o ，+ l ； a d d r e s sm a t c h 【4 0 】 e n d ： 【w e 甜坤r f o r e c 鲻t 【l ，l 】h 龉w i n d 【o ，】； i 州n dm a i c h 【1 0 】 l e n d ： w e a t h e r f o 心c 船t 1 ，1 】h 鹊v i s i b i l i t y 【o ，+ 】 v i s i b i l i t ym 砒h c 【4 0 】 e n d ： 浙江大学顾十学位论文 通过解析本体描述文件，可以生成领域对象的关键词列表和描述方式列表， 在以后章节所述的网页去噪和网页数据提取都是建立在关键词列表和描述方式 列表的基础上的，最后提取的结果也是根据本体描述文件生成的d a t a b a s e s c h e m a 存储到数据库的。 浙江大学硕上学位论文 第四章结合本体论的网页去噪 通常的w e b 页面除了我们关心的主要内容外，还包含有很多我们不关心的 内容，如广+ 告，或者网络导航等等。这些多余的信息会给信息提取信息带来一定 的困难。如果能在信息提取前，先将网页的噪音部分剔除掉，再从中进行信息提 取，准确率可得到大幅度提高并同时降低了提取复杂度。在这章中，我们结合信 息过滤的算法，并提出自己的改进。 信息提取系统流程如图4 1 ： 4 1网络噪音 图4 1 信息提取流程 由于h t m l 本身并不具备自描述的特性，负责显示的代码与主题描述的信息 在页面中混杂在一起，并且创作者可以不受约束地在页面中添加各种内容，因而， 网页中充满了与主题无关的内容，我们称之为网页噪音。 网页噪音可以根据粒度划分成全局噪音和局部噪音： 全局噪音： 在对w e b 上得到的一组页面集进行挖掘或聚类时，若一个网页所存留的副 本，如镜像网站，复制的页面，及旧版本的页面也在此页面集中，则这些副本成 为噪音数据。 据统计，i n t e m e t 在2 0 0 0 年就已经拥有约2 1 亿网页，并且是以每天7 0 0 万的速度递增。但其中很多网页都是属于镜像或者是拥有相同内容不同u r l 的网 页，这些内容属于全局噪音。 浙江人学f _ i 1 1 学位论义 局部噪音： 在一个页面内与页面主题无关的区域及项这些噪音包括广告栏，导航条， 修饰作用的图片等举个例子，如在很多公司内的网页中，可能由于商业目的或 是用户友好方式，每张网页都会放置有公司的服务渠道，导航，版权等内容。在 通常情况下，这些重复内容不是用户所关心的。 对局部噪音，可以给出大致地再细分为以下几类： a 导航类：为了维持网页间的链接关系，方便浏览者对网站进行浏览而设置的 链接。 b 修饰类：为了美化页面而采用的背景，修饰图片，动画等如站点标志图片， 广告条。 c 交互类：为了收集用户提交信息或提供站内搜索服务的表单等如在线的问 卷调查表。 d 其它类：网页中声明的版权信息，创建时间，作者等描述性信息。 论文中的网页去噪是针对于局部噪音的，文中今后所指的噪音均为局部噪 音。 幸运的是噪音内容和主体内容通常放置在不同的内容块中。网页版商划分通 常使用 ，据统计，在台湾，4 9 6 9 的网页是商业网页，在商业网页中， 7 3 9 6 都是表格网页，平均每张网页拥有4 4 2 个 标记符。而在其余 的非商业网页中，5 7 。3 2 的网页是表格网页，平均每张网页拥有3 个 标记符。正是 标记在网页内容块中如此约定俗成地频繁地使用，我们 把 作为网页内容块划分的标汜。 网页根据是否含有有效信息被划分为信息块和冗余块。 论文4 4 节提出的网页涮噪音消除对交互类和其它类的噪音有良好的效果， 而4 5 节将介绍针对以链接和图片为主的导航类与修饰类噪音的消除。在噪音 消除之前，首先需要构造h t 卜1 l 标签树，并进行一定的预处理。 4 2h t m l 标签树 首先，我们来简要介绍一下h t m l 标签。 h t m l ( 超文本标记语言) 是用于创建网页和进行信息发布的通用语言，它以 纯文本形式存储，以标签定义文档的组织，提供跨平台的文档共享。在h t m l 文 档中，可以嵌入其它对象，如电子表格、视频、音频以及各种应用程序等内容， 通过统一资源定位器( u r l ) 能实现w e b 节点间的超文本链接。 h t m l 的结构主要有两种： 一种是超文本结构。依据此结构，逻辑上相关联的结构信息在物理上链接起 来。所谓超文本，指的是它可以加入图片、声音、动画、影视等内容，因为它可 浙江大学硕士学位论文 以从一个文件跳转到另一个文件，与世界各地主机的文件连接。 另一种是由h t m l 文本特点决定的文本组织结构，通过h t m l 语吉用不同的 方法将数据组织在文本中。 从结构上讲，h 丁m l 文件由元素( e l e m e n t ) 组成，组成h t m l 文件的元素有询： 多种，用于组织文件的内容和指导文件的输出格式。绝大多数元素是“容器”， 即它有起始标记和结尾标记。 常用的h l m i 标签可分为以下种类：网页架构，分隔标签，排版标签，字 体标签，文字标签，影像标签，背景标签，链接标签，表格标签，序列标签， 表单标签，框架标签。我们把以上种类合并成两类： 1 控制网页布局的标签。如分隔标签，排版标签，表单标签，框架标签。它 们规划着网页的内容块。常用的有： 、 、 、 、 等。我 们称之为容器标签。 2 描述单个内容块晶示属性的标签。如字体标签，影像标签，链接标签等。 常用的有： ， 等。 标签说明它所包含的内容要用粗体显示， 标 签晚明它包含的是一个图片，等等。 d a nd i p a s q u o 在【3 4 】中率先提出了h t m l 标签树的概念。 他将h t m l 标签树定义为是一个n 叉树，它的每个结点对应h t m l 页面中的一 个h t m l 标记，树中的父子关系意味着孩子结点的内容包含于父结点的范围之 内。 他在浚文中对于结点父子关系提出了两条原则： ( 1 ) 如果结点b 嵌套在结点a 之内，那么b 是a 的孩子结点； ( 2 ) 否则，如果a 是b 最近的逻辑标题( 如h 1 h 6 ，t 川e ) ，那么b 是a 的孩子结 点。 以天气预报图4 2 为例： 浙江人学坝l j 学位论义 北京 j 垒圆 小雨一多云 1 5 2 4 图4 4新浪的天气预报信息 其对应的代码为： t da 1 1 9 n _ c e n t e r i m g5 r c 。r h c t p ：，1 m a g e 2 - 吕1 n a - c n d y v e a c h e c 1 m a g e s ，f l g 啪，x i a o v u 一“b s p ； 天气： 小雨一r i b 5 p ；多云 “4 。”1 ；爸竺；笔”“卸”“”。”“7 ”“”“”“”。”加“” c r 在代码中，大量使用 ，f o m s i z e ，f o n t w e i g h t ，c o l o r 。我们将 节点内的文字提 取出来，连接到 的父节点文字中。 我们对标签树进行简化，简化思想如下：我们采用深度遍历原始标签树，如 果当前节点为显示属性标签，那么提取该标签下的文字串，将其返回给父节点， 父节点保存一系列文字串，如果父节点中两个相邻的文字串中间没有结构标签相 间隔，则将文字串合并。我们将最后得到的新标签树称为h t m l 结构树。 伪代码算法： 士u n c c i o ns 1 瑚p l i 士y t a g t r e ec n o d er o o 七) g e 七c h l l d r e nn o d el i s to 士r o o t ： f o re a c hc h il d i nc h il d r e nli s 七e x c e p tt e x cn o d e 1 士c c h i l di st a gn 。d eo fd i 5 p l 曩y ) c h i l d s i m p l i f y t a g t r e ec c h i l d ) ； s c a nc h il d r e nn o d eli s t i 士七h e r ei sc w oa d j a c e n 七t e cn o d e 瑚e r g et h et w on o d e ； 1 fr o o ti sat a gn o d eo 士d i s p l 8 yt a d dt h e 七y p e 七。七h es t a t s r e 七u r nr o o t g e 七t e x c n o d ec ) ； ) 浙江人学坝i j 学位论文 通过模板使用数据库数据的数据生成了多张页面。我们可以通过不同页面的对比 来确定信息块。对于一张页面，也可以通过网页内结构块的特征做分析来确定信 息块。 4 4 网页间结构块的比较 4 4 1 利用网页间平均信息排除噪音块算法 对于4 1 节中提出交互类和其它类噪音，主要是需要用户提交信息或提供站 内搜索服务的表单，或是网页版权声明，企业介绍等，论文采用网页问结构块平 均信息量的方法，对这类噪音达到了良好的排除效果。 网页平均信息量的概念在【2 1 】中被提出用于确定信息块，在本文的噪音消除 模块中，结合我们的系统，在它的基础上做了进一步的改进，使用本体领域描述 提供的关键字作为结构块特性，提高了排除的准确性。 首先介绍网页相似度的概念： 目标表示是指以一定的特征项( 如词条或描述) 来代表目标信息，在信息挖掘 时用这些特征项评价未知文档与用户目标的相关程度，目标表示的构造过程就是 挖掘模型的构造过程目标表示模型有多种，常用的有布尔逻辑型、向量穿问型、 概率型等近年来应用较多月效果较好的目标表示法是向量空问模型( v e c t o r s p a c em o d e l ，v s m ) 法。 在v s m 中，将文档看作为是由一组词条( t 1 ，t 2 ，t n ) 构成，对于 每一词条t i ，都根据其在文档中的重要程度赋以一定的权值w i 。我们可以将 其看成一个n 维坐标系，( w l ，w 2 ，w n ) 为对应的文档坐标值，因此每一篇文档都 可映射为由一组词条矢量张成的向量空间中的一个点对于所有用户目标或未知 文档都可用词条特征矢量( t 1 ，w l ，t 2 ，w 2 ，t n ，w n ) 表示，从而将 文档信息的匹配问题转化为向量空间中的向量匹配问题处理假设用户目标为 u ，未知文档为v ，两者的相似程度可用向量之间的夹角来度量，兴角越小说明 相似度越高，相似度计算公式如下： w * w 且 ：l 鼯 但在这里，我们已知给出的样本网页在结构块上是相同的，整体内容上也 是相似的。我们可以发现，对于广告块，一般含有较少的关键词，而对于查询表 单或其它类噪音，由于这一类的噪音在每个页面上都几乎相同，所以主题关 浙江人学碗l j 学位论文 图4 _ 8l 委蓁嘉囊雾蒌创冀誊罄矗冀霹黎窑螽 冀l 善嚣蠹蓿；羹稳霉i 萋露委藜嚣羹；篷l 鬟羹霾隧鑫器鍪墓；鏊| 墓薹荔? 醛鹳拳“ 譬婴嚣滔蝎毳。麓羹鬻墓雾灞蓬妻? 鬟餮 蹩差 ；t 詈i ；博韬g i 露l 吁。自l i 堪堇目 鍪囊醛墼| | 萋| q 囊塑嚣琵霹黪垂夏薤窿。霾鐾冀囊嚣鍪雾嚣霪薹囊篱霞霆：黎 囊羹蔼爨羹薹释 i 曼描8 强i 扎蓁敛l ! 蠹藩n 醚”联! ； 囊盘 生日| 1 9 8 2 年1 0 月22 日 出生地：北京 音乐影响：gr e e nd 盯，t 眦c u r e ， 喜爱唱片；rp i i l ( l i f ed b l u r 喜爱电i j 。一切周星驰主演的片子 喜爱事物。摄影，睡觉听音乐 姓名： b 阳一一贝斯手 浙江大学硕士学位论文 为不失一般性，取2 个关键词做分析： h ( f ) ：一壹去l 。g ：丢：h ( 吒) ：h ( ) ：1 ，= 1