（计算机软件与理论专业论文）基于cpn网络的deep+web集成系统中结果模式语义标注方法.pdf

， at h e s i si nc o m p u t e rs o f t w a r ea n dt h e o r y r e s u l tp a t t e r ns e m a n t i ca n n o t a t i o nb a s e do nc p n n e t w o r ki nd e e pw e b i n t e g r a t e ds y s t e m b y l i ub i n s u p e r v i s o r ：a s s o c i a t ep r o f e s s o rg a ok e n i n g n o r t h e a s t e r nu n i v e r s i t y j u n e2 0 0 8 r、ii。 f f k 7 、_ 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的 研究成果除加以标注和致谢的地方外，不包含其他人已经发表或撰写过的 研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示诚挚 的谢意。 学位论文作者签名：主- 1 ；试 签字日期 ： 如7 3 冷67 j 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年口一年口一年半口 学位论文作者签名： 三1 ；式 签字日期：加，绎fj 9 两年函 、 导师签名： 签字日期： 一) 、- ， 一 东北大学硕士学位论文摘要 基于c p n 网络的d e e pw r e b 集成系统中结果模式语义标注方法 摘要 随着i n t e m e t 的普及和快速发展，w e b 已经成为富含多种信息资源、遍布全球的共 享信息仓库，成为人们获取信息的有效手段和重要方式。而d e e pw 曲信息门类齐全、 数据量庞大，几乎无所不包，然而面对如此庞大的信息海洋，用户关心的只是其中很小 的一部分信息，需要提供有效的搜索引擎或信息集成工具，帮助用户快速、准确地找到 他所感兴趣的信息。 当前d e e pw e b 中最具代表性的就是电子商务网站，这些网站将自己后台数据库中 的相关数据填充到它们的模板页面中，形成了结果页面。通过一定的技术手段，可以将 结果页面中用户感兴趣的数据抽取出来。但是存在计算机无法识别抽取出来数据所具有 的实际语义信息这个问题。所以需要为抽取出来的数据添加语义标签。为解决d e e pw 曲 信息集成中的语义标注问题，本文提出了一种语义标注方法。这种方法具有较高的标注 全面性，而标注精度上和当前的主流算法持平。 本文首先定义了结果模式概念，讨论了基于结果模式的d e e pw e b 语义标注问题， 提出了d e e pw e b 语义标注的评价准则。根据观察大量的结果页面的属性值，提出七个 属性值的特征，并根据计算特征的需要，提出了属性值数据类型分类模型，同时讨论了 特征向量标准化的必要性。然后，通过样本的学习训练得到c p n 网络，并使用c p n 网 络来完成语义标注。为此，本文研究了结果页面信息的获取技术、结果页面属性值的特 征分析提取技术、特征向量标准化技术、使用c p n 网络语义标注技术，提出了一个改 进的c p n 算法，该算法在结果页面的属性值提取、属性值的特征分析与计算、特征向 量的标准的基础上，通过样本学习训练建立了c p n 网络，然后使用c p n 网络对属性值 语义标注，能够减少学习时间。针对在实际的处理中会出现学习死循环问题，本文进一 步对c p n 网络进行了改进，有效的降低了死循环的概率。 关键词：d e e pw 曲；结果模式；语义标注；c p n 网络；特征选取 一i i l， 东北大学硕士学位论文 a b s t r a c t r e s u l tp a t t e r ns e m a n t i ca n n o t a t i o nb a s e do nc p nn e t w o r ki n d e e pw e bi n t e g r a t e ds y s t e m a b s t r a c t w i t ht h ed e v e l o p m e n to fi n t e r n e t ，w e bh a sb e c o m et h em a i ns o u r c eo fm u c hi n f o r m a t i o n a l lo v e l t h ew o r l d a n di ti sa l s ot h em o s te f f e c t i v em e t h o dt og e tu s e f u li n f o r m a t i o nw h i c h p e o p l ea r ei n t e r e s t e di n d e e pw e b a so n eo fw e b sh a sl a r g ed a t am o u n ta n dn e a r l yi n c l u d e s a l li n f o r m a t i o nw h i c hp e o p l ew a n tt og e t h o w e v e r , t h ei n t e r n e tu s e r so n l yc o n c e r nw i t hap a r t o ft h e m ，t h e r e f o r e ，i ti sn e c e s s a r yt op r o v i d ee f f e c t i v es e a r c he n g i n e so ri n f o r m a t i o ni n t e g r a t e d s y s t e m sf o rp e o p l et of i n di n f o r m a t i o nq u i c k l ya n dp r e c i s e l y n o w a d a y s ，w h a ta r et h er e p r e s e n t a t i v e si nd e e pw 曲a r et h ee - b u s i n e s sw e bs t a t i o n s t h e s eh a v et h e i ro w nw e bd a t a b a s e sw h o s ed a t aa r ef i l l e di n t os o m et e m p l a t ep a g e st of o r m t h er e s u l tp a g e s w ec a nu s es o m et e c h n o l o g yt oe x t r a c tt h e mf r o mr e s u l tp a g e s ，b u tt h e r ei s s t i l lab i gp r o b l e mt h a tc o m p u t e rc a nn o tr e a l i z et h es e m a n t i cm e a n i n go ft h ed a t a t h e r e f o r e ， w en e e dt oa s s i g ns e m a n t i cl a b e l st ot h ed a t aw h i c hw eh a v ee x t r a c t e d t os o l v et h ep r o b l e m ， w eb r i n gf o r w a r dan e wm e t h o dw h i c hh a sah i g hr e c a l lr a t i oa n da r ee q u i v a l e n tt oc l a s s i c a n n o t a t i o nm e t h o d si np r e c i s i o n i nt h i st h e s i s ，w ef i r s t l yd e f i n et h er e s u l tp a t t e ma n dd i s c u s st h ed e e pw e bs e m a n t i c a n n o t a t i o nb a s e do nt h er e s u l tp a t t e r n t h e n w eg i v et h er u l e sh o wt oa s s e s sad e e pw e b s e m a n t i ca n n o t a t i o nm e t h o d w ep u tf o r w a r ds e v e na t t r i b u t e sc h a r a c t e r i s t i c sb yo b s e r v i n ga l a r g en u m b e ro fr e s u l tp a g e s a n dw ep r o p o s ea t t r i b u t e sd a t ac l a s s i f i c a t i o nm o d e lf o rt h e d e m a n do fc o m p u t i n gt h ec h a r a c t e r i s t i c s ，a n dm e a n w h i l ew ed i s c u s st h e n e c e s s i t yo f c h a r a c t e r i s t i c ss t a n d a r d i z a t i o n a f t e rt h a tw eu s es a m p l e st ot r a i nt h ec p nn e t w o r ka n da p p l y i tt oc o m p l e t et h es e m a n t i ca n n o t a t i o nt a s k s t h e r e f o r e ，t h et h e s i sm a i n l yi n c l u d e st h e f o l l o w i n gt e c h n o l o g i e s ：g e t t i n g i n f o r m a t i o nf r o mt h er e s u l t p a g e s ，a n a l y z i n g t h e c h a r a c t e r i s t i c so ft h er e s u l tp a g e sa t t r i b u t e s ，s t a n d a r d i z i n gt h ec h a r a c t e r i s t i cv e c t o r s ，a s s i g n i n g s e m a n t i cl a b e l st oa t t r i b u t e sb yc p nn e t w o r ka n di m p r o v i n gt h ec l a s s i cc p nn e t w o r k t h e a l g o r i t h mu s e di nt h i st h e s i sc o s t sl e s st i m et ob u i l da n dt r a i na c p nn e t w o r kt h a nc l a s s i co n e s a n da p p l yi tt oa n n o t a t et h ea t t r i b u t e s i np r a c t i c a la p p l i c a t i o n ，i tm a yr a i s eas t u d y i n ge n d l e s s l o o pp r o b l e m ，w eu s e an e ww a y t oi m p r o v et h ea l g o r i t h ma n dr e d u c et h ep r o b a b i l i t yo ft h e p r o b l e me f f e c t i v e l y k e y w o r d s ：d e e pw e b ；r e s u l tp a t t e r n ；s e m a n t i ca n n o t a t i o n ；c p nn e t w o r k ；c h a r a c t e r i s t i c s s e l e c t i o n i i i f 广 目录 目录 独创性声明i 摘；要i i a b s ii ；2 a _ c t i i i 第1i 善绪论1 1 】研究背景1 1 2 国内外研究现状2 1 3 研究内容4 1 4 本：艾的组织结构5 第2i 垂研究基础7 2 】语义标注技术7 2 】1 基于本体的语义标注一7 2 】2 基于启发式规则的语义标注一8 2 2 ， ：【神经网络9 2 2 1 自组织特征映射( s o m ) 1 0 2 2 2c p n 网络1 4 2 3d e e pw e b 信息集成系统概述18 2 4 ，j 、结一l9 第3i 章基于c p n 网络的d e e pw e b 集成系统中结果模式语义标注机制2 1 3 1 纭果模式的定义2 1 3 】1d e e pw e b 结果模式定义2 l 3 】2 数据类型分类2 3 3 2d e e pw e b 结果模式语义标注的定义以及评价准则一2 5 3 2 1d e e pw e b 结果模式语义标注的定义2 5 3 2 2d e e pw e b 结果模式语义标注的评价准则2 5 3 3 基于c p n 网络的d e e pw e b 集成系统中结果模式语义标注机制2 6 3 4 本章小结2 8 第4l 善结果页面属性值特征的选取2 9 4 1 结果页面信息获取2 9 4 】1 正文块的获取3 0 4 】2 数据项的抽取3 2 一一 目录 3 属性值的获取3 4 4 2 样本特征的选取3 4 4 2 1 样本数据类型分类3 4 4 2 2 样本特征的选取3 6 4 ：! 3 样本特征选取算法3 8 4 0 样：本特征的标准化3 9 4 4 ： ：孝小：节4 0 第5l 至基于c p n 网络的d e e pw e b 集成系统中结果模式语义标注4 1 5 1 经典的c p n 算法4 1 5 2 改进的c p n 算法4 2 5 互1k o h o n e n 层的无导师训练学习4 3 5 2 2g r o s s b e r g 层的有导师学习4 4 5 2 3 算法效率分析4 5 5 2 4 网络参数的设置4 5 5 2 5 进一步改进c p n 算法4 6 5 3 柱i 注算法：4 7 5 4 ： ：荸小结4 8 第6l 善实验结果分析4 9 6 1 ；验环j 竞4 9 6 2 实验结果分析4 9 6 = ! 1 样本数量对语义标注的影响5 0 - f i 2 2c p n 网络参数对学习的影响5 1 6 z 3 在不同领域的标注情况5 2 6 z 4 同基于本体的标注与基于语义的标注的比较5 2 6 0 ； ：莩小结5 4 第7i 善结论5 5 参考文献5 7 蜀c 诱j 6 1 攻读硕士期间发表的论文6 3 一v 一 东北大学硕士学位论文第1 章绪论 第1 章绪论 1 1 研究背景 i n t e m e t 是一个巨大的信息资源库，为人们提供了大量的在线信息。为了帮助人们 在这个信息海洋中找到自己需要的信息，出现了搜索引擎。但是，目前主流搜索引擎还 只能搜索互联网表面可索引的信息( p i w ，p u b l i c l yi n d e x a b l ew e b ) 。整个w e b 看似杂乱 无章，但如果按其所蕴涵信息的“深度”可以划分为s u r f a c ew e b 和d e e pw e b 两大部分。 s u r f a c ew e b 是指通过超链接可以被传统搜索引擎索引到的页面的集合。在现实中，有 大约2 1 3 的页面由于缺乏被指向的超链接而没有被搜索引擎索引到，把这一部分页面 也看作是s u r f a c ew e b 的范畴。而对于d e e pw e b ，目前还没有一个统一的定义，文献 中认为d e e pw e b 是指w 曲中不能被传统的搜索引擎索引到的那部分内容，特别是指那 些通过查询实时产生的动态页面，但随着搜索引擎爬虫( c r a w l e r ) 能力的增强，使得 d e e pw e b 这一概念变得复杂不易界定，很难给出一个可以长期一致认同的定义。 对d e e pw 曲的范畴给出一个较为完整的描述：d e e pw 曲是指w 曲中可访问的在 线数据库，这罩简称为w e b 数据库或w e bd a t a b a s e ，其内容存储在真正的数据库中。这 些内容只有在被查询时才会由w e b 服务器动念生成页面把结果返回给访问者，因此没 有超链接指向这些页面，这是和那些可以被直接访问的静态页面的根本区别。按照存储 信息的结构化程度可以进一步划分为结构化信息、文档信息和非文本文件，网上购物 网站存储的信息属于结构化信息，新闻网站存储的信息属于文档信息，二者因结构化程 度的不同对其查询所应用的技术也差别很大，而非文本文件，主要包括多媒体文件、图 像文件、软件和特定格式的文档( 比如p d f 文件) 。在一般的意义下，对d e e pw e b 信 息的获取更关注的是对结构化信息的获取，而不是文档或非文本文件。其原因不难理解， 对结构化数据的集成更有意义，可以采用的技术也更丰富。d e e pw e b 数据集成也主要 是指对结构化信息的集成。 传统的搜索引擎通过爬虫程序或爬行整个w e b 表面页面来创建页面索引。可以发 现所索引的页面通常是静态链接产生的。传统的搜索引擎不能发现和检索到d e e pw 曲 页面的内容，那些页面是作为用户特定查询直到被提交后，由后台数据库动态创建才能 发现。d e e pw e b 页面与表面页面在本质上有很大不同，d e e pw e b 页面内容存储在可搜 索的数据库中，这些页面通常作为响应用户特定查询的结果。人工对每个w e b 数据库查 询接口提交查询来获取感兴趣信息是费时费力的。b r i g h t p l a n e 搜索技术使用多线程技术 可以同时自动提交多个查询，它已经可以识别、检索、分类和重组部分d e e pw e b 和表 一1 一 东北大学硕士学位论文第1 章绪论 面页面内容。根据近年来研究调查口3 1 ： d e e pw e b 页面信息大约是表面页面信息的5 0 0 倍，其大约有3 0 7 ，0 0 0 个站点，4 5 0 ， 0 0 0 个后台数据库和l ，2 5 8 ，0 0 0 个查询接口乜1 。它仍在迅速增长，从2 0 0 0 年到2 0 0 4 年，它增长了3 7 倍。d e e pw 曲内容分布于多种不同的主题领域，尽管电子商务是其主 要的驱动力量，w e b 数据库的发展趋势不仅在此领域，而在非商业领域相对占更大比重。 当今的爬虫并非完全爬行不到d e e pw e b 后台数据库内容，当前主要的搜索引擎已 经覆盖d e e pw e b 大约三分之一的内容。然而，在覆盖率上当前搜索引擎存在技术上的 本质缺陷。d e e pw e b 中的后台数据库大多是结构化的，其中结构化的是非结构化的3 。 4 倍之多。虽然一些d e e pw 曲目录服务已经丌始索引w 曲数据库，但是它们的覆盖率 比较小，仅为0 。2 1 5 。6 。 w e b 数据库查询接口往往位于站点浅层，9 4 之多的大量w e b 数据库查询接口可以 在站点前3 层发现。d e e pw e b 信息量要比静态页面信息量多的多，同时由于d e e pw 曲 页面信息是由后台数据库动态产生的，数据库多是结构化的关系数据库，因此d e e pw e b 页面信息的质量要比非结构化的页面要高，主题更专一。 随着越来越多的数据库资源可通过w e b 页面中的查询接口进行访问，d e e pw e b 中 的信息的迅速增长，由于d e e pw e b 数据的异构性和动态性，如何有效地利用d e e pw e b 中的信息是一项具有挑战性的工作。用户通过查询接口向后台数据库提交查询请求，查 询结果动态地呈现在结果页面中。目前的查询结果一般仅供人工浏览，为了使获得的数 据具有更高的使用价值，这些数据应该是机器可处理的，因此必须为其添加语义标注。 简单地说，就是要为抽取到的数据分配一个有意义的标记来表示数据的语义。 为了使从页面中抽取到的数据具有使用价值，必须要为其添加语义注释，而目前在 这方面的工作还在初步阶段，大多都是以启发式规则的方式对抽取到的数据进行语义注 释h 翮，在对抽取到的数据进行语义标注的时候，进场容易出现无法标注的现象。为了能 够把从各个w e b 数据库的数据有效的集成起来并加以利用，要对这个方面做较大的改 进。 本文研究目的是以结果页面为基础，通过对结果页面的信息抽取，得到一系列的 d e e pw e b 结果页面中的属性值，然后对这些属性值进行提取特征向量，之后根据这些 特征向量进行机器学习，形成一个神经网络。最后通过该神经网络标注其他的同类的结 果页面的属性值。但是由于神经网络的精确性难以保证，所以，研究一种高效的d e e p w e b 语义标注技术，任重而道远。 1 2 国内外研究现状 目前国内对d e e pw e b 的搜索与挖掘方面的研究尚处于学习、跟踪和探索阶段 7 1 。 一2 一 东北大学硕士学位论文第1 章绪论 该领域的研究单位及相关报道非常少。由于搜索引擎目前还不能提供对d e e pw e b 的搜 索服务，分类目录服务是目自i 检索d e e pw 曲的一个途径，国内也出现一些d e e pw 曲 分类目录服务站点，但尚处于手工处理阶段，还不能实现自动化或半自动化索引处理。 而国外仅有d e e pw e b 、n v i s i b l e w e b 、b r i g h t p l a n e t 三家公司生产相关产品。经过对 比分析得出：这几家公司的产品采用半自动方式，人工干预较多。他们在产品中加入 d e e pw e b 信息挖掘功能，但目前还没有中文d e e pw e b 信息服务。 华盛顿大学的s h o p b o t 研究小组：s h o p b o t 是一个针对消费产品的比较代理，它利 用特定领域的启发式方法来填写表单以比较其领域内的商业产品。其聚焦于处理卖主站 点的表单提交页面所返回的的产品列表。s h o p b o t 操作分为两个阶段：离线学习阶段和 在线产品比较阶段。在学习阶段，确定如何填写站点表单，以及对产品站点结果页面进 行分析获取其站点模式信息。在比较阶段，利用得到的站点模式结构来抽取结果信息， 寻找满足用户要求价格最优的产品，最终将这些产品信息格式化输出。可以看出其研究 领域非常狭窄，不适用于大规模的信息集成。 斯坦福大学的h i w e ：h i d d d e nw e be x p o s e r ( h i w e ) 是s t a n d f o r d 大学另一个研究项 目。r a g h a v a na n dg a r c i a m o l i n a 设计了一种可以抽取d e e pw e b 信息的爬虫。在此系统 中爬虫管理器负责管理搜集过程。它对下载的w e b 页面进行分析，包含表单的页面被 送到表单处理器中处理。表单处理器首先从页面中抽取表单结构再从预先准备好的数据 集中选择数据自动地完成表单的填写，然后将合成的u r l 提交爬虫管理器去下载响应 的结果页面。由于需要系统自动完成表单填写，所以要求用户预先准备相应的表单数据 集。h i w e 只能面向特定的领域使用，而且必须在人工辅助下完成。因此存在很大的局 限性。 哥伦比亚大学的q p r o b e r 研究小组：哥伦比亚大学的p a n a g i o t i sg i p e i r o t i s 等人研究 了自动地将w e b 页面所连接的后台数据库进行分类的方法。它首先使用机器学习技术 生成一套基于规则的分类器( c l a s s i f i e r ) 。然后抽取分类器规则和基本u r l 组合成查询 u r l ，对后台数据库进行查询探测，计算查询结果数。他们的算法最后根据查询结果数 对数据库进行分类。其研究只集中在怎样针对文档数据库的分类上面，而大量的d e e p w e b 数据库提供的内容是结构化的数据。 伊利诺斯大学m e t a q u e r i e r 研究小组：该小组建立一个元查询系统( m e t a q u e r y ) ，目 标是有效获取w e b 上结构化的信息。首先，m e t a e x p l o r e r 项目聚焦于发现、模型化和重 构w e b 数据库来建立一个可搜索的数据源知识库。特别是，m e t a q u e r y 系统开发了一个 w e b 数据库搜索引擎，它可以有效发现w e b 上含有数据库的站点，设计模型来描述这 些数据库，设计包装器自动抽取这些模型中的参数，重组和索引可搜索的w e b 数据库。 其次，m e t a e x p l o r e r 项目聚焦于集成在线数据库。同时还研究了数据源选择，查询转换 一3 一 lll 东北大学硕士学位论文第1 章绪论 和模式集成问题。在研究大规模信息集成的过程中将依赖于前面所建立的数据源知识 库，其重点研究了动态信息集成技术。与传统的信息检索不同，所设计的m e t a q u e r y 系 统是动态的，即可以将实时发现的新数据源加入系统中，同时动态选择数据源将用户查 询进行相应转换，从而获取用户查询结果。 微软亚洲研究院第三代搜索引擎：微软亚洲研究院早在2 0 0 4 年就提出抽取基于关 键字接口d e e pw 曲信息。近来提出的第三代搜索要对深层互联网搜索与挖掘，不仅找 到更多的结果，而要更加智能化、人性化、更加精确、能够理解用户需要什么结果。比 如用户要搜索奥迪a 8 相关信息，除了有用的网页和几家广告以外，第三代搜索引擎还 可提供多个表格会告诉你哪几家在卖奥迪a 8 ，价位是怎么样的，多长时间能够提货， 地图和交通路线是什么，距离你的位置有多远，哪家在网上的评价最好等信息。 1 3 研究内容 由于d e e pw e b 数据的异构性和动态性，如何有效地利用d e e pw e b 中的信息是一 项具有挑战性的工作。用户通过查询接口向后台数据库提交查询请求，查询结果动态地 呈现在结果页面中。目前的查询结果一般仅供人工浏览，为了使获得的数据具有更高的 使用价值，这些数据应该是机器可处理的。 当d e e pw e b 中的信息以h t m l 页面的方式展现时，数据库相关模式结构信息会部 分或完全丢失，从页面抽取信息的一个主要目的就是重现数据的结构信息。抽取到的数 据根据其存储信息的结构化程度可划分为结构化信息、文档信息和非文本文件等形式。 有关w e b 信息抽取的研究已经较为成熟，已提出了许多自动半自动的生成w r a p p e r 的方法碑1 。在d e e pw 曲研究领域也是如此，有多种方法和技术从理论及实践上可以解 决数据抽取的问题，但均很少涉及对抽取到的结果添加语义标注。总体上看，目前对 d e e pw e b 数据进行标注的研究工作还处于起步阶段，大多以启发式规则的方式对抽取 到的数据进行语义注释啤1 ，不能对抽取到的全部数据添加语义标注，而且准确性较低。 相较于基于启发式规则的语义标注的不精确性以及标注不全面。本文提出了一种全 新的方法来进行语义标注基于c p n 网络的d e e pw e b 集成系统中结果模式语义标注 方法。基于启发式规则的标注方法，一般需要一个预处理过程，即需要首先将抽取出来 的数据对齐，然后才对这些结构化数据进行启发式规则的分析，组后给出语义标签。对 于其他的相似页面，基于启发式的语义标注方法使用包装器来分析d e e pw e b 结果页面 的数据，提取出符合包装器规则的数据进行语义标注。而本文的基于c p n 网络的方法 与基于启发式规则的方法相比，本方法不需要将数据对齐，这样一来，将大大减少了数 据对齐过程中的错误导致语义标注的不精确，并且也有效减少了计算量，也不必像基于 本体的方法预先定一个领域本体。使用神经网络中的c p n 网络标注结果页面的属性值， 一4 一 东北大学硕士学位论文第1 章绪论 减少了数据标注不全这种现象，提高了标注的全面性。 本文的主要研究内容包括： ( 1 ) 结果页面属性值的特征表示 传统意义上的文本分类都采用基于v s m 阳i ，但是需要实现对大量文本进行统计性计 算，本文所关注的d e e pw 曲结果模式中的数据项由于长度很短，所以v s m 需要的词 频特征很少。因此通过观察大量的页面，把数据本身的固有性质作为特征，这些特征主 要包括表示普通文本的字符个数占数据总长度的比率以及表示数字的字符个数占数据 总长度的比率等等这些特征等等。这些特征计算起来简单，产生特征向量所需要的时间 要比v s m 计算特征值所需时间短得多，并且，特征向量的维数也很短。 ( 2 ) d e e pw e b 特征的标准化 由于提取的特征各不相同，有的表示特征的数据可能数值很大，有些表示特征的数 据可能数值很小，为了避免特征的大小对c p n 网络学习造成影响，必须要对样本特征 进行标准化。本文介绍了两种方法，并分析两种方法的优劣。 ( 3 ) 改进的c p n 算法 针对d e ew e b 语义标注的具体问题，本文提出了一种改进的c p n 算法，来解决d e e p w e b 语义标注问题。在实际应用的过程中，由于特征的有限导致学习过程始终达不到目 标，这造成了学习的无限循环现象。所以，本文对传统的c p n 算法加以改进，增加了 学习结束的条件，这样有效减少了无限学习的情况的出现概率。由于输入的样本的数量 很大，所以本文同时也改进了c p n 方法的样本输入方式，由经典的方法的逐次输入样 本数据，改为批量输入。这样也有效提高了算法的执行效率。 1 4 本文的组织结构 本文研究的重点在于研究一种全新高效的语义标注方法。根据观察大量结果页面， 本文首先提出了属性值的特征提取方式，并使用c p n 网络对样本进行学习，最终将使 用这个c p n 网络来标注属性值。在实际应用中，根据实际问题对经典c p n 网络进行了 改进。本方法主要优点是具有较高的召回率，并且标注的精度也和主流方法持平。本文 主要涉及结果页面的属性值的获取，属性值的特征表示以及使用c p n 网络标注结果页 面的属性值这几方面内容。 本文主要分为七章： 第一章引言，主要研究d e e pw e b 语义标注的研究现状，指出论文的研究目标和 需要解决的问题，并给出论文组织的框架结构。 第二章研究基础，主要阐述了d e e pw e b 语义标注的不同方法，以及神经网络的相 关算法。 一5 一 东北大学硕士学位论文 第l 章绪论 第三章提出结果页面的相关定义，继而给出了结果模式标注定义以及评价准则。最 后提出了基于c p n 网络的d e e pw e b 集成系统中结果模式语义标注框架。 一 第四章主要阐述了结果页面的特权选取。首先阐述了结果页面的属性值的提取。然 后阐述了样本特征选取以及特征向量的标准化。 第五章详细阐述基于c p n 网络的d e e pw e b 集成系统中结果模式语义标注的流程。 主要阐述了改进的神经网络c p n 算法，以及在通过训练学习得到的c p n 网络之后，如 何使用该网络对未知的结果页面的属性值进行语义标注。 第六章描述了基于c p n 网络的d e e pw e b 语义标注的实验结果，通过实验比来描述 ， 算法的性能以及标注效果。 第七章结束语，对全文进行总结并提出下一步的研究目标。 东北大学硕士学位论文第2 章研究基础 第2 章研究基础 本章主要详细阐述了本文的研究基础，语义标注的方法，神经网络等技术。最后提 出了d e e pw e b 信息集成系统的描述。 2 1 语义标注技术 就目前的研究而言，d e e pw 曲集成系统中结果模式语义标注方法主要分为两种： 基于本体的语义标注和基于启发式规则的语义标注。 2 1 1 基于本体的语义标注 o n t o l o g y 最早是一个哲学上的概念，从哲学的范畴来说，o n t o l o g y 是客观存在的 一个系统的解释或说明，关心的是客观现实的抽象本质。在人工智能界，最早给出 o n t o l o g y 定义的是n e c h e s 等人，在文献n0 1 中，他们将o n t o l o g y 定义为“给出构成相 关领域词汇的基本术语和关系，以及利用这些术语和关系构成的规定这些词汇外延的规 则的定义”。 1 9 9 3 年，g r u b e r 给出了o n t o l o g y 的一个最为流行的定义n 引，即“o n t o l o g y 是概 念模型的明确的规范 兑明”。后来，b o r s t 在此基础上，给出了o n t o l o g y 的另外一种定 义n 引：“o n t o l o g y 是共享概念模型的形式化规范说明”。s t u d e r 等对上述两个定义进行 了深入的研究，认为o n t o l o g y 是共享概念模型的明确的形式化规范说明。这包含4 层 含义n4 1 5 1 ：概念模型( c o n c e p t u a l i z a t i o n ) 、明确( e x p l i c i t ) 、形式化( f o r m a l ) 和共享( s h a r e ) 。 “概念模型”指通过抽象出客观世界中一些现象( p h e 2 n o m e n o n ) 的相关概念而得到的模 型。概念模型所表现的含义独立于具体的环境状念。“明确”指所使用的概念及使用这 些概念的约束都有明确的定义。“形式化”指o n t o l o g y 是计算机可读的( 即能被计算机 处理) 。“共享”指o m o l o g y 中体现的是共同认可的知识，反映的是相关领域中公认的 概念集，即o n t o l o g y 针对的是团体而非个体的共识。o n t o l o g y 的目标是捕获相关领域 的知识，提供对该领域知识的共同理解，确定该领域内共同认可的词汇，并从不同层次 的形式化模式上给出这些词汇( 术语) 和词汇间相互关系的明确定义。 作为知识表示工具，o n t o l o g y 与语义网络非常相似。它们都是表示知识的形式，并 且均可以通过带标记的有向图来表示，适合用于逻辑推理。但从描述的对象或范围而言， o n t o l o g y 与语义有所区别。o n t o l o g y 是对共享概念模型的规范说明，这罩所说的“共 享概念模型”指该模型中的概念是公认的，至少在某个特定的领域是公认的。一般情况 下，o n t o l o g y 是面向特定领域，用于描述特定领域的概念模型。语义网络从数学上说， 一7 一 东北大学硕士学位论文 第2 章研究基础 是一种带有标记的有向图。它最初用于表示命题信息，现广泛应用于专家系统表示知识。 语义网络中节点表示物理实体、概念或状态，连接节点的边用于表示关系。语义网络中 一 对节点和边没有其他特殊的规定，因此语义网络描述的对象或范围比o n t o l o g y 广。例 如，语义网络可以表示一句话，如“我的汽车是垒l ：色的”。但是o n t o l o g y 显然不适合于 这类的表示，它侧重于表现整体的内容，如团体组织( 学校) 的内部构成等。在表示的深 度上，语义网络不如o n t o l o g y 。语义网络对建模没有特殊的要求，但是o n t o l o g y 却有 5 个要素：元语、类、关系、函数、公理和实例，其中公理可以看作是o n t o l o g y 中的 约束。o n t o l o g y 通过这5 个要素来严格、j 下确地刻画所描述的对象。语义网络的建立 t 可以不要求有相关领域的专业知识，因此比较容易建立。而o n t o l o g y 的建立必须要有 专家的参与，相对而言更加的严格和困难。需要专家的参与是目前o n t o l o g y 主要缺点 之一，如何通过知识挖掘手段自动获取o n t o l o g y 是目前研究的重点。 2 1 2 基于启发式规则的语义标注 基于启发式规则的语义标注主要是对d e e pw e b 结果页面提取数据，观察提取出来 的数据所具备的一些共同特征，根据这些特征制定启发式规则进行语义标注n p m 3 。 。 纽约州立大学宾汉姆顿分校总结了一些启发式规则6 1 ，通过这些启发式规则，可以 有效的标注d e e pw e b 结果页面的数据。在这篇文章中，首先基于一个前提，所有的d e e p w e b 结果页面抽取出来的数据，具有相同位置或是相同的视觉的数据将被数据对齐。例 如，对于一个图书网站，查询“j a v a ”这个关键词，那么，对于返回的结果页面来说， 所有书名的数据要形成一列，其他的数据也同理。基于这个前提，对于相同的列的数据， 观察其共有的特征，提出一些规则来标注这些数据。文章 1 6 】提出了6 个启发式规则： ( 1 ) 如果提交查询的关键词k e y 大量出现在结果页面中记录的数据中，那么该数 据所处于的列的所有数据将被标记为k e y 所在查询字段的属性值。 ( 2 ) 如果某列数据大量出现某个词汇，那么这个词将被作为该列的标签。例如， 对于“市场价：￥2 3 3 5 ”，“市场价：￥3 2 3 5 ”，“市场价：￥2 1 3 4 ”这三个属性， “市场价”大量出现，所以，“市场价”将被作为该列数据的标记。 ( 3 ) 如果某列数据存在相同的前缀，那么这个前缀将被作为该列的标签。例如， 对于“市场价：￥2 3 3 5 ”，“市场价：￥3 2 3 5 ”， “市场价：￥2 1 3 4 ”这三个属性， “市场价”作为三个数据所共有的前缀，所以，“市场价”将被作为该列数据的