已阅读5页,还剩64页未读, 继续免费阅读
(信号与信息处理专业论文)数字图书馆中跨库检索系统关键技术研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
中国科学技术大学硕士学位论文 摘要 摘要 随着i n t e r n e t 的迅猛发展,人们对高效率的信息获取技术的需要越来越迫 切,对海量信息进行采集、分析、整理,得到高质量的分门别类的结构化信息, 方便用户快捷地浏览查询,是极具现实意义的重大课题。 为适应广大师生教学和研究的需要,中国科学技术大学图书馆先后购买了9 0 多种网络数据库,涉及的门类非常齐全,为中国科大建设一流研究型大学打下 了坚实的基础。由于各个数据库的查询界面以及查询结果的返回界面各异;各 个数据库中信息不能统一起来为用户提供更深入的服务,基于这种情况,本论 文利用脱机的跨库检索系统解决上述问题。 脱机检索系统的最终目的是建立一个脱机的跨库检索系统,实现查询界面和 结果界面的统一化,同时深入挖掘文章的信息,为用户提供更深入的服务。本 文所研究的就是脱机跨库检索系统中两个重要的技术:文章信息抽取和关键词 提取技术。本文的主要技术和创新点为: 1 针对图书馆各网络数据库文章信息的显示结果都是同构的网页这一特 征,本文提出了一种基于学习的抽取模板构造方法。这种基于学习的模板构造 方法只需要人工标注两个网页即可生成模板,节省了构造者的时间并且构造出 的模板非常准确。 2 提出一种基于决策树和马尔可夫链的在互联网上自动抽取问答对的方 法。先根据网页中的h 刚l 标记把网页表示成一棵d o m 树:然后利用树中每个 节点的结构和文字信息,抽取相应的特征;最后将得到的节点特征通过由决策树 和一阶马尔可夫链结合得出的分类模型进行分类。 3 为了解决有的文章在网络数据库中并没有给出我们关键词这个问题。本 文提出一种基于机器学习的关键词自动抽取技术,主要是针对数字图书馆中的 学术论文的摘要( a b s t r a c t ) 进行抽取。提出以句子为基本抽取单位进行关键词 抽取的思想。在提出关键词的候选词时采用n _ g r a m s 和词性相结合的方法,在选 取特征时考虑了词组的出现频率、词组在整个摘要中的位置、在所在句子中的 位置和词组中单词的个数等特征。 关键词:信息抽取,关键词抽取,跨库检索系统,d o m 树 中国科学技术大学硕士学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to f i n t e m e t ,t h en e e do f h i g he f f i c i e mi n f o r m a t i o n c a p t u r et e c h n i q u e sh a sb e c o m em o r ea n dm o r ei m p e n d e n c y i ti sav e r ym e a n i n g f u l p r o b l e mt og a i n 、a n a l y s e so rs e t t l ei n f o r m a t i o no f h u g ec a p a c i t yt og e n e r a t eh i g h q u a l i t ys t r u c t u r a li n f o r m a t i o ni nc l a s s i f i e d i no r d e rt om e e tt h en e e d so f t e a c ha n dr e s e a r c h ,u s t cl i b r a r yh a sp u r c h a s e d o v e r9 0n e t w o r kd a t a b a s e si n v o l v e da l m o s te v e r ya s p e c t ,w h i c hl a ys o l i df o u n d a t i o n s f o rb u i l d i n gt o p r a n k i n ga c a d e m i cu n i v e r s i t y a st h ed i v e r s i t yo f q u e r y i n t e r f a c eo f e a c hd a t a b a s ea n dr e t u r n i n g i n t e r f a c eo f e a c hq u e r yr e s u l t , w ec a n tu n i f o r mt h e i n f o r m a t i o no f e a c hd a t a b a s et os u p p l ym o r ei n - d e p t hs e r v i c e s ,s ot h eo f f l i n e m u l t i d a t a b a s er e t r i e v a ls y s t e mw a sd e s i g n e dt os o l v es u c hp r o b l e m s o f f l i n er e t r i e v a ls y s t e mi sa i m i n ga tb u i l d i n ga l lo f f l i n em u l t i d a t a b a s er e t r i e v a l s y s t e mw h i c hi m p l e m e n t i n gu n i f i c a t i o no f q u e r y - i m e r f a c ea n dr e s u l t i n t e r f a c e ,a n da t t h es a l n et i m ed e e p l yd i g g i n gi n f o r m a t i o no f p a p e r st os u p p l ym o r ei n - d e p t hs e r v i c e s t on s e r s t h et w ok e y p o i n t s :p a p e ri n f o r m a t i o ne x t r a c t i n ga n dk e y w o r d se x t r a c t i n g t e c h n i q u e sa r e j u s tw h a tt h i sp a p e ri sr e s e a r c h i n go n 1 i nt h i sp a p e rp r o p o s e sal e a r n i n gm e t h o do f c o n s t r u c t i n gt e m p l a t e ,w h i c ho n l y n e e dt om a n u a l l yl a b e lt w ow e b p a g e st og e n e r a t et e m p l a t e t h e r e f o r e ,i th a st h e m e r i to ft i m e s a v i n ga n dh i g h p r e c i s i o n 2 i nt h i sp a p e rw ep r o p o s eam e t h o dt h a tu s e sd e c i s i o nt r e ea n dm a r k o vm o d e l t oe x t r a c tq u e s t i o n a n s w e rp a i r si nw e b p a g e s t h em e t h o du s e sd o m t r e et o r e p r e s e n taw e bp a g ea c c o r d i n gt oh t m lt a g s t h e na c q u i r ef e a t u r e sv m u ef r o m e v e r yd o m t r e e sn o d e l a s ta l l o wt h ef e a t u r e so v e r p a s st h ec l a s s i f i c a t i o nm o d e l , w h i c hc r e a t e db yd e c i s i o nt r e ea n dm a r k o vm o d e l ,t og e tt h en o d e sl a s t c l a s s i f i c a t i o nr e s u l t 3 i no r d e rt or e a l i z ea u t o m a t i ck e y p h r a s e se x t r a c t i o nf r o ms c i e n t i f i ca r t i c l e s t h i sp a p e rp r o p o s e sam e t h o dt h a tu t i l i z eas u p e r v i s e dm a c h i n el e a r n i n gm e t h o d i n o r d e rt od e f i n et h ep o t e n t i a lt e r m s ,w ec o m b i n et h en g r a m sm e t h o da n dp a r to f s p e e c h ( p o s ) m e t h o d w ec o n s i d e rf o u rf e a t u r e st or e p r e s e n tt e r m s ,i n c l u d i n gt e r m f r e q u e n c y ,r e l a t i v ep o s i t i o no ft h ef i r s to c c u r r e n c e ,r e l a t i v ep o s i t i o no ft h es e n t e n c e a n dt h en u m b e ro ft o k e n si nat e r m k e y w o r d : i n f o r m a t i o nr e t r i e v a l ,k e y - p h r a s ee x t r a c t i o n ,m u l t i - d a t a b a s er e t r i e v a l s y s t e m ,d o mt r e e i l 中国科学技术大学学位论文相关声明 本人声明所呈交的学位论文,是本人在导师指导下进行研究 工作所取得的成果。除已特别加以标注和致谢的地方外,论文中 不包含任何他人已经发表或撰写过的研究成果。与我一同工作的 同志对本研究所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权, 即:学校有权按有关规定向国家有关部门或机构送交论文的复印 件和电子版,允许论文被查阅和借阅,可以将学位论文编入有关 数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名:童4 丝窒作者签名:堡:乜生兰 上7 年月莎日 中国科学技术大学硕士学位论文第一章绪论 第一章绪论 1 1 数字图书馆跨库查询系统概述 目前中国科学技术大学图书馆已购买使用或者试用的网络数据库有将近9 0 个。这些网络数据库相互独立,并集成于不同的网站,它们具有自己独立的访 问网址和网络用户接口,通过国际专线或者国内镜像站点的i p 地址进行访问。 读者通过网络进行访问时,从网络用户接口填写接口界面表单并提交请求数据, 到达网站相应的应用程序,从而访问网站后台的数据库,获取所需要查找的内 容。图书馆对这些不同的网络数据库的使用,是将它罗列成页面上的一个个链 接,点击后分别进入不同的网络数据库检索主页,新的网络数据库的添加也仅 仅是在网页上增加一个链接,如图卜1 所示。这样的情况,导致读者访问这些 网络数据库时,没有统一的数据库界面访问标准。 图l l 中国科学技术大学图:转馆网络数据库链接页面 这些网络数据库网址各不相同,呈现的检索表单接口也不一致,像图书馆 引进的i e e e i e e 数据库,该数据库提供1 9 8 8 年以来的美国电气电子工程师学 会和英国电气工程师学会出版的1 2 0 多种期刊,6 0 0 多种会议录,近9 0 0 种标 准的全文信息。它的检索界面如1 - 2 所示。 a c m ( 美国计算机协会) 广泛收录多种a c m 电子出版物,包括了1 5 年的期 刊及杂志,a e m9 年的会议记录以及超过2 5 万页的全文资料。图1 - 3 是a c m 数 据库的检索界面。 这些网络数据库,除了检索界面各不相同,检索返回结果的内容以及格式 也是相互独立的。例如:当检索“i n f o r m a t i o nr e t r i e v a l ”一词时,图卜4 是 中国科学技术大学硕士学位论文 第一章绪论 i e e e 检索数据库返回的结果页面,而图卜5 是a c m 检索数据库返回的结果页面。 2 图1 - 2 i e e e 检索界面 图1 - 3 a c m 检索界面 中国科学技术大学硕士学位沦文 第一章绪论 知n r l n 一r a r m m i - d 拥t _ q r _ _ l 憎_ 抽h w ,w - 寸- u 口w a :;n v o 岫i 。2 02 2 斟”p “ r7 5 6 - ”iv d t 哪蝴m 口”瞄奶j 心 地盘哑1f u l i t e 口瞰2 哪“c i f 芷如j 岱旺蔓置瞳麓啦 l i 擤甜甜日嘶肿硝嘲衅i f t _ f - - 打d b i o d 岫“r 栅m 嚆- 蚺r 州嘲 口删y s ,r o m s j ,b o f l e e , 韪凸d 生担纽是趔 凹n x ti 鹌9 p ”q t 竹t 盯 d 哪g 。b 目d l a ! 蚵耕1 0l t 幢珥e ; cl 稍嘎秭施婚 6 唑塑ff u l l t e x t :噬嘲m w 妇皿如j e 生b t 睡啦 玉h 蚪- 哪_ t m - 帆i n f 删e mr 晰竹- 咖t 口知坩州柚m _ h 相h 啊n 咖 i i f f t 螂f 0 f t 喇,w v 。 聊:o j 帅i 螂嘞h : :6 一辩2 呻c 4 艚t t l d $ r 村啊1 0 ”i 僻si 瑚瞬t 7 h 苴避建f 甜i l e 缱掰孙“田 蹦c 瓣 & t 虹j 聪l 赶鼎勰日监 圈1 4 i e e e 检索结果 诎缱d 垃屯j “吐l h 量呸匠2 【显l 丝唑曲如j 匝如瑾虫如量魅鹭| l k 血印毫睦“越立口皇虬也占匹越a 幻m 矗= 姗菇“。:嚣:篙:;蠹嚣:主= :乱。, p u h l t s h e c c m p m s o f u g 黼删a d l e 口世哩l ,皿 。叫- 衄m 嘲o n :业盈t 4 也e 出衄幽啦 w o r g a z e d i h 印ms l g 删c l t o p b r n 跏o f i h b r m a q 邮r - m e v a l t 日c h n i q u e j f b r ,p c h j 口p k a t sh 帅删n 2 t r 粥u n ,o f t h t _ o h o p 2 衄j 盥蚴嚣:啦加凹砬匹拭瞠劂上如酗m 田且虹刊越伽a g i 叫蚰也盈越啦吐蛙础血盥蛐二【如 母高麓意毒号:煮。 a u g u h2 口0 2p r o e d l n q $ o f t h e2 5 t h4 f l n u a l i n t e m a t i o n a l c m $ g i r c o n f e r e n c 帅r e s e o r c he n d d e v e l o p m e n t i n i n f f o 删t l o nr e t r i e v a l p o b l 蚰: c m p f u l l 蚋拥d 神l e 芒扯盘皿z l 垃埘帅o n 帅蚺n 丝且皿勘 龇h 曲i 雌蛆皿t ! n 咄 t q u a h t yo fr r a n j j d t i o nr e s 帆e ,i s q u a b l ym 0m o s t 岬a r i a n h c t o ,j 恤c t 岣t h 日p e r b 一州o ta 忡 i a n g u a g s m m a t l t n e v i ,5 t e mw h m w m v e s tr g a t l o n sh v 9 0 x p i c r e d t h eu s eo f 畔x p 4 n l o t e c h n i q u e st oc o m b a to r ,bm d u o 自db yt n ,l j t l o n n os t u d y 岫# y o to i n o dt h 帕c t v e n - 蛐ft h i s e t e c h “l q 川sr ss | o u r c e 5o f v a f v _ o gq u a l i t yt sp a p e rp ,| e s e n t $ r o s u l t 岍叼p a r c e lc o o p 吖- 朴db d m 口u a l w m m b 口吼h n e e n d 晰枷娜如a * 协q 州”一 l c v 啪一“o t o “- l a 口u a c em o r m a u o nm i n e r a l q 岫r y 哪椰帅q l l w m 嘲t 啪t m n 出佃n 月a 附t :出婴互n b 班删皿雠j 如垦:醋c m “田5 丝鼬“灶皂脚蛐勾“监妇坦艘c 谊瓢n j 虬蚴龃 毒兰皿苎生立u 盈【:= t 址i 础t “衄 v 翻o m dh e m t r u b u m2 0 0 2p r o c e e d l n g s 酣t h e2 , s t hd n n i n t s m a t k n 0 mb l c ,r a m r e 怕n 坤肼轴坤r 曲a n d d e v e l o p m e n ti ni n f f l o r n h b v o l p 曲l 岫”a c m p r f u l l 嘲埘柏i 薯k 础u 5 i 瓢埘呐肌a 呐:幽脚i 皿韭l 臼删如e m 曲啦立吐越i 图1 5 a c m 检索结果 从以上情况可以看出,网络上各个异构的检索数据库都带有自己独立检索 逻辑的检索晃面以及不同内容和不同格式的返回结果的输出界面。跨库检索系 统目的就是将这些异构的网络检索数据库集成在一起,通过一个统一的检索界 面进入,返回一个统一格式的结果列表,达到整合图书馆资源的目的。本论文 研究的就是跨库检索系统中信息抽取和关键词提取的技术。 1 2 跨库检索系统的研究现状 将网络上具有学术价值的数据库资源整合成一个可检索的统一界面,具有 3 中国科学技术大学硕士学位沦文第一章绪论 较大的实用意义。特别地,联合检索过程若能做到对用户透明,将会为用户省 去检索过程的繁琐,节省用户的时间。跨库检索近年来在国际国内都处于冬受 关注的地位,具有较高的理论价值和实用价值。国内的一些高校和中科院己经 开始设计和开发跨库检索系统,目前投入使用和测试的有:清华大学的同方异 构统一检索平台、华中科技大学的u n i o n s e a r c h 统一检索平台,上海交通大学 的跨库检索系统等。国外实现的系统,像元搜索引擎,它集成了多个单一的搜 索引擎进行搜索,可以看作是一种跨搜索引擎检索。这些系统都是联机跨库检 索系统,检索速度取决于每个数据库系统的响应时间,很可能会使用户感到等 待时间过长而终止查询。 在本文中我们设计了一种脱机跨库检索系统解决了用户等待时间过长问 题。我们主要研究了这个脱机跨库检索系统中两种关键技术:文章信息抽取技 术和关键词提取技术。 1 3 信息抽取和关键词提取的研究背景 1 3 1 信息抽取的研究背景 随着i n t e r n e t 的迅猛发展与广泛应用,万维网( 1 】r w w ) 已经成为人们数据资 源共享和信息交流的重要平台。人们通过万维网发布信息,同时能够从网上得 到想要的信息。由于目前w e b 数据大都以h t m l 形式出现,缺乏对数据本身的描 述,不含清晰的语义信息,模式也不明确,结构上也不太好,使得应用程序无 法直接解析并利用w e b 上的海量信息。为了增强w e b 数据的可用性,出现了w e b 信息抽取技术,它通过包装现有w e b 信息源,将网页上的信息以更为结构化的 方式抽取出来,为应用程序利用w e b 中的数据提供了可能。现有的w e b 信息抽 取技术不但可以直接定位到用户所需的信息,而且采用一定的方式增加了语义 和模式信息,为w e b 查询提供了更为精确的方法,使w e b 信息的再利用成为可 能,因此有着明显的优势和广阔的前景,是当今多个领域的研究热点。 i 3 2 关键词提取的研究背景 随着互联网的迅速发展,越来越多的电子文档出现在互联网中。人们面对众 多的文档,如何在很短的时间内知道文档所描述的内容,已成为一个极为重要的 研究课题。关键词可以为文档提供一个简短的概括,使读者能够在短时间内了解 文档的大概内容。关键词还是信息检索系统中对文档进行索引、聚类等操作的 基础。遗憾的是。大多数文档并没有提供相应的关键词,因此,关键词提取技术 4 中国科学技术大学硕士学位论文 第一章绪论 的研究已成为目前研究的热点。 1 4 网页信息抽取的研究现状 学者们通常利用网页信息的结构特征,使用包装器( w r a p p e r ) 实现网页信息 抽取,并以此为基础实现对网页信息的管理 f l o r e s c ue ta 1 ,1 9 9 8 :k o s a l ae t a 1 ,2 0 0 0 。包装器由一系列抽取规则及应用这些规则的程序组成,用于从特 定的信息源中抽取相关内容 e i k v i l ,1 9 9 9 。通常一个包装器只能处理一种特定 的信息源。如果要从几个不同的信息源中抽取信息,需要一系列包装器程序库。 包装器的生成方法分为三类:人工方法、半自动方法和自动方法。其中,人 工生成包装器的方法指为一种特定的信息源编写专用的代码。这种方法需要花 费很多时间理解信息源的结构并将其转换成代码,比较繁琐并且容易出错。半 自动方法指利用工具半自动地生成包装器 b a u e r e ta 1 ,2 0 0 0 :s a h u g u e te t a 1 ,1 9 9 8 ;黄豫清等,2 0 0 0 :李效东,2 0 0 2 :朱明等,2 0 0 1 。例如:使用向导让 用户标记出需要抽取的信息,再根据标记的信息人工编写包装器( 图卜6 ) s a h u g u e te ta 1 。1 9 9 8 。该类方法在包装器编码时不需要专业知识,与人工 方法相比可以减少错误,但是也需要对新的站点进行重新学习。全自动的包装 器生成方法 k u s h m e r i c ke ta 1 ,1 9 9 7 :k u s h m e r i c k ,2 0 0 0 :k u s h m e r i c ke ta 1 , 2 0 0 3 :b r i f l ,1 9 9 8 :c r e s c e n z ie ta 1 ,2 0 0 1 :郭志红,2 0 0 2 利用机器学习技 术自动从信息源中利用归纳学习方法生成抽取规则,用户仅需在网页中标记出 需要抽取的数据,系统就可以在这些学习实例的基础上自动生成包装器( 图 卜7 ) k u s h m e r i c ke ta 1 ,1 9 9 7 。因此,全自动包装器生成方法已成为网页信 息抽取的研究重点。 在全自动包装器生成方法中,基于包装器归纳( w r a p p e ri n d u c t i o n ) 的信息 抽取方法使用范围最广,该方法由k u s t u n e r i c k 提出 k u s h m e r i c ke ta 1 ,1 9 9 7 : k u s h m e r i c k ,2 0 0 0 。k u s h m e r i c k 设计了6 类包装器( w r a p p e r ) ,这些包装器由一 组标记组成,用以判断目标信息的首尾边界,其中最基本的类型为l e f t r i g h t ( l r ) 包装器。 吲吲 垦,巨r g t t i c v a l m r a l ;磷鸯m a p p i n g 圈| 5 酮丐 一e f 中国科学技术大学硕十学位论文第一章绪论 图i - 6t h ew 4 ft o o l k i t 曰曰一匿目日 图卜7 基于包装器归纳的信息抽取流程 一个l r 包装器。由2 千个分隔符( , ) 组成,其中一组分 隔符 表示一类目标信息的边界 k u s u m e r i c k e ta 1 ,2 0 0 3 。图卜8 是一个 典型的目标网页( a ) 及其抽取信息( c ) k u s l u n e r i c ke ta 1 ,2 0 0 3 。针对该网 页的l r 包装器 降o = , ) 根据这个l r 包装器,目标信息可通过图1 - 8 ( d ) 所示的算法抽取出来。 在l r 包装器的基础上,k u s l u n e r i c k 又设计了其余5 类包装器( k u s h n e r i c k e t a l ,2 0 0 3 ) ,分别为: 1 ) h e a d l e f t r i g h t t a i l ( h l r t ) 包装器:用于忽略位于网页首尾的不确定 信息: 2 ) o p e n - c i o s e l e f t r i g h t ( o c l r ) 包装器:用于确定具体的抽取范围,并 在该范围内利用l r 包装器进行信息抽取; 3 ) h e a d o p e n c i o s e l e f t r i g h t t a 1 ( h o c l r t ) 包装器:综合了h l r t 包装 器和o c l r 包装器的功能: 4 ) n e s t e d - l e f t r i g h t ( n l r ) 包装器:用来抽取网页中的嵌套信息,例如 书目信息等; 5 ) n e s t e d h e a d l e f t r i g h t t a i l ( n h l r t ) 包装器:综合了n l r 包装器和 h l r t 包装器的功能。 实验证明,上述包装器可以以较高的效率,利用网页信息的重复结构,从 真实网页中自动学习得到抽取规则 k u s h m e r i c ke ta 1 ,2 0 0 3 ,并且,上述包 装器可以针对7 0 的网站实现信息抽取。但是,由于k u s h m e r i c k 提出的包装器归 纳方法以规范化、规律化的网页作为信息抽取的目标,因此在实际应用中还存 在着一些不足,例如无法抽取多取值信息和无法针对自然语言文本抽取信息等 k u s h m e r i c ke ta 1 ,2 0 0 3 针对上述问题,c ,h s u 等人 h s ue ta 1 1 9 9 8 利用有限状态传感器 ( f i n i t e s t a t et r a n s d u c e r s ) 实现包装器归纳,使用两组状态分别确定每类信 息的开始边界及结束边界。实验结果表明,在k u s l i m e r i c k 的包装器无法处理的 网站中,c h s u 等人的包装器可以成功地处理3 0 k u s h m e r i c ke ta 1 。2 0 0 3 i m u s l e a 等人 m u s l e a ,1 9 9 8 ;m u s l e ae ta 1 ,1 9 9 8 ( a ) m u s l e ae ta 1 。1 9 9 8 ( b ) : 6 中国科学技术大学硕士学位论文 第一章绪论 m u s l e ae ta 1 。1 9 9 9 使用一组分隔符判断目标信息位置,以利用信息之间的 颞序关系提高信息抽取的准确率,还使用“嵌入式目录( e m b e d d e dc a t a l o g ) ” 实现嵌套信息抽取。此外,d f r e i t a g 与n k u s l m i e r i c k 合作提出了“b o o s t e d w r a p p e ri n d u c t i o n 4 f r e i t a ge ta 1 ,2 0 0 0 ( b ) ,以实现针对自然语言文本的 信息抽取。该方法在l r 包装器的基础上定义抽取模式,并在抽取模式中利用通 配符代替具体文本;然后,通过b o o s t i n g 方法,将一组具有高准确率和低召回 率的抽取模式帽结合,来实现自然语言文本的信息抽取。s s o d e r l a n d s o d e r l a n d ,1 9 9 7 ;s o d e r l a n d ,1 9 9 9 则使用有限状态自动机生成包装器,用 于抽取目标信息或者判断目标信息边界。 s o i 睛c o , j n t r yc o d e s c o n g o i 2 4 2 7 b e l i z s i 5 0 i s p a i n f ( c o n g o 2 4 2 ) 1 r d 。密嚣戳 l ( s p a i n ,3 4 j i m o c c d u r ec c w r a p l r 忉g c w l l i k l b a 忙l h o 唧t 】c c l j n n c c 5 j n p o f ,“b 1 ) 。,i ) s c a n i n p t o m :x t o c c u f 砧n c o f :s 矾r cp o s i t i o n a ss t a r t o f 七l l ia t l d b u t e f i c , a i i i a p n l o “w m o f :日v cp o s i t i t m e n d o f t 。t ha t t r i l a l t e i x t o m c x l t a c 蜒df ,( c o 岫“y c o d c ) p a i r s p r o c e d u r e 戗“l r ( w m 卵c r 坩l r = ( f “r d ,妇佐) p a g c p j 一0 w h i l et h e r ea 圮m o g c 。c c 驰排n o c si npo f t t m m + l r e ) f o r e a c h 讯,僵) ef ( 7 l 。,1 ) ( k 飧) s c 4 ni npt o t h e 嘴x i a c a 佩c f - o ft :s a v ep o s r i o n 勰扫册j s c a n i n p t o t h er l c x t o g c u r l mo f r t ;s a v e p o s h i o n “f “ 日u ml a b e l ( 6 l 虬i f i ) ( k 量x ) ) 图卜8 一个典型网页及其l r 包装器和信息抽取算法 ( a ) 网页( b ) 源文件( c ) 目标信息( d ) 该网页l r 包装器的抽取算法( e ) 针对所有l r 包装器的 抽取算法 7 中国科学技术大学硕七学位论文 第一章绪论 基于包装器归纳的信息抽取方法利用网页的重复结构自动归纳学习抽取规 则,具有抽取效率高和可移植性好等优点。然而,该方法仅利用网页的局部规 律归纳学习抽取规则,难以考虑网页的全局信息,因此当网页中存在局部特征 相似的多类信息时,会出现冗余信息抽取问题,导致该方法针对信息类型的适 应能力降低。 1 5 关键词提取的国内外研究现状 关键词是一个很重要的概念,它既可以由一个词语组成( 如:l e a r n i n g ) 也可 以由多个词语组成( 如:m a c h i n el e a r n i n g ) ,关键词简单的说就是能够反映文档 主要内容的词组。 获得关键词有两种主要的方法 y a a k o vh a c o h e n k e r n e re ta l ,2 0 0 5 :关 键词指定和关键词抽取。两种方法都是利用有监督的机器学习方法从标注的例 子中归纳出规则,而这些标注的例子是由人手工标注的关键词。 关键词指定方法,关键词是从一连串预先指定的词组中选择出来的( 可以认 为这些词组组成了一个词典) d u m a i se ta 1 ,1 9 9 8 。关键词的提取过程如下: 首先利用学习方法对标注的例子进行学习,得到对文章进行分类的分类器;然 后对于要进行关键词提取的文档利用分类器进行分类;最后在得到文档的类型 后,用表征这一类型的关键词表示该文档 l e u n ga n dk a n ,1 9 9 7 :o u m a i se ta 1 。 1 9 9 8 。这种方法的优点是简单,同一类型的文档将用相同的关键词表示出来。 这种方法的缺点是( 1 ) 要得到预先指定的词典代价很大;( 2 ) 不能实时保证词 典的有效性,使得待提取关键词的文档中某些很重要的词语由于没在词典中出 现而被忽略。g e l b u k h 等实现了一个利用这种方法抽取关键词的系统 g e l b u k he t a 1 ,1 9 9 9 ,利用这个系统,与文档内容相关但不在文档中出现的关键词也可 以被提出来。 关键词抽取方法,利用这种方法抽取的关键词是待抽取关键词的文档中出现 过的。在文档中出现的所有词和词组都有可能是关键词该方法首先通过有监 督的机器学习方法对人工标注的例子进行学习,得出一个词语分类器一一用以 判断每一个词或者词组是否为文档的关键词;然后利用所得的分类器判断待抽 取关键词的文档中哪些是关键词 t u r n e y ,1 9 9 9 ,2 0 0 0 :f r a n ke ta 1 ,1 9 9 9 : w i t t e ne ta 1 ,1 9 9 9 ,2 0 0 0 】。这种方法的优点:不需要产生和维护一个比较 大的词典,并且产生的关键词在文档中出现过。缺点是:( 1 ) 缺少一致性,相 似的文档可能用不同的关键词描述;( 2 ) 选择最恰当的关键词来描述文档很困 难。 8 中国科学技术大学硕士学位论文第一章绪论 t u r n e y 在文章中指出当文章作者为文章定义关键词时,大约7 0 8 0 的关键 词是在文章中出现的 t u r n e y 。2 0 0 0 。这为把文章作者指定的关键词作为关键 词提取系统的训练例子提供了可能。在关键词提取的过程中,首先用一系列的 候选词表示文档:然后对每一个候选词( 词组) 计算它的各个特征值;最后将 得到的各候选词的特征值序列输入到关键词提取系统,得出每一个候选词是否 为关键词的判断结果。 t u r n e y 设计了一个关键词抽取系统- - g e n e x t u r n e y ,2 0 0 0 。该系统利用了 遗传算法和基本特征相结合( 如:词频特征,词语在文章中第一次出现的位置 特征等) 生成一个参数启发式的抽取模型。这种系统首先是利用遗传算法通过 学习标注的例子( 同一领域) 调整规则的参数,得到抽取模型;然后利用得到的 模型对待抽取关键词的文档进行关键词抽取。t u r n e y 同时证明了g e n e x 在跨领域 抽取关键词时的效果,即首先通过对标注的同一领域的文章进行学习得到一个 抽取模型,然后在对来自不同领域的3 6 2 篇文章通过抽取模型进行关键词提取, 实验结果表明准确率达到了2 4 ,并且人的主观性评估认为8 0 g e n e x 系统抽取 的关键词是可以接受的。在这篇文章中t u r n e y 通过把g e n e x 系统与利用c 4 5 决策 树的系统 b r e i m a n ,1 9 9 6 在同一个数据集上的结果进行比较,证明了利用g e n e x 系统的效果比利用c 4 5 决策树算法系统的效果好很多。 f r a n k 等提出了另一个关键词提取系统- - k e a f r a n ke ta 1 ,1 9 9 9 。在k e a 系统中只利用了两个基本的特征;t f x i d f ( 表明一个词语对整篇文档的重要 性) 和f i r s t p o s ( 词语在文档中第一次出现的位置) 。该系统首先通过对标注的 例子的学习构造出朴素贝叶斯模型;其次对待求关键词文档中的候选词( 词组) 计算t f x i d f 和f i r s t p o s 特征值;然后把两个特征值输入到贝叶斯模型得到每 个候选词是关键词的概率;最后对所有候选词按概率分值排序,取前几个分值 大的候选词作为关键词。实验结果表明当测试文档均为某一相同领域时,该系 统抽取的关键词的正确率达到了2 8 ,与g e n e x 系统可以媲美。该系统缺点是主 要针对某一领域的文档的关键词提取,对于不同领域的文档效果不强;该系统 的优点是学习方法比g e n e x 方法更简单,快速。 k e a 算法的一个限制是通过该算法抽出的关键词的相关性不高。例如:在一 个文档中利用k e a 算法抽取的1 0 个关键词中也许只有8 个非常适合用来概括文档 内容,其它两个可能就完全脱离了文章主题,即与其它8 个词语语义不相关。针 对这个限$ f j t u r n e y 在文章 t u r n e y ,2 0 0 3 中对利用朴素贝叶斯学习方法的k e a 关 键词抽取方法进行了改进,使得抽取出来的关键词之间的相关性大大加强。 t u r n e y 主要利用统计的方法来获得各个关键词之间的语义相关程度,并在抽取 9 中国科学技术大学硕七学位论文第一章绪沦 关键词时把语义相关程度考虑进去。各个关键词之间的语义相关程度是在网页 搜索引擎上计算得到的,因此在增加各关键词相关性的同时也增加了算法的复 杂度。实验结果表明这种改进使得抽取的关键词的质量有了很明显的提高,更 重要的是通过改进使该算法更不再局限于某一特殊的领域,当用在某一领域的 实例训练出的模型应用另外一个领域文档进行关键词抽取测试时,效果也很好。 h u m p h r e y s 在文章中提出了一种专门针对h t m l 网页进行关键词抽取的方法 h u m p h r e y s , 2 0 0 2 。该方法首先找出网页中的重要标签和词组,利用标签给 文档中的每一个词组确定一个权值:然后利用一种称作r a t e p h r a s e 的方法对词 语进行排序,找出最高的9 个词语作为该h t m l 文档的关键词。实验结果表明这种 方法的效果可以与g e n e x 相媲荚。美中不足的是在该文章中没有给出具体的评价 结果,如准确率、找回率和f - - s c o r e 等,并且该方法并没有用到机器学习的方 法。 h u l t h 提出了一种在杂志文章的摘要中抽取关键词的方法 h u l t h ,2 0 0 3 a 。 在该方法中除了应用一些我们常见的特征( 如:词频等) 外,还利用了一些基 于语义的特征( 如:名词短语等) 。该方法首先利用规则归纳的学习方法对标注 的例子进行学习,得到一系列的规则;然后利用学习得到的规则对文档进行关 键词的抽取。在文章中h u l t h 称这种方法的试验结果比g e n e x 方法和k e a 方法要 好,在对2 0 0 0 篇学术论文进行关键词抽取后,准确率达到了2 9 7 ,并且f - s c o r e 达到了3 3 9 。 d a v a n z o 等提出了另外一种利用词语的语义特征的关键词抽取系统一 l a k e ( l e a r n i n ga l g o r i t h mf o rk e y p h r a s ee x t r a c t i o n ) 【d a v a n z oe ta 1 , 2 0 0 4 。这种系统利用的词语特征包括词性,实体识别等特征。d a v a n z o 等得 出以下结论;( 1 ) 词性信息可以带来很多噪音,利用词性信息使得一些完全没 用的与文档不相关的词语被抽出;( 2 ) 在确定候选词时利用一个过滤器过滤掉 所有动词会对结果的提高有显著作用。 1 6 本文的主要工作 1 6 1 基于学习的信息抽取技术 各个网络检索数据库中检索出来信息是半结构化的信息一即数据库中所有 的符合检索条件的条目信息以固定的形式呈现在检索结果页面上: 1 ) 各数据库检索结果的半结构化使得可以用构造模板的方法抽取有用的 信息,但是利用人工的方法构造抽取模板是一个繁琐的工作。本论文针 l o 中国科学技术大学硕士学位论文 第一章绪论 对数字图书馆特点提出了一种基于路径学习的模板构造方法,使
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026-2027学年上学期单元测试七年级语文押题卷打印版
- 2025考研英语阅读理解全科综合及答案
- 2025考研英语新题型能力提升题及答案
- 2025导游资格导游基础知识通关题库及答案
- 2025出租汽车驾驶员出租车法规考前必刷题及答案
- 2025二级造价工程师建设工程造价管理基础知识押题卷及答案
- 风电海缆埋设犁姿态方案
- 季度业务数据更新通知(5篇)
- 电商售后问题分类与处理方案
- 餐饮企业后厨食材加工流程规范手册
- 钢筋弯曲机使用安全要求培训
- 2026年上海高考英语真题试卷(春考+秋考)完整版(含答案、听力原文、详细解析、满分范文)
- 2026年产前筛查与诊断知识课件
- 2026年秋季开学高二学生:学业水平考试备考课课件
- 考研政治马克思主义基本原理核心知识点系统梳理框架
- ISO 14001-2026《环境管理体系 要求和使用指南》变化与应对行动说明表(雷泽佳编制-2026A0)
- (物理)2027版高中《基础自测小纸条》必修2(默写+背诵版)
- 考研形近易混词汇 (二)
- 2026年河北省中考英语试卷(含答案)
- 低压电缆头制作安装施工方案及技术措施
- 2026年中国东航行测笔试题库
评论
0/150
提交评论