已阅读5页,还剩93页未读, 继续免费阅读
(计算机应用技术专业论文)面向生物医学领域的文本挖掘技术研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
大连理工大学博士学位论文 摘要 当前,出版的生物医学文献呈指数级增长,成为一座巨大的知识宝库。由于生物医 学文献绝大多数都是以文本方式存在,从这座宝库快速有效地进行文本挖掘,提取生物 医学知识的需求变得非常迫切。生物医学文本挖掘主要依赖于自然语言处理技术和机器 学习方法从海量生物医学文献中有效地找到所需信息、发现隐藏的生物医学知识。 本文首先介绍了文本挖掘技术及其应用,接着介绍了生物医学领域文本挖掘技术的 当前研究现状以及本人在该领域所作的相关研究。 本文提出了一个基于改进编辑距离算法的生物实体识别方法,这是一种基于词典的 方法:通过改进编辑距离算法提高识别的召回率,并采用p o s 扩展、利用上下文线索 等语言知识以及前后缀词扩展、合并邻近实体等规则进一步提高性能。在j n l p b a 2 0 0 4 测评语料上的实验表明其性能远远高于基于字符串完全匹配的词典方法( 综合分类率f 分别为6 8 4 8 和4 7 7 ) 。 当前流行的机器学习方法的生物实体识别性能还有很大的提升空间,本文提出了一 个基于条件随机域( c r f s ) 与上下文线索的生物实体识别方法。该方法首先选取合适特 征,使用条件随机域进行生物实体识别;同时充分利用语言学的知识,使用上下文中存 在的三种启发式语法结构( 上下文线索) :括号对、启发式语法结构和交互词提示,根 据其提供的实体及其类别信息进一步提高识别性能。在j n l p b a 2 0 0 4 和b i o c r e a t i v e 2 0 0 4 t a s k1 a 测评语料上的实验结果表明上下文线索的引入提高了性能三个百分点左右。 从生物医学文献中抽取蛋白质交互作用关系对蛋白质知识网络的建立、蛋白质关系 的预测、新药的研制等均具有重要的意义。基于自然语言处理的系统通过分析语法结构 进行关系抽取,能获得较高的准确性。本文提出了一个基于链接语法分析的蛋白质( 基 因) 交互作用关系的抽取方法。该方法使用条件随机域( c r f s ) 与上下文线索结合的生 物实体识别方法,再通过链接语法分析划分语法成分,从语法成分及其合理组合中抽取 蛋白质( 基因) 交互作用关系。实验结果表明该方法的召回率以及综合分类率f 指标都 高于使用同一测试语料的其他系统。 基于机器学习和统计的方法可以获得较高的召回率,本文提出了一种基于支持向量 机( s v m ) 的蛋白质交互作用关系抽取方法。该方法除了选取词项特征、关键词特征、实 体距离特征以及链接特征等特征外,还利用链接语法分析方法可以获得较高准确率的特 性,引入链接语法分析方法抽取结果特征,在损失较少关系抽取召回率性能的情况下, 较大地提高了准确率,从而最终提高了综合分类率。实验结果表明该方法的召回率性能 面向生物医学领域的文本挖掘技术研究 与使用同一测试语料的其他系统相比具有明显的优势,综合分类率f 指标也高于其他系 统。 海量的生物医学文献给应用文本挖掘技术进行隐含医学知识发现提供了前所未有 的机会。本文提出了一个生物医学领域的假设生成方法,该方法对医学文献记录中的医 学主题词m e s h 及自由文本中的医学概念同时进行相关概念提取,弥补了当前研究只使 用其中一个的不足。同时基于u m l sk n o w l e d g es o u r c e s ,进行基于概念的查询扩展, 提高了相关记录的召回率,并通过语义过滤,降低了搜索空间。通过验证鱼油与雷诺氏 病关联的实验表明该方法提高了获取相关概念的效果。 关键词:自然语言处理;文本挖掘;命名实体识别;实体关系抽取 大连理工大学博士学位论文 r e s e a r c ho nt e x tm i n i n gi nb i o m e d i c a ll i t e r a t u r e a b s t r a c t i ti sw e l lu n d e r s t o o dt h a tt h en u m b e ro fb i o m e d i c a ll i t e r a t u r e si s g r o w i n ga ta l l a s t o u n d i n gp a c ea n dt h e s ev a s tc o l l e c t i o n so fp u b l i c a t i o n so f f e ra ne x c e l l e n to p p o r t u n i t y f o rt h ed i s c o v e r yo fh i d d e nb i o m e d i c a lk n o w l e d g eb ya p p l y i n gt e x tm i n i n gt e c h n o l o g i e s t e x tm i n i n gi nb i o m e d i c a ll i t e r a t u r eh e l p sb i o m e d i c a lr e s e a r c h e r se f f i c i e n t l yf m dw h a t t h e yn e e da n dh i d d e nb i o m e d i c a lk n o w l e d g ef r o mt h eh u g ea m o u n to fb i o m e d i c a l l i t e r a t u r e sm a i n l yv i an a t n f a jl a n g u a g ep r o c e s s i n ga n dm a c h i n el e a r n i n g t h i sd i s s e r i a t i o nf i r s t l yi n t r o d u c e st e x tm i n i n gt e c h n o l o g i e sa n dt h e i ra p p l i c a t i o n si n b i o m e d i c a lf i e l d t h e na u t h o r sw o r ki nt h i sf i e l di si n t r o d u c e d a d i c t i o n a r y b a s e db i o - e n t i t yn a m er e c o g n i t i o na p p r o a c hu s i n gi m p r o v e de d i td i s t a n c e a l g o r i t h mi sp r e s e n t e d t h ea p p r o a c he x p a n d sd i c t i o n a r yv i at h ea b b r e v i a t i o nd e f i n i t i o n s i d e n t i f y i n ga l g o f i t h r aa n di m p r o v e st h er e c a l lr a t et h r o u g ht h ei m p r o v e de d i td i s t a n c e a l g o r i t h m t h e ns o m el a n g u a g ek n o w l e d g e - b a s e dm e t h o d si n c l u d i n gp o s ( p a r to fs p e e c h ) e x p a n s i o na n dt h ee x p l o i t a t i o no ft h ec o n t e x t u a lc u e sa n ds o m er u l e b a s e dm e t h o d s i n c l u d i n gf i r s t - k e y w o r d sa n dp o s t - k e y w o r d se x p a n s i o na n dm e r g eo fa d j a c e n te n t i t y n a m e sa r e a p p l i e dt o 向加i m p m v et h ep e r f o r m a n c e e x p e r i m e n t r e s u l t so n j n l p b a 2 0 0 4s h o wt h a tt h ea b o v em e t h o dc o u l da c h i e v eam u c hb e t t e rp e r f o r m a n c e ( 6 8 4 8 i nf s c o r e ) t h a nt h ee x a c tm a t c h i n gb a s e l i n e ( 4 7 7 ) a st h ec u r r e n tp o p u l a rm e t h o d s ,t h ep e r f o r m a n c eo fm a c h i n el e a r n i n gt e c h n i q u e ss t i l l h a sm u c hs p a c et ob ei m p r o v e d t h i sd i s s e r i a t i o np r e s e n t sac o n d i t i o n a lr a n d o m f i e l d - b a s e db i o e n t i t yn a m er e c o g n i t i o na p p r o a c ha n ds t u d i e st h em e t h o d s o fi m p r o v i n gt h e p e r f o r m a n c eb yt h ee x p l o i t a t i o no ft h ec o n t e x t u a lc u e si n c l u d i n gb r a c k e tp a i r ,h e u r i s t i c s y n t a xs t r u c t u r ea n di n t e r a c t i o nw o r d sc u e e x p e r i m e n tr e s u l t so nb o t l lj n l p b a 2 0 0 4a n d b i o c r e a t i v e 2 0 0 4t a s kiad a t a s e t ss h o wt h a tt h e s em e t h o d sc a ni m p r o v ec o n d i t i o n a l r a n d o mf i e l d s b a s e dr e c o g n i t i o np e r f o r m a n c eb ya b o u t3p e r c e n t a g ep o i n t si nf - s c o r e a u t o m a t i ce x t r a c t i n gp r o t e i n - p r o t e i ni n t e r a c t i o ni n f o r m a t i o nf r o mb i o m e d i c a ll i t e r a t u r e s c a nh e l pt ob u i l dp r o t e i nr e l a t i o nn e t w o r k , p r e d i c tp r o t e i nf u n c t i o na n dd e s i g nn e w d r u g s n a t u r a ll a n g u a g ep r o c e s s i n gb a s e dp r o t e i n - p r o t e i ni n t e r a c t i o ne x t r a c t i o nm e t h o d su s u a l l y 啪h a v er e l a t i v eg o o dp r e c i s er a t e t h i sd i s s e r i a t i o np r e s e n t sal i n kg r a m m a rb a s e d p r o t e i n - p r o t e i ni n t e r a c t i o ne x t r a c t i o na p p r o a c h t h i sa p p r o a c ha p p l i e sc o n d i t i o n a lr a n d o m f i e l d sm o d e lt ot a gp r o t e i nn a m e si nb i o m e d i c a lt e x t , t h e nu s e sal i n k h 盈n l m a rp a r s e rt o i d e n t i f yt h es y n t a c t i cr o l e si ns e n t e n c e sa n da tl a s te x t r a c t sc o m p l e t ei n t e r a c t i o n sb y - i i i 面向生物医学领域的文本挖掘技术研究 a n a l y z i n gt h em a t c h i n gc o n t e n t so fs y n t a c t i cr o l e sa n dt h e i rl i n g u i s t i c a l l ys i g n i f i c a n t c o m b i n a t i o n s e x p e r i m e n te v a l u a t i o n sw i t ht w oo t h e rs t a t eo ft h ea r te x t r a c t i o ns y s t e m s i n d i c a t et h a tt h i sa p p r o a c hc a na c h i e v eb e t t e rp e r f o r m a n c e m a c h i n el e a r n i n ga n ds t a t i s t i c a lm e t h o d su s u a l l yc a l la c h i e v eh i g h e rr e c a l lr a t e t h i s d i s s e r i a t i o na l s op r e s e n t sas v m - b a s e dp r o t e i n - p r o t e i ni n t e r a c t i o ne x t r a c t i o na p p r o a c h 删sa p p r o a c hu s e sf o u rf e a t u r e si n c l u d i n gw o r d sf e a t u r e s ,k e y w o r df e a t u r e s ,e n t i t y d i s t a n c ef e a t u r ea n dl i n kp a t hf e a t u r e i na d d i t i o n , t h el i n kg r a m m a re x t r a c t i o nr e s u l t f e a t u r ei si n t r o d u c e dt oi m p r o v et h ep r e c i s em t e t 1 l ei n t r o d u c t i o no ft h i sf e a t u r ei m p r o v e s m u c hp r e c i s er a t ew i t hl i t t l el o g eo fr e c a l lr a t e e x p e r i m e n te v a l u a t i o n sw i t l lo t h e rs y s t e m s i n d i c a t et h a tt h i sa p p r o a c hc a na c h i e v em u c hb e t t e rr e c a l lr a t ea n di t sf - s c o r ei sa l s oh i g h e r t h a no t h e r s v a s tc o l l e c t i o n so fb i o m e d i c a lp u b l i c a t i o n so f f e ra ne x c e l l e n to p p o r t u n i t yf o r t h e a u t o m a t i cd i s c o v e r yo fh i d d e nk n o w l e d g e 1 1 l i sd i s s e r i a t i o nd e s c r i b e st h ec o n t e n ta n d d e v e l o p m e n ti nt h er e s e a r c ho f t h eh i d d e nk n o w l e d g ed i s c o v e r yi nb i o m e d i c a li i t e r a t u r ea n d p r e s e n t sab i o m e d i c a lh i d d e nk n o w l e d g ed i s c o v e r ya p p r o a c h n ea p p r o a c he x t r a c t sr e l a t i v e b i o m e d i c a lc o n c e p t sf r o mb o t hm e s h ( m e d i c a ls u b j e c th e a d i n g s ) a n df r e et e x t ( t i t i ea n d a b s t r a c t ) a n da c h i e v e sb e t t e re x t r a c t i n ge f f e c tc o m p a r i n gw i t l lo n l ye x t r a c t i n gf r o mo n eo f t h e m i na d d i t i o n , b yv i ao fu m l sb i o m e d i c a lr o s o u r e c j ,t h i sa p p r o a c hp e r f o r m saq u e r y e x p a n s i o na n d ,t h e r e f o r e ,i m p r o v e st h er e z a l lr a t eo fr e l a t i v er e c o r d s 1 1 垃a p p r o a c ha l s o r e d u c e ss e a r c hs p a c eg r e a t l yt h r o u g has e m a n t i cf i l t e r e x p e r i m e n to nf i s ho i l sa n d r a y n a u d sd i s e a s es h o w st h ee f f e c t i v e n e s so f t h i sa p p r o a c h k e yw o r d s :n a t u r a ll a n g u a g ep r o c e s s i n g ;t e x tm i n i n g ;e n t i t yn i n er e e o g n i t i o n ; e n t i t yr e l a t i o ne x t r a c t i o n i y 独创性说明 作者郑重声明:本博士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知,除了文中特别加以标注和致谢的地方外, 论文中不包含其他人已经发表或撰写的研究成果,也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在三文中做了明确的说明并表示了谢意。 作者签名: z 易f o 大连理工大学博士学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”,同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版,允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索,也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名:盔蜀鑫主 导师签名:拯i 未忍 z 生亟年j 月上生日 大连理工大学博士学位论文 1 绪论 1 1 文本挖掘技术及其应用 1 1 1 文本挖掘的定义 在现实世界中,可获取的大部分信息是以文本形式存储在文本数据库中的,由来自 各种数据源的大量文档组成,如新闻文档、研究论文、书籍、数字图书馆、电子邮件和 w e b 页面。由于电子形式的文本信息飞速增涨,文本挖掘已经成为信息领域的研究热点。 文本数据库中存储的数据可能是高度非结构化的,如w w w 上的网页;也可能是半结 构化的,如e m a i l 消息和一些x m l 网页;而其它的则可能是非结构化的。非结构化文 本数据的典型代表是图书馆数据库中的文档,这些文档可能包含结构字段,如标题、作 者、出版日期、长度、分类等等,也可能包含大量非结构化文本成分,如摘要和内容。 通常,具有较好结构的文本数据库可以使用关系数据库系统实现,而对非结构化的文本 成分需要采用特殊的处理方法对其进行转化。 文本挖掘是一个交叉的研究领域,它涉及到自然语言处理、机器学习、数据挖掘、 信息检索等多个领域的内容,不同的研究者从各自的研究领域出发,对文本挖掘的含义 有不同的理解,不同应用目的文本挖掘项目也各有其侧重点。因此,对文本挖掘的定义 也有多种,其中被普遍认可的文本挖掘定义如下: 文本挖掘是指从大量文本数据中抽取事先未知的、可理解的、最终可用的知识的过 程,同时运用这些知识更好地组织信息以便将来参考。 直观的说,当数据挖掘的对象完全由文本这种数据类型组成时,这个过程就称为文 本挖掘。文本挖掘也称为文本数据挖掘n 1 或文本知识发现昭1 ,文本挖掘的主要目的是从 非结构化文本文档中提取有趣的、重要的模式和知识。可以看成是基于数据库的数据挖 掘或知识发现的扩展。文本挖掘是从数据挖掘发展而来,因此其定义与我们熟知的数据 挖掘定义相类似。但与传统的数据挖掘相比,文本挖掘有其独特之处,主要表现在:文 档本身是半结构化或非结构化的,无确定形式并且缺乏机器可理解的语义;而数据挖掘 的对象以数据库中的结构化数据为主,并利用关系表等存储结构来发现知识。 1 1 2 文本挖掘的主要支撑技术:自然语言处理和机器学习 由于处理的对象是半结构化或非结构化的文档( n a t u r a ll a n g u a g ep r o e e s s i n g , n l p ) , 自然语言处理技术成为实现生物医学文本挖掘的主要技术手段,而机器学( m a c h i n e l e a r n i n g ) 作为一种在众多的学科领域都有应用的基础性、透明化的“支持技术、服务技 面向生物医学领域的文本挖掘技术研究 术 在生物医学文本挖掘也发挥着日益重要的作用。因此,自然语言处理技术和机器学 习成为生物医学文本挖掘的主要支撑技术。本文介绍的生物医学文本挖掘技术相关工作 也主要依赖于语言自然语言处理技术( 如链接语法分析、词性标注、借助语言知识、查 询扩展技术等) 和机器学习方法( 如支持向量机和条件随机域) 。 ( 1 ) 自然语言处理技术 自然语言处理( n l p ) 是主要研究人与计算机交际中的语言问题的- n 学科。“自然 语言处理要研制表示语言能力( 1 i n g u i s t i cc o m p e t e n c e ) 语言应用( 1 i n g u i s t i cp e r f o r m a n c e ) 的模型,建立计算机框架来实现这样的语言模型,提出相应的方法来不断完善这样的语 言模型,根据这样的语言模型设计各种实用系统,并探讨这些实用系统的评测技术,【3 1 。 更简单直观的说法,就是采用计算机技术来研究和处理自然语言。 由于自然语言处理是一个多边缘的交叉学科,除语言学外还涉及计算机科学、数学、 统计学、电子工程、心理学、哲学以及生物学等知识领域,它是在各个相关学科的交融 和协作中逐渐成长起来的。在历史上,自然语言处理曾经在计算机科学、电子工程、语 言学和心理认知语言学等不同的领域分别进行过研究【4 j 。 1 9 5 6 年以前,人们主要进行自然语言处理的基础性研究工作。1 9 4 8 年s h a n n o n 把离 散马尔可夫过程的概率模型应用于描述语言的自动机;同时又把“熵”( e n t r o p y ) 的概念引 用到语言处理中。而k l e e n e 在同一时期研究了有限自动机和正则表达式。1 9 5 6 年, c h o m s k y 又提出了上下文无关语法。这些工作导致了基于规则和基于概率两种不同的自 然语言处理方法的诞生,使得该领域的研究分成了采用规则方法的符号派( s y m b o l i c ) 和 采用概率方法的随机派( s t o c h a s t i c ) 两大阵营,进而引发了数十年有关这两种方法孰优孰 劣的争执。 1 9 5 6 年,人工智能诞生以后,自然语言处理迅速融入了人工智能的研究中。随机派 学者在这一时期利用贝叶斯方法等统计学原理取得了一定的进步;而以c h o m s k y 为代 表的符号派也进行了形式语言理论、生成句法和形式逻辑系统的研究。由于这一时期, 多数学者注重研究推理和逻辑问题,只有少数学者在研究统计方法和神经网络,所以, 符号派的势头明显强于随机派的势头。1 9 6 7 年美国心理学家n e i s s e r 提出了认知心理学, 从而把自然语言处理与人类的认知联系起来。 7 0 年代初,由于自然语言处理研究中的一些问题未能在短时间内得到解决,而新的 问题又不断地涌现,许多人因此丧失了信心,自然语言处理的研究进入了低谷时期。尽 管如此,一些发达国家的学者依旧地研究着。基于隐马尔可夫模型( h i d d e nm a r k o v m o d e l ,h m m ) 的统计方法和话语分析( d i s c o u r s ea n a l y s i s ) 在这一时期取得了重大进展。 一2 一 大连理工大学博士学位论文 8 0 年代,在人们对于过去的工作反思之后,有限状态模型和经验主义的研究方法开始复 苏。 9 0 年代以后,随着计算机的速度和存储量大幅增加,自然语言处理的物质基础大幅 改善,语音和语言处理的商品化开发成为可能;同时,网络技术的发展和1 9 9 4 年i n t e m e t 商业化使得基于自然语言的信息检索和信息抽取的需求变得更加突出。自然语言处理的 应用面不再局限于机器翻译、语音控制等早期研究领域了。从9 0 年代末到2 1 世纪初, 人们逐渐认识到,仅用基于规则的方法或仅用基于统计的方法都是无法成功进行自然语 言处理的。基于统计、基于实例和基于规则的语料库技术在这一时期开始蓬勃发展,各 种处理技术开始融合,自然语言处理的研究又开始兴旺起来。 随着自然语言处理的蓬勃发展和深入研究,新的应用方向会不断呈现出来。文本方 面主要有:基于自然语言理解的智能搜索引擎和智能检索、智能机器翻译、自动摘要与 文本综合、文本分类与文件整理、智能自动作文系统、自动判卷系统、信息过滤与垃圾 邮件处理、文学研究与古文研究、语法校对、文本数据挖掘与智能决策、基于自然语言 的计算机程序设计等;语音方面主要有:机器同声传译、智能远程教学与答疑、语音控 制、智能客户服务、机器聊天与智能参谋、智能交通信息服务( a t i s ) 、智能解说与体 育新闻实时解说、语音挖掘与多媒体挖掘、多媒体信息提取与文本转化、对残疾人智能 帮助系统等。 ( 2 ) 机器学习方法 机器学习研究计算机怎样模拟或实现人类的学习行为以获取新的知识或技能重新组 织已有的知识结构使之不断改善自身的性能。它是人工智能领域的一个重要分支。 机器学习从研究人类学习行为出发,研究一些基本方法( 如:归纳、一般化、特殊化、 类比等) 去认识客观世界,获取各种知识和技能,以便对人类的认识规律进行探索,深 入了解人类的各种学习过程,借助于计算机科学和技术原理建立各种学习模型,从而为 计算机系统赋予学习能力。为了实现这一目的的理论、方法和工程构成了机器学习的主 要任务。此外,机器学习还有另一个基本目标,就是从理论上探索一些人类尚未发现的 新学习方法和途径。 学习能力是智能行为的一个非常重要的特征,但至今对学习的机理尚不清楚。人们 曾对机器学习给出各种定义。h a s i m o n 认为,学习是系统所作的适应性变化,使得系 统在下一次完成同样或类似的任务时更为有效。r s m i c h a l s k i 认为,学习是构造或修改 对于所经历事务的表示。从事专家系统研究的人们则认为学习是知识的获取。这些观点 各有侧重,第一种强调学习的外部行为效果,第二种则强调学习的内部过程,而第三种 主要是从知识工程的实用性角度出发的。机器学习的理论基础涉及人工智能、统计学、 面向生物医学领域的文本挖掘技术研究 脑模型( b r a i nm o d e l s ) 、适应性控制理论、心理学模型、进化模型( 如遗传算法) 。机器学 习的研究开始于二十世纪中叶,经过半个世纪的发展,在其它学科的影响下,其领域内 己形成多种并行研究,如归纳学习( i n d u c t i v el e a r n i n g ) 、神经网络( n e u r a ln e t w o r k s ) 、聚 类( c l u s t e r i n g ) 、类比学习( l e a m i n gb ya n a l o g y ) 、遗传算法( g e n e t i ca l g o r i t h m s ) 以及学习 理论( t 1 l e o r i e so f l e a r n i n g ) 等,并且己经取得了很多的成果。机器学习逐渐成为人工智能 的研究核心之一。它的应用已遍及人工智能的各个分支,如专家系统、自动推理、自然 语言理解、模式识另1 ( p a t t e r nr e c o g n i t i o n ) 、计算机视觉、智能机器人等领域。 将机器学习技术应用于自然语言处理最早可追述到二十世纪五十年代。当时心理学 界行为主义倍受推崇。在语言研究方面,人们研究了从语料中自动学习词汇和语法信息, 以便能寻找一种算法性的、无偏见的方法论来推导出某种语言结构。但是这种基于分布 统计的语言学研究在c h o m s k y 的语言本能的观点下开始衰退。c h o m s k y 认为,一种语 言不仅仅是描述性的,具有一定形态、词汇和句法规则的,而且应该能够替换转变为所 看到的更有意义的问题;c h o m s k y 反对从数据中学习语言,认为语言是与生俱来的、不 可学的。又由于研究人员发现语言比预想的要复杂的多,从数据中学习语言极为复杂, 似乎毫无希望,因此造成基于语料的学习研究被束之高阁。人们转向了强调基于手工编 码的符号学习和内在语言学知识的研究。 八十年代,基于隐马尔可夫模型的语音识别取得了成功,使得机器学习方法开始应 用于其它领域。到九十年代,机器学习方法逐渐在词性标注、句法分析、语音合成、机 器翻译等领域取得了一些成果。语料库建设也得到了迅速发展,从而为利用机器学习方 法处理自然语言中的各种问题提供了丰富资源。 美国人工智能杂志在1 9 9 7 年以自然语言处理的经验方法为专题介绍了机器学习在 这一领域中的应用;1 9 9 8 年美国人工智能协会召开了将机器学习应用于会话处理的专题 研讨会;1 9 9 9 年开始,计算语言协会( a c l ) 召开的大会上也专门介绍了自然语言学习的 进展;这一切表明,机器学习方法对自然语言处理的重大意义。在以后的发展中,出现 了各种机器学习方法,他们在自然语言处理中都发挥了重要作用。如利用朴素贝叶斯、 决策树、神经网络、最大熵等、支持向量机方法进行文本分类;在词性标注、语义消歧、 浅层句法分析、文本过滤、自动问答等任务中,机器学习方法的优势也是得到了专家、 学者的公认和赞扬。可以说,机器学习和自然语言处理相互之间几乎是融合在一起。究 其原因,一方面由于机器学习方法的使用使得很多n l p 任务处理变得较为容易:另一 方面,自然语言处理任务提供给机器学习一些富有挑战性的问题,如:数据稀疏、大规 模训练数据、带噪声的训练数据等。 4 大连理工大学博士学位论文 1 1 3 文本挖掘的过程 来自各种数据源的文本数据通过挖掘处理到最终用户主要经过三个过程:文档预处 理、特征信息提取和数据挖掘。文本挖掘的基本过程模型如图1 1 所示: ( 1 ) 文档预处理 当来自各种信息源的文档到达服务器时,首先对文档进行过滤,对文档的类型进行 鉴别。根据文档可能类型的特征可分为:结构化文档和非结构化文档。过滤器对不同类 型的文档提供不同的文本过滤方法。对于结构化文档,过滤器把文档分成各自的组成部 分如:标题、摘要、主要内容、参考目录等。在这一步骤中,不同形式的文档( w o r d 、 p d f 、图片、图像等) 都用x m l 语言转化成新的相同( 或相似) 的形式,例如( 标题) 、 ( 作者) 、( 摘要) 和( 全文) 等。而对于非结构化的文档,必须要通过语言预处理, 把它转化为可用算术分析的形式,以便在下一步骤中能对文档进行自动的特征信息提 取。它能利用语法知识把句子分解出基本部分,包括名词、动词、形容词、日期、货币、 数字等,并从标题或摘要或全部文档中选出新的关键词。 信息源 文档预处理 特征信息提取 数据挖掘 内联网 数据银行 外联网 过 滤 器 结构化文档 非结构化文档 一语言 l 预处理 特 征 提 取 结构化 数据库 ( 特征 信息集 合) 图1 1 文本挖掘模型 f i g 1 1t e x tm i n i n gm o d e l 分类 聚类 关联 分析 用户 ( 2 ) 特征信息提取 特征信息的提取使非结构化数据转化成可以直接记录在数据库中的结构化数据,这 为下一步骤的挖掘处理做了充分的准备。特征提取主要是识别文本中代表其特征的词 项。提取的特征大部分是文本集中表示的概念,这些概念包含着重要的信息,因此要提 前定义哪些信息必须被抽取和被怎样抽取,这需要有较好的专业知识。目前使用的方法 主要有向量空间模型和布尔模型两种,其中向量空间模型是近年来应用较多并且效果较 好的方法之一。 ( 3 ) 数据挖掘 面向生物医学领域的文本挖掘技术研究 经过上述两个步骤后,文档以其特征信息存储在数据库中,因此记录在数据库中的 已是结构化的数据,这就可以对文档中的特征信息集合进行分类、聚类和关联分析等挖 掘处理了。文本分类指按照预先定义的主题类别,为文档集合中的每个文档确定一个类 别。文本聚类指将文档集合分成若干个群,要求同一群内文档内容的相似度尽可能大, 而不同群之间的相似度尽可能小,并在每一个群中给出一个主要思想的摘要。聚类与分 类的不同之处在于,聚类是没有预先定义好的主体类别,而文本分类是按照预先定义的 主题类别,为文档集合中的每个文档确定一个类别。目前比较流行的文本聚类算法有层 次聚类法、平面划分法和自组织映射法等。 1 1 4 文本挖掘的研究内容 当前,文本挖掘的研究内容主要包括文本分类、文本聚类、自动文摘、关联分析以 及利用文档进行分布分析与趋势预测等。 ( 1 ) 文本分类 当前,文本分类已成为一个日益重要的研究领域。文本分类是指按照预先定义的主 题类别,为文档集合中的每个文档确定一个类别。随着文本信息的快速增长,文本分类 显得越来越重要。由于分类可以在较大程度解决文本信息杂乱的现象,方便用户准确地 定位所需的信息和分流信息。因此,文本自动分类己成为一项具有较大实用价值的关键 技术,是组织和管理数据的有力手段,可被用于抽取符号知识、新闻分发、排序电子邮 件以及学习用户兴趣。用户不但能够方便地浏览文档,而且可以通过限制搜索范围来使 文档的查找更为容易。利月文本分类技术可以对大量文档进行快速、有效地自动分类。 在机器学习中分类称作有监督学习,其目的是提出一个分类函数或分类模型( 也称作分 类器) ,该模型能把数据库中的数据项映射到给定类别中的一个。 一般来讲,文本分类需要四个步骤: ( 1 ) 获取训练文本集:训练文本集由一组经过预处理的文本特征向量组成,每个训 练文本( 或称训练样本) 有一个类别标号; ( 2 ) 选择分类方法并训练分类模型:文本分类方法有统计方法、机器学习方法、神 经网络方法等。在对待分类样本进行分类前,要根据所选择的分类方法,利用训练集进 行训练并得出分类模型; ( 3 ) 用导出的分类模型对其它待分类文本进行分类; ( 4 ) 根据分类结果评估分类模型。 文本分类的许多研究致力于二元问题,但是有各种各样的文本信息数据源,比如网上 新闻、电子邮件、数字字典,都由不同的主题构成,因此构成了多种分类问题。其一般 大连理工大学博士学位论文 方法是将此工作分成不同的二元分类问题。对一个新文本划分,只是需要应用二元分类 器及它们的联合形成一个决策。其缺点是忽视了不同类之间的联系。 迄今为止,文本分类研究已经取得了很大的进展,提出了一系列有效的方法,其中 分类质量较好的有朴素贝叶斯、k 最近邻、支持向量机( s v m ) 等。 朴素贝叶斯方法( n a i v eb a y e s ) 朴素贝叶斯算法的基本思路是计算文本属于类别的概率1 5 1 。若文档向量的分量为相应 的单字在该文档中出现的频度( t f 向量表示法) ,则采用该表示方法的文档属于c 类文档 的概率定义为公式1 1 : 聊恻= 舞糕篙: 礼, 其中 p(fjic)=器1t xik a j p j ( 1 2 ) p 阡丽 1 2 其中以0 为一个文档属于类的概率,p ( f c ) 是对类文档中特征毋出现的条件概率的 拉普拉斯概率估计,矾( 是c 类文档中特征乃出现的频度,i 为单字词典集的大小, 等于文档表示中所包含的不同特征的总数目,t f ( f s , d o c ) 是在文档d o c 中特征日出现的 频度。虽然设定条件独立性对单字在文本中出现不是很适合,但是朴素贝叶斯算法依然 是有效的方法。 k 近邻( k - n e a r e s tn e i g h b o u r ) k 近邻( k n n ) 是目前广泛应用的统计方法1 6 1 。其过程如下:给定一个测试文本, 系统在训练文本集中找到k 个最近邻,用k 个近邻分配权重。每个近邻文本与测试文本 的近似程度作为权重。如果几个近邻是一类,则每个权重相加,总和作为与测试文本的 近似度。为了方便,使用余弦值来表示向量问的相似度,也可以使用欧氏距离作为相似 度的测量。此方法的缺点是k 值定义比较困难,一般采用不同的k 值进行一系列试验才 能决定取哪个值较好。 支持向量机s v m ( s u p p o r tv e c t o rm a c h i n e s ) s v m 是由v a p n i k 首次提出的一种机器学习方法1 7 1 。它是一种基于结构化风险最小 化( s t r u c t u r a lr i s km i n i m i z a t i o n ) 原则的计算学习理论。s v m 寻找将训练数据分成两类的 最优超平面o s h ( o p t i m a ls e p a r m i n gh y p e r p l a n e ) ,在训练集中以支撑向量( s u p p o r tv e c t o r ) 为基础来作决定。在分类过程中,s v m 依o s h 而不是整个训练集作决定。因此s v m 与传统的方法相比,有更高的计算效率和准确率。s v m 理论将在本文6 2 节详细介绍。 面向生物医学领域的文本挖掘技术研究 ( 2 ) 文本聚类 文本聚类与分类的不同之处在于,聚类没有预先定义好的主题类别,它的目标是将 文档集合分成若干个簇,要求同一簇内文档内容的相似度尽可能地大,而不同簇间的相 似度尽可能地小。文本聚类包括以下四个步骤: ( 1 ) 获取结构化的文本集。结构化的文本集由一组经过预处理的文本特征向量组成, 从文本选取的特征好坏直接影响到聚类的质量。如果选取的特征与聚类目标无关,那么 就难以得到良好的聚类结果。对于聚类任务,合理的特征选择策是使同类文本在特征空 问中相距较近,异类文本相距较远。 ( 2 ) 执行聚类算法,获得聚类谱系图。聚类算法的目的是获取能够反映特间样本点之 间的“抱团”性质。 ( 3 ) 选取合适的聚类阈值。在得到聚类谱系图后,领域专家凭借经验,具体的应用场 合确定阈值。阅值确定后,就可以直接从谱系图中得到结果。 目前,常见的聚类算法可以分成以下几类: ( 1 ) 平面划分法:对包含1 1 个样本的样本集构造样本集的k 个划分,每个划分表示一个 聚簇。常见的划分聚类算法有k - 均值算法、k - 中心点算法、c l a ra n s 算法。 ( 2 ) 层次聚类法:层次聚类法对给定的样本集进行层次分解。根据层次方向的不同可 分为凝聚层次聚类和分裂层次聚类。凝聚法也称为自上的方法,如a g n e s ;分裂法也 称自顶向下的方法,如d i a n a 、b i r c h 算法。 ( 3 ) 基于密度的方法:多数平面划分法使用距离度量样本
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 无人机维修保养服务规范标准
- 市政管道吊装施工项目管理手册
- 职业健康信用体系建设实施方案
- 室内翻新工程质量通病防治手册
- 生物制药发酵车间工艺设计
- 噪音隔音屏障施工方案
- 弱电安装工程质量通病防治手册
- 2026西安市第五十八中学招聘高中历史教师考试备考试题及答案解析
- 职业病防治知识进厂矿活动实施方案
- 人行过街通道冬季施工方案
- 2025成都农业科技职业学院教师招聘考试题目及答案
- 2026年中国出口信用保险公司招聘笔试大纲及备考指南
- 中小学以体育强化为核心落实“健康第一”教育理念实施方案
- 间羟胺药物课件
- 2026年深泽县辅警招聘考试备考题库必考题
- 江苏省南京市玄武区2025-2026学年九年级上学期期中历史试卷(含答案)
- 上海交易集团秋招面笔试题及答案
- 整县屋顶分布式光伏项目绿色施工方案
- 手术室精益管理汇报
- T/CAR 10-2022食品速冻装置隧道式速冻装置
- 景区团建合同协议书范本
评论
0/150
提交评论