(计算机应用技术专业论文)基于指示词语义扩展的词义识别方法的研究.pdf_第1页
(计算机应用技术专业论文)基于指示词语义扩展的词义识别方法的研究.pdf_第2页
(计算机应用技术专业论文)基于指示词语义扩展的词义识别方法的研究.pdf_第3页
(计算机应用技术专业论文)基于指示词语义扩展的词义识别方法的研究.pdf_第4页
(计算机应用技术专业论文)基于指示词语义扩展的词义识别方法的研究.pdf_第5页
已阅读5页,还剩66页未读, 继续免费阅读

(计算机应用技术专业论文)基于指示词语义扩展的词义识别方法的研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

、 c l a s s i f i e di n d e x : u d c : ad i s s e r t a t i o nf o r t h ed e g r e eo f m e n g r e s e a r c ho fw o r ds e n s ed i s a m b i g u a t i o n b a s eo ni n d i c a t o r sw i t hs e m a n t i c c a t e g o r ye x t e n d i n g c a n d i d a t e : s u p e r v i s o r : a c a d e m i cd e g r e ea p p l i e df o r : s p e c i a l i t y : d a t eo fs u b m i s s i o n : d a t eo f o r a le x a m i n a t i o n : u n i v e r s i t y : c h e n gg u o b i n p r o f l uz h i m a o m a s t e ro f e n g i n e e r i n g 。 c o m p u t e ra p p l i e dt e c h n o l o g y j a n u a r y , 2 0 1 0 m a r c h , 2 0 1 0 h a r b i ne n g i n e e r i n gu n i v e r s i t y 36480舢8 iiily 哈尔滨工程大学 学位论文原创性声明 本人郑重声明:本论文的所有工作,是在导师的指导下,由 作者本人独立完成的。有关观点、方法、数据和文献的引用已在 文中指出,并与参考文献相对应。除文中已注明引用的内容外, 本论文不包含任何其他个人或集体已经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体,均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。、一 作者( 签字) :彳黝、 日期: 2 o l o 年3 月g 日。 哈尔滨工程大学 学位论文授权使用声明 本人完全解学校保护知识产权的有关规定,即研究生在校攻 读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨工 程大学有权保留并向国家有关部门或机构送交论文的复印件。本 人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库 进行检索,可采用影印、缩印或扫描等复制手段保存和汇编本学 位论文,可以公布论文的全部内容。同时本人保证毕业后结合学 位论文研究课题再撰写的论文一律注明作者第一署名单位为哈尔 滨工程大学。涉密学位论文待解密后适用本声明。 本论文( 晚授予学位后即可口在授予学位1 2 个月后口 解密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) :白壤? 羽、导师( 签字) :7 0 殇万 日期:7 o l o 年 月朝。砌年多月f 娟i 产 哈尔滨下稃大学硕十学位论文 捅芰 随着计算机设备和网络应用的发展,人们越来越关注汉语的信息化建设。 通过对与文本有关的词义识别技术的研究,可以使计算机更能理解一篇文章 的内容。因此词义识别技术的进步能促进计算机理解人类语言的快速发展。 现今,自然语言技术的研究方法中一种显著的方法是建立在统计学理论 之上的研究方法,而这种方法的发展又依赖于词典和语料。词义识别统计学方 法受到语料的规模的大小、词汇分布不平衡、资源知识不完备等几个因素的 限制,其内在体现是数据稀疏和小概率词汇频繁出现的瓶颈。本文通过讨论 分析词义识别方法和知识资源,本文提出一种新的方法以解决现有词义识别 的关键问题。在给出相关方法和资源的介绍和分析后,提出基于指示词语义 扩展的解决方法。本文根据词位词群的理论依据,将词典资源和网络文本资 源整合起来,扩充语料知识,从而大大的提高词义识别的效能并成功的解决 数据稀疏和小概率词汇频繁出现这两个突破的关键性问题。本文首先采用指 示词方法来实现词义识别系统。指示词的识别方法里,用最为简单的信息增 益熵算法来找到指示词。然后结合同义词词林的上下文环境,收集和研究网 络上的词汇,在指示词属于同一语义层次上,找到词汇集合。对这样的集合 和网络上搜索的文本句子实例,加工成符合要求的新的词汇集合资源。使用 半指导的方法和语言学上的不同的词位集合构成词群的补充性的知识对指示 词进行语义扩展计算,得到增强作用的指示词。 这两个方法共同作用于指示词词义识别技术研究当中,从而达到在较少 的时间内获得较优秀的性能。换而言之,本文通过解决数据稀疏和小概率词 汇频繁出现的难题,采用对指示词的语义扩展计算,深层次的挖掘出语料知 识,并提高在现有有限的语料规模下语料的效能。经实验证明,指示词的语 义扩展计算方法确实提高解决数据稀疏和小概率词汇频繁出现的问题,其实 验结果的宏平均准确度得到明显提高。 关键字:自然语言;词义识别;指示词;语义扩展计算 一 l - 邑 j 曼 哈尔滨t 程大学硕十学何论文 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ec o m p u t e re q u i p m e n ta n dn e t w o r ka p p l i c a t i o n s , t h ef o c u so nt h ei n f o r m a l i z a t i o no fc h i n e s ei sg r o w i n g 弱w e l l t h er e s e a r c ho ft h e w o r ds e n s ed i s a m b i g u a t i o nt e c h n o l o g yw h i c hr e l a t e st ot h et e x tc a nb eu s e dt o m a k et h ec o m p u t e rk n o wt h ec o n t e n t so fa na r t i c l e s ot h ep r o g r e s so ft h ew o r d s e n s ed i s a m b i g u a t i o nt e c h n o l o g yw i l lc e r t a i n l yb ea b l et op r o m o t et h er a p i d d e v e l o p m e n to f t h eu n d e r s t a n d i n go fh u m a nl a n g u a g eb yc o m p u t e r r e c e n t l y , t h er e s e a r c hm e t h o d so f t h en a n l i 口ll a n g u a g et e c h n o l o g yh a v eb e e n d e v e l o p i n gr a p i d l y , i ta p p e a r sav e r yp r o m i n e n to n ew h i c hb a s e d0 1 1s t a t i s t i c a l t h e o r ya n dw h o s ed e v e l o p m e n td e p e n d so nd i c t i o n a r i e sa n dc o r p o r a s t a t i s t i c a l w o r ds e n s ed i s a m b i g u a t i o ni sl i m i t e db yt h es c a l eo fc o r p o r a , t h eb a l a n c eo f w o r dd i s t r i b u t i o n ,a n dl a c k i n go fk n o w l e d g e t h e s es h o wt h ep h e n o m e n o no f d a t as p a r s e n e s sa n ds m a l lp r o b a b i l i t yv o c a b u l a r y t h e r e f o r e ,t oa i ma ts o l v i n gt h e k e yp r o b l e m ,t h a ti s ,t h eb r e a k t h r o u g ho ft h ep r e s e n tw o r ds e n s ed i s a m b i g u a t i o n , w eh a v ep u tf o r w a r dan e wm e t h o dt os o l v ei tb yd i s c u s s i n ga n da n a l y z i n gt h e w o r ds e n s ed i s a m b i g u a t i o nm e t h o d sa n di n t e l l e c t u a lr e s o u r c e s a c c o r d i n gt ot h e t h e o r yo fl e x e m ea n dw o r dc l u s t e r , w ei n t e g r a t ed i c t i o n a r yr e s o u r c e sa n dn e t w o r k t e x tr e s o u r c e ss oa st op r o m o t et h ee f f i c i e n c yo ft h ew o r ds e r k d i s a m b i g u i t y g r e a t l y t h e nw ec a l ls o l v et h ep r o b l e ms u c c e s s f u l l y , s u c h a st h e f r e q u e n t a p p e a r a n c eo fd a t as p a r s e n e s sa n ds m a l lp r o b a b i l i t yv o c a b u l a r y t h eg o a lo ft h i s a r t i c l ei st ob u i l dw o r ds e n s ed i s a m b i g u a t i o ns y s t e m f i r s to fa l l ,w en s et h e i n d i c a t o rm e t h o df o rr e a i i f i n gt h es y s t e m ,t h e nw eu s es i m p l ei n f o r m a t i o ne n 仃o p y a l g o r i t h mt of i n dt h ei n d i c a t o r s s e c o n d ,w ec o l l e c ta n ds t u d yt h ev o c a b u l a r i e s w h i c h 玳g o tf r o mt h e n e t w o r kf o l l o w i n gt h ec o n d i t i o na st h es a m ea s t o n g y i c i l i n sc o n t e x t w eg e tw o r dc l u s t e rw h i c hh a v et h e8 r m es e m a n t i cl e v e l a si n d i c a t o r f o rs u c hc o l l e c t i o n sa n di n s t a n c e sf r o mw e b ,w em a k et h e mi n t on e w r e s o u r c e s w e c a ne x p a n dt h ei n d i c a t o r sb yu s i n gt h es e m i - s u p e r v i s e dm e t h o da n d 一 l , 4 1 ; 矗 一 童 哈尔滨t 程大学硕十学何论文 t h ec o m p l e m e n t a r yk n o w l e d g eo fl i n g u i s t i c s ,t h a ti s ,f r o ml e x e m et ow o r dc l u s t e r t h e y c a l le n f o r c et h ei n d i c a t o r b o t ho ft h e s em e t h o d sc o u l dm a k es u c hag r e a tc o n t r i b u t i o no nt h er e s e a r c h o ft h ew o r ds e n s ed i s a m b i g u a t i o ns y s t e mt h a tw ec o u l dg e tam o r eo u t s t a n d i n g p e r f o r m a n c e 诵t l ll e s st i m e i no t h e rw o r d s ,w h a tw ew a n tt od oh e r ei s ,b y s o l v i n gt h ep r o b l e mo ft h ef r e q u e n ta p p e a r a n c eo fd a t as p a r s e n e s sa n ds m a l l p r o b a b i l i t yv o c a b u l a r y , a n db yc a l c u l a t i n gt h es e m a n t i cc a t e g o r ye x t e n d i n go f i n d i c a t o r s ,w ec a ne x c a v a t et h ec o r p u sk n o w l e d g ed e e p l y a n di m p r o v et h e p e r f o r m a n c eo fc o r p u si np r e s e n tl i m i t e ds c a l e 1 1 把e x p e r i m e n tp r o v e st h a tt h e s e m a n t i cc a t e g o r ye x t e n d i n gc a l c u l a t i o nm e t h o do fi n d i c a t o r sc a np o s i t i v e l ys o l v e t h ep r o b l e mo fd a t as p a r s e n e s sa n ds m a l lp r o b a b i l i t yv o c a b u l a r yf r e q u e n c y , a n di t c a na l s oi m p r o v et h em a c r oa v e r a g ea c c u r a c yal o ta sw e l l k e yw o r d s :n a t u r a ll a n g u a g e ;w o r ds e n s ed i s a m b i g u a t i o n ;i n d i c a t o r ;s e m a n t i c c a t e g o r ye x t e n d i n gc a l c u l a t i o n 哈尔滨下程大学硕十学何论文 目录 第l 章绪论l 1 1 概述”1 1 1 1 词义识别的现阶段的实用3 1 2 国内外对词义识别的研究现状4 1 2 1 词义的识别的定义4 1 2 2 国内外的研究状况6 1 3 词义识别的要点8 1 3 1 上下文特征选择“8 1 3 2 机器词典和语义语法知识构造”1 0 1 3 3 训练语料1 1 1 3 4 词义的粒度1 2 1 4 本文的主要研究内容1 2 1 4 1 课题来源”1 2 1 4 2 主要研究内容1 3 1 5 本文的组织结构”1 4 第2 章统计词义识别的资源和识别方法”1 5 2 1 词义识别相关资源“1 5 2 1 1 知网的简介1 5 2 1 2w o r d n e t 的简介1 7 2 1 3 现代汉语语义词典的介绍1 8 2 1 4 同义词词林简介1 8 2 1 5 语料库资源1 9 2 2 词义识别方法概述2 0 2 2 1 基于词典词义识别方法2 2 2 2 2 有指导的词义识别方法2 2 哈尔滨下稗大学硕十学f 7 :论文 2 2 3 无指导的词义识别方法“2 3 2 3 本章小结2 4 第3 章语义扩展概述2 5 3 1 语义学中词位的概念2 5 3 2 语义中词义变体”2 5 3 3 多义词词位变体组合构成的词群关系”2 7 3 4 语义扩展的描述和应用2 9 3 5 本章小结”3 0 第4 章基于指示词语义扩展的词义识别方法的研究3 l 4 1 指示词识别31 4 1 1 指示词识别方法概述“3 2 4 1 2 指示词识别的关键步骤和方法”3 3 4 2 指示词语义扩展方法概述4 0 4 2 1 指示词语义扩展方法4 1 4 2 2 基于指示词的扩展”4 4 4 3 指示词扩展识别的实现一4 8 4 4 实验结果及评测分析5 l 4 4 1 实验用语料库5 l 4 4 2 实验分析及评测5 2 4 5 本章小结5 4 结论”5 6 参考文献5 8 攻读硕士期间发表的论文和取得的科研成果”6 3 致谢6 4 哈尔滨t 程大学硕十学位论文 第1 章绪论 1 1 概述 从行业发展和技术革新角度来看,以前不太被关注的一些研究课题,比 如自然语言( n a t u r a ll a n g u a g e ) 得到广泛的初级性的应用,g o o g l e 、b a i d u 等网络公司把自然语言技术带进现代人类社会当中,可以说人类语言迫切要 求大量的技术来解决应用层面的种种问题。显然,对于词汇的识别方向的课 题研究在自然语言处理中彰显出不可忽略的重要意义。它在时时刻刻地烦扰 着本领域的研究人员和技术人员,好像那把达摩克利斯之剑不知道什么时候 能够完全解决,就无法安心做好其他工作。现今,阅读海量的语言句子,各 种的方言,各种网络流行词汇,各种生活信息铺天盖地而来,不由得如此感 慨,到底怎么能快速而准确得获取如此之多的知识? 显然,单凭人工处理达 不到这样的需要,因此现在唯一可行的途径是计算机通过理解自然语言,并 为人类提供服务。众所周知,阅读时候,某些词汇出现时会有多个理解意义, 它出现情况比较频繁而且令人不好理解,因此在现实生活中,语言类学生往 往都要经历通过训练完形填空类似的题目,经常性积累知识,来获得确定多 义词的具体意思。可见这个问题对于计算机来说,通过什么方法和步骤能够 达到确定多义词的某个具体的意思一定需要走很长时间的路来解决。在这个 问题上,语言学家们要做的是解析重构某个具体的语言以及推断句子的归属。 而计算机技术专家们面对的是语义的识别与确定。用一句话概括,这是一个 词义识别的过程。词义识别来自于自然语言处理领域中的经典的多义词判定 问题。国内外计算语言学者们通过努力,突破词汇、句法等方面的障碍,取 得不小的成就。可是语义、语用、语境上下文的知识的表达与获取还在困扰 着学者们。这恰恰彰显出语义作为一个基础问题的重要性。经过前辈们的研 究发现,汉语文章里多义词数量不是太大,约占汉语词汇数量达1 4 8 左右, 是否可以忽略它? 但仔细分析书籍文章以及各种语料发现一个令人惊讶的结 论:多义词虽然少,但它的出现频率可达书籍文章以及各种语料中总词次的 4 2 之多【1 1 。综上,多义词在人们掌握的词汇中尽管数量上不占有显著的优 l , 哈尔滨t 稗大学硕十学何论文 势,但从质的角度来看,很大程度上占有绝对的话语权,体现在它的高发性, 经过统计可以得到出现次数相当的多。 给定具体的上下文,可以发现这样的现象某个特定的词汇可以同时表达 出许多的意思,这时可以称该现象为一词多义现象,也称歧义现象。举个一 个具体的例子:“中医 这个词在知网中的英文译文分别是 t r a d i t i o n a l _ c h i n e s e _ m e d i c a l _ s c i e n c e ”和 p r a c t i t i o n e r o fc h i n e s e _ m e d i c i n e ”,他 们所具有的中文解释第一个是医学的中医,第二个是医生职业。那么当句子 “是中医现代化的一项成果 出现后,在汉语普通话学习过程中积累下来的 知识会告诉人们这句话里的“中医”表示第一种解释。一旦你接触到“现代 化 、“成果类似的词汇,潜意识中自动对应到这两个词与医学之间的相 关度比与医生之间的相关度更大。还可能你在日常生活中,经常听到这样的 例子“是医学( 西医外科) 现代化的一项成果”;可是少量的或基本听不 到这样的例子“是医生( 大夫老中医) 现代化的一项成果”。通过学习,加 深这里的中医是医学方面中医的含义的使用,所以把这样经常使用的词汇意 思作为熟练掌握的意义之一。 词义识别( w o r d n s ed i s a m b i g u a t i o n ,w s d ) 的目标是,在多义词所在 的某个特定的上下文环境中确定多义词到底是词典语义集中取得哪个意思。 它的任务是根据多义词所在的上下文语境涵义,由计算机来确定唯一的、恰 当的意思的一个过程。 如何做好词义识别的系统性、改进性的工作,是每个搞自然语言的研究 者们必要下大力气努力和思考,这是一条必经之路,或许你想要跳过这条路, 但通过其他方法的弥补,往往不如真正的解决好这个问题,所花费的代价要 大的多。它的重中之重又是对于词义识别对象,也就是词汇层面的分析和辨 识。实践证明,解决好词汇层面的问题,那么对于相关领域中的其他问题, 如信息检索、语音识别、合成等,系统性能上会有很大的帮助和提高1 2 】。同 时可以把词义识别当作是某个显著改善效果的方法,但不可忽略其作为系统 中集成词义识别功能的重要作用,所以说词义识别所处的重要地位,最近几 年越来越被专家学者们重视,同时也作为一种面向多层次结构的产品模块之 2 一 哈尔滨下稃大学硕十学位论文 一,越来越广泛的应用于各个领域中。比如,国外某公司已经把词义识别技 术作为下一代浏览器技术的标准之一。 1 1 1 词义识别的现阶段的实用 采纳词义识别的领域本文发现集中于文本的分类聚类、信息检索以及信 息分类、机器翻译以及文本的主题约束性的分析处理、还有对于语音的信号 处理以及信号和文本间的相互转换等的几个大的方面 3 - 5 】。 首先介绍词义识别在文本分类中的实用: 文本分类是在具有确定的分类的规则体系下,根据文档的内容,按照某 些特定的主题或者主旨含义,把该文档与给定的类别进行关联,经过计算机 的分类,大大地减少人工分类的工作量。文本分类从数学角度看,是一个映 射,根据这样的映射来输出好该文本所属的类别。这个映射过程实际上就是 把文档的段落进行指示词扩展度量或者相关度的计算,采用这样的计算,就 无法回避对词义识别的计算,在考虑不同的类别时候,经常会遇到多义词大 量高强度的出现,为避免这种词义的误判而导致识别准确率下降的问题,通 常引入词义识别子模块,对多义词进行识别,根据具体的词义来帮助分析段 落句子以及文档的主题概念和主旨,通过近几年的研究表明词义识别技术确 实大大强化的文本分类的系统。 其次词义识别在信息检索以及信息分类中也有实用。信息检索这几年在 技术应用方面发展势头非常的迅速,而且进步是有目共睹的,基本上现在日 常生活中无法离开该领域的技术。但是也有些不足,通常在对某个词进行网 络搜索,搜索引擎会返回许多并不是相关的链接,然后需要做的是从这些大 量的链接中找到符合要求的链接。产生这样现象就是因为搜索引擎对关键词 的词义不能够正确的识别,当搜索引擎加入词义识别的模块后,根据多义词 的义项能够很容易的找到需要的链接。这样搜索引擎准确率普遍地得到提高, 有的能够提高5 个百分点。 再次,词义识别也应用在机器翻译以及文本的主题约束性的分析处理等 方面。机器翻译为源语言文本找到目标语的对等释义。有数据表明平均每个 英语词汇对应大约2 3 3 个汉语译文【6 】。当翻译系统要为目标词汇找到正确的 哈尔滨t 程大学硕十学何论文 语义时候,可想而之,多义词造成的问题有多么严重。所以通过引入词义识 别模块后,机器翻译的性能取决于该模块的优越性,当模块效能好的时候, 系统效能也必然提高。当模块效能差的时候,系统由于不能对多义词进行正 确的识别,必然耽误整个系统对旬式或段落的翻译决策。所以说机器翻译过 程中,词义识别对翻译性能绝对起着重要的作用。当文本的主题约束性的分 析处理时,只有正确的判别多义词的词义,才能够把主题正确的描述出来, 所以说词义识别起到了重要作用。 最后,词义识别在语音的信号处理以及信号和文本间的相互转换实用也 有重要的意义。从本质上和应用的方法来讲汉语中的同音字、同音词以及同 字不同音的现象语音识别、语音合成等也会涉及到词义识别的知识及应用, 要从根本上解决这个问题也离不开词义识别技术的支持【_ 7 一引。 显然,在自然语言领域,词义识别这项任务是一项基础性的科研问题, 在许多应用当中可以找到它存在的影子,所以这项科研为探索之路,对于其 他相关研究领域具有不可忽视的意义,从而指导其他相关领域的基础研究, 能够促进相关领域的发展,所以说现在有很多人投身其中。 1 2 国内外对词义识别的研究现状 1 2 1 词义的识别的定义 自然语言技术是为让机器具有人一样的沟通能力,理解并熟练与人使用 自然语言进行交流,为实现这样的梦想,许多学者专家付出大量的汗水,但 现在还有许多的技术需要完善和创新,其中一项技术就是对自然语言的理解, 而同时作为一项基础而重要的技术词义识别已经是作为机器理解自然语 言的重中之重的问题。自然语言的最终目的是在语义理解基础上实现相应的 任务,一个自然语言处理系统如果完全没有语义分析的参与,能够获得很好 的性能是不可想象的。 考虑到词义识别的问题描述,先看一下如何来描述它。有这样的一种情 况,当在阅读一个文档时候,这个文档里面的词大多数都包含多个意义,那 么如果单单把这样的词从文档中独立出来的句子来进行观察,就不能够准确 4 一 - 哈尔滨下稃大学硕十学何论文 的判断出来这样的词究竟在句子中作为那种意义成分,因此一个客观性的问 题产生语义上的多义现象。因此如果从语义角度来看,本文所做的词义 识别方法是用来破解语义上的多义词现象的内因所产生的。 词是能独立运用的最小语言单位,句子中每个词的含义以及在特定的语 境下的相互作用和约束构成整个句子的含义,因此词义识别一提出来就先天 具有确定性的含义,它是用来确定在一个给定的具体的上下文语境当中,把 一个多义词所在的上下文作为一个确定原则,对该多义词进行确定性的判别, 得到准确的语义含义。 其数学描述为:多义词 暝有肘个意义s e n s e ,在给出的一个具体的上下 文句子c o n t 当中,根据上下文中的词语对该多义词w 的每个意思s e n s e 的多种 限定规则厂( c o n t , s e n s e ) 得出满足规则最大的意思s e n s ef 。本文的词义识别过 程就是考虑上下文c o n t 中有约束作用的词汇集合对多义词缈具有m 个意义所 做出的决策,通过共同的决策作用找到一个最终符合上下文语境涵义的多义 词的一个确定的词义s e n s ej 。可以用如下公式来描述: s e n s e f = a r g m a x f ( c o n t ,s e n s e ) 一词多义的现象是一个普遍的现实,经过前人的研究发现,它可以分为 两种不同的现象:一种是人们熟知的语法层面上的多义现象,叫做语法歧义 词( s y n t a c t i ca m b i g u i t yw o r d ) ,对于语法歧义词可以看作语法角度的词性 的分类问题,词义和词性存在一对应的关系,当多义词的词性确定,其词 义也就唯一的确定。因此,通过正确的分词( s e g m e n t a t i o n ) 的技术,一般借 助词性标注( p a r t - o f - s p e e c ht a g g e r s ) 技术完全可以解决语法歧义词问题,许 多学者研究表明,该方法处理语法歧义词已经获得较高的正确率。另一种形 式隐蔽,但却占重要的地位,代表语义层面上的多义现象,称为语义歧义词 ( s e m a n t i ca m b i g u i t yw o r d ) 。语义歧义词在数量上比语法歧义词的数量占 有绝对的优势地位,通常所指的词义识别就是针对语义歧义词的研究,语义 歧义词的词义分类问题是通常意义上的词义识别的目的。因为语义歧义联系 到语言学知识如语法、语境、语用、语义等更多的制约因素。从理论和实验 两个方面,得知解决语义歧义要比解决语法歧义所需要付出的精力大得多。 哈尔滨t 稃大学硕十学何论文 一旦有所斩获,那么必将对其他层次的任务产生深远影响。 1 2 2 国内外的研究状况 国外学者对词义识别的研究起步时期比较早,从2 0 世纪5 0 年代初期开 始,人们对这个机器翻译领域有初步的研究,从而对词义识别的步骤,有一 些相对简单的认识,同时使用规则的方法建立对多义词的描述系统,但是缺 少大规模的语言知识库支撑,所以对词义识别的效果不好,而且无法建立大 量的规则以符合词汇的真实分布。再者,对于统计学参与还没有实现的外部 条件,即对大规模的语料获取和快速信息处理的能力。因此,早期的词义识 别属于探索性的,性能指标非常低,无法应用于实际当中。上个世纪中后叶, 由于人工智能的普遍应用和发展,许多学者采用基于人工智能的方法对词义 识别加以改进,有的学者采用语义知识表达和语法规则相互结合,使得本领 域有不小的突破,但受限于语义知识表达和语法规则数量有限,覆盖面不够 宽广,因此没有得到大量的应用。随着计算机的普遍推广,具有快速处理能 力和大规模的语料读取技术的实现,在统计学理论的指导下,人们对于机器 学习的统计学方法的实现投入相当大的热情,结果是该方法得到的大大的横 向推广和纵向拓展,词义识别技术也借机成长起来,成为一个独立性的研究 领域。这个期间,1 9 9 2 年y a r o w s k y 发表基于机器可读词典无指导的词义。 识别方法 9 1 ;m o o n e yrj 发表并提出基于有指导的朴素贝叶斯方法进行 词义识别【m 1 ;h o a 采用最大熵模型结合搭配、语法、语义以及主题特征的 词义的识别算法【i l 】。这些作为本领域的前驱基石,一直影响以后学者的研究。 可以看到以后发表的科研文章,如2 0 0 0 年y a r o w s k y 在建立层次决策表 ( h i e r a r e h i c a ld e c i s i o nl i s t s ) 实现一种w s d 方法【1 2 】;2 0 0 5 年w e e 和l e e 采用一种基于语义类( s e m a n t i cc l a s s e s ) 的w s d 新方法该方法采用语义 类代替歧义词的细粒度词义( f i n e g r a i n e d s e n s e ) ,使得词义识别模型对不 太依赖于训练语料【1 3 】;2 0 0 6 年y e o h o o ny o o n 、c h o o n g n y o u n gs e o n 等人利 用无标注语料和机器可读词典,根据语料构造词语搭配之间的相似矩阵,针 6 哈尔滨下稃大学硕十学付论文 对每个词义构造无环权重图,根据歧义词的上下文寻找权重最大的词义【1 4 】; 2 0 0 6 年a n h = c u o n gl e 、a k i r as h i m a z u 提出基于半指导学习与分类器融合 的词义识别方法,使得语料不太受到人工标注语料规模的限制【l5 】;2 0 0 7 年 c u o n ga n hl e 、v a n = n a mh u y n h 提出基于d s 证据理论和o w a 算子的多分 类器的方法,通过挖掘多义词周围全部的信息来进行词义识别【l 们。2 0 0 7 年 z h e n g y un i u 采用基于标注语与无标注语料结合的半指导的分类方法应用于 词义识别【1 7 1 。 国家学术界对于词义识别领域的研究晚于欧美,上个世纪九十年代国家 对汉语言的信息化投入大量的人力物力,目标是要把整个源远流长的汉语语 言文化通过电脑技术,扎根于当今世界。对于词义识别领域来说,做的工作 主要是采用统计学方法,对汉语词典进行整理和加工,通过学习到的知识, 辅助实现汉语词义识别。1 9 9 9 年李涓子发表汉语词义消歧方法研究i l 引 和1 9 9 8 年刘小虎发表的英汉机器翻译中词义消歧方法研究l l 纠。后来的 统计学方法越来越多,全昌勤等人发表从搭配知识获取最优种子的词义消 歧方法【2 0 】、朱靖波等人发表基于对数模型的词义自动消歧 a l l 、鲁松等 人发表基于向量空间模型的有导词义消歧自然语言处理中词语上下文 有效范围的定量描述阱l 、杨尔弘发表基于义原同现频率的汉语词义排歧 方法瞄1 和苟恩东发表:基于汉语二元同现的统计词义消歧方法研究渊。 下面就对词义识别的方法和工作进行归纳和总结如下: 黄昌宁和李涓子【2 5 】建立一个语义类别的框架,该框架采用同义词词林 里的词,把其中的词汇按义类代码所属的层次建立类别,自动获取任意同义 词集中的单义词出现的同现实词,按照同现实词的词义识别能力对它们赋予 一个权值,从而构成词义识别的分类器,实验结果显著。 鲁松采用向量空间模型,按照文档词语权重的不同,解决多义词义项的 知识表示问题,借鉴s e h t r z e 通过词义聚类思想实现词义识别,参考同义词 词林实现词义识别。限定上下文位置权重,把多义词的意思映射到数学高维 空间中,采用k - n n ( k - - 1 ) 方法对词义进行无指导的分类,词义识别工作 7 哈尔滨下稗大学硕十学位论文 实质上就是搜索技术的查询和答案文档之间计算的过程,多义词的上下文当 成搜索技术中的查询,义项词语的词矩阵是答案。实验正确率最高的达到 9 2 1 3 ,最低的为7 2 8 3 ,平均值为8 3 1 3 ,效果显著【2 们。 孙继明、李舟军、文健提出基于知网的汉语词语词义识别方法1 2 , 该方法借助依存文法分析,从分析句子结构入手,寻找词语间的支配与被支 配地位来确定限制词,借用知网提供的实体关系与该多义词相关联其他 词语意思,确定待识别词的义项权重,据此权重来确定词义。 龚永恩等人也同样根据知网提供的词间的关系,从语义的角度出发, 把词性信息、搭配实例和语义相关度等信息共同作用,提出一种多策略的词 义识别方法【2 引,取得很好的效果。 吴云芳等人把 泸t 乃j b 以乃,ll 么;“瘩滋军荔辚删溺缵;黟- ? 嚣孳荔! :露彩, 图3 1 语义词位扩展后的词群集合 通过对语义扩展的原理解后,可以对语义扩展进行举例。词语“推翻”既 可以表示把竖立的物品推到也可以表示用武力打垮原来的政权或社会制度, 通常与名词“清朝 或“统治一相互搭配。可是本文获得的信息仅此而已。 如果把“推翻 扩展到“打倒”,人们知道“打倒 也具有第二种意思,也 能与名词“清朝”或“统治相互搭配。如果语义层次进一步的扩大,又会 出现“推倒、“打翻 、“击倒 、“赶下台”等等,都可以与名词“清 朝 或“统治 相互搭配。通过语义扩展方法知道“推翻 是表示用武力打 垮原来的政权或社会制度,利用词位扩展得到,有很多同位词“推倒 、“打 翻 、“击倒 、“赶下台 等等。如果把语义向邻位上下位扩展,那么语 义粒度就会更大,得到信息量变得丰富,其词群集合随之扩展。“推翻 可 以扩展到“否定 、“否决”等表示拒绝承认意思的词语集合,都可以与名 哈尔滨t 程大学硕十学何论文 词“合约 搭配,最后得到的词,按不同词群分类加入,起辅助性的词汇大 大增加,能够对多义词的某个小概率词义的到很好的增强。 现今统计学理论发展受到数据稀疏问题的严重挑战,可以说它们就是统 计词义识别所面临的瓶颈。统计理论中,不管是有指导方法还是无指导的方 法长期以来都无法回避数据稀疏现状。长期的研究表明,对于数据稀疏的研 究是词义识别研究里的热点。为抑制语料受规模和分布不均衡的限制,为改 观小概率词义大量突发的问题,本课题针对词位词群的语义学和语义分析基 础上衍生出语义扩展的概念性的基础理论,按照这样的客观现状,通过搜索 词的词位词群扩展方法期望解决自然语言的数据稀疏现状。由于人工所限导 致无法实现语料的大规模构建,同时不可避免高发性的多义词小概率词义出 现,本文提出的词位扩展为词群的语义扩展解决方案,该研究可以用来突破 词义识别的瓶颈,对词义识别的研究起到抛砖引玉的作用。本文研究目标是 实现表现优秀的汉语词义识别技术,利用有限的语料资源,通过词义识别学 习和判别的算法,降低时间和空间上的复杂度,提高准确度,解决数据稀疏 和小概率词现象。 3 5 本章小结 本章简单介绍语义学中词位的概念、词群概念和同位变体、邻位变体、 上位变体、下位变体的概念以及词群的概念,分析如何构造不同的词群集合, 并举例词群集合映射的方式,通过语义扩展方法来解决数据稀疏的问题和小 概率词频繁出现问题。 哈尔滨t 程大学硕十学位论文 第4 章基于指示词语义扩展的词义识别方法的研究 在这里本文使用语义扩展的思想与指示词识别技术相结合方法来改进单 纯的指示词识别方法。在选取最优的指示词集合基础上,采用语义扩展方法, 尝试在没有确定的指示词情况下,使用间接手段,替换不确定或未知的指示 词。以此得到确定的单一特征属性,通过此属性来决定歧义词的哪种语义符 合当前上下文语境。我所做的研究工作分为两个部分。其一是如何识别上下 文中特定词汇为指示词。其二是如果遇到不确定或未知的指示词,如何进行 必须的指示词扩展。 4 1 指示词识别 词汇的歧义通过再认过程,具有词汇传递和解释句子意思的作用。在中 性语境和弱约束的语境中分析歧义词具有一对多的可达传递性:有可能同时 几个个词义都被激活,但更常用的词义有优先。由此可知,词义可达传递是 按照一定的语境条件来进行驱动的,这个接通过程是多重逻辑判断与确认的 过程,人类内在认知过程可能是按频率排序的,这些分析由语境中多个因素 诱导,进行快速的调整以选择适当的词义。 这里本文考虑的因素是上下文中很多邻近歧义词的词语,一般来说,这 些词语通过中性语境和弱约束共同施加影响决定歧义词的词义。我所研究的 课题基于这样一个假设,既上下文词语对词义作用的大小是不同的,其中往 往会有一个词语起的作用的是相对来说最大的。这个起的作用的是相对最大 的词本文称之为指示词( i n d i c a t o r ) ,它就是当前假设下,判断歧义词的词义 的唯一最强逻辑判断。具体可见下面的例子:( 1 ) 我喜欢打网球;( 2 ) 父 亲经常让小珍去仓买打酱油;( 3 ) 昨天女友给我打件漂亮的绒衣。 以上几个句子都为歧义词“打提供许多上下文词语,但是这些词语中 只有一个词有最强的作用,那就是“网球”、“酱油”和“绒衣 ,它们都 是“打 的指示词。 哈尔滨下稃大学硕十学何论文 那么如果本文遇到此情况按照

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论