（语言学及应用语言学专业论文）面向信息处理的介词“向”及其结构研究.pdf

论文题目： 学科专业： 申请人： 指导教师： 论文类型： 面向信息处理的介词“向一及其结构研究 语言学及应用语言学 杨煜舒 任海波副教授 理论研究 内容提要 本文以面向信息处理为目的，对介词“向 及其结构进行研究，主要是对“向” 的自动分词，介词短语“向x ”的边界识别作一定的研究，希望此研究有助于汉 语信息处理，并为以后在语义、语用方面的计算机处理奠定基础。文章共四个部 分，七个章节。 第一部分，绪论，首先阐述了本文选题的目的和意义；第二、对本课题的研 究现状进行总结性描述；第三、介绍了本文的理论基础及研究方法；第四、对语 料的来源进行了说明。 第二部分，主要是“向 的自动分词问题。从第1 章到第3 章，首先介绍了 中文分词的概念和特点；第二、建立含“向刀的双音节词词表，并制定频次表； 第三、详细地描述了含“向一的双音节词语在语料中所出现的分词歧义现象，提 出消歧规则；第四、详尽地制定了含“向 的成语词表，进一步为分词作准备， 减轻计算机的处理难度。 第三部分，主要是介词短语“向x 的边界识别问题。从第4 章到第7 章。 首先考察了介词结构中内相关词与“向x 中“x 一的关系，并对“x 的特征进 行了描写；第二、分析了“向x 的外相关词的词性特征，并对介词短语所修饰 的核心动词按语义特征进行分类；第三、制定核心动词前词性串优先组合信息表， 对外相关词二次修改；第四、总结边界划分的难点，逐条进行分析，举出需要人 工介入的实例。 第四部分，结语，是对本文的总结及对后续工作的展望。 关键词：介词“向”，分词歧义，识别规则，短语边界 s u b j 髓t ：恤e 甜u d y0 fp r e p o s j “蚰x i a n 矿a n dj t ss “c t l i 肿 r f o ri n f o 珊a t i o np 珈c e 璐i n g m 面o r l i 唧i 蚰c s 舳da p p j e dl i n g i i i s t i c s c a n d i d a t e ： y a n gy u s h u s u 畔几j 轴r zn nh a i b 0a 鼯j a kp m f 毛s 鲫r t y 呻o f t h 船虹：山r y 件s 曲r h a b s t i a c t o nt h ep u r p o s eo fi n f i ) n n a t i o np r o c e s s i n g ， t h i s p a p e r s t u d i e s p r e p o s i t i o n “x i a n g a n di t ss t r u c t u r e b a s e do nt h en a t l l r a ll a n g i l a g e ，w e s t u d yt h ea u t o s e g m e n t a t i o no f “x i a n g ”a n dp r e p o s i t i o np h r a s e “x i a n gx i no r d e rt om a k es o m ec o n t r i b u t i o n st ot h ec h i n e s ei n f b r m a i i o n p r ) c e s s i n g i na d d i t i o n ，o u rr e s e a r c hw i l lj a yt h ef b u n d a t i o nf b rt h e r e s e a r e ho nt h es e m a n t i c sa i l dp r a g m a i i c si 1 1i h ef u t u r c t h ep 印e ri s d i v i d e di n t of o u tp a r t s ，i n c i u d i n gs e v e nc h 印t e r s p a no n e ( c h a p t e ro ) s h o w st h ea i ma n dm a n i n go ft h i sp a p e r ，s t h e m ea n dd e s c r i b e st h ec u r r e n ts i t u a t i o no ft h er e s e a r c ho nt h i sp r o j e c t 1 1 l e nt h i sp a ni n t m d u c e st h et h e o 叮b a s i s 锄dt e s e a r c hm e t h o df o rt h e p a p e ra n de x p i a i n st h es o u r c eo fc o 平u sw e u s e p a r tt w o ( c h a p t e r1 3 ) f i r s ti n t r o d u c e st h en o t i o na n df c a t u r eo f c h i n e s es e g i n e n t a t i o n 1 h e ni ts e g m e n t sw o r d sb ys e t t i n gu pal i s to f d o u b l e s y a b l ew o r d sw i m “x i a n g a n d ai i s to fw o r d sf k q u e n c y a 血e r t h a t ，p a n 撕od e s c r i b e ss e g m e n t a t i o na m b i g u i t i e so ft h ed o u b l e 。s y l l a b l e w o r d sw i t h “x i a n g ，w h i c ho c c u r shf h ec o 叩u s ，a n ds t u d i e so nm l e st o s o l v et h es e g m e n t a t i 彻a m b i g u s f i n a l l y ，w ef i n i s hal i s to fi d i o m s w i t h “x i a n g 。，i no r d e r t os e g m e n tw o r d s a n dl e t t h ew o r km o r ee a s i e rf o r c o m p u t e rp r o o e s s i n g p a r tt h r e e ( c h a p t e r4 - 7 ) t r i e st oe x p l o r et h eb o u n d a 叮o fp r 印o s i t i o n p h r a s e ( p p ) “x i a n gx a tf i r s t ，i td i s c u s s e s t h er e l a t i o n s h i pb e t 、e e ni n n e r b o u n d a 叮w o f da n d “x ”i nt h e “x i a n gx ，t h e nd e s c r i b e st h ef e a t u r eo f “x ：l a t e rw ea n a l y z et h ef e a t u r eo fo u t e r b o u n d a r yw o r do f “x i a n gx w ec l a s s i f yt h ev e r b so nt h eb a s i so fs e m a n t i cf e a t u r e sa n da n a l y z et h e e x a m p l e so fd i f f i c u l ts e n t e n c e si nd e t a i l t h e n ，w em a k eal i s to fw o r d c l a s sc o m b i n a t i o np r i o r i t yb e f o r et h ec o r e v e r bt o c h a n g et h eo u c e r b o u n d a r ) ，a tl a s t ，w es h o wt h ee x a m p l es e n t e n c e sw h i c hm a y b en e e d m a n u a ls e l e c t i o n p a nf o u ri st h ec o n c l u s i o n w ec o n c l u d et h ew h o l ep a p e ra n dp o i n t o u to u rn e c e s s a r yw o r ki nt h ef u t l l r e k e yw o f d s ：p r e p o s i t i o n “x i a n g r e c o g n i t i o nr u l e s s e g m e n t a t i o na m b i g u i t i e s p h r a s eb o u n d a 巧 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除 了特别加以标注和致谢的地方外，不包含其他人或机构已经发表或撰写过的研究 成果。其他同志对本研究的启发和所做的贡献均已在论文中做了明确的声明并表 示了谢意。 作者签名： ，口l2 日期：纱吲f 叩 翮够 u 论文使用授权声明 本人完全了解上海师范大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其它手段保存论文。保密的论文在解密后遵守此 规定。 作者签名： 郝伏嘭 导师签名：日期： w 8 s 冲 从w + 】( i r 词性= ( “n ”i “n ”) t h e n a 判断“导”的前项是否为“领”、“编”，并且“导”能和前项组词木 。向一词性= “p ”序如果是，则“向”为介词1 木 e l s e宰否贝木 朋，向一 ) ( 1 r + 向a “导”和“向”组合成词：| e n d i f e n d i f ( b ) 定向：决定i 向、一定l 向、协定i 向、规定i 向、拟定i 向 1 理论上这里的“向”也可能为除介词以外的其他词性，本段的重点是考察介词“向”与其充当语素时的 分词歧义，因此不存在。向”为其他词性的情况 1 2 上海师范大学硕士学位论文第二章解决含“向”词语的分词歧义 ( 2 0 ) 而且，由于博物馆的公益性质，它能最大限度地满足公众需求。定【向】 拍卖的规定自然有它的道理，但是国有收藏机构的现状又是怎样的呢? ( z j w z 4 9 0 ) 含有“定向”的例子在语料中一共出现了3 9 句，其中发生分词交集型歧义 的有1 9 句，占到了4 8 7 。 ( 2 1 ) 由于当时日本福岛和朝鲜半岛的一些著名矿产地都没有找到铀，而研 究者又迫切需要两吨氧化铀做实验于是，日本决定【向】“好友”德国求援。 ( z j w z 4 5 2 ) ( 2 2 ) 张治中答应一定【向】蒋先生和夫人转达 ( z j w z 4 3 5 ) ( 2 3 ) 二是反复指责北朝鲜首先破坏协定【向】南朝鲜发动大规模进攻。 ( z j w z 5 3 5 ) ( 2 4 ) 自1996 年4 月以来，水利部机关服务中心对上述先后调回的65 50 万元资金的情况，在多次审计中，没有按规定【向】审计署派出的审计组提 供相关资料( z j w z 4 0 1 ) ( 2 5 ) 孙浩叮嘱他俩，一定要把好关，不能让国有资产流失孙浩连夜赶 到周村，和正在蹲点驻队的卫济民拟定【向】省委汇报古城县的问题。( z j w z 4 7 1 ) i f 拥= “定”t h e n宰判断“向”前项是否为“定一衫 i f 从w - ( 。决一i “一”i “协”i “规”l “拟”) 从w ，) ( 1 r 一 从w + 】( 1 r 词性= ( “v i 。d l “n l “n i v ) t h e n 木判断“定”的前项是否为“决”、“一”、“协”、“规”、“拟”，并且“定”能和 前项组词衫 “向一词性= 。p 序如果是，则“向”为介词木 e l s e宰否贝u 木 x w ，向一 x w + 向序“定”和“向组合成词木 e n d i f e d i f ( c ) 动向：主动i 向、活动l 向、运动i 向、策动i 向 ( 2 6 ) 在其他迈阿密族人当中，也出现了复兴本族语言的动【向】，他们为了 教孩子学习迈阿密语，正在制作cd ro m 等教材。 “动 和“向 组合成词。同时也存在交集型歧义。 ( 2 7 ) 梁万山在案发后，能主动【向l 公安机关投案，如实供述自己的犯罪 事实，属自首，依照刑法第六十七条第一款规定，可减轻处罚 ( z j w z 5 2 1 ) ( 2 8 ) 在伦敦出版一本奇书( ( 一个中国人关于基督教传教活动【向】基督教 世界的呼吁，其中对传教士所用的种种恫吓言辞( 不信上帝要下地狱，异教神 是魔鬼等等) 指责极其尖锐( z j w z 4 8 5 ) ( 2 9 ) 第二性实可堪称为一部俯瞰整个女性世界的百科全书，她揭开了 1 3 第二章解决含“向”词语的分词歧义上海师范大学硕士学位论文 妇女文化运动【向】久远的性别歧视开战的序幕。( z j w z 3 7 4 ) ( 3 0 ) 这些话是俞芳亲耳听到的。信子不但教唆芳子拒绝去上海与丈夫团 聚，反而又策动【向】叔叔要钱。( z j w z 4 8 5 ) i fx w = “动”t h e n 判断“向”前项是否为“动”木 i f 从w - ( “主”l “活”i “运”i “策”) 从w ，) ( 1 r 一 从w + x w 词性= ( “a ”i “n l “n i “vj ，) t h e n 序判断。动”的前项是否为“主”、“活”、“运”、“策”，并且“动”能和前项组词木 “向”词性= “p ”序如果是，则“向”为介词衫 e l s e 宰否则卑 x w ，向一 ) ( 1 + 向 e n d i f e n d i f 序“动”和“向”组合成词宰 ( d ) 方向：警方i 向、狱方i 向、地方l 向、对方l 向、院方i 向、双方i 向 ( 3 1 ) 我快步上前，把李坤向广场边的黑暗中拉他似乎意识到什么，想 躲起来，只是不知道该往哪里跑，一旦有了方【向】，比我跑得还快。 “方 和“向 组合成词，交集型歧义情况一共有如下6 种情况。 ( 3 2 ) 用测谎技术判测2ooo 年6 月1 日，封开警方【向】广东省公安司 法管理干部学院侦察系发出请求，希望能通过测谎技术帮助他们找到该案的突破 口 ( z j w z 3 9 6 ) ( 3 3 ) 可惜割腕未遂，被救活了狱方【向】节娜转达了我的恳求，节娜 呜咽着在离婚书上签了字( z j w z 4 0 3 ) ( 3 4 ) 同学不忍心刮，我亲自给你刮! ”别无退路，张小弟一闭眼睛用刀刃 的地方【向】脸上使劲划了几下子，鲜血一下子涌了出来( z j w z 4 8 0 ) ( 3 5 ) 宋耀祖又问：“如果我给了钱，事情能到此为止吗? ”对方【向】他 保证，只要钱到手，今后决不再来找他的麻烦 ( z j w z 4 5 9 ) ( 3 6 ) 几经检验，才确诊，是“隐球菌感染性脑膜炎”，当时正是除夕夜， 院方【向】他家发出了病危通知书 ( z j w z 4 1 7 ) ( 3 7 ) 尼克松总统一行下榻于著名的锦江饭店里2 月27 日下午5 时， 中美双方【向】新闻界公布了中关两国的联合公报( z j w z 5 2 6 ) i fx w = “方”t h e n 序判断“向”前项是否为“方”木 i f 从w = ( “警”i “狱”l “地”i “对”i “院”i “双一) 从w ，) 【1 一 从w + x w 词性= ( “n i “n i “n i “n l “n ，) t h e n 序判断“方”的前项是否为“警”、“狱”、“地”、“对”、“院”、“双”，并且“方” 能和前项组词 “向词性= “p ”木如果是，则“向”为介词书 1 4 上海师范大学硕士学位论文第二章解决含“向”词语的分词歧义 e l s e x w ，向一 x w + 向 e n d i f e n d i f 木否则木 肛“方”和“向”组合成词木 ( e ) 流向：人流i 向、车流i 向、轮流i 向 ( 3 8 ) 这个题目一针见血地道出了现代化的日本城市的流【向】，是否越接 近现代文明就越远离了掩饰和含蓄? “流刀和“向组合成词，语料中交集型歧义有如下三种情况。 ( 3 9 ) 这时，大楼警卫开始驱散人群，我随着人流【向】地面出口走去 ( z j w z 4 9 6 ) ( 4 0 ) 几分钟后，载着他们三个的车子汇入拥挤的车流【向】城外驶去，开 向北部的一个城市，莉莉亚猜想那个城市是米兰。( z j w z 4 9 3 ) ( 4 1 ) 大家轮流【向】孙大盛敬酒( z j w z 4 4 1 ) i fx w = “流”t h e n 序判断“向一前项是否为“流”辜 i f 从w = ( 。人”l “车”i “轮一) 从w ，) 【1 一 从w + x 1 词性= ( “n ”l “n ”i “v ”) t h e n a 判断“流”的前项是否为“人”、“车”、“轮”，并且“流”能和前项组词衫 “向”词性= “p ” a 如果是，则“向”为介词木 e l s e木否贝u 宰 ) ( 1 r ，向一 ) ( 1 + 向 e 舳i f e n d i f 木“流”和“向”组合成词木 ( f 取向：采取l 向 ( 4 2 ) 凡事以我为价值取【向】，从而忽视甚至无视他人的利益和感受。 ( z j w z 4 4 6 ) “取”和“向 组合成词，交集型歧义有一种情况。 ( 4 3 ) 据记者调查，现在民间借贷不仅限于工业、商业，就连办学校、办医 院，也会采取【向】民间集资的办法。( z j w z 5 2 2 ) i f 】( 1 r = “取”t h e n序判断“向”前项是否为“取一宰 i f 从w ：( “采”) 从w ，) ( 1 r 一 a a w + x w 词性= ( “v ”) t h e n 序判断“取”的前项是否为“采”，并且“取”能和前项组词：i ： “向”词性= “p a 如果是，则“向”为介词木 e l s e幸否贝u 木 第二章解决含“向”词语的分词歧义 上海师范大学硕士学位论文 e n d i f e n d i f x w ，向一 x w + 向序“取”和“向”组合成词水 ( g ) 去向：回去i 向 ( 4 4 ) 强化扶贫机构对扶贫工作的监控，也包括对资金去【向】及是否符合 扶贫宗旨目标的监测。( z j w z 4 9 8 ) “去 和“向”组合成词，交集型歧义有一种情况。 ( 4 5 ) 李达高兴地说：“你的要求很好，我回去【向】刘伯承司令员、邓小 平政委汇报。 ( z j w z 53 5 ) i fx w = “去”t h e n a 判断“向”前项是否为“去”衫 i f 从w = ( “回”) 从w ，】( 1 一 从w + x w 词性= ( “v ”) t h e n a 判断“去”的前项是否为“回”，并且“去”能和前项组词| c “向”词性= “p ” e l s e x w ，向一 x w + 向 e n d i f e n d i f a 如果是，则“向”为介词衫 否贝u 木 序“去”和“向”组合成词木 ( h ) 外向：境外l 向、城外i 向 ( 4 6 ) 盛升颐的妻子虽已年近4o ，但保养得极好，看上去就像3o 岁左右 一样，而且性格外【向】，极善辞令。( z j w z 4 9 7 ) “外 和“向组合成词，交集型歧义有两种情况。一共两个例句。 ( 4 7 ) 但谭晓林被捕后，境外【向】德宏也即向中国境内贩毒的数量明显下 降。( z j w z 4 8 1 ) ( 4 8 ) 于是，他开始讲牛才子，说河南军阀刘镇华19 26 年率军围困西安 8 个月，久攻不下，从城外【向】城里挖地道，城里人都知道地道要挖进来了 ( z j w z 3 5 8 ) i fx w = “外”t h e n 木判断“向”前项是否为“外”木 i f 从w _ ( “境”i “城”) 从w ，) ( 1 r 一 从w + 】( 1 词性= ( “n ”i “n ”) t h e n a 判断“外 的前项是否为“境”，并且“外”能和前项组词宰 1 6 。向”词性= “p ” e l s e 序如果是，则“向”为介词衫 木否贝q 木 上海师范大学硕士学位论文 第二章解决含“向”词语的分词歧义 e n d i f e n d i f ) ( 1 r ，向一 x w + 向木“外”和“向”组合成词木 ( i ) 一向：一一l 向 ( 4 9 ) 他在军校这么多年，为军统培训了那么多人才，一【向】忠心耿耿， 怎么会叛变投敌呢? ” ( z j w z 5 2 6 ) “一 和“向组合成词，交集型歧义有一种情况，出现了两次。 ( 5o ) 如果遇到喜欢孩子的熟人，他会把随身携带的笔记本电脑往桌上一放， 将存在里面的去年年底喜获的“龙凤胎”两个宝贝的照片一一【向】你展示 ( z j w z 5 2 6 ) i f ) 【1 r = “一一t h e n a 判断。向”前项是否为“一”幸 i f 从w ( 。一”) 从w 。】( 1 r 一 从w + 】( 1 r 词性= ( “d ”) t h e n 木判断“外”的前项是否为“一，并且“一”能和前项组词木 “向”词性= “p ” 如果是，则“向”为介词宰 e l s e 否贝u 木 】( 1 r ，向一 ) 【1 r + 向a “一一和“向组合成词木 e n d i f e n d i f ( j ) 意向：愿意l 向、特意i 向、同意i 向、乐意j 向、有意i 向、歉意i 向、来意l 向、故意i 向 寒意i 向、此意i 向、无意l 向、动意l 向、随意l 向 ( 5 1 ) w 兄认为台方一般人士意【向】，对反攻固不感兴趣，对和谈 也表示怀疑，因此造成了拖延迟疑气氛，以此看来，台方意向，无多大变动。力 ( z j w z 3 8 9 ) “意 和“向组合成词，交集型歧义一共有1 3 种情况。 ( 5 2 ) 如果有机会，我愿意【向】巴林王室说，我们能不能将传统丢到脑后， 让孩子们快乐地生活? ”( z j w z 3 9 1 ) ( 5 3 ) 为了保护胡忠民，棉纺厂车间领导特意【向】保卫科申请，开放一个 只供运输原料车辆进出的偏门，允许胡一个人上下班时出入( z j w z 4 9 7 ) ( 5 4 ) 黄作梅同意【向l 北京反映( z j w z 4 4 0 ) ( 5 5 ) 一方面，两家公司在市场上针锋相对，你追我赶，都是拿出看家本事， 丝毫不舍糊；另一方面，在一些关键的时候，却乐意【向l 对方施以援手，助其 渡过难关 ( z j w z 3 8 0 ) ( 5 6 ) 在合同签字之时，胡铁平即“王副处长力还有意【向】房主“透露” 1 7 第二章解决含“向”词语的分词歧义 上海师范大学硕士学位论文 了一些“内部掌握的最新信息升( z j w z 3 6 4 ) ( 5 7 ) 好容易把戏演完，于是之带着满腹歉意【向】观众谢幕 ( z j w z 3 8 2 ) ( 5 8 ) 徐五婆把来意【向】她讲了，吴艳娥笑了，说：“我要是出去一晚， 老板还不得让我赔他几百块呀。”( z j w z 4 4 1 ) ( 5 9 ) 仿佛是她举止不当，破坏了邻里关系；仿佛是她闲极无聊，故意【向】 毛莹莹寻衅取闹。( z j w z 4 9 9 ) ( 6 0 ) 北风抉着刺骨的寒意【向】人袭来( z j w z 4 9 8 ) ( 6 1 ) 我将此意【向】上海时的熟人、中央文委负责同志艾思奇表达了 ( z j w z 4 6 6 ) ( 6 2 ) 他也无意【向】社会低头屈服，他一直在迫切追求着摆脱困境的出路 ( z j w z 3 8 6 ) ( 6 3 ) 因此，俄国中尉通过翻译，把话说得一板一眼，他想尽量把联军的动 意【向】这位老人表达得清清楚楚：“罗将军，你了解当前的局势吗? 骨( z j w z 4 9 1 ) ( 6 4 ) 一些国家随意【向】中国公民出售护照，他们既无意让持照人享有合 法居留权和谋职权，又无意对持照人实施管辖权，只是旨在换取外汇( z j w z 4 0 4 ) i f ) ( 1 = “意”t h e n i f 从w = a 判断“向”前项是否为“意”书 ( “愿”i “特”i “同”l “乐”l “有”i “歉”i “来”i “故”i “寒”i “此”i “无”l “动”i “随”) 从吼) 【1 r 一 从w + x w 词性= ( “v ，i “d i “v i “v i “d i “n l “n l “d l “n l “n i “v i “n i “a 一)t h e n a 判断“意”的前项是否为“愿”、“特”、“同”、“乐”、“有”、。歉”、“来”、 “故”、“寒”、“此”、。无”、。动”、“随”，并且“意”能和前项组词宰一 “向”词性= “p ”a 如果是，则“向”为介词衫 e l s e 否贝 ) ( 1 ，向一 x w + 向a “意”和“向”组合成词宰 e n d i f e n d i f ( k ) 志向：同志i 向 ( 6 5 ) “不要太多的空谈理想和志【向】，更不要太张扬。靠( z j w z 5 2 7 ) “志 和“向 组合成词。交集型歧义有一种情况。 ( 6 6 ) 19 79 年“六十一人案”得到平反，胡耀邦同志【向】他们道歉， 和他们一起吃饭( z j w z 4 4 9 ) i fx w = “志”t h e n 一 宰判断“向”前项是否为“志”奉 i f 从w _ ( “同”) 从w ，x w 一 从w + ) ( 1 r 词性= ( “n ”) t h e n 1 8 上海师范大学硕士学位论文第二章解决含“向”词语的分词歧义 木判断“志”的前项是否为“同”，并且“志”能和前项组词掌 “向”词性= “p ”乖如果是，则“向”为介词木 e l s e 木否贝u 木 瑚，向一 x w + 向木“志”和“向”组合成词木 e n d i f e n d i f 2 3 2 “向一的后项与其它成分发生的分词歧义 ( l ) 向导：向i 导师、向i 导弹 ( 6 7 ) “马夫老吴，医生小白脸( 盛政权皮肤较白) 随队出发，再在当地 找个熟悉地形的【向】导! ”( z j w z 4 7 7 ) “向和“导一组合成词，交集型歧义有两种情况。 ( 6 8 ) 对方实际上既没有考虑她该如何【向】导师解释他缺席的原因，也不 记得明天是她的生日( z j w z 5 0 0 ) ( 6 9 ) “流动的五角大楼”具有特殊防护装置的牵引式卡车车队奔驰在州际 高速公路上，驶向秘密目的地，每一辆卡车都以一名一星级将军为首，他已被授 权【向】导弹和轰炸机飞行员发布行动密码( z j w z 4 9 3 ) i f 悱“导”t h e n a 判断“向”后项是否为。导”木 i fb a w = ( “师”i “弹”) b a w ，b b w 一 b a w + b 腓词性= ( “n i “n ”) t h e n 序判断“导”的后项是否为。师”、“弹”，并且“导”和后项是否能组词木 “向”词性= “p ”a 如果是，则“向”为介词宰 e l s e木否贝0 ：i c 向，y 1 r 一 向+ y 1 ra “向”和“导”组合成词木 e n d i f f 、n d i f 向往：向l 往常 ( 7 0 ) 旗帜让人的心灵有所依托，知道自由就在附近，知道大地上同时存在 着背叛和【向】往!( z j w z 5 1 8 ) “向 和“往”组合成词，语料中出现了1 3 5 句。交集型歧义有一种情况。 ( 7 1 ) 囚车没有把他们拉【向】往常的枪毙死刑犯的刑场，而是到了一间特 别准备的房间里( z j w z 5 0 6 ) i f 僻“往”t h e na 判断。向”后项是否为“往”衫 i fb a w ；( “常”) b a w ，b b w 一 b a 霄+ b b w 词性= ( 。n ”) t h e n 1 9 第二章解决含“向”词语的分词歧义 上海师范大学硕士学位论文 木判断“往”的后项是否为“常”，并且“导”和后项是否能组词木 “向”词性= “p ”木如果是，则“向”为介词掌 e l s e 木否贝u 衫 向，y w 一 向+ y w序“向”和“往”组合成词：i c e n d i f e n d t f ( m 向来：向i 来宾、向i 来人 ( 7 2 ) 【向】来板着面孔的林志扬也开始说起笑话来，他讲的几个笑话都让 林雪笑痛了肚子。( z j w z 5 1o ) “向和“来 组合成词“向来”，一共有8 5 句，交集型歧义有两种情况。 ( 7 3 ) 那天晚上，邵公容光焕发，稳步走入礼堂登上讲台，首先【向】来宾 介绍于老，接着就朗声讲道：“新娘是我的儿媳妇( z j w z 4 2 3 ) ( 7 4 ) 家农赶紧【向】来人陪笑，说猴子不卖( z j w z 4 6 1 ) i fy w = “来”t h e n 木判断“向”后项是否为“来”木 i fb a w = ( “宾”l “人一) b a w ，b 明一 b a w + b 明词性= ( “n ”i “n ”) t h e n a 判断“来”的后项是否为“宾”、“人”，并且“来”和后项是否能组词衫 “向”词性= “p ” a 如果是，则“向”为介词木 e l s e宰否贝0 木 向，y 1 r 一 向+ y 1 r序“向”和“来”组合成词木 e n d i f e n d i f 2 3 3 组合型歧义 ( 0 ) 偏向 ( 7 5 ) 改革偏【向】于强势利益集团?( z j w z 5 2 2 ) “偏 和“向”组合成词“偏向”，但是“偏 和“向”又可以单独成词， 因此是组合型歧义。语料中组合型歧义仅出现了一句。如下： ( 7 6 ) 张宏源心想，你孙鹤云有天大本事也跳不出你的关系网吧，所以我偏 要投资缅甸，“明知山有虎，偏【向】虎山行” ( z j w z 4 7 7 ) i f ) ( 1 r ：“偏”t h e n i fy i 词性= “n ”b a i 2 0 e l s e 宰判断“向”前项是否为“偏”衫 词性= “v ”t h e n a 判断“向”的后项是否为名词， “向”词性= “， a 如果是， 并且其后有动词衫 则“向”为介词宰 车否贝木 上海师范大学硕士学位论文 第二章解决含“向”词语的分词歧义 e n d i f e n d i f x w ，向一 x w + 向a “偏”和“向”组合成词丰 我们以上主要考察的是，介词“向 与“向 作为双音节词语的一个语素时， 所产生的分词歧义现象。至于动词“向 与副词“向 、动词“向”的界定和识 别，限于篇幅，我们暂不作研究。本文只就与介词“向一的相关问题进行研究。 2 l 第三章分词的后续工作上海师范大学硕士学位论文 第三章分词的后续工作 3 1 含“向一多音节短语的考察 上文建立了含“向的双音节词词表，并对出现的各种歧义进行了分析，给 予了形式化表述。语料中，除了含“向 的双音节词语外，还出现了包括含“向” 成语在内的多音节短语。如： ( 7 7 ) 至今回忆起赵伯母这位可亲的但又脾气火爆的老人，仍然令人不胜心 【向】往之( z j w z 4 1 0 ) ( 7 8 ) 交谈中，她向毕云程吐露了无所事事的苦闷心情，说看到改革开放欣 欣【向】荣，在家坐不住了，渴望出来工作，晚年为社会奉献余热。 ( z j w z 4 0 4 ) ( 7 9 ) 面对这突如其来的打击，毛阿敏晕头转【向】。 ( z j w z 4 5 1 ) 语料中出现了成语“心向往之 ，“欣欣向荣 ，“晕头转向 这类成语，而且 出现的频率比较高。“心向往之有4 例，“欣欣向荣 有1 0 例，“晕头转向一有 1 4 例。在分词的过程中，如何处理成语这种特殊的语法单位是需要研究的问题。 北京大学计算语言学研究所2 0 0 2 年的北京大学现代汉语语料库基本加工规 范( 以下简称规范) 中提到，从字数考虑，对两个字的组合较宽地看作是一 个切分单位，三个字的较严，四个字以上的若不是成语、习惯用语一般不看作是 一个切分单位。可以看出，规范也主张把成语看成一个切分单位。究其原因， 我们认为有以下几点：第一、成语的特征决定了其分词的特殊性。成语的历史习 用性、意义整体性、结构凝固性、韵律协调性、和形式的整体性决定了它稳定、 不可分割的特点。成语“所向无前”的概念不是两个词语“所向和“无前 的 简单相加。第二、计算机处理语言的特点。如果把“所向无前切成“所向无 前”或是“所向无前”都是人为的割裂开这个结构，增加了计算机处理语言 的难度，从而导致偏误。考虑到含“向一词语的分词问题，我们结合语料，对含 “向 的成语进行了整理。同时，也发现了另外一些特殊的情况： ( 8 0 ) 绝望之余他恶【向】胆边生，举起锄头将儿子打昏在地，为防儿子醒 来后报复，他又用铁丝捆住儿子的手、脚和脖子。( z j w z 4 1 5 ) ( 8 1 ) 面对这突如其来的打击，毛阿敏晕头转【向】 ( 8 2 ) 外婆和姑姥姥们的世界令他头晕转【向】，常常使他恐惧，而外公的 世界给他提供条理和安全。( z j w z 4 6 6 ) 例( 8 0 ) “恶向胆边生 为成语“怒从心上起，恶向胆边生 的前半部分。 出自五代史平话：“朱温未听得万事俱休，才听得后，怒从心上起，恶向胆边 生。 比喻愤怒到极点就会胆大得什么事都干得出来。在此一并收录。例( 8 1 ) “晕头转向 这类成语已经收取到有关词典里，但是例( 8 2 ) “头晕转向 这类 上海师范大学硕士学位论文第三章分词的后续工作 短语没有被收录到成语词典里。“头晕转向 这类类固定短语绝大多数是四字结 构的，而且多数参照了古汉语中遗留下来的四字成语框架，具有很强的再生性。 这些短语以一个成语或多个成语为基础，根据语言发展的需要，对古汉语遗留的 成语进行改造，取其结构，将具体的词汇根据表达的需要进行了重新组合，于是 产生了新的类固定短语。我们也准备把他们一起收录，原因是这些四字格结构整 体上趋于稳定，语料中有一定的出现频率。这些词语一般不拆开使用，因为拆开 反而不利于计算机处理。 另外，考虑到语料库数据的有限性，我们又参照了刘万国等( 1 9 9 6 ) 中国 成语大词典所收的全部成语，并结合亿容在线成语词典穷尽性的整理了较 为常用的含“向的多音节短语词表，整理如下： 表3 1 ：含。向”的成语及类固定短语词表 成语例句数类固定短语例句数 向隅而泣1 向隅而立 1 心向往之 4 所向无敌 1 所向披靡 8 恶向胆边生2 欣欣向荣 1 0 人心向背 2 人心背向 2 弃恶向善1弃善向恶1 晕头转向 1 4 头晕转向 1 蒙头转向 1 不知去向2 3不知所向1 人心所向 1 矛头所向 1 民心所向 1 不可向迩反戈相向锋芒所向改恶向善向风慕义 人心归向向壁虚构向壁虚造向声背实向上一路 向火乞儿向平之愿向若而叹向天而唾向平之原 所向无前昏头转向拔刀相向背公向私鞭辟向里 东奔西向 斐然向风昏头转向靡然向风偏三向四 所向皆靡所向克捷东向而望，不见西墙 一人向隅，满座不乐怒从心上起，恶向胆边生 3 2 未登录词的处理 在语料库中我们还发现了各种人名、地名、机构名等，如“熊向晖、徐向前、 向忠发、于向东 等。我们把词典中没有登录过的人名、地名、机构名、译名、 新词语等称为未登录词。当采用匹配的方法来切词时，由于词典中没有登录这些 第三章分词的后续工作上海师范大学硕士学位论文 词，会引起自动切词的困难。一个开放的系统必须能够识别为登录词，才有可能 提高分词系统的正确率。对人名、地名、机构名、译名和新词语的识别，已经有 人做过研究，并且取得了一定的研究成果，如：郑家恒等1 9 9 9 基于语料库的 中文姓名识别方法研究：罗振声等2 0 0 1 基于统计和规则的中文姓名自动辨 识：黄德根等2 0 0 3 基于统计的中文地名识别，因此，我们就不予进行研 究，可以借鉴别人的研究成果。 3 3 中文分词步骤及流程图 中文分词的步骤： 步骤l ：输入分句，搜索“向”并显示输出候选文本。 步骤2 ：通过分词词表及其出现的频次提取选录词语。 步骤3 ：加入规则库来解决分词歧义。 步骤4 ：加入成语词库和类固定短语词库来提取含“向”多音节词语。 步骤5 ：输出含“向”的分句并介入适量的人工干预和校对。 图3 上海师范大学硕士学位论文 第四章介词短语边界的划分 第四章介词短语边界的划分 4 1 介词短语边界的概念 句法自动分析是自然语言理解的核心，是当前中文信息处理研究的重点。汉 语短语的自动识别其实就是语料库中短语的自动划分和标注，是对语料库进行深 加工的一个重要环节。通过句法自动分析，一方面，它可以为构建大规模的汉语 树库提供强有力的支持；另一方面，它也可以为语义语用处理打下基础。这对于 我们进一步进行语义分析和语用分析具有重要的意义。那么什么是介词短语的边 界? 如下： ( 1 ) 迟v 了u 几m 天n t ，w 兆洛n h s 向卫我r 说v ：w 。w 皖峰n h s 又d 躺v 在p 床上n l 了u w 1 兆洛n h s w 向p一向 我rx 说y ：w 。w 皖峰n h s 又d 蜗h 拄沁柬上 n l 了f u 阳 一x 如例1 所示，研究介词短语“向x ”的边界问题，我们面对的序列可以表示 为“w + 向+ x + y ，其中“w 一表示介词短语“向x ”的前接成分，例中 为“兆洛n h s ，x 表示介词“向的宾语，例中为“我r ，y 表示介词短语 “向x 的后续成分，例中为“说v ：床上n l 了u w 。计算机进行 识别时，介词短语“向x 的左边界不会存在问题，也就是介词“向 本身，因 此可以不用考虑w 的问题，问题的关键是右边界如何划分? 例中的右边界是“我 r 一，因此本文需要解决的是确定x 与y 之间的分界问题。 4 2 介词结构自动标注的方法 对介词结构的自动标注一般采用的是基于统计的方法和基于规则的方法。 1 基于统计的方法 周强( 1 9 9 6 ) 提出了一套统计的自动处理算法，对汉语短语进行自动划分和 标注、它分为预测划分点、括号匹配和分析树生成等三个处理阶段，利用树库 ( t r e e b a i i l 【) 中包含的句法信息进行统计排歧处理。利用算法对1 4 0 0 多句汉语句 子进行了自动短语划分和标注。 2 基于规则的方法 1 这类语料选自国家语委标注语料库，因此重新标序 第四章介词短语边界的划分 上海师范大学硕士学位论文 郁梅、张国煊、王小华( 1 9 9 5 ) 曾在基于规则的汉语短语边界划分的研究 一文中，设计了一种以谓词驱动的汉语外层短语的划分算法。他们选择动词作为 分析的突破口，即首先找出句子中可能担当述语成分的动词，然后以此为中心分 别向前和向后扫描分析句子，以划分出该动词的主语和宾语。 3 统计和规则相结合的方法 吴云芳的硕士论文现代汉语介词结构的自动标注一文中，对介词结构 的自动标注进行研究，用不完全句法分析以增进系统的鲁棒性，依据最大概率配 对原理进行介词、内相关词、外相关词匹配，最后总结了出现的八种类型错误， 据此制定了七条规则，以求更好的解决介词结构的自动标注问题。 统计的优点之一，是通过大规模的标注语料库获得的概率为正确标注提供了 较为可靠的数据。用基于统计得来的数据对介词结构进行自动标注，可期望得到 较好的结果。但语言除了具有上面所说的统计规律外，还具有语言自身的规律。 我们还可以通过分析语言事实，发现错误所在，总结归纳出特殊情况的处理规则。 将统计得来的共性规律和学习得到的个性知识相结合，再辅以语言规则，可以提 高自动标注的准确率。我们研究的方法也将利用统计方法和规则相结合，以期得 到最好的效果。 4 3 介词短语“向x 一边界问题研究的有关说明 4 3 1 语料介绍 本章所用语料均来源于国家语委标注语料库。分词规范和词性标记集均以此 为准。词性标记集共有3 1 个标记1 ( 不包括标点符号) 。所用的语料是已经经过 了分词和词性标注的熟语料。 4 3 2 介词结构的标注形式 由于是对已标注好词性的语料进行介词结构的自动标注，介词短语“向x ” 结构的左边界事实上已经确定，即为介词“向 本身。人工标注时，以文本的行 ( 即准子句) 为单位进行，然后在相应的词形左端标注起始符“【”，在右边界标 注终止符“1 。 4 3 3 相关概念 1 标记类：n 名词：m 时间