自然语言处理导论课件

一些语言现象:“差点儿摔了一跤”与“差点儿没摔一跤”“差点儿考上大学”与“差点儿没考上大学”语言学理论具有解释性可以为自然语言处理提供规则。绪论语言学理论具有层次性我们观察下面的一个多项定语的例子：（1）国家、集体和个人的利益（2）北京大学中文系三年级的小张同学尽管这两个例子的句法层次并不相同，但是都可以很明确地总结出一条规则来：汉语定语的顺序总是按外延从大到小的排列。如果仅仅总结到这一步，这个理论虽然有用，但并没有上升到更为普遍的规则上去。陆丙甫（1993：94-7）提出定语顺序“从外到内”排列的理论。近年来他将其发展为“可别度领前原理”“大块前移原理”并将它们和以往的“语义靠近原理”结合起来解释世界语言的普遍倾向。请看下面的例子：

汉语：国家、集体和个人的利益相应英语的顺序是：利益个人集体国家（theadvantagesofindividual,collectivityandcountry）相应泰国语的顺序是：ผลประโยชน์

ของส่วนบุคคล

และหมู่คณะ利益

的

个人

、集体

和

国家表面看起来，汉语的顺序和英语、泰语正好相反，并且形成镜像。而实际上，他们都遵守一个共同的规律，那就是越靠近核心的成分越小、越反映核心的本质特征（语义靠近原理）。

更高层次上的语言学理论应该能够寻求不同语言现象背后所蕴含的更为深刻的共性和一致性。在千差万别的世界背后建立统一的解释模型。

对于我们从事自然语言处理的人来说，多学习些语言学相关理论就能掌握些语言规律，从而是计算机利用相应的规则去分析和生成语言。第一讲：中文词法分析理论与应用大纲：1.字符和词2.文本分词遇到的问题3.文本分词的方法1.字符和词基本概念的了解：字符(Character)(人类语言最小的表义符号)、字、语素（语音与语义结合的最小语言单位）、词（最小的能够独立运用的语言单位）一些例子：B,D\,好，扑克，葡，萄，妖，伶俐，扑克，牛肉，猫头鹰肉，布尔斯维克，人，家，啤酒关于汉语中词的一些问题：是否一个汉字表示的就是一个词？一个词是不是就是一个语素？人们眼中的词应该是什么样？语法学定义：能够独立运用的最小的音义结合体

词表定义：枚举“词型”（type）

语料库定义：枚举“词例”（token）参考：黄昌宁、赵海，2007，中文分词十年回顾，《中文信息学报》2007年第3期，8-19页。

待分词文本示例分词首先要把字符串切分成词串学生人数多又能保证质量的才是好学校。字符串学生\人数\多\又\能\保证\质量\的\才\是\好\学校。词串关于中文分词的形式化定义，可参看马晏，1991，基于评价的汉语自动分词系统的研究与实现，载黄昌宁、夏莹编《语言信息处理专论》，清华大学出版社1996年版将字符串转换到词串的意义文本分词是各个层次的自然语言处理任务的基础1.简繁转换

AutomaticConversionbetweentraditionalandsimplifiedChinese

2.文语转换Text-to-speech

3.文本校对ChineseTextCorrection

4.文本检索Informationretrieval

5.词频统计、句法分析、机器翻译、……简繁转换示例：

每个战斗单位只有一斗米

每個戰鬥單位只有一斗米明成皇后，她是一个世纪前北韩王朝的最后一位皇后。

明成皇后，她是一個世紀前北韓王朝的最後一位皇后。负离子陶瓷烫发机，内置负离子发射器。

負離子陶瓷燙髮機，內置負離子發射器。

文语转换示例：(1)为达到赢球的目的，一定要注意比赛时的情绪调动与心理调节

···(2)

他们村有三百多人种树

·

2文本分词面对的问题1.分词歧义

2.未登录词识别2.1文本分词中的歧义交集型歧义组合型歧义混合型歧义是指形为ABC的汉字串既可以切分分成AB/C,又可切分成A/BC是指形为AB的汉字串既可切分成AB,又可切分成A/B交集型歧义的链长交集型歧义字段中含有交集字段的个数，称为链长。链长为1：离合成

链长为2：结合成分

链长为3：为人民工作

链长为4：中国产品质量

链长为5：鞭炮声响彻夜空

链长为6：努力学习语法规则

链长为7：中国企业主要求解决

链长为8：治理解放大道路面积水

……真实文本中分词歧义的分布情况真歧义

确实能在真实语料中发现多种切分形式

比如“应用于”、“地面积”、“解除了”

伪歧义

虽然有多种切分可能性，但在真实语料中往往取其

中一种切分形式

比如“挨批评”、“市政府”、“太平淡”实际真伪歧义分布刘开瑛，2000，《中文文本自动分词和标注》，商务印书馆，66-67页。实际真伪歧义分布在一个1亿字真实汉语语料库中抽取出的前4,619个高频交集型歧义切分覆盖了该语料库中全部交集型歧义切分的59.20%，其中4279个属伪歧义，占92.63%，如“充分发挥”、“情不自禁地”，这部分伪歧义类型的实例对语料的覆盖率高达53.35%。

（孙茂松等，1999，《高频最大交集型歧义切分字段在汉语自动分词中的作用》，载《中文信息学报》1999年第1期。）分词歧义的四个层级（语料规模：50883字）

词法歧义：84.1%（“用方块图形式加以描述”）

句法歧义：10.8%（“他一阵风似的跑了”）

语义歧义：3.4%（“学生会写文章”）

语用歧义：1.7%（“美国会采取措施制裁伊拉克”）2.2未登录词识别未登录词的策略1)尽可能多地收集词汇，以降低碰到未登录词的机会；2)通过构词规则和上下文特征规则来识别；“雪村先生创作了很多歌曲”3)通过统计的方法来猜测经过一般的分词过程后剩下的“连续单字词碎片”是人名、地名等的可能性，从而识别出未登录词。4)分而治之：对不同类的未登录词采用不同的办法识别不同类别未登录词识别难度的差异较成熟

中国人名、译名中国地名较困难

商标字号机构名很困难

专业术语缩略语【王厚峰汉语缩略语自动处理研究现状，中文信息学报，11年（5）】新词语中国人名的内部构成规律1在汉语的未定义词中，中国人名是规律性最强，也是最

容易识别的一类；

中国人名一般由以下部分组合而成：

姓：张、王、李、刘、诸葛、西门、范徐丽泰

名：李素丽，张华平，王杰、诸葛亮

前缀：老王，小李

后缀：王老，赵总

中国人名各组成部分用字比较有规律中国人名的内部构成规律2根据统计,汉语姓氏大约有1000多个,

姓氏中使用频度最高的是“王”姓;

“王,陈,李,张,刘”等5个大姓覆盖率达32%;

姓氏频度表中的前14个高频度的姓氏覆盖率为50%;

前400个姓氏覆盖率达99%。

人名的用字也比较集中。

频度最高的前6个字覆盖率达10.35%;

前10个字的覆盖率达14.936%;

前15个字的覆盖率达19.695%;

前400个字的覆盖率达90%。中国人名的内部构成规律3中国人名内部各组成部分的组合规律

姓＋名

姓

名

前缀＋姓

姓＋后缀

姓＋姓＋名（海外已婚妇女）

中国人名的上下文构成规律中国人名识别的难点机构名的内部构成规律机构名一般都是定中结构（如：教育部语信司）

机构名的后缀一般比较集中，识别相对容易

机构名左边界识别非常困难

机构名中含有大量的人名、地名、企业字号等

专有名称。在这些专有名称中，地名所占的比

例最大，其中未登录地名又占了相当一部分的

比例。所以机构名识别应在人名、地名等其他

专名识别之后进行，其他专名识别的正确率对

机构名识别正确率有较大影响机构名识别的难点中文机构名用词非常广泛。通过对人民日报1998年1月中的10817个机构名所含的19986个

词进行统计，共计27种词，其中名词最多

（9941个），地名其次（5023个），以下依次

为简称（1169个）、专有名词（1125个）、动

词（848个）以及机构名（714个）等

机构名长度极其不固定机构名很不稳定。随着社会发展，新机构不断

涌现，旧机构不断被淘汰、改组或更名缩略语内部构成规律(1)人名缩略语:如果一个姓后面跟了一个职

头衔,则认为此字符序列为一个人名缩略语。例：左/校长(2)地名缩略语:如果两个地名缩写(有一个名缩写表用来识别地名缩写)连续出现,则认为此字符序列在总体上也是一个地名缩写。例如,“中/日/关系”中的/中/日。（3）机构名缩略语:如果机构名缩写(有一个机构名缩写表用来识别机构名缩写)后面跟了一个地名,然后又跟了一个机构名关键词,则认为这三个部分在总体上形成了一个机构名缩略语。例如,/中共/北京/市委。缩略语处理的困难1.一词多义现象比较多，两者之间并不总是一对一的关系例：“人大”可以是/人民代表大会,也可以是/中国人民大学再如：CIA除了表示美国中央情报局(Central

IntelligenceAgency)以外,还可以表示很多其他的

完整形式,2010年8月初通过英语缩略语网站ht-

tp://查询缩略语/CIA,结果

返回了110个完整形式。2.同一个事物缩略形式可能不同。如：“清华大学”,在大陆缩略成“清华”,而在台湾缩略成“清大”一些术语NLP(NaturalLanguageProcessing)（NonlinearProgramming非线性规划）WordSegmentation分词WordTokenizationWordStemming/Lemmatization

Tokenization：把字符串变为词串

I’mastudent->I’mastudent

Lemmatization：对词进行内部结构和形式分析

took->take+ed(pasttense)3.文本分词的方法参考文献：汉语自动分词方法殷建平《计算机工程与科学》1998,3黄昌宁、赵海，中文分词十年回顾，《中文信息学报》2007，3机械匹配法基本思想：事先建立一词库,其中包含所有可能出现的词。对给定的待分词的汉字串S,按照某种确定的原则切取S的子串,若该子串与词库中的某词条相匹配,则该子串是词,继续分割剩余的部分,直到剩余部分为空;否则,该子串不是词,转上重新切取S的子串进行匹配。问题：词库如何建立？如何评价词库的好坏。

机械匹配法包括：1.最大匹配法（根据切取字串的方向：正向/逆向）2.最短路径分词法机械匹配法最大匹配法正向匹配逆向匹配最短路径法最大匹配法长词优先原则FMM（正向最大匹配）实例：输入：

S1="计算语言学课程是三个课时"输出：S2=""设定最大词长MaxLen=5正向最大匹配法存在的问题1.无法发现组合型歧义，如：事情/学生会/处理的2.面对交集型歧义时，有时无法正确划分，如爱人/民/英雄/解决办法：1.可以利用“回溯法”，通过查词典知道“民”不在词典中，于是进行回溯，将“爱人”的尾字“人”取出与后面的“民”组成“人民”，再查词典，看“爱”，“人民”是否在词典中，如果在，就将分词结果调整为：“爱/人民/英雄/”2.建立歧义词表，例如：“爱人民”统一处理为“爱/人民”逆向最大匹配法（BMM）例如：有意见分歧爱人民英雄BMM:有/意见/分歧/

爱/人民/英雄/实验表明：逆向最大匹配法的正确率略高于正向匹配法最大匹配法缺点无论是正向还是逆向，有时还是无法发现分词歧义。FMM&BMM原子/结合/成分/子时/最短路径分词法基本思想：在词图上选择一条词数最少的路径，路径最短意味着切分后词的数量最少。优点：好于单向的最大匹配方法最大匹配：独立自主和平等互利的原则(6words)最短路径：独立自主和平等互利的原则(5words)

缺点：同样无法解决大部分交集型歧义结合成分子时他说的确实在理（都是最短路径）

他说的确实在理

他说的确实在理特征词库法基本思想是:事先建立一个特征词库,其中包含各种具有切分特征的词。对给定的待分词的汉字串S,首先根据特征词库将S分割成若干个较短的子串,然后对每个子串分别采用机械匹配法进行切分。实际上这是一种“分而治之”的办法。实例：老师们今天对学生讲了解二次方程的方法。语法分析法基本思想：事先建立一套汉语语法规则,其中的规则不但给出某成份的结构(即它由哪些子成份构成),而且还给出它的子成份之间必须满足的约束条件。

另外,事先还要建立一个词库,其中包含所有可能出现的词和它们的各种可能的词类。对给定的待分词的汉语句子S,按照某种确定的原则切取S的子串,若该子串与词库中的某词条相匹配,则从词库中取出该词的所有词类,然后根据语法规则进行语法分析(包括语法分析树的构造和约束条件的检查,这时不但要使用该词的所有词类,而且还要使用前面已分析部分的结果)。若分析正确,则该子串是词,记下语法分析的结果作为后继切分的基础,继续分割剩余的部分,直到剩余部分为空;否则,该子串不是词,转上重新切取S的子串进行匹配。“他在计算机房基建投资”机械匹配法：他/在/计算机/房/基建/投资他/在/计算/机房/基建/投资语法分析,就不难发现前者不合汉语语法,后者符合汉语语法。所以应以后者作为切分结果。最大概率法分词分词方法的演进最大匹配（正向、逆向、双向）局部改进（回溯、歧义词表）最优路径（节点最少、概率最大）1.判断词性的标准1.1词性（词类）的划分为什么要进行词类划分？比如：金银铜铁锡是一家子吗？（1）给他一块金给他一块金子（2）给他一块银给他一块银子（3）给他一块铜给他一块铜子（4）给他一块铁给他一块铁子（5）给他一块锡给他一块锡子词类判定标准意义物、动作行为、性质状态、数量形式很+，第+，+（着、了、过），“A没A”功能充当或不能充当一些句法成分代词是个例外代词的立类，具有特殊性，根据的是其“游移泛代性”，不同的代词，可以分别起到名词、动词、形容词、数词、量词和副词的作用。比如，“这么、那么”是作用上相当于副词的指示代词，但词典上不宜标注为副词。再如：他什么都好，就是没有钱。1.2现代汉语的词类系统常见词类的判别碰到一个能受体词性数量词的修饰、不能受副词修饰的词，可以断定为名词；碰到一个能带宾语的词，可以断定为动词；碰到一个能受程度副词的修饰但不能带宾语的词，可以断定为形容词；碰到一个表示数字的词和后边出现一个表示记数单位的词，可以断定为数词和量词；碰到一个只具有修饰动词或形容词的功能的词，可以断定为副词。这些带规律性的特征尽管并非绝对化地普遍适用，但基本上是可以成为标准的。2.汉语词类划分的方法1.入句法（入句显类）2.排他法3.类比法4.构式法讨论“各”的词性？各人回各人的家三种办法各有优点邢福义，词典的词类标注：“各”字词性辨，《语言研究》，2013（1）词类的典型成员和非典型成员词类划分无法做到严格的集合划分的要求：对内一致性，对外排他性A.电脑风衣风水文笔战争看法B.般配一样矮小安全耐烦方便A组中不大典型的名词是____________B组中不大典型的形容词是___________词性自动标注的方法对于单性词，即非兼类词的词性标注比较简单，计算机只需根据电子词典进行机械配对即可。词性标注最大的难点，也是词性标注技术研究的重点，是对兼类词的处理。词性标注精细度不一汉语中兼类词的比例兼类词在实际语料中分布示例兼类词的判定1.语义应该不同语义完全相同的一个词，不得分成两个语法类。比如，“漂亮的办法”和“漂亮地完成了任务”中的“漂亮”语义未变，都是形容词，不能分别判定为形容词和副词。2.语法功能应该不同语法学是一门科学。（名）这种工作方法很不科学。（形）兼类词的自动标注一、基于规则的方法核心思想：计算机根据具体的上下文结构框架，套用语言学家总结的语言学规律来判定兼类词词性。例：研究理论VS理论研究二、基于统计的方法核心思想：先制定词性标志集，选取部分自然语料进行人工词性标注，再利用统计理论进行运算得出统计规律，然后依据统计规律建立统计模型，机器根据统计模型进行词性标注。与基于规则方法的最大的区别在于：在规则的方法中计算机依据的是人工制定的语言学规则，而在统计的方法中计算机是依据大量自然语料的统计数据自行生成规则三、两者结合词性标注问题：寻找最优路径词性频度表小结语法学界对汉语词类的认识还有不够清晰的地方。汉语词类的划分标准，词类数量的多寡，词类之间的关系，等等，都还存在争议。而且词类成员还存在交叉关系，包括典型成员和非典型成员。1.句子的判定和类型什么样的词语组合才是句子？一个句子之所以成为句子的判定标准有哪些？句子类型有哪些？红豆生南国，春来发几枝？愿君多采撷，此物最相思！为什么需要进行句法分析例句：这份报告我写不好.计算机通过词库分词：这份报告我写不好计算机进行词性标注：rqnrvda2.句法结构分析相关理论一些常用的句法分析思路与方法思路：1.分析句法结构内部的构造特点2.观察句法结构间的联系方法：1、中心词分析法2、层次分析法3、变换分析法一、中心词分析法（成分分析法）

1．中心词分析法的内涵2．中心词分析法图解方法⑴

划线分析法

比较通用的符号是：主语＝谓语—兼语~~~宾语~~~补语<>

定语()状语[]

（淘气的）弟弟[已经]做<完>了(今天的)作业

~~~⑵关系式图解法有关句法成分的问题我把他给打了。他被我打了一顿。我把钢笔弄坏了。这个问题我不知道。这场火，幸亏消防员来的及时。中心词分析法的作用及局限中心词分析法的优点是：

⑴方法简便，易于操作。

⑵有利于归纳句型。

⑶有利于修改病句。如：

三年当中，这个县的粮食总产量，以平均每年递增百分之二十的速度，大踏步地向前发展。

中心词分析法的局限：

⑴只适用于句法，不适用于词法，即不能用来分析合成词的内部构造。如：图书馆

⑵只适用于对单句的分析，不适用于对复句的分析。⑶即使是对单句的分析，也有很大的局限性。A、中心词分析法认为主语、谓语是句子的主干，但汉语中有相当多的句子，“主干”离开了“枝叶”就站不起来。如：

他从小贪图安逸。（*他贪图）

他的想法都合乎事实。（*想法合乎）

封建思想必须清除。（*思想清除）

合格产品占百分之九十。（*产品占）B、有的句子“主干”虽成立，但并不表示句子的基本意思，甚至表示跟原意相反的意思。如：

我弟弟不喜欢京剧。（≠弟弟喜欢）他死了爷爷。（≠他死）北京队大败天津队。（≠北京队败）你可便宜他了。（≠你便宜）无原则的团结对革命事业有害。（≠团结有害）

C、再有，一般句子也很难完全按中心词分析法所构想的句子结构模式去理解。如：

张老师讲得很生动。张老师给我们讲故事。张老师早讲完了。张老师讲累了。张老师讲了二十分钟注意事项。张老师讲清楚了。⑷

忽视句法构造的层次性。这张照片放大了一点儿。A、原来的太小了，现在放大了一点儿，合适了。（我上次来觉得这张照片放在这里显得挺小气的，怎么现在看起来顺眼了？——这张照片放大了一点儿。）B、放得比预定尺寸大了。（我是按尺寸定做的镜框，怎么装不进去了呢？——这张照片放大了一点儿。）按A：（这张照片）放大了/一点儿（“一点儿”是宾语）按B：（这张照片）放/大了一点儿（“大了一点儿”是补语）二、层次分析法（一）层次分析法的由来与内涵层次分析法，是由美国描写语言学方法借鉴而来。层次分析，美国描写语言学称之为直接成分分析（ImmediateConstituentAnalysis分析）简称IC分析法。最早是由美国描写语言学家布龙菲尔德（L·Bloomfield1887-1949）提出来的。代表作《语言论》

美国描写语言学运用层次分析，只讲切分，不讲定性,即只要求指明每一层面上的直接组成成分即可；汉语中运用层次分析则不但讲切分，还要讲定性，要指明直接组成成分之间的语法关系，因为：在印欧语里，词类与句法成分基本是一一对应的，标明一个句法结构的直接组成成分的词性，也就间接地表明了它们之间的句法关系。如：

NP+VP=主语—谓语

VP+NP=述语—宾语而汉语词类和句法成分之间的关系是错综复杂的。

词类与句子成分对应情况

汉语中，一个句子成分可以由多种词类来充当，所以光标明一个句法结构的直接组成成分的词性，并不能表明它们之间的句法关系。例如：

NP+VP：哥哥学习（主谓关系）农村调查（定中关系）

VP+NP：吃苹果、学习文化（述宾关系）驾驶技术、比赛场地（定中关系）对汉语来说，光是分出层次，远远不足以说明某一语言片断的特征。因此，汉语语法分析中运用层次分析不仅要讲切分，还必须讲定性，把层次和关系都标出来，一个语言片断的面貌才清楚了。（二）层次分析法的图解方法1．组合层次图解法（从小到大）提高分析问题和解决问题的能力

2．分析层次图解法（从大到小）提高分析问题和解决问题的能力5个结构体，4个层次（三）层次分析法切分的原则衡量层次分析是否正确有三道关卡1．结构原则。按结构原则切分开来的每一个成分都必须成为一个独立的结构体。如果不成立，那这个切分就是错误的。如：

一个可爱的小/男孩

小王很/高××2.功能原则。切分后的结构单位按照汉语语法的规律应该可以重新组合起来，否则就是错误的。例如：不/少年不少/年

3.意义原则A、切分出来的IC都必须有意义。如：我才来小河潺潺的流水B、切分出来的IC在意义上必须符合语言习惯，不能相悖。

如：一位小偷的辩护律师C、切分出来的IC在意义上的搭配必须等于该组合的原意如：咬死了猎人的狗打死了小王的猫

（四）层次分析法的作用与局限作用：1．适用面广，从音节、词组、单句、复句乃至篇章，一以贯之，都可以用。2．能更好地分化歧义句式。比如：安排好工作

3．能帮助我们去发现许多新的语法现象，揭示新的语法规则，引导我们将语法研究引向深入。

这种错误避免（可以）一场无谓的争吵避免（了）我避免（跟他接触）他们避免（了一场事故）你们避免（在工作中要）（主观、片面性）局限：层次分析只能揭示构造层次和显性的语法关系（语法结构关系），不能揭示句法结构内部隐性的语法关系（语义结构关系），如：又如：县里来了一位胸外科大夫层次分析无法划分歧义，这就要求我们去探求新的分析手段——变换分析。变换分析法变换分析法是指按照一定的语法规则把一种结构的短语或句子变为另一种结构的分析方法。为什么要变换？⑴台上坐着主席团。⑵台上演着梆子戏。⑶山上架着炮。从格式上看，都是：NPL+V+着＋NP，运用层次分析，所得结构相同。利用变换分析这几个句子差别就显现出来了。⑴台上坐着主席团⑵台上演着梆子戏⑶山上架着炮主席团坐在台上*梆子戏演在台上炮架在山上*台上正在坐主席团台上正在演梆子戏山上正在架炮什么是变换（transformation）1.从深层结构到表层结构的转换。2.不同句式的变换变换规则有移位、添加、替换、删除和分合等1、移位：三个人吃一锅饭→一锅饭吃三个人2、添加：写信→写（一封）信

3、替换：他说汉语说得好→他的汉语说得好4、删除：他写的信→他写信5、分合：我和小张是湖北人→我是湖北人，小张是湖北人实际的变换大都是以上各种方法的综合运用。变换分析法的客观依据和基本精神（一）变换分析法的客观依据1．语言中存在大量的同义句式。例如：弟弟打破了我的玻璃杯。a．弟弟打破了我的玻璃杯。b．弟弟把我的玻璃杯打破了。c．我的玻璃杯被弟弟打破了。d．我的玻璃杯给弟弟打破了。e．我的玻璃杯弟弟打破了。2.语言中存在着大量的同形格式。省略可以形成同形格式。例如：反对的是他张三反对的人是他[受事]。张三反对的是他[受事]。反对的是他[受事]。反对分配方案的人是他[施事]。反对分配方案的是他[施事]。反对的是他[施事]。结构和意义的不平衡性产生同形格式。例如：VP+去既可以表示：（甲）“VP是动作者位移的方式”，如：“骑自行车去”、“走着去”。（乙）“VP是动作者位移的目的性行为”，如：“买菜去”、“看电影去”。乘火车去既可以表示（甲）的意思，用来回答“怎么去？”也可以表示（乙）的意思，用来回答“干吗去？”３.同义句式之间存在着一定的联系。同义句式之间具有相同的语义结构和语义内容。如上文中a、b、c、d、e这五个句子:a．弟弟打破了我的玻璃杯。b．弟弟把我的玻璃杯打破了。c．我的玻璃杯被弟弟打破了。d．我的玻璃杯给弟弟打破了。e．我的玻璃杯弟弟打破了。尽管格式不一样，但它们内部词语之间的语义结构关系都是相同的。正由于这样，包含相同语义结构关系的不同句法结构之间总是存在着某种内在的联系。变换分析正是利用这内在的结构联系来揭示歧义格式各自所联系的同义格式，以达到分化歧义句法格式的目的。层次分析法通过细致分析一个句子的构造层次和内部的句法结构关系来认识所分析句子的特点；变换分析法通过分析了解所分析句子的结构跟他种句子结构之间的不同联系来深入认识所分析的句子的特点。（二）变换分析法的基本精神变换是指句式的变换不是指某个具体句子的变换，因此作为一个合法的变换一定要形成一个变换矩阵：模型矩阵⇒变换式矩阵

set(A)=>set(B)S1=>s1‘S2=>s2‘S3=>s3‘

……

……原式=>

变换式小王吃完了馒头=>小王把馒头吃完了小李看完书=>小李把书看完了小张卖完了菜=>小张把菜卖完了王华洗完了衣服=>王华把衣服洗完了……=>……再来看一下开始的那个例句：县里来了一位胸外科大夫[A]县里来了一位胸外科大夫

===>[C]从县里来了一位胸外科大夫[B]县里来了一位胸外科大夫

===>[D]有一位胸外科大夫来到了县里

严格说来，[A]变换为[C]，[B]变换为[D]，都是属于句式的变换。变换是指句式的变换，而不是指具体某个句子的变换。

[A]NPL+VP+NPQ[NPL理解为起点]

[B]NPL+VP+NPQ[NPL理解为到达点]

[C]从+NPL+VP+NPQ

[D]有+NPQ+VP+到+NPL

[A]、[B]、[C]、[D]都分别代表一种句式，其中[A]和[B]是语法意义不同的同形句式。每一种句式都可以举出许多实例，因此实际的变换分别形成不同的变换矩阵。所谓[A]变换为[C]实际的变换情况是[A]式变换为[C]式，请看：

NPL+VP+NPQ=>从

+NPL+VP+NPQ

[A]

=>

[C]前面走来一个老太太=>从前面走来一个老太太草丛里跳出一只蛐蛐儿=>从草丛里跳出一只蛐蛐儿水底下蹿出一条小白鱼=>从水底下蹿出一条小白鱼窗户口探出一个小脑袋=>从窗户口探出一个小脑袋

……=>

……[B]变换为[D]实际的变换情况是[B]式变换为[D]式，请看：

NPL+VP+NPQ=>有+NPQ+VP+到+NPL

[B]

=>

[D]咱村里调来了一位女干部=>有一位女干部调到咱村里屋里飞来几只苍蝇=>有几只苍蝇飞到屋里小张那里送去了两袋面粉=>有两袋面粉送到小张那里他们村来了一位首长=>有一位首长来到他们村

……=>

……变换分析法的基本原则1、平行性原则先看下面的例子：

AB黑板上写着字===>字写在黑板上手绢上绣着花===>花绣在手绢上桌子上放着书===>书放在桌子上

…………从竖行看，A、B的句例在句法结构上分别都是NPL＋V＋着＋NP、NP＋V＋在＋NPL第一、A行的语法意义表示“某处以何种方式存在某物”，B行的语法意义是“通过动作，事物存在于某处”。这种意义称为“高层次语义”。第二、A变换为B后，A中的句例与变换后B中句例比较起来，意义上会有某种差别，但这种差别A、B中相应的句例是相同的。第三、A变为B后，句中各成分之间的语义关系没有发生变化。比如：NPL＋V＋着＋NP和NP＋V＋在＋NPL中，NP始终是“受事”，V始终是动作或存在的方式，NPL始终是NP存在的处所。这种意义称为“低层次语义”。这样，在变换矩阵中，不论是竖行的句例、横行的句例，还是变换前后的句例都保持着一种平行性，由此形成一个整齐而平行的变换矩阵。变换分析中的平行性原则可以表述如下：（1）变换以前，竖行的句子在形式上和高层次语义关系一致。（2）变换以后，竖行的句子在形式上和高层次语义关系上一致。（3）所有横行左右两侧的句子在高层次语义关系上的差别一致。（4）每一横行左右两侧的句子在低层次的语义关系上一致。只有遵守平行性原则的变换才是正确的变换。例如：（1）病人在床上躺着=>病人躺在床上（2）衣服在外头晾着=>衣服晾在外头（3）画儿在墙上挂着=>画儿挂在墙上（4）水在沟里流着=>水流在沟里例（4）与前面3个变换不同，高层次语义与前三个不同，不是同一个变换。再看下面的两个变换：（5）我借给你一只笔使=>我借一支笔给你使（6）我借给你一支笔写=>我借一支笔给你写例（5）（6）低层次语义不同，不是同一个变换，算两个不同的变换。平行性原则可以鉴定不同的句法结构：在黑板上写字在池子里养鱼在食堂里吃饭在汽车上看书在黑板上写字=>把在写在黑板上在池子里养鱼=>把鱼养在池子里在食堂里吃饭=>＊把饭吃在食堂里在汽车上看书=>＊把书看在汽车上2、约束性原则变换会受到句法、语义、语用和音节的限制。他把文章改好了==>他改好了文章他把文章改通顺了==>*他改通顺了文章他累弯了腰==>*他累弯曲了腰他关严了门==>*他关严实了门小红哭哑了嗓子==>*小红哭嘶哑了嗓子张三打碎了杯子==>*张三打粉碎了杯子上述例句不能变换是受到了音节的限制。拿了那本书===>把那本书拿来了拿来了一本书===>*把一本书拿来了走来了一个人===>*一个人走来了上述例句不能变换受到的句法、语义的制约。变换分析法的作用1、给句法结构定性现代汉语中的“v+数量”结构有如下三种：

ABC

买一本洗一次看一天吃一碗敲一下干一年写一篇说一遍站一小时买一本===>买了/过一本吃一碗===>吃了/过一碗写一篇===>写了/过一篇洗一次===>洗了/过一次敲一下===>敲了/过一下说一遍===>说了/过一遍看一天===>看了/过一天干一年===>干了/过一年站一小时===>站了/过一小时买一本===>一本也没有买吃一碗===>一碗也没有吃写一篇===>一篇也没有写洗一次===>一次也没有洗敲一下===>一下也没有敲说一遍===>一遍也没有说看一天===>一天也没有看干一年===>一年也没有干站一小时===>一小时也没有干再如：台上坐着主席团现代汉语句子的主语有两个典型特性：一是可以用“是不是”提问；一是可以出现在连词之前。小王吃着苹果=>小王是不是吃着苹果台上坐着主席团=>台上是不是坐着主席团小王吃着苹果=>小王如果吃着苹果，……台上坐着主席团=>台上如果坐着主席团，……

台上坐着主席团=>台上是不是坐着主席团满满地坐着主席团=>*满满地是不是坐着主席团台上坐着主席团=>台上如果坐着主席团，……满满地坐着主席团=>*满满地如果坐着主席团，……2、更有效地分化歧义句式。例如：山上架着炮这个语言单位有以下两个意思：（ａ）山上正在架炮（动态）（ｂ）山上有炮（静态）层次切分是相同的，这个例句对应着下面两个格式：

（1）戏台上放着鲜花。

（2）戏台上演着京戏。

例（1）表示存在，表静态，（A）义；例（2）表示活动，表动态，（B）义。两句的差异由句法结构内部实词与实词之间不同的语义结构关系造成的。例（1）里作为NPL的“戏台上”是指明NP“鲜花”存在的处所；例（2）里作为NPL的“戏台上”是指明“V＋NP”“演着京戏”这一活动进行的场所。假设表示（A）义的“NPL＋V＋着＋NP”为[A]式；表示（B）义的“NPL＋V＋着＋NP”为[B]式。[A]式可以跟“NP＋V＋在＋NPL”句式（假设为[C]式）相联系，即[A]式可以变换为[C]式。NPL＋V＋着＋NP=>NP＋V＋在＋NPL[A]====>[C]

黑板上写着字

====>字写在黑板上大门上贴着对联

====>对联贴在大门上墙上挂着画

====>画挂在墙上左胸上别着校徽

====>校徽别在左胸上门口站着人

====>人站在门口床上躺着病人

====>病人躺在床上戏台上放着鲜花

====>鲜花放在戏台上

山上架着炮====>炮架在山上[B]式跟“NPL＋正在＋V＋NP”[D]式发生联系，[B]式可以变换为[D]式。NPL＋V＋着＋NP=>NPL＋正在＋V＋NP[B]

====>

[D]

戏台上演着京戏

====>戏台上正在演京戏门外敲着锣鼓

====>门外正在敲锣鼓外面下着大雨

====>外面正在下大雨大厅里跳着舞

====>大厅里正在跳舞教室里上着课

====>教室里正在上课炉子上熬着粥

====>炉子上正在熬粥山上架着炮====>山上正在架着炮

3、变换分析有助于将语法研究引向深入。（1）我和王老师是教员。（2）我和王老师是同乡。抽象形式：NP1+和+NP2+是+NP3”内部构造层次和结构关系也相同。从变换的角度看，二者是不同的。假设例（1）的“NP1+和+NP2+是+NP3”为[A]式；例（2）的“NP1+和+NP2+是+NP3”为[B]式。NP1+和+NP2+是+NP3=>NP1+是+NP3，NP2+是+NP3[A]=>[C]我和王老师是教员

=>我是教员，王老师是教员张三和李四是上海人

=>张三是上海人，李四是上海人大葱和生姜是调料=>大葱是调料，生姜是调料约翰和贝利是英国人=>约翰是英国人，贝利是英国人纸张和笔砚是文具=>纸张是文具，笔砚是文具

NP1+和+NP2+是+NP3=>*NP1+是+NP3，NP2+是+NP3[B][C]我和王老师是同乡=>*我是同乡，王老师是同乡小红和小玲是亲姐妹=>*小红是亲姐妹，小玲是亲姐妹李瑞和杨民是夫妻=>*李瑞是夫妻，杨民是夫妻老王和老萧是老战友=>*老王是老战友，老萧是老战友

这种变换的区别，启迪我们认识到：“NP1+和+NP2”如果在“是”字句中作主语，有时以表示两种语法意义：一种是表示“加而不合”的关系，如例（1）一种是表示“加而且合”的关系，如例（2）区别取决于充任“是”的宾语的名词的性质：凡属于亲属或师友称谓的集合名词，“NP1+和+NP2”表示“加而且合”的关系；属于一般非集合名词，则“NP1+和+NP2”表示“加而不合”的关系。

从句子成分分析法到层次分析法，从层次分析法到变换分析法，这不是简单的代替，而是发展，是研究的深化我们运用句子成分分析法就行了，有时得用层次分析法，而有时句子成分分析法或层次分析法解决不了问题，那就还需要运用变换分析法。因此，决不能认为有了变换分析法就可以抛弃或废除句子成分分析法或层次分析法。变换分析法很好，但也不要认为这是万能的分析法，不要认为它能解决一切语法问题。比如，变换分析法能够分化歧义句式，但不能解释造成歧义的原因。随着语法研究的深入与发展，还将会不断创建新的分析手段。

下列短语的结构是否相同？试用变换分析法进行说明。一碗饭、一口袋面、一筐菠菜、一坛子酒一杯茶、一池子水、一桶水、一桶汽油、一瓶醋、一盆洗澡水、一盘儿点心、一腿泥、一桌子土、一院子树叶、一脸麻子、一肚子学问、一身雪、一头白发、一鼻子灰、一嘴粗话、一床被子、一屋子书、一铁锨泥、一架子报纸2、用变换分析法分化下面的歧义句连我也不认识了。他在桌子上写字。a．弟弟打破了我的玻璃杯。b．弟弟把我的玻璃杯打破了。c．我的玻璃杯被弟弟打破了。d．我的玻璃杯给弟弟打破了。e．我的玻璃杯弟弟打破了。自动句法分析1.乔姆斯基范式（ChomskyNormalForm，CNF）2.自顶向下（top-down）

3.自底向上（bottom-up）乔姆斯基（Chomsky）与转化生成语法（TransformationalGenerativeGrammar）1928年12月7日出生于美国宾夕法尼亚州的费城。1947年，在哈里斯（Harris）的影响下他开始研究语言学。1955年写出他最有名的著作《句法结构》(SyntacticStructures)。转化生成语法学的创始人，被《纽约时报》称为“至今还健在的可能是最重要的知识分子”。《句法结构》有一半篇幅用于英语语法的形式化。非经验主义和形式化是转换生成语法的首要标志。把句法关系作为语言结构的中心并以此说明语句的生成是这场革命的又一表现。为了描写和解释语言现象，乔姆斯基在《句法结构》中论证了语法的生成能力，认为应该把语法看成是能生成无限句子的有限规则系统。它以"核心句"为基础，通过转换规则描写和分析不同句式之间的内在联系。该书分析了以"马尔可夫过程"为基础的通讯理论，认为它只能生成有限状态的语法，而这种"有限状态的语法"不能生成象英语这种语言里含有不连续结构的所有合乎语法的句子。基于此，乔姆斯基提出了转换语法模式，认为它才能生成所有合乎语法的句子而不会生成不合乎语法的句子。转换语法模式由短语结构规则、转换规则、语素音位规则三套规则构成。短语结构规则有三种：合并、递归、推导式，其基本形式是x→y。→读作"改写"，这个公式就是将x改写成y。短语结构规则生成的是"核心语符列"，不经过转换直接由这种语符列得出的基本句型叫"核心句"。转换规则包括：移位、删略、添加。最后运用语素音位规则得出实际说出的句子。这三套规则中，最引人注目的是转换规则，因为短语结构规则和语素音位规则实际上继承了描写语言学的"直接成分分析"和语素音位的分析，转换是一种创新，它使语法具有更强的解释力。《句法结构》把语义排除在语法之外，这一时期的理论框架不包括语义部分。乔姆斯基认为，语法理论不应该建立在语义的基础上，而应该用某种严格的、客观的方法去代替对于模糊的语义的依赖。不过这一理论在后来的发展中做了重大的修正。《句法结构》是转换生成语法第一阶段--古典理论的代表作，它的出版被人们认为是"乔姆斯基革命"开始的标志，也标志着转换生成语法的诞生。他在书中所提出了句法三大原则：短语结构规则、转换规则、语素音位规则。其中短语结构规则是为了生成句子而创立的，其基本观点是利用短语主要功能是构造句子，来得出一个句子都可以分析为一个名词短语和动词短语的互动，基本上可以用：“S→NP+VP；V+NP”表示。这一规则虽然确定了短语的功能，但是其构成正确句子的目的还没有达到。按照上面的短语结构规则“张三喝酒”和“酒喝张三”这两个句子从形式看一模一样，而且符合短语规则，但是显然后者这个句子不能存在。为了避免这些错句的产生，我们应该将动词和名词的语义关系进行区分，或者是位置情况予以区分。比如“酒”很显然后面不能直接接“喝”，而“喝”前面应该是有生命的，不能是无生命的。因为“喝”这个动词本身就是一种有生命的物体产生的行为，这其实就涉及到语义的问题了。为此乔姆斯基又接着在1965年出版了《句法理论的若干原理》（《AspectsoftheTheoryofsyntax》），针对前一本书引起的一些问题做了补充，而且主要是在语义角度来对前一本书做了一个完善。为了区分形式和语义这两个层次。他又提出了两种概念，一种是关系概念（relationalnotions）一种是范畴概念（categorialnotions）。前者指主语、谓语、宾语的各种关系，涉及到语义关系；后者指语法范畴，比如一些动词短语、名词短语等等，也就是前本书中短语规则成立的前提。但是这本书出版不到一年的时间，又引起了众多反对的声音。这其中最具有代表的就是他的学生菲尔墨（C.J.Fillmore）。他认为，范畴概念不能包括一切语言现象，必须用关系概念才能解释清楚。依据乔姆斯基的说法，下面如果用范畴概念分析的话，都是介词短语：bythetailor（裁缝做的）bytrain（乘火车）withaknife（用把刀）inamonth（一月之内）foryourfriend（为你的朋友）towardsthemoon（朝向月亮）onthestreet（在街上）onthebus（在汽车上）但是这些短语很显然在句子中的作用没有体现，而且他们作为介词短语都没有本质区别，但是如果用关系概念分析，它们各自的特色就凸现出来了。它们分别为实施者（agent），工具（instrument），持续时间（duration），方向（direction），受益者（benefactor），地点（location）

[1]转引自刘润清，西方语言学流派，外语教学与研究出版社，2002年版乔姆斯基范式1.为了用上下文无关语法来描述和生成自然语言，Chomsky提出了Chomsky范式(CNF)。2.Chomsky证明了，任何的由上下文无关语法生成的语言，均可由重写规则为A(S)→B(NP)C(VP)或A→a的语法生成，其中，A,B,C是非终极符号，a是终极符号。3.具有这样的重写规则的上下文无关语法，它的推导树均可简化为二元形式，这样，就可以采用二分法来分析自然语言，采用二叉树来表示自然语言的句子结构。因此，上下文无关的重写规则A→BC或A→a便叫做Chomsky范式先要了解汉语一些转换组合规则S→NP+VPNP→N+N/N/CS的/VP→V+NP/V+V/PP+VCS→NP+V'…..一般常规自动分析步骤1.设立词库和组合规则库2.根据组合规则，找到对应词库的词进行层级划分。3.如没有符合规则库的句法结构，则回溯，直到完全按照规则库的法则处理句中的每一个语法成分。从上到下简单句法分析算法示例张三是县长派来的。1.查词典（进行词性标注）2.进行句法分析

句法树扩展完毕

恰好句子匹配完成

分析成功自底向上的分析法所谓“理性主义”，就是指以生成语言学为基础的方法。所谓“经验主义”，就是指以大规模语料库的分析为基础的方法自然语言处理的经验主义和理性主义的方法

格语法（CaseGrammar）理论背景：乔姆斯基早期理论基本上属于形式语法，其短语结构规则（S→NP+VP；V+NP）的目标是生成所有的句子。结果，生成所有句子的目标虽然达到了，但是在生成正确句子（“约翰喝酒”）的同时，也生成出错误的句子（“洒喝约翰”）。这说明动词和名词之间要有一种语义限制。为了从语义的角度弥补转换生成语法的不足，乔姆斯基的学生菲尔墨1966年发表了《关于现代的格理论》（TowardaModernTheoryofCase），1968年发表了《格辨》（TheCaseforCase），1971年发表了《格语法的某些问题》（SomeProblemforCaseGrammar)，1977年发表了《再论格辨》（TheCaseforCaseReopened)。菲尔墨以上这些系列论文形成了一个语法学派，即所谓格语法，它实际上是转换生成语法发展出来的一个分支。什么是格？在拉丁文中，单词在句子中的作用或与其他单词的关系是通过词尾形式的变化反映出来的。这些特定的词尾形式被赋予了特定的意义，我们把这些特定的词尾变化模式称为单词的格（case）。拉丁文中有六种格：主格（nominative）受格(accusative)属格(genitive)与格(dative)夺格(ablative)呼格(vocative传统语法中的“格”“格”一直是指通过名词、代词的形态变化表示出来的名词、代词与句中其他词的语法关系。如俄语中有六个格：主格、属格、与格、宾格、工具格、前置格；德语中有四种格：主格、宾格、与格、所有格；英语中I.he.she是主格，me.him.her是宾格，my.his.her是所有格。这种格一般称为句法格，是某些屈折语所特有的句法现象菲尔墨格语法中的“格”是深层格。反映动词和名词间的关系。不管名词在表层结构中处于什么位置，与动词间的关系固定不变。格的数量最早期理论中提到的格：A：施事（agentive）（有生命的动作发出者）；I：工具（instrumental）（造成动作或状态的无生命的力量或客体）；O：受事（objective）（动作或状态所影响的事物）；F：结果（factitive）（动作或状态所造成的结果）；D:与格（dative）（动作或状态所影响的有生命者）；L：处所（locative）（动作或状态的空间位置）；B：受益（benefactive）（动作或状态的受益者）。标注举例砍树砍斧子砍了个口子语义格的复杂性格语法理论基本内容句子生成的三条基本规则：1.S→M+P2.P→V+C1+C23.C→K+NP主语的选择原则(SubjectSelectionPrinciples)：如有A，A为主语；如无A有I，I为主语；如无A和I，O为主语。例如：

open(+[__O(I)(A)])→Thedooropened.[__O]→Johnopenedthedoor.[__O+A]→Thewindopenedthedoor.[__O+I]→Johnopenedthedoorwithakey.[__O+I+A]一句一例原则（one-instance-per-clauseprinciple）每一个小句中，任何一个格最多由一个名词短语（可以是并列短语）充当。并列结构、复指、反身代词除外使用格语法进行语言分析前提：词典中要记录动词的格框架和名词的语义信息。在格框架中，不仅可以有语法信息，而且还有许多语义信息，语言信息是整个格框架的最基本的部分。步骤：1）判断待分析词序列中主要动词在动词词典中找出该词的格框架2）识别必备格3）按照与（2）相似的方法识别可选格4）根据句子中出现的标志判断句子的情态语义格理论的应用对句子进行语义角色标注，可以避免一些因句法形式变化所产生的问题。例如：委员会明天将要通过此议案这些句子句法形式不同，其句法分析的结果自然不同，但是句子含义是一样的，也就是说谓词“通过”的语义角色相同，这种特点可以成功的运用到问答系统中。比如，语义角色标注可以注明活动发生的时间、场所等语义角色，自然可以对词类问题进行针对性的回答。格语法与FrameNetFrameNet是美国加州大学伯克利分校于1997年开始构建的基于真实语料库支持的计算机词典编撰写工程。目前已构建800个语义框架，包括10000个词汇，其中6000多个词汇已被完全标注，例句13500多个。FrameNet的理论基础来源于菲尔默的格框架理论。主张用语义框架（semanticframe）来描写语义，不同的词语义项与该词所参与的不同语义框架相联系。当一个词的词义基于某一特定的框架时，我们则说该词激活了一个框架。例如：“hit”一词既可表示“击中”，又可表示“产生意外或不良影响”，如何区分？我们可以根据在一定的上下文环境中激活一个“击中目标（hit_target）”框架，也可能在另外的上下文环境中激活一个具体的“引起伤害（cause_harm）”框架。利用格框的选择性限制（selectionalrestriction）可以分析一些句法歧义动词的各个语义角色在语义上满足什么样的约束条件即是选择性限制条件。格语法在句法分析的应用修理{[施事:人][受事:人工物]}寻找{[施事:人][受事:具体事物]}工人[语义类:人]汽车[语义类:交通工具]遗物[语义类:具体事物]烈士[语义类:人]汉语的一些流水句、无动句。连动、紧缩、动补、省略等结构，无法或不必用一个动词统率一个句子的模式来描述。其中连动句和兼语句尤为突出。格语法存在的问题1.没有形成一个完备的语义格系统，其语义角色的多少没有定论。2.语义格角色间有交叉语义格划分的精细度语义格核心格主体客体外围格凭借环境汉语实际语义角色的复杂性1.我飞了你的马。2.一下午就敲了两百多字。3.今天老张干嘛去了？—蹬煤去了。4.他这回总算游了一个冠军。5.他晚上又要来催稿子。6.他刚拖了地板，窗户还没有擦。结构压缩与论元新增思考如何判定一个动词所接的语义角色？配价语法(ValenceGrammar)比较：（1）“喝啤酒的学生”（2）“喝啤酒的方式”两者无论是词类序列还是内部构造层次，似乎没有什么区别。但是，有时候“学生”可以省略，比如“喝啤酒的（学生）请举手”。而“方式”在任何时候都不能省。这种差别利用层次分析法不能分析，利用变换分析法倒是可以证明“V+NP1+的+NP2”可以分化为两种格式。例如：（1）喝啤酒的学生→那学生喝啤酒看电影的那个人→那个人看电影（2）喝啤酒的方式→那方式喝啤酒*看电影的情节→那情景看电影*但不能解释“喝啤酒的（学生）”的中心语“学生”可省，而“喝啤酒的方式”的中心语“方式”不可省。配价语法的理论背景法国语言学家泰尼埃尔(Luc