计算语言学(全套课件114P)

计算语言学1

学习目标：1.具备以计算机为背景思考语言学问题，对语言知识进行形式化描述的能力；2.了解计算语言学的基本理论和自然语言处理中的常用模型及算法，初步具备从事相关领域研究工作的能力。2

第一讲绪论：什么是计算语言学导入计算语言学的研究内容计算语言学的研究方式计算语言学的发展简史计算语言学的应用领域3

导入我们可以期待，总有一天机器会同人在所有的智能领域里竞争起来。但是，如何开始呢？这是一个很难决定的问题。许多人以为可以把下棋之类的极为抽象的活动作为最好的出发点，不过，还有一种办法也应加以考虑，就是为机器配备具有智能的、可用钱买到的意识器官，然后，教这种机器理解并且说英语。这个过程可以仿效通常小孩子学话的方式进行。我不能确定到底哪个出发点更好，但应该都值得一试。——A.M.Turing,ComputingMachineryandIntelligence,MindVol.59,1950.阿兰.图灵（英国数学家）《计算装置与智能》4

图灵测试（TuringTest）5

计算语言学的定义计算语言学（ComputationalLinguistics）指的是这样一门学科，它通过建立形式化的数学模型，来分析、处理自然语言，并在计算机上用程序来实现分析和处理的过程，从而达到以机器来模拟人的部分乃至全部语言能力的目的。6

思考人用来交际的“语言”具有什么样的性质？这些性质又是如何影响交际过程的？人用来交际的“语言”跟机器可以“理解”的语言有什么样的关系？人是如何运用“语言”进行交际的？人运用语言进行交际的过程是否可以描述为一个机械的过程？什么叫做“理解”一种语言？7

机器语言vs自然语言形式化语言（二进制）人的语言（英语、汉语、法语......）封闭性vs开放性8

计算语言学的研究内容从计算的角度来研究语言的性质将语言作为计算对象来研究相应的算法9

1.1从计算角度研究语言所谓从计算的角度来看语言的性质，就是要求将人们对语言的结构规律的认识以精确的、形式化的、可计算的方式呈现出来，而不是像其他语言学研究那样，在表述语言的结构规律时一般采用非形式化的表达形式。10

1.2将语言作为计算对象所谓将语言作为计算对象来研究相应的算法，是研究如何以机械的、规定了严格操作步骤的程序来处理语言对象（主要是自然语言对象，当然也可以是形式语言对象），包括一个语言片断（比如词组、句子或篇章）中大小语言单位的识别，该语言片断的结构和意义的分析（自然语言理解），以及如何生成一个语言片断来表达确定的意思（自然语言生成）等等。11

计算语言学的发展简史1950－1960年代WarrenWeaver(1949)TuringTest(1950)ThefirstMTs(1954)1960－1970年代ALPAC(1964-1966)1970－1990年代Searle’sChineseRoom(1980)ThefirstPCversionofMTs(early1980s)1990－至今MTisavailableontheWeb(1994)12

—1950s：萌芽期13

1950s：理论基础建设14

1966：低谷期/ALPAC报告15

1970s：恢复期16

1980s：发展期17

1990s：经验主义方法再度受重视18

目前：强调数据资源19

目前：强调评测20

计算语言学的研究方式及方法21

主要的技术和方法–基于知识的方法（1）自然语言分析理解的不同层次

词法（较简单）句法（主要研究内容）语义（较难）

22

主要的技术和方法–基于知识的方法（2）词法分析

主要功能是识别单词，确定单词的词形属性。方法是与具体的自然语言密切相关的。（1）词形变化丰富的语言（2）词形变化不丰富的语言（3）没有词形变化的语言（4）词的界限模糊的语言23

主要的技术和方法–基于知识的方法（3）词形变化丰富的语言

如：俄语，通过词尾变化表现语法关系。

Ялюблютебя.

Я

тебя

люблю.Люблюятебя.……把单词的所有可能变形保存入词典

词法分析–查词典缺点是：词典占大量存储空间词典中只保存词根，词的变形规律用规则表示

词法分析–根据词的变形规则还原成词根，查词典24

主要的技术和方法–基于知识的方法（4）词尾变化不丰富的语言如：英语，主要通过词序和介词来表示语法关系，只有名词，动词和代词有简单的变形。

Iloveyou.Iyoulove.(错)

LoveyouI.(错)

Youloveme.可以把所有词的变形都放入词典，也可以在词典中只保存词根。25

主要的技术和方法–基于知识的方法（5）没有词形变化的语言如：汉语，完全通过词序和介词表示语法关系。我爱你。你爱我。你我爱。爱你我。…可以直接把所有单词保存到词典中。词法分析就是查词典。26

主要的技术和方法–基于知识的方法（6）词的界限模糊的语言如：汉语，日语，书写时，句子是字的序列，词中间没有空格-需要从字串中识别单词（所谓的句子切分问题）。

わたしは四川大学の先生です。

我是四川大学的老师。27

主要的技术和方法–基于知识的方法（7）汉语句子切分存在的问题交集型歧义AB和BC都是词典中的词，如果待切分字串中包含ABC，则可能切分成AB和C，以及A和BC。如网球场组合型歧义

AB和A，B都是词典中的词，如果待切分字串中包含AB，则可能切分为AB以及A和B。如个人28

主要的技术和方法–基于知识的方法（8）汉语句子切分的主要方法–最大匹配法

初始化：设S1为待分字串；输出词串S2＝””；最大词长MaxLen。while（S1!=“”）{从S1的左边开始，取出候选字串W，其长度不大于MaxLen；while（（Len(W）〉1）＆＆（W不出现在词典中））将W最右边的一个字去掉;S2=S2+W+“/”;S1=S1–W;}return(S2);29

主要的技术和方法–基于知识的方法（9）如计算机科学和工程（假设最大长度为7）

计算机科学 计算机科学和 计算机科学和工实验结果：错误切分率为1/169。30

主要的技术和方法–基于知识的方法（10）右向最大匹配法

从句子（文章）末尾开始处理，每次匹配不成功时去掉前面的一个汉字。

工程 和工程 学和工程 科学和工程 机科学和工程 算机科学和工程 实验结果：错误切分率为1/245。

31

主要的技术和方法–基于知识的方法（11）汉语句子切分的主要方法–基于规则（专家系统方法）IFW=“个人”，Wleft=数词THENW=“个/人”ENDIF

如

抓住了三个人32

主要的技术和方法–基于知识的方法（12）其它分词方法逐词遍历法设立切分标志最佳匹配法有穷多层次列举法二次扫描法基于词频统计的分词方法基于期望的分词方法……33

主要的技术和方法–基于知识的方法（13）词法分析的其它问题缩略语的识别：U.S.,Everythinghasituse.

数字的识别：123，456.78，90.7%，…专有名词：AT&T，于中华合成词：three-years-old

34

主要的技术和方法–基于知识的方法（14）词法分析的其它问题

（1）词性（词的兼类问题）：如果一个词是名/动兼类，并且其左边第一个词为“的”，那么该词的词性为名词。（2）词形属性：名词的单/复数，动词的时态，形容词的级，…35

主要的技术和方法–基于知识的方法（15）句法分析–上下文无关文法 s

npvp np

n vp

v’ vp

v’np v’

vu n

曹操 v

打败 u

了 n

周瑜36

主要的技术和方法–基于知识的方法（16）句法分析–上下文无关文法

自下而上的分析，自上而下的分析，LR分析，等等。

37

主要的技术和方法–基于知识的方法（17）上下文无关文法的扩充HPSG文法（Head-drivenPhraseStructureGrammar），对文法增加复杂特征

38

主要的技术和方法–基于知识的方法（18）上下文无关文法的扩充(HPSG)

39

主要的技术和方法–基于知识的方法（19）上下文无关文法的扩充(HPSG)

主要的运算-合一运算（1）检查特征属性是否兼容（2）如果兼容，那么将两个负责特征集的信息合并40

主要的技术和方法–基于知识的方法（20）上下文无关文法的扩充(HPSG)41

主要的技术和方法–基于知识的方法（21）树邻接文法初始树（I树）：

SNP0

VPVPP

(替换节点)arranged

42

主要的技术和方法–基于知识的方法（22）树邻接文法附加树（A树）：

VP

VP*(足节点)PPPNP

(替换节点)at43

主要的技术和方法–基于知识的方法（23）树邻接文法替换操作SSNP0VPPPNP0VPVPPPNPVPP

arrangedforPNP

forarranged44

主要的技术和方法–基于知识的方法（24）树邻接文法附加操作

SSNP0VPNP0VPVNP1VPPPboughtVNP1PNP2VPboughtatVP*PPPNPat45

主要的技术和方法–基于统计的方法（1）汉语自动分词（最大概率法）

基本思想：（1）一个待切分的汉字串可能包含多种分词结果；（2）将其中概率最大的那个作为该汉字串的分词结果。有意见分歧W1:有/意见/分歧W2:有意/见/分歧46

主要的技术和方法–基于统计的方法（2）汉语自动分词（最大概率法）

p(W)=p(w1,w2,…,wi)=p(w1)

p(w2)

…

p(wi)即，将W中各个词的出现看成互相独立的事件47

主要的技术和方法–基于统计的方法（3）汉语自动分词（最大概率法）

48

主要的技术和方法–基于统计的方法（4）汉语自动分词（最大概率法）p(W1)=p(有)

p(意见)

p(分歧)=0.018

0.01

0.004=0.00000072p(W2)=p(有意)

p(见)

p(分歧)=0.005

0.02

0.004=0.00000004

由于p(W1)>p(W2)，所以选择W1，即有/意见/分歧

该算法存在的问题：效率低；词在句中的出现不是相互独立的事件。49

主要的技术和方法–基于统计的方法（5）词性标注（隐马尔科夫模型HMM）

W-单词序列，T为标记序列(名词等)

50

主要的技术和方法–基于统计的方法（6）词性标注（隐马尔科夫模型HMM）根据一阶马尔科夫假设，当前词性标记只与它前面的一个词性标记相关51

主要的技术和方法–基于统计的方法（7）词性标注（隐马尔科夫模型HMM）根据独立性假设可以把每个单词的标记看成是一个状态，那么p(ti＋１/ti)就是状态迁移概率；每个状态可以发射一定的符号（单词），p(wi/ti)就是状态发射单词符号的概率。因此，隐马尔科夫模型可以看成这样的两个随机过程。

用隐马尔科夫模型标记词性有效算法-Viterbi算法（动态规划算法）。52

主要的技术和方法–基于统计的方法（8）词义消歧（简单贝叶斯的方法）一词多义非常普遍：打电话，打酱油，打毛衣，打手势，打官司，…

bank（银行，海岸，…）消除歧义有各种算法：基于互信息，基于贝叶斯，基于词典释义，基于义类词典，…53

主要的技术和方法–基于统计的方法（9）词义消歧（简单贝叶斯的方法）

把消歧问题看成是分类问题；每个多义词，要设计一个分类器；每个释义作为一个类别；以前后文作为分类的特征；通过人工标注的方式，获得训练分类器用的语料（训练样本，每个样本标注了类别号，即释义）54

主要的技术和方法–基于统计的方法（10）词义消歧（简单贝叶斯的方法）找使该概率值最大的s。

前后文是由一系列词组成的，假定他们是相互独立的。55

主要的技术和方法–基于统计的方法（11）词义消歧（简单贝叶斯的方法）6个英语多义词,准确率为90%左右。56

主要的技术和方法–基于统计的方法（12）基于概率上下文无关文法的句法分析为每个产生式规则赋予概率值。

SNPVP 1.0 PPPNP 1.0 VPVNP 0.7 VPVPPP 0.3

Pwith 1.0

Vsaw 1.057

主要的技术和方法–基于统计的方法（13）基于概率上下文无关文法的句法分析 NPNPPP 0.4

NPastronomer s 0.1

NPears 0.18

NPsaw 0.04

NPstars 0.18

NPtelescopes 0.1 58

主要的技术和方法–基于统计的方法（14）基于概率上下文无关文法的句法分析二义文法

astronomerssawstarswithears有两棵不同的语法树。SNPVPastronomersVNPsaw

NPPPstarsPNPwithearst159

主要的技术和方法–基于统计的方法（15）基于概率上下文无关文法的句法分析SNPVP

astronomersVPPPVNPPNPsawstarswithearst260

主要的技术和方法–基于统计的方法（16）基于概率上下文无关文法的句法分析p(t1)=1.00.10.71.00.40.181.01.00.18=0.0009072p(t2)=1.00.10.30.71.00.181.01.00.18=0.0006804由于p(t1)〉p(t2)，所以选择t1，即介词短语作名词的定语。61

主要的技术和方法–基于统计的方法（17）基于概率上下文无关文法的句法分析关键问题：（1）如何得到概率上下文无关文法；

从语料库（树库中进行学习，如从PennTreeBank中进行统计学习。（2）如果已经有一部概率上下文无关文法，对于某个句子，怎样很快地计算出具有最大概率值的分析树。

Viterbi算法62

研究历史计算机诞生前

图灵《机器能思维吗？》（预言）乔姆斯基《自然语言形式分析导论》早期的机器翻译研究基于知识的自然语言处理语料库语言学的兴起知识和统计并重，自然语言处理广泛应用63

计算语言学的应用领域机器翻译（MachineTranslation）文本分类（TextClassification）信息检索（InformationRetrieval）信息提取（InformationExtraction）语音合成（SpeechSynthesis）语音识别（SpeechRecognition）人机接口（Human-MachineInterface）……64

应用–机器翻译（1）机器翻译的研究目标是试图利用计算机及软件系统把一种自然语言（称为源语言）的文本转换成另外一种自然语言（称为目标语言）的文本。机器翻译的基本方法：基于规则的方法，基于语料库的方法，基于实例的方法。65

应用–机器翻译（2）基于规则的方法源语言文本词法分析句法分析语义分析结构转换句子生成译词选择形态生成目标语言文本词典规则库66

应用–机器翻译（3）基于统计的机器翻译S-目标语言T-源语言

其中Pr(S)称为语言S的语言模型，Pr(T/S)称为S到T的翻译模型。67

应用–机器翻译（3）基于统计的机器翻译S-目标语言T-源语言

其中Pr(S)称为语言S的语言模型，Pr(T/S)称为S到T的翻译模型。68

应用–机器翻译（4）基于统计的机器翻译

S噪声信道T

机器翻译的信道模型

在只考虑n个历史的前提下简化为n元模型69

应用–机器翻译（5）基于统计的机器翻译

Pr(T/S)比较复杂，因为要考虑两种语言句子中单词的所有可能的对应关系。

Theproposalwillnotnowbeimplemented.

Les(1)propositions(2)ne(4)seront(3)pas(4)mises(7)en(7)application(7)maintenant(5).70

应用–机器翻译（6）基于统计的机器翻译

统计机器翻译方法需要大规模的双语语料，并要求对双语语料进行句子一级的对齐。71

应用–机器翻译（7）基于实例的机器翻译对齐源语言实例目标语言实例源语言句子S译文句子T命中句子S’对应句子T’72

应用–机器翻译（9）目前的倾向（策略）1.在限定的领域内进行翻译2.利用受限语言作为输入3.人机交互式机器翻译73

应用–机器翻译（10）规则方法和统计方法的特性对比特点基于规则的机器翻译基于统计的机器翻译健壮性，覆盖范围不好较好质量，流畅性较好不好表示深度很深较浅74

应用–机器翻译（8）基于实例的机器翻译基本问题:(1)双语对齐问题(2)有效的实例匹配检索机制(3)如何根据检索到的实例生成输入源语的译文75

应用–机器翻译（11）机器翻译系统的评测问题(1)评价标准可理解性,忠实度(2)自动评价76

应用–信息检索（1）信息检索的任务信息检索就是根据用户的信息需求，利用计算机及其程序，从大量信息中挑选出满足用户需求的信息信息检索与数据检索是不同的检索的对象不同；信息检索时，信息需求是模糊的；检索结果是不准确的。77

应用–信息检索（2）78

应用–信息检索（3）79

应用–信息检索（4）信息检索所涉及的主要问题

用户信息需求的表达；信息结果的表达；索引的建立；信息检索的方法；信息检索系统的评价。文档库索引文档表示检索查询处理查询生成用户信息需求相关性反馈检索结果文档80

应用–信息检索（5）信息检索（用户信息需求的表达）

关键词，如机器翻译

布尔表达式，如机器翻译OR机器学习

多为关键词形式表达用户的信息需求。81

应用–信息检索（6）检索结果的表达

返回与用户查询相关的文档，文档之间是没有顺序的；

返回与用户查询相关的文档，按照文档与用户查询的相关度来对文档进行排序。

82

应用–信息检索（7）索引的建立–索引词的选择1.把每篇文档的所有词都作为索引词2.把每篇文档中的词，去除停用词(stopword)，剩下的词都作为索引词3.把每篇文档的所有词，还原成词根后作为索引词4.把每篇文档的所有词，还原成词根后作为索引词(去除停用词)83

应用–信息检索（8）索引的建立–索引词的选择5.算文档中每个词的权重，只有权重超过一定门限值的词才选来作为索引词（可能还原成词根，也可能不还原）84

应用–信息检索（9）索引的建立–倒排索引结构

信息检索……d1,22,90,100d2,52,87d2,51d3,59,81d1d2d385

应用–信息检索（10）信息检索的布尔模型

1.用户查询用关键词和and,or,not连接的布尔表达式表达，然后把这种表达转化成析取范式。

如：q=ka(kbkc)表达成(假设索引特征词为ka，kb，kc)qdnf=(1,1,1)(1,1,0)(1,0,0)2.文档也表示成关键词的向量，如某个文档表示为(1,0,1)。3.86

应用–信息检索（11）信息检索的向量模型1.查询和文档都用向量来表示，每一个分量对应一个索引关键词（IndexTerm）,各个分量值为相应关键词的权重；2.87

应用–信息检索（12）信息检索的向量模型88

应用–信息检索（13）信息检索的其它模型：概率模型，一些扩展模型信息检索系统的评价R-相关文档集，A-系统检索到的文档集

Ra为R和A的交集

Recall=|Ra|/|R|Precision=|Ra|/A

考虑到信息检索系统可能对输出结果进行排序，为了评价排序的效果，有一些其它的评价指标。89

应用–信息检索（14）评价系统1系统2系统3D1

D10

D6

D2

D9

D1

D3

D8

D2

D4

D7

D10

D5

D6

D9

D6

D1

D3

D7

D2

D5

D8

D3

D4

D9

D4

D7

D10

D5

D8

断点5处的准确率100%0%40%断点10处的准确率50%50%50%90

应用–信息检索（14）信息检索任务的困难1.文档数量巨大，快速，准确很困难2.大多数文档无结构3.面向的是没有领域的文档库4.用户层次各不相同，要求也不同5.查询需求和文档内容难于把握91

应用–信息抽取（1）信息抽取系统是这样一个计算机程序系统，这个系统的输入是非受限的文本，系统按照用户的预期，从文本中抽取出用户预先指定的某些类型的信息。

事件发生的时间： 事件类型： 肇事人： 肇事组织： 受害人： 受害人数： 受害人类别： 事件发生地点：

92

BridgestoneSportsCo.saidFridayithadsetupajointventureinTaiwanwithalocalconcernandaJapanesetradinghousetoproducegolfclubstobesuppliedtoJapan.Thejointventure,BridgestoneSportsTaiwanCo.,capitalizedat20millionnewTaiwandollars,willstartproductioninJanuary1990withproductionof20,000ironand“metalwood”clubsamonth.TIE-UP-1Relationship:TIE-UPEntities:“BridgestoneSportCo.”“alocalconcern”“aJapanesetradinghouse”JointVentureCompany:“BridgestoneSportsTaiwanCo.”Activity:ACTIVITY-1Amount:NT$200000000ACTIVITY-1Activity:PRODUCTIONCompany:“BridgestoneSportsTaiwanCo.”Product:“ironand‘metalwood’clubs”StartDate:DURING:January1990应用–信息抽取（２）93

应用–信息抽取（3）信息提取研究的主要内容

命名实体的识别和分类；缩略语的识别和理解；共指消解；事件及事件角色的提取94

应用–信息抽取（4）命名实体的识别和分类

BridgestoneSportsCo.（公司名）saidFriday（时间）ithadsetupajointventureinTaiwan(地名)

withalocalconcernandaJapanesetradinghousetoproducegolfclubstobeshippedtoJapan(地名).95

应用–信息抽取（5）命名实体的识别和分类

基于规则的方法，如XX先生，说明先生前面是个男人的名字，XX教授，说明教授前面是个人的名字，…

基于统计的方法，如隐马尔科夫模型，类似于词性标注，但是这里不是标注词性，而是标注不是命名实体，某类命名实体的首部，某类命名实体的尾部，某类命名实体的中间词，等等96

应用–信息抽取（6）在用统计方法进行命名实体识别和分类时，需要训练数据。人工标记好的语料库既可以用来训练模型，进行有教师的学习，也可以作为算法的评价材料。97

应用–信息抽取（7）98

应用–信息抽取（8）99

应用–信息抽取（9）100

应用–信息抽取（10）101

应用–信息抽取（11）缩略语的识别和理解(1)科技文献中缩略语大量使用；(2)缩略语的识别理解对于机器翻译，信息检索等都是重要的；(3)前后文中有定义的缩略语，识别缩略语与其定义之间的对应关系，如DB(database);(4)前后文中没有定义的缩略语，通过词典确定其可能的扩展（需要消歧）。102

应用–信息抽取（12）共指消解代词回指的消解；

The+名词指代的确定；

形式成分代词（it）的识别;……主要技术-基于规则的方法词形方面必须满足的约束条件；语法上的并行性；语义上的兼容性。103

应用–信息抽取（13）事件及其角色的识别（1）进行充分的分析和理解基因名activate蛋白质名说明前面的基因与后面的蛋白质有作用关系。（2）不进行深层次的分析，此时使用模板如果基因名，蛋白质名与activate共同出现在一个句子中，则说明相应的基因与相应的蛋白质之间有作用关系。104

BridgestoneSportsCo.saidFridayithadsetupajointventureinTaiwanwithalocalconcernandaJapanesetradinghousetoproducegolfclubstobesuppliedtoJapan.Thejointventure,BridgestoneSportsTaiwanCo.,capitalizedat20millionnewTaiwandollars,willstartproductioninJanuary1990withproductionof20,000ironand