第2讲统计自然语言处理的数学基础市公开课一等奖省赛课获奖课件

统计自然语言处理

基础理论孙越恒第1页主要内容概率论基础一些基本概念贝叶斯法则几个惯用分布预计概率密度方法信息论基础第2页模型假如Output1总是和Ouput靠近，Output2总是和Output偏离，我们就认为模型1比模型2好第3页模型由体系结构和参数两部分组成举例：住宅楼体系结构•多层板楼•高层板楼•高层塔楼参数•层数：•户型：三室一厅，两室一厅，……•层高：•供热方式：地热？暖气片？第4页1.一些基本概念•

试验一个可观察结果人工或自然过程，其产生结果可能不止一个，且不能事先确定会产生什么结果比如：连掷两次硬币•样本空间是一个试验全部可能出现结果集合举例：连掷两次硬币

–Ω={HH,HT,TH,TT},H：面朝上；T：面朝下第5页•

事件一个试验一些可能结果集合，是样本空间一个子集举例：连掷两次硬币•A：最少一次面朝上A={HT,TH,HH},•B：第二次面朝下B={HT,TT}第6页概率(probability)

概率是从随机试验中事件到实数域函数，用以表示事件发生可能性。假如用P(A)作为事件A概率，Ω是试验样本空间，则概率函数必须满足以下公理：公理1：P(A)≥0公理2：P(Ω)=1公理3：假如对任意i和j(i≠j)，事件Ai和Aj不相交(Ai∩Aj＝Φ)，则有第7页举例•连续三次掷硬币

–样本空间

•Ω={HHH,HHT,HTH,HTT,THH,THT,TTH,TTT} –事件A：恰好两次面朝下

•A={HTT,THT,TTH} –做1000次试验，计数得386次为两次面朝下

•预计：P(A)=386/1000=0.386 –继续做7组试验，得：373，399，382，355，372，

406，359，共8组试验

–计算平均值：P(A)=(0.386+0.373+…)/8=0.379，或累计：P(A)=(386+373+…)/8000=3032/8000=0.379 –统一分布假设为：3/8=0.375第8页联合概率A和B

两个事件联合概率就是A和B两个事件同时出现概率A和B联合概率表示为：P(A,B)或P(A∩B)举例：连掷两次硬币

•事件A：第一次面朝上，A={HH,HT}•事件B：第二次面朝下，B={HT,TT}•联合事件A∩B={HT}第9页条件概率(conditionalprobability)假如A和B是样本空间Ω

上两个事件，P(B)>0，那么在给定B时A条件概率P(A|B)为：条件概率P(A|B)给出了在已知事件B发生情况下，事件A发生概率。普通地，P(A|B)≠P(A)第10页概率乘法原理•P(A,B)=P(A|B)×P(B)=P(B|A)×P(A)•ChainRule（链式规则）

P(A1,A2,…,An)=P(A1)×P(A2|A1)×P(A3|A1,A2)×…×P(An|A1,A2,…,An-1)•举例1：词性标注

–P(det,adj,n)=P(det)×P(adj|det)×P(n|det,adj)•举例2：计算一个句子概率

–p(w1,w2,…,wn)=p(w1)p(w2|w1)……p(wn|w1…wn-1)第11页独立和条件独立•

独立

P(A,B)=P(A)×P(B)⇒P(A|B)=P(A),P(B|A)=P(B)•条件独立

–P(A,B|C)=P(A|B,C)×P(B|C)=P(A|C)×P(B|C) ⇒P(A|B,C)=P(A|C),P(B|A,C)=P(B|C) –NaïveBayesian：假定各特征之间条件独立

⇒P(A1,A2,…,An|B)=Πi=1,…,nP(Ai|B)

第12页全概率公式（1）设Ω

为试验E样本空间，B1,B2,…Bn

为Ω一组事件，且他们两两互斥，且每次试验中最少发生一个。即：

则称B1,B2,…Bn为样本空间Ω一个划分。第13页全概率公式（2）设A为Ω事件，B1,B2,…Bn

为Ω一个划分，且P(Bi)>0(i=1,2,…,n)，则全概率公式为：第14页随机变量(RandomVariable)•随机变量是一个函数X:Ω→R。Ω是样本空间，R是实数集合–用于讨论和事件空间相关数值出现概率–数值也比事件更易于处理•举例：–[X=0]={TT}；[X=1]={TH,HT}；[X=2]={HH}–X是两次掷硬币面朝上次数•数值能够是连续值，也能够是离散值第15页期望(expectation)–

举例：•六面掷骰子问题：E(X)=1⋅1/6+2⋅1/6+3⋅1/6+4⋅1/6+5⋅1/6+6⋅1/6=3.5第16页方差(variance)举例——考试名次第17页协方差与相关系数协方差：能够衡量随机变量X与Y之间统计独立程度。

任意两个随机变量X和Y协方差，记为Cov(X,Y),定义为：相关系数：其中，是随机变量X标准差，是随机变量Y标准差。-1≤ρ≤1，ρ>0正相关，ρ<0负相关，ρ=0不相关第18页联合分布和边缘分布X和Y联合分布为：则(X,Y)关于X边缘分布为：(X,Y)关于Y边缘分布为：第19页2.贝叶斯法则(Bayes’theorem)假如

A为样本空间Ω事件，B1,B2,…,Bn

为Ω一个划分，且P(A)>0，P(Bi)>0(i=1,2,…,n)，那么当n=1时，第20页2.贝叶斯法则(2)文字描述：

后验概率

=(似然函数*先验概率)/证据因子贝叶斯公式给出了“结果”事件A已发生条件下，“原因”事件B条件概率。对结果事件任何观察都将增加我们对原因事件B真正分布知识第21页贝叶斯决议理论假设研究分类问题有N个类别，各类别状态用

Ci表示，i=1,2,…,N；对应于各类别Ci出现先验概率为P(Ci)；在特征空间已观察到某一向量是d维特征空间上某一点，且条件概率密度函数是已知。那么，利用贝叶斯公式我们能够得到后验概率：第22页基于最小错误率贝叶斯决议规则第23页例：

假设某一个特殊句法结构极少出现，平均大约每100,000个句子中才可能出现一次。我们开发了一个程序来判断某个句子中是否存在这种特殊句法结构。假如句子中确实含有该特殊句法结构时，程序判断结果为“存在”概率为0.95。假如句子中实际上不存在该句法结构时，程序错误地判断为“存在”概率为0.005。那么，这个程序测得句子含有该特殊句法结构结论是正确概率有多大？第24页解：假设G表示事件“句子确实存在该特殊句法结构”，T表示事件“程序判断结论是存在该特殊句法结构”。那么，我们有：第25页3.几个惯用分布（1）二项式分布第26页二项式分布第27页在自然语言处理中，我们经常以句子为处理单位。普通地，我们假设一个语句独立于它前面其它语句，句子概率分布近似地认为符合二项式分布。第28页（2）正态分布其中和都是常数，任意，>0，则称X服从参数为和正态分布.记作第29页标准正态分布正态分布称为标准正态分布.其密度函数和分布函数惯用

和

表示：第30页4.概率密度预计方法类先验概率预计：用训练数据中各类出现频率预计依靠经验类条件概率密度预计两种主要方法：参数预计：概率密度函数形式已知，而表征函数参数未知，经过训练数据来预计最大似然预计Bayes预计非参数预计：密度函数形式未知，也不作假设，利用训练数据直接对概率密度进行预计Parzen窗法kn-近邻法第31页（1）最大似然预计先看一个简单例子：一只野兔从前方窜过.是谁打中呢？

某位同学与一位猎人一起外出打猎.假如要你推测，你会怎样想呢?只听一声枪响，野兔应声倒下.第32页

你就会想，只发一枪便打中,猎人命中概率普通大于这位同学命中概率.看来这一枪是猎人射中.

这个例子所作推断已经表达了最大似然法基本思想.第33页假设：概率密度函数形式已知预计参数θ是确定而未知独立地按概率密度p(x|θ)抽取样本集

K={x1,x2,…,xN}，用K预计未知参数θ第34页最大似然预计-似然函数似然函数：对数(loglarized)似然函数：第35页第36页最大似然预计示意图第37页计算方法最大似然预计量使似然函数梯度为0：第38页举例：第39页（2）贝叶斯预计-最大后验概率用一组样本集K={x1,x2,…,xN}预计未知参数θ未知参数θ

视为随机变量，先验分布为p(θ)，而在已知样本集K出现条件下后验概率为：p(θ|K)最大后验概率预计-Maximumaposteriori(MAP)第40页贝叶斯预计-最小风险参数预计条件风险：给定x条件下，预计量期望损失参数预计风险：预计量条件风险期望贝叶斯预计：使风险最小预计第41页贝叶斯预计-最小风险-续损失函数：误差平方第42页信息论基础自信息量信息熵联合熵条件熵互信息相对熵交叉熵噪声信道模型统计机器翻译框架第43页信息度量我们经常说信息很多或信息极少，但却难以说清到底是多少50万字《史记》有多少信息量？莎士比亚全集有多少信息量？信息是有用，那么这个作用怎样可观、定量表达出来？第44页信息论•1948年美国Shannon“通信数学原理”，用概率测度和数理统计方法，系统地讨论了通信基本问题，奠定了信息论基础•信息度量有三个基本方向：结构、统计和语义•香农所说信息是狭义信息，是统计信息，依据是概率不确定性度量•为何用不确定性度量？第45页概念1：自信息量任意随机事件自信息量定义为该事件发生概率对数负值。

设事件xi概率为p(xi)，则它自信息量定义式为：

I(xi)=-logp(xi)

小概率事件所包含不确定性大，其自信息量大；大约率事件所包含不确定性小，其自信息量小。I(xi)含义：在事件xi发生以前等于事件xi发生不确定性大小；

在事件xi发生以后等于事件xi所含有或能提供信息量。第46页概念2：信息熵第47页熵表示信源X每发一个符号（不论发什么符号）所提供平均信息量。熵也能够被视为描述一个随机变量不确定性数量。一个随机变量熵越大，它不确定性越大。那么，正确预计其值可能性就越小。越不确定随机变量越需要大信息量用以确定其值。第48页一本50万字书有多少信息量？7000汉字，等概率出现13比特10%汉字占了文本95%8-9比特上下文相关性5比特总信息量是250万比特第49页概念3：联合熵(jointentropy)第50页第51页概念4：条件熵(conditionalentropy)能够证实，第52页概念5：互信息(mutualinformation)获取到信息和要研究事物有“相关性”时，有利于消除不确定性假如(X,Y)~p(x,y)，X,Y之间互信息I(X;Y)为：

I(X;Y)=H(X)–H(X|Y)

互信息I(X;Y)是在知道了Y值后X不确定性降低许。即，Y值透露了多少关于X信息量。第53页依据定义，展开H(X)和H(X|Y)轻易得到：点互信息：第54页•

比如计算两个词搭配

I(伟大,祖国)=log2p(伟大,祖国)/(p(伟大)p(祖国))

I(,祖国)=log2p(,祖国)/(p()p(祖国))

•I(x,y)>>0：x和y关联强度大•I(x,y)=0：x和y无关•I(x,y)<<0：x和y含有互补分布互信息在统计自然语言处理中应用非常广泛，如词语聚类和词义消歧等！第55页互信息、条件熵与联合熵关系第56页概念6：相对熵(relativeentropy）相对熵(relativeentropy）或Kullback-Leiblerdivergence，KL距离)

两个概率分布p(x)和q(x)相对熵定义为：该定义中约定0log(0/q)=0,plog(p/0)=∞第57页相对熵示意图第58页概念7：交叉熵(crossentropy)假如一个随机变量X~p(x)，q(x)为用于近似p(x)概率分布，那么，随机变量X和模型q之间交叉熵定义为：交叉熵概念是用来衡量预计模型与真实概率分布之间差异情况。第59页对于语言L=(Xi)~p(x)与其模型q交叉熵定义为:

为随机变量(x1,x2,…,xn),表示长度为n自然语言序列，其中每个随机变量xi(i=1，2，…，n)代表自然语言序列上一个语言单位词。xi可在其所代表词集X中取值。自然语言序列可被视为离散平稳有记忆信源。

第60页我们能够假设这种语言是“理想”，即n趋于无穷大时，其全部“单词”概率和为1。那么能够假定语言L是稳态遍历(stationaryer