参数估计与非参数估计课件ppt课件

1、第五章第五章 参数估计与非参数估计参数估计与非参数估计 参数估计与监视学习 参数估计实际 非参数估计实际 5-1 参数估计与监视学习贝叶斯分类器中只需知道先验概率，条件概率或后验概概率 P(i),P(x/i), P(i /x)就可以设计分类器了。如今来研讨如何用知训练样本的信息去估计P(i),P(x/i), P(i /x) 一参数估计与非参数估计参数估计：先假定研讨的问题具有某种数学模型，如 正态分布，二项分布，再用知类别的学习 样本估计里面的参数。非参数估计：不假定数学模型，直接用知类别的学习 样本的先验知识直接估计数学模型。二监视学习与无监视学习监视学习：在知类别样本指点下的学习和训练，

2、参数估计和非参数估计都属于监视学习。无监视学习：不知道样本类别，只知道样本的某些 信息去估计，如：聚类分析。5-2参数估计实际 一最大似然估计假定： 待估参数是确定的未知量 按类别把样本分成M类X1，X2，X3， XM 其中第i类的样本共N个 Xi = (X1,X2, XN)T 并且是独立从总体中抽取的 Xi中的样本不包含 (ij)的信息，所以可以对每一 类样本独立进展处置。 第i类的待估参数根据以上四条假定，我们下边就可以只利用第i类学习样本来估计第i类的概率密度，其它类的概率密度由其它类的学习样本来估计。),.,(21nTij 1.普通原那么：普通原那么： 第第i类样本的类条件概率密度：类

3、样本的类条件概率密度： P(Xi/i)= P(Xi/ii) = P(Xi/i)原属于原属于i类的学习样本为类的学习样本为Xi=(X1 , X2 ,XN,)T i=1,2,M求求i的最大似然估计就是把的最大似然估计就是把P(Xi/i)看成看成i的函数，求的函数，求出使它最大时的出使它最大时的i值。值。学习样本独立从总体样本集中抽取的学习样本独立从总体样本集中抽取的 N个学习样本出现概率的乘个学习样本出现概率的乘积积取对数取对数 ：NkiXkPiXPiiXPii1)|()|().|(NkikikNkXPXP11)|(log)|(log对i求导,并令它为0：有时上式是多解的, 上图有5个解,只需一个

4、解最大即. 0)|(log.11NkikpXP0)|(log.0)|(log111ikNkpikNkXPXPP(Xi/i)，即为的估值利用上式求出ii 2. 多维正态分布情况 知, 未知,估计 服从正态分布所以在正态分布时)|(iiXP0)|(log1XPkNk121|2log21)|(XXXPkkTnk NkkX110NkkX1101i待估参数为代入上式得所以这阐明未知均值的最大似然估计正好是训练样本的算术平均。 110)(NkkNXNkkXN11 ， 均未知 A. 一维情况：n=1对于每个学习样本只需一个特征的简单情况： (n=1)由上式得 即学习样本的算术平均 样本方差21211,122

5、2212log21)|(logXXPkik0)(1)|(log11211XXPkNkikNk代入02)(21)|(log12212212NkkikNkXXPNkkXN1111NkXkN122121 讨论： 1.正态总体均值的最大似然估计即为学习样本的算术平均 2.正态总体方差的最大似然估计与样本的方差不同，当N较大的时候，二者的差别不大。 B多维情况：n个特征学生可以自行推出下式 估计值： 结论：的估计即为学习样本的算术平均 估计的协方差矩阵是矩阵 的算术 平均nn阵列， nn个值NkkXN111XTXNkNkk121XXkTk二.贝叶斯估计 最大似然估计是把待估的参数看作固定的未知量，而贝叶

6、斯估计那么是把待估的参数作为具有某种先验分布的随机变量，通过对第i类学习样本Xi的察看，使概率密度分布P(Xi/)转化为后验概率P(/Xi) ，再求贝叶斯估计。估计步骤: 确定的先验分布P(),待估参数为随机变量。 用第i类样本xi=(x1, x2,. xN)T求出样本的结合概率密度分布P(xi|)，它是的函数。 利用贝叶斯公式,求的后验概率 dPXPPXPXPiii)()|()().|()|(（证明略）求贝叶斯估计dXPi)|(下面以正态分布的均值估计为例阐明贝叶斯估计的过程 一维正态分布:知2,估计 假设概率密度服从正态分布 P(X|)=N(,2), P()=N(0,02) 第i类学习样本

7、xi=(x1, x2,. xN)T, i=1,2,M 第i类概率密度P(x|i,xi)=P(x|xi) 所以后验概率 (贝叶斯公式)dPXPPXPXPiii)()|()().|()|(由于N个样本是独立抽取的，所以上式可以写成 其中 为比例因子,只与x有关,与无关 P(Xk| )=N(,2),P(u)=N(0,02) 其中a,a包含了一切与无关的因子NkkiPXPaXP1)().|()|(dPXPai)()|(121exp2121exp21)|(00221kNkiXaXP 21exp10022NkkXa)1(2)1(21exp 200122202NkkXNaP(| xi)是u的二次函数的指数函

8、数P(| xi)依然是一个正态函数, P(|Xi)=N(N,N2) 另外后验概率可以直接写成正态方式：比较以上两个式子,对应的系数应该相等 21exp21)|(2NNNiXP0201222022111NkkNNXNN解以上两式得 将N,N2代入P(|Xi)可以得到后验概率，再用公式 02022120202NXNNkkN2022022NN的估计求 ,)|(dXPi 对的估计为 假设令P()=N(0, 02 )=N(0,1) 与最大似然估计类似，只是分母不同 02022120202NXNNkkNNNkkXNN111NidXP)|( 三贝叶斯学习1.贝叶斯学习的概念：求出的后验概率之后，直接去推导总

9、体分布即当察看一个样本时，N=1就会有一个的估计值的修正值当察看N=4时，对进展修正，向真正的接近当察看N=9时，对进展修正，向真正的靠的更近当N,N就反映了察看到N个样本后对的最好推测，而N2反映了这种推测的不确定性, N, N2,N2 随察看样本增加而单调减小，且当N, N2 0 当N，P(|xi)越来越尖峰突起N, P(|xi)函数，这个过程成为贝叶斯学习。 dXPXPdXPXPXXPiii)|()|()|()|()|(2类概率密度的估计 在求出u的后验概率P(|xi)后，可以直接利用式 推断类条件概率密度。即P(x|xi) P(x|i ，xi)一维正态：知2，未知的后验概率为dxPxP

10、xxPii)|()|()|(服从正态分布21exp21)|(21exp21)|()|(22xxPxPxPNNNiidxPxPdxPxPxxPiii)|()|()|()|()|(代入dxNNN21exp2121exp2122dxxNNNNNNNN21exp21exp2122222222222221exp2122222NNNx为正态函数),(22NNN 结论： 把第i类的先验概率P(i)与第i类概率密度P(x|xi)相乘可以 得到第i类的后验概率P(i/x) ，根据后验概率可以分类。 对于正态分布P(x|xi)，用样本估计出来的N替代原来的 用 替代原来的方差 即可。 把估计值N作为的实践值，那么

11、使方差由原来的 变 为 ,使方差增大22N2222N多维正态 知，估计 设P(x|)=N(,) P()=N(0,0).根据Bayes公式，仿上面步骤可以得到：N , N 有以下关系21exp)|(1NNNTiaxP).(.1011ANN).(.)(100111BxNkkNN其中a与无关这就是在多维情况下，对的估计 NANN10:)(011式得由010101)1(1)1(0)(1 NNxNBNkkNN式得：代入分类器设计就可以代入将BayesdxPxPxxPiiN)|()|()|( 5-3非参数估计 参数估计要求密度函数的方式知，但这种假定有时并不成立，常见的一些函数方式很难拟合实践的概率密度，

12、经典的密度函数都是单峰的，而在许多实践情况中却是多峰的，因此用非参数估计。非参数估计:直接用知类别样本去估计总体密度分布，方法有： 用样本直接去估计类概率密度p(x/i)以此来设计分类器, 如窗口估计 用学习样本直接估计后验概率p(i/x)作为分类准那么 来设计分类器如k近邻法. 1. 密度估计:一个随机变量X落在区域R的概率为P P(X)为P(X)在R内的变化值,P(X)就是要求的总体概率密度 RP(x)RxPdxxPPRr)( 假设有N个样本X=(X1, X2, XN)T都是按照P(X)从总体中独立抽取的 假设N个样本中有k个落入在R内的概率符合二项分布 其中P是样本X落入R内的概率 Pk

13、是k个样本落入R内的概率 数学期望:E(k)=k=NP 对概率P的估计: 。 是P的一个比较好的估计 设P(x)在R内延续变化,当R逐渐减小的时候,小到使P(x)在其上 几乎没有变化时，那么 其中 是R包围的体积 PpCPkNkkNk1NkP NkNkdxxPPR) (NkVxPdxxPPR)() (RdxV 条件密度的估计： (V足够小)讨论: 当V固定的时候N添加, k也添加,当 时 只反映了P(x)的空间平均估计而反映不出空间的变化 N固定,体积变小 当 时,k=0时 时 所以起伏比较大,噪声比较大,需求对V进展改良. NkPVxP )(VNkxP)(Nk1NkPVVNkxP1)(0V0

14、)(VNkxP0kVNkxP)(对体积V进展改良：为了估计X点的密度,我们构造一串包括X的区域序列R1,R2,. RN.对R1采用一个样本进展估计，对R2采用二个样本进展估计.。设VN是RN的体积，KN是N个样本落入VN的样本数那么密度的第N次估计： VN是RN的体积 KN是N个样本落入VN的样本数PN(x)是P(x)的第N次估计VNk(x)PNN假设假设PN(x)收敛于收敛于P(x)应满足三个条件：应满足三个条件： ，当，当N时，时，VN，N，VN0 这时虽然样本数多，但由于这时虽然样本数多，但由于VN，落入，落入VN内的样本内的样本KN 也减小，所以空间变化才反映出来也减小，所以空间变化才

15、反映出来 ，N ，kN ，N与与KN同相变化同相变化 ，KN的变化远小于的变化远小于N的变化。的变化。 因此虽然因此虽然在在R内落入了很多的样本，但同总数内落入了很多的样本，但同总数N比较比较, 依然是很依然是很小的一部分。小的一部分。0limVNNKNNlim0limNKNN如何选择VN满足以上条件： 使体积VN以N的某个函数减小，如 (h为常数) 使KN作为N的某个函数，例 VN的选择使RN正好包含KN个近邻 V1K1，V2K2，.VRKR Kn近邻法NhVNNKN窗口法2.Parzen窗口估计假设RN为一个d维的超立方体，hN为超立方体的长度超立方体体积为： ， d=1，窗口为一线段 d

16、=2，窗口为一平面 d=3，窗口为一立方体 d3，窗口为一超立方体窗口的选择： hVdNN其他.021| , 1)(uu|exp)(uu 方窗函数指数窗函数21exp21)(2uu正态窗函数(u) (u)(u)hN 正态窗函数 (u) 是以原点x为中心的超立方体。在xi落入方窗时，那么有 在VN内为1 不在VN内为0落入VN的样本数为一切为1者之和 密度估计22hxxhxxNiNi1212|hhhxxNNNiNiNiNhxxK1)|(NiNiNNNNhxxVNVNKxP1)|(11)(讨论： 每个样本对估计所起的作用依赖于它到x的间隔，即 | x-xi|hN/2时， xi在VN内为1，否那么为

17、0。 称为 的窗函数，取0，1两种值，但有 时可以取0, 0.1, 0.2多种数值，例如随xi离x接近的程度， 取值由0, 0.1, 0.2到1。)|(hxxNihxxNi|)|(hxxNi 要求估计的PN(x)应满足：为满足这两个条件，要求窗函数满足： 窗长度hN对PN(x)的影响假设hN太大, PN(x)是P(x)的一个平坦, 分辨率低的估计, 有平均误差假设hN太小, PN(x)是P(x)的一个不稳定的起伏大的估计,有噪声误差为了使这些误差不严重， hN应很好选择hxhxxdhxxhxxNixNiNiNi|0)|()|(0)|(1)(0)(dxxPxPNN例1：对于一个二类 1 ，2 识

18、别问题，随机抽取1类的6个样本X=(x1，x2，. x6)1=(x1，x2，. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)估计P(x|1)即PN(x)解：选正态窗函数)21exp(21)(2uu)|(21exp21)|()(2hxxhxxuNiNi0123456x6x5 x3 x1 x2x4xx是一维的上式用图形表示是6个分别以3.2，3.6，3，6，2.5，1.1为中心的丘形曲线(正态曲线)，而PN(x)那么是这些曲线之和。)05| 1 . 1|(21exp134. 0.)05| 2 . 3|(21exp134. 0)|(11)(221xxhxx

19、VNxPNiNiNN5 . 0665 . 0VN665 . 0h,NhhV11NNN，其中选由图看出，每个样本对估计的奉献与样本间的间隔有关，样本越多， PN(x)越准确。例2：设待估计的P(x)是个均值为0，方差为1的正态密度函数。假设随机地抽取X样本中的1个、 16个、 256个作为学习样本xi,试用窗口法估计PN(x)。解：设窗口函数为正态的， 1，0hN:窗长度，N为样本数，h1为选定可调理的参数。)|(21exp21)|(2hxxhxxNiNiNhh1N设NiiNiNiNhNxxNhhxxhNNxP112111|21exp211)|(1)(v用 窗法估计单一正态分布的实验Parzen

20、001.001.01.00.10.10001.001.01.00.10.10001.001.01.00.10.1025.01h202202202001.001.01.00.10.1011h41hN=N=256N=16N=1讨论：由图看出, PN(x)随N, h1的变化情况 当N1时， PN(x)是一个以第一个样本为中心的正态外形的小丘，与窗函数差不多。 当N16及N=256时 h10.25 曲线起伏很大，噪声大 h11 起伏减小 h14 曲线平坦，平均误差 当N时， PN(x)收敛于一平滑的正态曲线， 估计曲线较好。例3。待估的密度函数为二项分布解：此为多峰情况的估计设窗函数为正态解：此为多峰

21、情况的估计设窗函数为正态x-2.5-210.2502P(x)025. 01)(xP-0.25x-20 x2x为其它NhhuuN12,21exp21)(001.001.01.00.10.10001.001.01.00.10.10001.001.01.00.10.1025.01h202202202001.001.01.00.10.1011h41hN=N=256N=16N=1v用 窗法估计两个均匀分布的实验Parzen当N=1、16、256、 时的PN(x)估计如下图 当N1时， PN(x) 实践是窗函数。 当N16及N=256时 h10.25 曲线起伏大 h11 曲线起伏减小 h14 曲线平坦 当

22、N时，曲线较好。结论： 由上例知窗口法的优点是运用的普遍性。对规那么分布，非规那么分布，单锋或多峰分布都可用此法进展密度估计。 要求样本足够多，才干有较好的估计。因此使计算量，存储量增大。3.KN近邻估计：在窗口法中存在一个问题是对近邻估计：在窗口法中存在一个问题是对hN的选择问题。的选择问题。假设假设hN选太小，那么大部分体积将是空的即不包含样本，选太小，那么大部分体积将是空的即不包含样本，从而从而使使PN(x)估计不稳定。假设估计不稳定。假设hN选太大，那么选太大，那么PN(x)估计较平坦，估计较平坦，反映不反映不出总体分布的变化，而出总体分布的变化，而KN近邻法的思想是以近邻法的思想是以x为中心建立空胞，为中心建立空胞，使使v，直到捕捉到，直到捕捉到KN个样本为止。个样本为止。 称称KN-近邻估计近邻估计 v的改良，样本密度大，的改良，样本密度大，VN ; 样本密度小