模式识别课件总顺序No4第二章NO3杨雅双071013概率密度函数估计

第三章概率密度函数的估计一引言前述是在P(wi)和p(x|wi)情况下进行讨论的。但实际中，我们能收集到的是有限数目的样本，而未知的那么可能是：①条件概率密度〔各类的总体分布〕p(x|wi)；②先验概率P(wi)。也许P(wi)和p(x|wi)的形式可知，但其中的参数未知。这时就利用统计推断中的估计理论：如利用样本集估计p(wi)和p(x|wi)(分别记为和)

整理ppt二参数估计的根本概念1参数估计的类型(1)监督参数估计：样本所属的类别及p(x|wi)的形式为，而概率密度p(x|wi)中的一些参数是未知的。这时要由类别的样本集对总体分布的某些参数进行估计。(2)非监督参数估计：p(x|wi)的形式，但未知样本所属类别。这时就要估计概率密度中的一些参数。注：监督与非监督参数估计的区别：样本所属类别是还是未知的。(3)非参数估计：样本所属类别，但未知p(x|wi)形式。这时就要推断出概率密度函数。整理ppt2名词解释(1)训练〔学习〕：在p(wi)、p(x|wi)或p(wi|x)不知道或不完全知道时，而根据样本来确定他们，这项工作成为训练或学习。(2)总体〔母体〕：一个模式类。(3)总体的子样：一个模式类中某些模式〔总体中的一些元素〕的集合称之这个总体的子样。(4)统计量：由样本构造的函数d(xi,…,xn)，即针对不同要求构造出样本的某种函数。(5)经验分布：由样本推断的分布。(6)估计：由样本按某种规那么构造的一个统计量θ’=θ(x1,x2,…,xn)，用θ’的值作为被估参数集θ的近似值。整理ppt(7)点估计：构造一个统计量d(x1,…,xn)作为参数θ的估计θ’。(8)估计量：在统计学中称θ’为θ的估计量。(9)估计值：将类别wi中的几个样本观察值x1i,…,xni代入统计量d中所求得的第i类的具体数值θ’。(10)区间估计：在一区间内对θ进行估计，此区间称为置信区间。(11)参数空间：在概率密度形式，而未知的是其所含(几个)参数时，那么未知参数(记为θ)的取值范围(即集合)称为参数空间。整理ppt三参数估计的几种常用方法1最大似然估计(1)假设：①按类别把样本集分开，设有c类，即有c个样本集æ1，æ2,…,æc，其中æj的样本X=(x1,…,xn)是按类条件概率密度为p(X|wj)从总体中独立抽取的。②p(X|wj)的函数形式，但其参数向量θj未知，且θj唯一地是由p(X|wi)决定的(将其记为p(X|wj,θj)，即表示p(X|wj)与θj有关。或说认为此概率密度是由θj、wj作为条件的条件概率密度)。整理ppt③参数θ是由样本集唯一地确定〔即θ是确定而未知的量〕。④假设æi类中的样本不包含θj(i≠j)的信息，即不同类别的参数在函数上是独立的。(2)现在的问题就是：从样本提供的信息来得到参数向量θ1,θ2,…,θc〔每个类得到一个参数向量θ〕的估计值。(3)最大似然估计的根本思想：如果在一次观察中一个事件X出现了，那么可认为这个事件出现的可能性很大。这里，事件X={x1,x2,…,xn}是按概率密度p(X|wi)从总体中抽出的样本，这时就认为p(X|θ)到达了最大值，使p(X|θ)到达最大值的θ’就是θ的最大似然估计。整理ppt(4)最大似然估计的求解设已得到属于同一类的N个样本，即X={x1,…,xN}它们具有概率密度p(xk|θ)(k=1,…,N〕，且样本是独立抽取的，那么Np(X|θ)=p(x1,…,xN|θ)=∏p(xk|θ)(2-26)k=1p(X|θ)是θ的函数〔将其称为相对于样本集X的θ的似然函数，记为l(θ)〕，即Nl(θ)=p(X|θ)=∏p(xk|θ)(2-27)k=1注：(1)l(θ)给出了从总体中抽出x1,…,xN这样N个样本的概率。整理ppt(2)未知参数θ的最大似然估计θ’被定义为使l(θ)最大的θ值。(3)当X的N个样本确定后，似然函数l(θ)只是θ的函数。(4)但假设换一组样本，l(θ)的形式也会发生改变。即使l(θ)的值最大的θ’是样本x1,x2,…,xN的函数，记为θ’=d(x1,x2,…,xN)〔其称为θ的最大似然估计量〕。l(θ)的对数形式lnl(θ)〔记为H(θ)，称其为对数似然函数)，使H(θ)极大的θ同样使l(θ)取极大值。

H(θ)=lnl(θ)=lnp(X|θ)=lnp(x1,…,xN|θ)(2-28)整理ppt在N个样本独立抽取时，且设参数向量

在该式对θ的偏导等于零的解，就是θ’。其中梯度算子即从的s个方程中求得θ’={θ1,…,θs}。

如果以上方程的解θ’能使似然函数值最大，那么θ’就是θ的最大似然估计。整理ppt注意：①有时上方程组可能有假设干解。如以下图中都是解，但只有θ’才使似然函数最大，即θ’才是最大似然估计。②有时上方程组无解，如无极值点。整理ppt3贝叶斯〔Bayes〕估计(1)贝叶斯估计中的损失函数在最小风险Bayes决策中是依据总风险R或条件风险最小准那么建立判决规那么。同样，在Bayes参数估计中，也可以考虑总风险/损失问题，但这里损失函数是用估计值θ’作为真实参数值θ的代价。令λ(θ’,θ)作为θ’代替θ所造成的损失〔损失函数〕，对于一个观测样本集X={x1,x2,…,xd}，当用θ’作为θ的估计时，在X条件下的条件风险定义为：R(θ’|X)=∫Θλ(θ’,θ)*P(θ|X)dθ〔2-31〕其中Θ为参数空间。整理ppt考虑到X的各种取值，因此总风险R应是R(θ’|X)在Ωd=Ω×Ω×,…,×Ω特征空间中的期望。即：R=∫ΩdR(θ’|X)*P(X)dX=∫Ωd∫Θλ(θ’,θ)*P(θ|X)*P(X)dθdX〔2-32〕(2)Bayes估计的思想：所求得的θ的估计值θ’应使估计损失的期望最小，这种使R或等价地使R(θ’|X)取最小值的θ的估计值θ’称为θ的贝叶斯估计。注：损失函数λ(θ’,θ)可定义成不同的形式，对于λ(θ’,θ)不同的具体定义，可得到不同的最正确Bayes估计量θ’。整理ppt(3)二次函数下的贝叶斯估计例如：取λ(θ’,θ)为二次函数，即平方误差损失函数，这种取法是Bayes估计中最理想最常用的Bayes最优估计。即λ(θ’,θ)=(θ-θ’)2〔2-33〕于是，估计的平均损失〔总风险Ｒ〕为：R=∫Ωd∫Θ(θ-θ’)2*P(θ|X)*P(X)dθdX=∫Ωd[∫Θ(θ-θ’)2*P(θ|X)dθ]*P(X)dX〔2-34〕由于p(X)是非负的，θ’只出现在内积分中，因此θ’使R最小等价于使R(θ’|X)=∫Θ(θ-θ’)2*P(θ|X)dθ最小。整理ppt为求R(θ’|X)极小，那么需从而可得：因为：由于R是关于θ’的二次函数，所以上式的θ’确使R或R〔θ’|X〕最小。上式同时说明，θ的最小方差Bayes估计θ’是在观测X条件下的θ的条件期望。整理ppt(4)归纳起来Bayes估计的步骤是：①确定未知参数集θ的先验概率P〔θ〕；②由样本集X求出样本联合分布p(X|θ)，它是θ的函数；条件是：类的概型是的，且各样本是独立抽取的，即它们条件独立。利用Bayes公式，求出θ的后验概率p(θ|X)

④求出Bayes估计量整理ppt4贝叶斯学习Bayes学习与Bayes估计的前提条件是相同的，不同的是，Bayes学习不是进行参数估计，而是进行总体概率密度的推断以获得总体分布p(x|X)，因此它们具有某些相同的计算过程和内容，也有不同的计算目标。即Bayes学习是在执行完Bayes估计的前3步得到θ的后验概率p(θ|X)之后不是去求θ’，而是求总体x的后验概率p(x|X)。整理ppt

另设

因为在θ的条件下，λ对x已无作用。由于抽样是独立进行的，x1,x2,…,xn是条件独立的，故有整理ppt另据Bayes公式，有

一般而言，运用上述公式可由观测XN对总体概率密度p(x|XN)进行推断。下面给出具有递推收敛性质下的Bayes学习的一般陈述。整理ppt上式为一递推公式，显然p(θ|X0)=p(θ)为无样本条件下θ的条件概率密度，其等于θ的先验概率密度。反复逐一增加样本，重复使用上式时，可得到一个密度函数序列：p(θ),p(θ,x1),p(θ,x1,x2)…等，这称为参数估计的递推Bayes方法。如果这个密度序列收敛于一个以真实参数θ为中心的δ函数，那么把具有这种性质的递推过程称为Bayes学习。由于p(θ|XN)在真是参数集θ处逼近一个δ函数，将其代入p(x|XN)=∫θp(x|θ)·p(θ|λN)·dθ,当样本数目N无穷大时，可得：

整理ppt最大似然估计、贝叶斯估计、贝叶斯学习之间的关系(1)最大似然估计将参数看成随机的未知参数〔而非随机参数〕，似然函数然后求使l(θ)为最大的θ’作为最大似然估计量整理ppt(2)贝叶斯估计将θ看成为随机的未知参数，且θ具有先验分布P(θ)，样本通过l(θ)并利用Baye