模式识别-华科-参数估计

模式识别原理参数估计华中科技大学图像识别与人工智能研究所2023/1/2521、引言Bayes决策需要已知两种知识：各类的先验概率P(ωi)各类的条件概率密度函数p(x|ωi)知识的来源：对问题的一般性认识或一些训练数据基于样本的两步Bayes分类器设计利用样本集估计P(ωi)和p(x|ωi)基于上述估计值设计判别函数及分类器面临的问题：如何利用样本集进行估计估计量的评价利用样本集估计错误率2023/1/253概率密度估计的方法类的先验概率P(ωi)的估计：用训练数据中各类出现的频率来估计依靠经验类条件概率密度函数的估计：参数估计：概率密度函数的形式已知，而表征函数的参数未知，需要通过训练数据来估计最大似然估计Bayes估计非参数估计：概率密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计Parzen窗法kn-近邻法2023/1/2542、参数估计统计量：样本集K={x1,x2,…,xN}的某种函数f(K)参数空间：总体分布的未知参数θ所有可能取值组成的集合(Θ)点估计、估计量和估计值：区间估计：2023/1/255估计量的评价标准估计量的评价标准：无偏性，有效性，一致性无偏性：E()=θ有效性：D()小，估计更有效一致性：样本数趋于无穷时，依概率趋于θ：最大似然估计与贝叶斯估计的比较参数的解释不同:ML：待估参数具有确定值，它的估计量才是随机的Bayes:待估参数服从某种分布的随机变量。利用的信息不同ML：只利用样本信息Bayes：要求事先提供一个参数的先验分布，即人们对有关参数的主观认识，是非样本信息。在参数估计中它们与样本信息一起被利用。选择参数估计量的准则不同:ML：最大似然为准则求解参数估计量Bayes：要构造一个损失函数并以损失函数最小化为准则2023/1/2562023/1/2572.1最大似然估计MaximumLikelihood(ML)估计估计的参数θ是确定而未知的，而Bayes估计方法则视θ为随机变量。样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练。概率密度函数的形式已知，参数未知，为了描述概率密度函数p(x|ωi)与参数θ的依赖关系，用p(x|ωi,θ)表示。对应于不同类别的参数在函数上是独立的独立地按概率密度p(x|θ)抽取样本集

K={x1,x2,…,xN}，用K估计未知参数θ2023/1/258独立地按概率密度p(x|θ)抽取样本集

K={x1,x2,…,xN}，则有：似然函数：2023/1/259似然函数似然函数：对数(loglarized)似然函数：2023/1/2510最大似然估计2023/1/2511计算方法最大似然估计量使似然函数梯度为0：前述的N个方程是获得最大似然估计量的必要条件多解情况下，取使似然值最大的均匀分布的参数估计2023/1/25122023/1/25132.1.1

正态分布参数的最大似然估计一元正态分布2023/1/2514一元正态分布均值的估计2023/1/2515一元正态分布方差的估计均值估计的收敛性2023/1/2516均值估计的期望和方差2023/1/2517若xi和xj相互独立，则当jj,xixj的期望为2。xi2的期望为2+2.因此，在上式中，有（n2-n）项期望值2和n项（2+2）.故有：由上式可知，当n→∞时，估计值的方差趋于0，估计值收敛于真值方差估计2023/1/2518方差估计是有偏的，但收敛的2023/1/25192023/1/2520渐近无偏方差的无偏估计：2023/1/2521多元正态分布参数最大似然估计最大似然估计是一致估计均值估计是无偏的，协方差矩阵估计是有偏的。协方差矩阵的无偏估计是：2023/1/25222.2贝叶斯估计用一组样本集K={x1,x2,…,xN}估计未知参数θ未知参数θ视为随机变量，先验分布为p(θ)，而在已知样本集K出现的条件下的后验概率为p(θ|K)2023/1/2523贝叶斯决策问题与贝叶斯估计问题贝叶斯决策问题:

样本x

决策ai

真实状态wj

状态空间A是离散空间

先验概率P(wj)贝叶斯参数估计问题：

样本集K

估计量^θ

真实参数θ

参数空间Ω是连续空间

参数的先验分布p(θ)2023/1/2524贝叶斯(最小风险)估计参数估计的条件风险：给定x条件下，估计量的期望损失贝叶斯估计：使风险最小的估计

2023/1/2525贝叶斯估计(II)损失函数定义为误差平方：定理:如果定义损失函数为误差平方函数，则有：2023/1/25262023/1/2527贝叶斯估计的步骤确定θ的先验分布p(θ)由样本集K={x1,x2,…,xN}求出样本联合分布：p(K|θ)计算θ的后验分布

计算贝叶斯估计正态分布参数的贝叶斯估计

单变量情况：

为未知参数(1)

(0

和0

已知!)2023/1/2528关于均值的先验知识(2)样本联合分布（样本独立抽取）：(3)计算后验分布

2023/1/25292023/1/2530设

则有(4)计算贝叶斯估计

2023/1/25312023/1/2532nrepresentsourbestguessafternsamples.n2representsouruncertaintyaboutthisguess.n2approaches2/nforlargen–eachadditionalobservationdecreasesouruncertainty.Theposterior,p(|D),esmoresharplypeakedasngrowslarge.ThisisknownasBayesianlearning.2023/1/2533类条件概率密度的计算 其中:因此:2023/1/2534多元正态分布的参数估计未知均值假设:应用贝叶斯公式:上式简化表示为：假定:2023/1/2535应用对应项相等的原则有：解上述方程有：2023/1/2536贝叶斯学习贝叶斯学习：利用θ的先验分布p(θ)及样本提供的信息求出θ的后验分布p(θ|K)，然后直接求类条件概率密度p(x|K)方法参数的贝叶斯学习性质贝叶斯学习步骤（1）确定未知参数的先验概率分布

（2）由训练样本集及公式求得

（3）由

计算后验概率密度（4）由

求得类条件概率密度2023/1/2537样本对应于某一类TheunivariateGaussiancasep(x|D)p(|D)computedp(x|D)remainstobecomputed!

2023/1/2538TheunivariateGaussiancasep(x|D)Computetheposteriordensityp(|D),thenDerivep(x|D)

2023/1/2539RecursiveBayesapproachLetRecursiveBayesapproach,incrementallearning2023/1/25402.3期望最大化算法（EM算法）Expectation-Maximization(EM)isatechniqueusedinpointestimation.GivenasetofobservablevariablesXandunknown(latent)variablesZwewanttoestimateparameter