模式识别-参数估计统计决策法.ppt

1、,模式识别Pattern Classification,第四章: 参数估计统计决策法,参数估计,原理 对于绝大多数的识别问题，类概率密度函数已知的条件并不成立，而通常只知类概率密度的函数形式，其参数未知。 参数估计法即是利用学习样本来估计类概率密度参数的方法。,参数估计,两种方法原理不同，但结果是一致的！,参数估计,原理 最大似然估计法：将待估参数视为确定的未知量进行估计 Bayes估计法：将待估参数视为随机变量进行估计,最大似然估计法（ML）,已知条件 拥有一批已知类别的学习样本 ，并知第j类的类概率密度 的函数形式，参数未知。 问题 由学习样本 估计最佳参数。,最大似然估计法,解决方案,最

2、大似然估计法,解决方案,最大似然估计法,设有6个学习样本如下图所示，样本分布满足正态分布，且方差已知，现需估计最佳的均值 可以看出， 取A和B对似然函数 的影响,最大似然估计法,P ( x / ),最大似然估计法,设有6个学习样本如下图所示，样本分布满足正态分布，且均值已知，现需估计最佳的方差 可以看出， 的变化对似然函数 的影响,参数1 优于 2,最大似然估计法,如何寻求最优参数？,解决方案 用求极值的方法求最佳值 为计算方便，对似然函数求自然对数:,最大似然估计法,最大似然估计法,解决方案 定义梯度算子为：,最大似然估计法,解决方案 则令：,最大似然估计法,解决方案 即： 可得到r个关于参

3、数的方程组，求解方程组，即可求得最佳估计值。,最大似然估计法,例一：设样本满足一维正态分布，现已知n个学习样本，试用最大似然估计法估计其均值和方差。 解：对于一维正态分布 待估参数为其中,最大似然估计法,可记为: 则似然函数为：,最大似然估计法,令: 即:,最大似然估计法,得: 解得:,最大似然估计法,例二：设样本满足d维正态分布，其中协方差矩阵已知，且已知n个学习样本，试用最大似然估计法估计均值向量。,最大似然估计法,解： 样本满足正态分布，则 似然函数,最大似然估计法,协方差矩阵已知，仅有一个待参数均值向量，即= 令 得：,最大似然估计法,即： 可得=的最佳估计值为： 即最佳均值向量是n个

4、学习样本的重心（算数平均）。,最佳估计值,最大似然估计法,例三:设 为多维正态分布，现已知n个学习样本，试用最大似然估计法估计 和 。 解:与前述方法相同，即：,最大似然估计法,似然函数 令:,最大似然估计法,得:,最大似然估计法,基于最大似然估计法的分类器设计 确定样本类概率密度函数形式 确定待估参数 根据学习样本，用最大似然估计法估计概率密度函数的参数 估计样本先验概率 用Bayes方法设计分类器,Bayes估计,原理： 将待估参数视为具有某种先验分布的随机变量，通过学习样本的观察，将先验分布转换为后验概率，并以此来修正参数的估计值。,Bayes估计,实现过程 将待估参数 视为随机变量，并

5、由先验只是得到粗略分布,Bayes估计,为已知函数形式的类概率密度， 待估，且知n个学习样本，记为 ，j为类别。 由Bayes公式有： 其中 为的后验概率，表示在观察了n个学习样本 后对 的修正分布。,Bayes估计,则表示在参数为 的条件下，n个样本 出现的概率。 为待估随机参数的先验概率分布。 与 无关，可用系数 代替 即：,Bayes估计,显然，由于n个学习样本是独立抽取的，则 可得：,观察了n个样本后的修正分布,Bayes估计,合理的估计方法是：在修正的 分布 中，使 得 取值最大的 值 即是的最佳估计值。,Bayes估计,P(/X(j),0,P(),n,Bayes估计,例：已知类概率

6、密度为一维正态分布，其中方差 已知，均值 参数待估。试用Bayes估计法估计均值,Bayes估计,解： 对一维正态分布,Bayes估计,首先，将待估参数 视为随机变量，并具有一定的初始分布。 假设其具有正态分布 ：,Bayes估计,Bayes估计,观察了n个学习样本后，的后验概率(修正分布) 为：,Bayes估计,可见：修正后的分布仍为正态分布！其均值为n，方差为n2 其中：,Bayes估计,即： n表示在观察了一组样本后，对的最好的推断，而n2 则反映了这个推断的不确定性!,Bayes估计,Bayes估计,待估的最佳均值=？ 答案： = n,Bayes估计,考虑样本数对估计值的影响 当 时, , Ba