参数估计统计决策法

1、模模式识别式识别Pattern Classification第四章第四章: 参数估计统计决策法参数估计统计决策法Applied Pattern Recognition CSE6163参数估计参数估计原理对于绝大多数的识别问题，类概率密度函数已知的条件并不成立，而通常只知类概率密度的函数形式，其参数未知。参数估计法即是利用学习样本来估计类概率密度参数的方法。Applied Pattern Recognition CSE6164参数估计参数估计参数估计法最大似然估计法Bayes估计法 两种方法原理不同，但结果是一致的！Applied Pattern Recognition CSE6165参数估计参

2、数估计原理 最大似然估计法：将待估参数视为确定的未知量进行估计 Bayes估计法：将待估参数视为随机变量进行估计Applied Pattern Recognition CSE6166最大似然估计法（ML）已知条件 拥有一批已知类别的学习样本 ，并知第j类的类概率密度 的函数形式，参数未知。问题 由学习样本 估计最佳参数。,21)(njXXXX)/(jXp)( jXApplied Pattern Recognition CSE6167最大似然估计法解决方案Applied Pattern Recognition CSE6168最大似然估计法解决方案Applied Pattern Recogniti

3、on CSE6169最大似然估计法设有6个学习样本如下图所示，样本分布满足正态分布，且方差已知，现需估计最佳的均值可以看出， 取A和B对似然函数 的影响61)/(kkXp由于由于取取B是似然函数更大，参数是似然函数更大，参数B优于优于AP ( x / ) x AB=B=AApplied Pattern Recognition CSE61610最大似然估计法P ( x / )Applied Pattern Recognition CSE61611最大似然估计法设有6个学习样本如下图所示，样本分布满足正态分布，且均值已知，现需估计最佳的方差可以看出， 的变化对似然函数 的影响P ( x / ) x

4、 1 12 261)/(kkXp参数参数1 优于优于 2Applied Pattern Recognition CSE61612最大似然估计法如何寻求最优参数？Applied Pattern Recognition CSE61613解决方案用求极值的方法求最佳值 为计算方便，对似然函数求自然对数: 最大似然估计法nkknkkXpXp11)/(ln)/(lnApplied Pattern Recognition CSE61614最大似然估计法解决方案定义梯度算子为：r21Applied Pattern Recognition CSE61615最大似然估计法解决方案则令：0 )/(ln1nkkXp

5、Applied Pattern Recognition CSE61616最大似然估计法解决方案即： 可得到r个关于参数的方程组，求解方程组，即可求得最佳估计值。0)/(ln121nkkrXpApplied Pattern Recognition CSE61617最大似然估计法例一：设样本满足一维正态分布，现已知n个学习样本，试用最大似然估计法估计其均值和方差。解：对于一维正态分布待估参数为其中22)(21exp21)/(xxpj,21221 ,Applied Pattern Recognition CSE61618最大似然估计法可记为:则似然函数为：2212)(21exp21)/(xxpnkk

6、nkkxxp11221)(212ln21)/(lnApplied Pattern Recognition CSE61619最大似然估计法令:即:0)/(ln1nkkxp0)/(ln0)/(ln1211nkknkkxpxpApplied Pattern Recognition CSE61620最大似然估计法得:解得:02)(210)(12221212kkxxnkkxn1112122)(1nkkxnApplied Pattern Recognition CSE61621最大似然估计法例二：设样本满足d维正态分布，其中协方差矩阵已知，且已知n个学习样本，试用最大似然估计法估计均值向量。 Applie

7、d Pattern Recognition CSE61622最大似然估计法解：样本满足正态分布，则似然函数)()(21exp)2(1)/(1212XXXpTdinkkTknkkXXdXp111)()(21ln212ln2)/(lnApplied Pattern Recognition CSE61623最大似然估计法协方差矩阵已知，仅有一个待参数均值向量，即=令得：0)/(ln1nkkXp0)(11nkkXApplied Pattern Recognition CSE61624最大似然估计法即：可得=的最佳估计值为：即最佳均值向量是n个学习样本的重心（算数平均）。0)(1nkkXnkkXn11最

8、佳估计值最佳估计值Applied Pattern Recognition CSE61625最大似然估计法例三:设 为多维正态分布，现已知n个学习样本，试用最大似然估计法估计 和 。 解:与前述方法相同，即： ),()/(NXpj)()(21exp)2(1)/(1212XXXpTdApplied Pattern Recognition CSE61626最大似然估计法似然函数令:nkkTknkkXXdXp111)()(21ln212ln2)/(ln0)/(ln1nkkXpApplied Pattern Recognition CSE61627最大似然估计法得:nkkXn11nkTkkXXn1)(1

9、Applied Pattern Recognition CSE61628最大似然估计法基于最大似然估计法的分类器设计确定样本类概率密度函数形式确定待估参数根据学习样本，用最大似然估计法估计概率密度函数的参数估计样本先验概率用Bayes方法设计分类器)/(Xp)(jpApplied Pattern Recognition CSE61629Bayes估计原理： 将待估参数视为具有某种先验分布的随机变量，通过学习样本的观察，将先验分布转换为后验概率，并以此来修正参数的估计值。Applied Pattern Recognition CSE61630Bayes估计实现过程将待估参数 视为随机变量，并由先

10、验只是得到粗略分布 )(pP()Applied Pattern Recognition CSE61631Bayes估计 为已知函数形式的类概率密度， 待估，且知n个学习样本，记为 ，j为类别。由Bayes公式有： 其中 为的后验概率，表示在观察了n个学习样本 后对 的修正分布。)/(Xp,21)(njXXXX)()()/()/()()()(jjjXppXpXp)/()( jXp)( jX)(pApplied Pattern Recognition CSE61632Bayes估计 则表示在参数为 的条件下，n个样本 出现的概率。 为待估随机参数的先验概率分布。 与 无关，可用系数 代替即：)/(

11、)(jXp)( jX)(pdpXpXpjj)()/()()()()()/()/()()(pXPXpjjApplied Pattern Recognition CSE61633Bayes估计显然，由于n个学习样本是独立抽取的，则可得：nkkjXPXp1)()/()/()()/()/(1)(pXPXpnkkj观察了观察了n个样本后个样本后的修正分布的修正分布Applied Pattern Recognition CSE61634Bayes估计合理的估计方法是：在修正的 分布 中，使得 取值最大的 值 即是的最佳估计值。)/()( jXp)/()( jXpApplied Pattern Recogn

12、ition CSE61635Bayes估计P(/X(j)0P()nApplied Pattern Recognition CSE61636Bayes估计例：已知类概率密度为一维正态分布，其中方差 已知，均值 参数待估。试用Bayes估计法估计均值 2Applied Pattern Recognition CSE61637Bayes估计解：对一维正态分布22)(21exp21)/()/(xxpxpP(x/)xApplied Pattern Recognition CSE61638Bayes估计首先，将待估参数 视为随机变量，并具有一定的初始分布。假设其具有正态分布 ：),()(21exp21)(

13、20020200NpApplied Pattern Recognition CSE61639Bayes估计P()0Applied Pattern Recognition CSE61640Bayes估计观察了n个学习样本后，的后验概率(修正分布) 为：22120200221)()(21exp21 )(21exp21)(21exp21 )()/()/(nnnnkknkkjxpxPXpApplied Pattern Recognition CSE61641Bayes估计可见：修正后的分布仍为正态分布！其均值为n，方差为n2其中：0220222020nmnnnnnkknXnm11Applied Pattern Recognition CSE61642Bayes估计即： n表示在观察了一组样本后，对的最好的推断，而n2 则反映了这个推断的不确定性!2202202022021220201nnXnnnnnkknApplied Pattern Recognition CSE61643Bayes估计P(/X(j)0P()nApplied Pattern Recognition CSE61644Bayes估计待估的最佳均值=？答案： = nApplied Pattern Recognition CSE61645Bayes估计考虑样本数对估计值的影响当 时, ,