3_概率密度函数的估计.ppt

模式识别PatternRecognition 吴贵芳easyfancy 补充知识 概率论基本知识 确定事件 概念是确定的 发生也是确定的 随机事件 概念是确定的 发生是不确定的 模糊事件 概念本身就不确定 随机变量 随机变量 随机事件的数量表示 离散随机变量 取值为离散的随机变量 连续随机变量 取值为连续的随机变量 频率和概率 频率 试验在相同的条件下重复N次 其中M次事件A发生 则A发生的频率为 fN A M N 概率 当N很大时 频率会趋向一个稳定值 称为A的概率 联合概率和条件概率 联合概率 设A B是两个随机事件 A和B同时发生的概率称为联合概率 记为 P A B 条件概率 在B事件发生的条件下 A事件发生的概率称为条件概率 记为 P A B 乘法定理 P A B P A B P B P A B P A B P B P A B C P A B C P B C 证明 等式左边 P A B C P A B C P B C 等式右边 概率密度函数 概率分布函数 设X为连续型随机变量 定义分布函数 F x P X x 概率密度函数 如果存在一个非负函数p x 使得下式成立 则p x 称为的概率密度函数 全概公式 互不相容事件 如果试验时 若干个随机事件中任何两个事件都不可能同时发生 则称它们是互不相容的 全概公式 若事件只能与两两不相容的事件A1 A2 AN之一同时发生 则有 贝叶斯公式 离散形式 A B为离散随机变量 连续形式 A为离散随机变量 B为连续随机变量 3 概率密度函数的估计 3 1引言设计贝叶斯分类器的方法 即已知先验概率P i 和类条件概率密度p x i 的情况下 按一定的决策规则确定判别函数和决策面 3 1引言 基于样本的Bayes分类器 通过估计类条件概率密度函数 设计相应的判别函数 分类器功能结构 如类先验概率P i 和条件概率密度p x i 未知 如何去估计它们 即给定一定数量的样本 去实现这些函数的估计 1 2 基于样本的Bayes决策过程是什么 概率密度函数估计Bayes决策规则 本专题的主要内容 如何利用样本集估计P i 和p x i 估计量的性质如何 如何利用样本集估计错误率的方法 利用样本集进行参数估计类型 监督参数估计 已知样本的类条件概率密度p x i 的形式和样本所属的类别 i 去推断概率密度函数中的某些未知的参数 均值 方差 非监督参数估计 已知样本的类条件概率密度p x i 的形式而样本所属的类别 i未知 去推断概率密度函数中的某些未知的参数 非参数估计 已知样本所属的类别 i 而样本的类条件概率密度p x i 的形式未知 去推断概率密度函数 对于参数估计 存在两种方法实现 最大似然估计 Maximumlikelihoodestimation Bayes估计对非参数估计 存在两种方法 Parzen窗kN近邻法 最大似然估计和Bayes估计区别两种方法估计的参数的结果接近 但过程有区别 前者将未知参数看成是确定变量 在实际样本观察的概率最大的条件下 获得未知参数的最好的估计 后者将未知参数看成是按某种分布得随机变量 样本的观察结果由先验分布转化为后验分布 再由后验分布修正参数的估计值 3 2参数估计 统计量 样本集的某种函数f K 为参数的估计值 参数空间 总体分布的未知参数 所有可能取值组成的集合 点估计的估计量和估计值 估计量的评价标准 估计量的评价标准 无偏性 有效性 一致性无偏性 E 有效性 D 小 更有效一致性 样本数趋于无穷时 依概率趋于 3 2 1最大似然估计 MaximumLikelihood ML 样本集可按类别分开 不同类别的密度函数的参数分别用各类的样本集来训练 概率密度函数的形式已知 参数未知 为了描述概率密度函数p x i 与参数 的依赖关系 用p x i 表示 估计的参数 是确定而未知的 Bayes估计方法则视 为随机变量 独立地按概率密度p x 抽取样本集K x1 x2 xN 用K估计未知参数 似然函数 似然函数 对数 loglarized 似然函数 最大似然估计 最大似然估计示意图 最大似然估计示意图 计算方法 最大似然估计量使似然函数梯度为0 一元正态分布例解 一元正态分布均值的估计 一元正态分布方差的估计 多元正态分布参数最大似然估计 均值估计是无偏的 协方差矩阵估计是有偏的 协方差矩阵的无偏估计是 最大似然估计示例最大似然估计是把参数看成为确定的未知参数 定义似然函数为它给出了从总体中抽出这样N个样本的概率 多维情况下的估计参数为 单维情况下的估计参数为 3 2 2Bayes估计和Bayes学习 1Bayes估计这里我们先回顾一下前面讲述的最小风险Bayes决策 状态空间 观察或测量到的d维模式特征向量 决策空间 损失函数 表示真实状态为而所采取的决策为时所带来的某种损失 给定 我们采取决策情况下的条件期望损失 R表示采取决策 k总的平均损失 R称为Bayes风险 使R最小的决策 k称为Bayes决策 是特征空间中取任意值的随机变量 条件风险的期望 Bayes决策确定x的真实状态 i 模式类 Bayes估计根据一个样本集 找出估计量 估计所属总体分布的某个真实参数使带来的Bayes风险最小 令为代替所造成的损失 对于一个观测矢量集合 当用作为的估计时 在观测条件下的条件期望损失为考虑到的各种取值 我们应求在状态空间中的期望 Bayes估计的基本思想 所求得的的估计值应使估计损失的期望最小 这种使或等价地使取最小值的的估计值称为的Bayes估计 对于不同的 可得到不同的最佳Bayes估计 这里假定损失函数为平方误差 即 由于是关于的二次函数 确使或最小 上式表明 的最小方差Bayes估计是在观测条件下的的条件期望 在许多情况下 最小方差Bayes估计是最理想的Bayes最优估计器 对平方误差损失函数情况求解Bayes估计量的步骤如下 1 确定的先验分布 2 由样本集求出样本联合分布 3 求的后验分布 4 2Bayes学习Bayes学习与Bayes估计的前提条件是相同的 Bayes学习不是进行概率的参数估计 而是进行总体概率的推断以获得 因此 它们具有某些相同的计算内容 也有不同的计算目标 它们的前三步都是相同的 只是最后一步有所不同 Bayes学习最后一步为 在已知的条件下 H对已不具有什么信息 下面我们看一下最大似然估计与Bayes解的关系 最大似然估计近似等于Bayes解 条件是在有尖锐的凸峰 单变量正态分布函数的定义及性质单变量正态分布概函数 有两个参数和完全决定 常简记为 期望 方差 正态分布的监督参数估计示例 Bayes估计示例Bayes估计是把参数看成为随机的未知参数 一般具有先验分布 样本通过似然函数并利用Bayes公式将的先验分布转化为后验分布 现以单变量正态分布为例 并假定总体方差已知 估计的参数为均值 总体分布密度和参数的先验分布 形式已知 先验分布已知 对平方误差损失函数情况求解Bayes估计量的步骤如下 1 确定的先验分布 2 由样本集求出样本联合分布 3 求的后验分布 4 现 1 2 已完成 下面主要进行 3 4 这里 3 Bayes学习示例Bayes学习是是利用的先验分布及样本提供的信息求出的后验分布 然后直接求总体分布 3 2 2贝叶斯估计 最大后验概率 用一组样本集K x1 x2 xN 估计未知参数 未知参数 视为随机变量 先验分布为p 而在已知样本集K出现的条件下的后验概率为 p K 最大后验概率估计 Maximumaposteriori MAP 贝叶斯估计 最小风险 参数估计的条件风险 给定x条件下 估计量的期望损失 参数估计的风险 估计量的条件风险的期望 贝叶斯估计 使风险最小的估计 贝叶斯估计 损失函数 误差平方 定理3 1 如果定义损失函数为误差平方函数 则有 贝叶斯估计的步骤 确定 的先验分布p 由样本集K x1 x2 xN 求出样本联合分布 p K 计算 的后验分布 4 计算贝叶斯估计 一元正态分布例解 总体分布密度为 均值 未知 的先验分布为 用贝叶斯估计方法求 的估计量 样本集 K x1 x2 xN 一元正态分布例解 计算 的后验分布 计算 的贝叶斯估计 贝叶斯学习 贝叶斯学习 利用 的先验分布p 及样本提供的信息求出 的后验分布p K 然后直接求总体分布 一元正态分布例解 总体分布密度为 均值 未知 的先验分布为 样本集 K x1 x2 xN 计算 的后验分布 复制密度函数 比较 1 和 2 得到 讨论 1 当样本数足够大时 n 样本均值 n 02 先验知识与经验数据对估计