概率密度函数的估计参数估计

1、模 式 识 别,第3章 概率密度函数的估计,为什么需要概率密度函数的估计,贝叶斯决策需要的已知信息 贝叶斯分类器中只要知道先验概率，条件概率P(i),P(x|i),就可以设计分类器了 存在问题: 未知概率密度函数 未知类条件概率密度 未知先验概率密度 有一些训练数据,需要研究的问题,研究如何用已知训练样本的信息去估计P(i),P(x|i) 分类器设计的步骤: 第一步: 利用样本集估计概率密度函数 第二步: 利用概率密度函数进行分类决策,学习,训练,分类,贝叶斯决策理论设计分类器步骤,概率密度函数估计中的三个问题,如何利用样本估计概率密度函数 估计量的性质如何 利用样本集估计错误率的方法,几种估

2、计类型,概率密度函数的形式是否已知 参数估计 非参数估计 训练样本的类别是否已知 非监督参数估计 非参数估计,几种估计类型,参数估计与非参数估计 参数估计 已知研究的问题具有某种数学模型， 如正态分布，二项分布， 再用已知类别的学习 样本估计里面的参数。 非参数估计 未知数学模型，用已知类别的学习样本直接估计数学模型。,几种估计类型,监督学习与无监督学习 监督学习 在已知类别样本指导下的学习和训练，参数估计和非参数估计都属于监督学习。 无监督学习 不知道样本类别，只知道样本的某些信息去估计，如：聚类分析。,几种估计类型,监督参数估计 非监督参数估计 非参数估计,统计模式识别,句法模式识别,参数

3、估计的基本概念,基本概念 统计量 参数空间 点估计 估计量 估计值 区间估计,给定样本集合:x1, x2, xN,f(x1, x2, xN),未知参数,的容许值组成的集合,计算估计值的统计量d(x1, x2, xN),取值范围的估计(d1, d2),参数估计的基本概念,两种主要的点估计方法 最大似然估计 贝叶斯估计,最大似然估计,最大似然估计的特点 通常，训练样本数目增加时具有很好的收敛性质 一般，比其它方法简单，例如比贝叶斯方法简单,最大似然估计,问题假定： 待估参数是确定的未知量 按类别把样本分成C类X1,X2,X3, XM,其中第i类的样本共N个,Xi = (X1,X2, XN)T ,并

4、且是独立从总体中抽取的 Xi中的样本不包含j(ij)的信息，所以可以对每一类样本独立进行处理。 第i类的条件概率的函数形式已知,根据以上假定，我们下边就可以只利用第i类学习样本来估计第i类的概率密度，其它类的概率密度由其它类的学习样本来估计。,最大似然估计,似然函数 属于i类的学习样本有N个样本，即: Xi=(x1 , x2 ,xN)T 采样到Xi样本的概率密度： p(Xi |i)= p(x1 , x2 ,xN |i),N个随机变量x1 , x2 ,xN的似然函数是N个随机变量的联合密度l(i)=p(Xi|i),这个i的函数l(i)就是似然函数,最大似然估计,p(Xi |i)和l(i)的区别

5、p(Xi |i)和l(i)形式上相似，但含义不相同 p(Xi |i)是Xi的函数，是概率密度函数l(i)是i的函数，不是概率密度函数,Gaussian分布，方差已知，均值未知,似然函数是均值的函数,样本越多，似然函数越尖锐,最大似然估计,最大似然估计的基本思想,求 i的最大似然估计就是把p(xi| i)看成 i的似然函数，求出使它最大时的 i值。,最大似然估计,最大似然估计的基本思想 学习样本独立从总体样本集中抽取的 取对数 ：,N个学习样本出现概率的乘积,如何计算出使得似然函数l()取值最大的的估计值？,最大似然估计,最大似然估计的基本思想 对i求导,并令它为0：,最大似然估计,最大似然估计

6、的基本思想 前式的解不一定唯一, 只有取值最大的是最终的解。,最大似然估计,一维正态分布的参数估计 总体的分布形式: 有两个参数未知: 和,最大似然估计,一维正态分布的参数估计 有N个观测样本X= (x1,x2, xN)T 构造似然函数:,最大似然估计,一维正态分布的参数估计 最大似然估计量的方程为:,最大似然估计,一维正态分布的参数估计 最大似然估计量的方程为:,最大似然估计,一维正态分布的参数估计 最大似然估计量的方程为:,无偏估计,有偏估计,最大似然估计,例: 不规则硬币，正面概率u和背面概率1-u未知，且无先验知识。根据观测数据估计新的实验中出现正面还是背面。 有道理？,有道理？,最大

7、似然估计,最大似然估计的基本思想举例 实验室的研究生录取分数 不同实验室有个期望录取分数线 受到往年录取成绩的影响 假设只有两个真实取值:分数高vs分数低 某实验室去年都是”分数低” 同学A估计该实验室今年为分数高“ 同学B估计该实验室今年为分数低,哪一个更接近于最大似然估计方法?,贝叶斯估计,问题假定： 待估参数是待估计的参数，是随机变量 的概率分布概率已知 学习样本x = (x1,x2, xN)T ,独立同分布 根据学习样本估计参数,贝叶斯估计,贝叶斯决策 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误率为最小的两类别决策 最小最大决策,贝叶斯估计

8、,贝叶斯估计的基本思想 基于最小风险的贝叶斯决策 希望决策方法使得风险最小化 参数估计 希望的估计数值尽可能的准确 即: 希望风险最小化 需要构造一个衡量准确程度的函数,贝叶斯估计,风险 损失函数: (, ) 待估参数和学习样本x=(x1,x2,xN)T是随机变量 则，风险R为:,贝叶斯估计,风险 整理得,贝叶斯估计,贝叶斯估计,贝叶斯估计,平方误差损失函数时的估计算法 损失函数: (, )=(- )2 定理: 如果损失函数为二次函数，即 (, )=(- )2，则的贝叶斯估计量是在给定x时的条件期望，即,贝叶斯估计,步骤 确定的先验分布p(),。 用样本x=(x1, x2,. xN)T求出样本

9、的联合概率密度分布p(x| )，它是的函数。 利用贝叶斯公式,求的后验概率 利用定理求贝叶斯估计量,贝叶斯估计,一维正态分布的参数估计 总体的分布形式: 未知，但概率分布已知,贝叶斯估计,一维正态分布的参数估计 计算联合概率密度分布p(X| ) : 计算求的后验概率p(| X) :,贝叶斯估计,一维正态分布的参数估计 计算求的后验概率p(| X) :,利用待定系数法，即可求得两个参数的值,贝叶斯估计,一维正态分布的参数估计 利用定理求贝叶斯估计量: 计算求的后验概率p(| X) :,贝叶斯估计,贝叶斯学习,参数估计存在的问题 最大似然估计存在的问题 贝叶斯估计的优点:避免过学习,贝叶斯学习,贝

10、叶斯学习基本思想 已知: 样本X=(x1, x2,. xN)T 问题: 通过样本集推断总体分布p(x|X) 总体分布形式已知 问题转化为估计参数的估计问题，即: 然后再利用p( |X) 估计p(x|X),贝叶斯学习,贝叶斯学习基本思想,根据独立性假设,贝叶斯学习,例:一维随机变量x服从均匀分布 未知，但分布概率已知 给出一组观测值X=4,7,2,8，估计p(x|),贝叶斯学习,最大似然估计方法？ 似然函数 的估计值 X的分布函数 贝叶斯学习的方法？,一组观测值X=4,7,2,8,取多少，lnl()最大？,最小能取多少？,贝叶斯学习,先观察随着N的增加，p(|X)的变化 如果没有观测值(N=0)

11、 ， 则p(|X0)为: 如果观测到一个x数值， x 1=4,则p(|X1)为:,N=1,贝叶斯学习,先观察随着N的增加，p(|X)的变化 如果观测到2个x数值， x 2=7,则p(|X2)为:,N=2,贝叶斯学习,先观察随着N的增加，p(|X)的变化 如果观测到3个x数值， x 3=2,则p(|X3)为:,N=3,贝叶斯学习,先观察随着N的增加，p(|X)的变化 如果观测到4个x数值， x 4=8,则p(|X4)为:,N=4,贝叶斯学习,贝叶斯学习,最后，根据p(|X)和下式得到p(x|X),最大似然估计,正态分布的监督参数估计,监督参数估计 监督 不同类别的样本有不同的概率密度函数 用每个

12、类别自己的样本估计该类别的概率密度函数 每个样本属于那个类别是已知的 参数估计 概率密度函数的总体分布形式已知 某个或某些类别的参数未知,非监督参数估计,非监督参数估计 非监督 不同类别的样本有不同的概率密度函数 用每个类别自己的样本估计该类别的概率密度函数 每个样本属于那个类别是未知的 参数估计 概率密度函数的总体分布形式已知 某个或某些类别的参数未知,非监督参数估计,问题假设 样本来自类别数为c的各类中，但不知道每个样本究竟来自哪个类别 每类的先验概率P(wj ),j=1,，c已知; 类条件概率密度的形式已知; 未知的仅是c个参数向量= 1 , 2的值,非监督参数估计,例: 两类别正态分布

13、情况下的非监督参数估计问题 已知: c=2 两个类别样本概率密度函数的形式是正态分布 即c1类的概率密度函数: 即c2类的概率密度函数:,非监督参数估计,例: 两类别正态分布情况下的非监督参数估计问题 已知: 1和2已知 非监督参数估计问题: 利用训练样本估计1和2 。 难点:训练样本的类别未知,非监督参数估计,估计方法 最大似然估计 期望最大化（EM） 贝叶斯估计斯学习,期望最大化（EM）,解决问题 带缺失数据或者隐藏参数的参数估计问题 基本思想 样本数据分为标记样本和未标记样本 按照统计的观点，对于每一个样本的产生，其背后都有一个模型，即样本生成模型。 样本生成模型的参数先由标记样本确定，

14、再通过标记样本和利用当前模型判断标记的未标记样本共同调整。,期望最大化（EM）,例: 估计k个高斯分布的均值 已知: 数据D,由k个不同正态分布的混合所得分布而生成 生成过程: 1.随机选择k个正态分布中的一个 2.随机变量xi按照该正态分布生成 3.该过程不断重复，生成一组数据D,期望最大化（EM）,期望最大化（EM）,例: 估计k个高斯分布的均值 问题简化 K=2 正态分布的选择基于均匀概率进行 正态分布的方差2已知，均值1, 2未知 学习任务 输出:均值=的估计数值,期望最大化（EM）,步骤1: 假定当前假设=成立，计算每个隐藏变量zij的期望 zij表示第i个样本点是第j个高斯过程生成的概率 步骤2: 假定隐藏变量zij所取的值为第一步中得到的期望值Ezij,然后计算一个选的极大似然假设 ，用其替代原有参