概率密度估计及近邻法ppt课件

第三章概率密度函数的估计和近邻法概率密度函数的估计和近邻法，1，1引言2人口分布的参数估计最大似然估计贝叶斯估计参数3人口分布的非参数估计参数窗法kN近邻法4近邻规则，2，1引言，基于样本的两步贝叶斯决策：类条件概率密度和先验概率的估计；(2)使用并完成分类器设计。(第2章)本章讨论从样本集推导总体概率分布p(x|wi)。然而，样本的先验概率P(wi)的估计更容易实现。概率密度函数包括参数和形式，分别称为参数估计和非参数估计。估算方法如下：1 .监督参数估计已知样本类wi及其p(x|wi)形式，而参数是未知的。参数Q，例如M、s2和酉正态分布的其他参数，需要从训练样本x、3、2中估计。无监督参数估计未知样本类wi，已知形式的概率密度函数p(x|wi)，但未知参数，参数估计来自样本x。上述两种方法均可用于通过最大似然法和贝叶斯估计法来估计参数。3.非参数估计-即以已知样本类别但未知概率密度函数的形式估计分布p(x|wi)所属的p(x|wi)的形式。可以使用Parzen窗口方法和kN邻居方法。4.最近邻规则-分类器是直接使用不属于估计内容的样本设计的。一种非参数方法(即不需要在分类中估计概率密度函数)。(1)统计：每个训练样本包含全部信息。根据从总体中提取的样本集，构造一个特定的函数，称为统计学中的统计学。参数空间：概率密度的形式已知，参数Q未知，Q的一组可接受值称为参数空间，表示为。(3)点估计、估计量和估计量：构造一个统计量F (X1，xn)作为参数q的估计量。如果X1和Xn属于某一类，则该类的具体估计值可以通过代入统计量F得到。本章中的参数估计属于点估计。(4)区间估计-要求区间(d1，d2)作为可能的q值范围的估计。该区间称为置信区间。基本原理认为参数Q是确定的(非随机的)，但其值是未知的。最佳估计是在样本X的概率最大的条件下得到的。假设：样本集被分成C子集X1，X2，Xc根据类别，其中xj中的样本是从概率密度为p(x|wj)的总体中独立提取的。(2)p (x | wj)的形式是已知的，而参数qj是未知的，可以写成p(x | wj，qj)。(3)不同类的参数是独立的，即xi不包含qj信息(ij ),因此每个类可以单独处理，总共可以处理c个独立的问题。6.假设一个由n个样本组成的类构成一个样本集，x=x1，x2，xn个样本是从这个类中独立提取的。因此，在n个随机变量的联合概率密度统计中，p(x|q)是相对于样本集x的q的似然函数l(q)似然函数l(q)。最大似然估计的定义：设l(q)为样本集X的似然函数，它能在的参数空间中使l(q)最大化。最大似然法的主要思想是：如果一个事件发生在一次观察中，它最有可能发生。事件x=x1，x2，xn出现在一次观察中(即从总体中提取n个样本)，然后可以认为p(x|q)达到最大值，即在参数空间中使似然函数最大化的值。一个简单的例子：8，假设似然函数p(x|q)对于未知参数q是连续可微的，它可以通过求极值的典型方法得到。在单个Q的情况下求最大值的必要条件：如果Q是一个向量并且有S分量q=q1，qsT，那么多元梯度算子的对数似然函数H(q)是一个单调递增函数。为了便于计算，通常使用对数似然函数。对于正态分布的最大似然估计计算方法和形式完全相似，但更复杂。计算结果：均值向量的最大似然估计是样本的均值，而协方差的最大似然估计是n个矩阵的算术平均值。这是一个一致的估计。协方差矩阵的无偏估计是，14，2 .贝叶斯估计和贝叶斯学习。Bayes估计：根据样本集x确定种群的某一参数qBayes学习：确定概率密度函数p (x) (1) Bayes估计基本原理：将参数q视为具有某一先验分布p(q)的随机变量，观察样本x，将先验分布转换为后验分布p(q|x)，并相应地修正原始估计。假设：根据类别将所有样本分为C子集。每个子集有n个样本x=x1，x2，xn。每个类别都可以单独处理。(2)样本的分布形式p(x|q)是已知的，而参数q是未知的。(3) q是一个随机变量，它的先验几乎秘密函数p(q)是已知的。贝叶斯估计和最小风险贝叶斯决策可以统一：贝叶斯估计：有一个样本集x用来估计总体分布的一个参数，以最小化贝叶斯风险。贝叶斯估计最小风险是给定条件下估计量的预期损失，通常称为条件风险。最小化条件风险的估计量Q是贝叶斯估计。经推导(定理3.1第52页)，当使用平方误差损失函数时，估计量为条件期望：16、贝叶斯参数估计步骤：确定q的先验概率密度函数p(q)；(2)从样本集x=x1，x2，xn，它是q的函数；(3)用贝叶斯公式得到后验分布p (q | x)和(4)得到样本的估计量q、17和(2)。例如，(1)样本是一维正态分布p (x | m)-n (m，S2)，m是未知的，(2) m是随机的，并且其先验概率密度p (m)-n (m0，s02)和(3) n个样本形成样本集x=x1，x2，xn求m的估计量解：用贝叶斯公式求m的后验分布：a-标度因子与，18无关。根据上述假设：后验概率密度p(|x)p(|x)是的二次函数的指数函数，仍然是正态密度。写，19，20，贝叶斯学习-寻找概率密度函数p(x|X)从联合密度中寻找条件概率密度函数X由n个样本组成，X=x1，XN使用贝叶斯公式计算q的后验分布p(q|X)。根据独立性，其中xn=x1，xn-1，xn，xn-1=x1，xn-1，21，q的先验概率密度p(q|X0)=p(q)是已知的。根据样本序列x1，xn中，重复计算下面的公式以获得概率密度的序列p(q)，p(q|x1)，p(q|x1，x2)。同时，q被修改。如果该密度序列在估计值附近产生陡峭的峰值，即前三步与贝叶斯估计相同。接下来的步骤(1)读入第一样本x1并计算以获得后验概率密度p(q|x1)，该后验概率密度被用作下一次计算的前验概率密度；(2)读取样本x2并计算得到p (q | x1，x2)；(3)概率密度序列是这样获得的：这个过程称为参数估计的递归贝叶斯方法。这个序列收敛到一个以q0为中心的D函数，这个性质叫做贝叶斯学习。大多数密度函数都有这种性质。上例通过贝叶斯学习得到的条件概率密度函数的无监督参数估计方法采用了相同的两种方法，但计算更加复杂。就最大似然估计而言，由于样本的类别是未知的，因此定义了由C类样本组成的混合密度来建立似然函数。人口分布的非参数估计，24，3，估计人口分布的形式-概率密度函数p (x | x1，x2，xn)根据训练样本集x=x1，x2，xn。基本思想是每个样本对总体概率密度分布(例如矩形a)有贡献，并且n个样本的贡献被加在一起以获得概率密度估计，例如虚线。也可以认为每个样本在其自身位置的贡献增加，而来自远处的贡献很小(如正态分布)，概率密度估计也是通过叠加得到的(如下图)。25岁。嘘理论上，为了制造，我们必须使体积V接近零，而N和K接近无穷大。如果体积v是固定的，并且获得越来越多的样本，则k/N收敛，并且只能获得p(x)的空间平均估计。如果样本数n是固定的，那么r连续减小，v接近零，将出现两种无意义的情况：一种是该区域不包含任何样本，p(x)=0；第二，恰好有一个样本，p(x)=。事实上，样本是有限的，V不能任意减少。如果用这种方法进行估计，频率k/N和估计的p(x)将是随机的，并有一定的方差。29，假设有无限数量的样本可用，则在特征空间中构建包含x点的区域序列R1、R2和rn，用一个样本估计R1，用两个样本估计R2。假设落在RN上的x点的数量为kN，则第n次估计的概率密度函数为30。对于满足这三个条件的区域序列，一般有两种方法：帕尔岑窗方法：选择包含x个点的区域序列VN作为样本数N的函数，并使其空间体积VN随着N的增加而减小，例如，VN=N-1/2。然而，应该对kN和kN/N施加一些限制，以使估计值收敛到p(x)。(2) KN最近邻法：选择KN作为样本数的函数。假设kN是n的函数(例如，kN=N1/2)，并调整体积VN的大小，使得该区域恰好包含x的kN个邻居，则该区域的体积可用作x点的密度估计。在窗口估计概念的多维情况下，x点周围的区域RN是超立方体，边长是HN，d是特征空间的维数。训练样本xi是否属于这个超立方体，检查x-xi的每个分量值，如果它小于hN/2，则它在RN内，其中x是数轴上的一个点(特征三元组)。为了用一个函数来描述落入VN的训练样本数，f(u)是围绕u的特征空间原点的单位超立方体。32，如果u=(x-xi)/hN，当样本xi落入以x为中心、以VN为体积的立方体时，窗口函数计为1，否则为0。落入虚拟网络的样本数：X点的密度估计；帕尔岑窗的密度估计；应该添加以X为中心的立方体中的样本，33；通过直观解释正方形窗口估计一维概率密度函数：样本集X=X1，X2，X5有五个样本。在x=xi作为中心和h作为宽度的范围内，每个样本Xi对概率密度函数贡献1。数轴x上任意点的几乎稠密函数是样本集中所有样本对的总和。将所有的点相加，就得到用虚线表示的p(x)的分布。如果样本的数量很大并且选择了适当的窗口函数，则估计的概率密度函数可以接近真实的概率密度函数p(x)。估计量是一个密度函数的条件是它是一个估计合理的概率密度函数，并且必须满足概率密度函数的基本要求，即它应该是非负的，并且在特征空间中积分为1。为此，窗函数必须满足两个条件：35，和(3)窗函数的选择：方形窗函数正常窗函数指数窗函数可以用作窗函数，只要所选函数满足上述两个条件表达式。估计量的统计性质37生成随机变量的补充资料(共4页，3个问题)生成均匀分布在0，1中的随机数的用户界面方法，38生成随机变量的基本方法(不均匀分布在0，1中的随机数)-逆变换法是一种基于概率积分变换定理的常用抽样方法。基础是在0，1之间均匀分布的随机数。如果随机变量x的分布函数是F(x)，它的反函数是F-1。在0，1之间均匀分布的随机数可以用来生成需要分布的随机变量。具体的方法是0，1来均匀分布随机数，这样，U=F(x)x=F-1(U)x-就是需要分布的随机变量。给出了一种生成一维正态分布随机变量的近似方法。例如，根据已知的概率密度函数p(x)，生成一系列随机变量作为样本。正常窗口函数用于估计总体分布这种方法是通用的，也就是说，无论它是规则的还是不规则的，可以使用单峰或多峰分布，但是所需的样本数量非常大。从图中可以看出，当n=256，h1=1时，它接近真实分布，而当h1=4时，噪声很小。当样本数量较大时，h1的影响很小。均值为0，方差为1的正态分布，两个均匀分布的混合密度，44，基本步骤：1)生成训练集样本，有两种方法：1)在问题域中收集样本；(2)根据主题含义根据已知的概率密度产生随机样本。将X设为D维的数轴，并在数轴上向前推体积，即N=1，2，3，这样就可以计算出落入每个体积的样本数KN。(3)选择窗口函数f(u)并使用概率密度函数公式计算数轴上每个点的密度。(4)将所有点相加，并用图形表示概率密度面(一维是曲线)。如果随机数是根据一定的概率密度生成的，则可以将计算出的表面(线)与其进行比较，以验证帕尔岑窗方法的正确性。45,3.kN最近邻法的Parzen窗存在一些问题：体积V，V1的选择非常敏感，太小，大多是空的和有噪声的；过大的估计值是平的，不能反映总体分布的变化。(1) kN最近邻法：体积不是样本的函数，而是kN的函数。首先确定kN，然后体积围绕x点连续扩展，直到捕获kN个样本，这称为x的KN个邻域。如果x点附近的密度较高，则体积越小，分辨率越高，而体积越大。kN近邻估计公式：46，2估计pN(x)收敛到真概率密度p(x)的充要条件：KN可作为N的函数，例如，k10选择k1，使kN1。这种方法还需要较大的样本量。一个维度需要数百个样本；二维需要数千个样本。条件与前面的例子相同，使用kN最近邻法。(1) p (x)是均值为0、方差为1的正态分布，生成样本xi (2) p (x)是具有两个均匀分布的混合密度生成样本xi，n=1，16，256，；KN=1，4，16，左边显示了估计结果。计算步骤类似于帕尔岑窗法。其他的，48，4最近邻法，kN最近邻法是用样本来估计概率密度函数。我们现在讨论的是直接使用样本，并根据距离对它们进行分类。最近邻法：在设计阶段，根据训练集样本在特征空间划分边界。计算待识别的样本点X与其周围邻居之间的距离，并将X分类为样本在最近邻居中所属的类别。最近邻法k-最近邻法这种方法是非参数的(不估计概率密度)-有最近邻法、线性判别函数和聚类法(无监督学习法)。最近邻法(1)决策规则有c个类别，每个类别有表示类别的Ni个样本，I=1，2，c .判别函数