统计决策方法概论课件

10八月20231统计决策方法概论02八月20231统计决策方法概论课前思考机器自动识别分类，能不能避免错分类?怎样才能减少错误？不同错误造成的损失一样吗？先验概率，后验概率，概率密度函数？什么是贝叶斯公式？正态分布？期望值、方差？正态分布为什么是最重要的分布之一？2023/8/10课前思考机器自动识别分类，能不能避免错分类?2023/8/学习指南本章要说明分类识别中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？怎样才能使错分类最少？不同的错分类造成的危害是不同的，有的错分类种类造成的危害更大，因此控制这种错分类则是更重要的。为此引入了一种“风险”与“损失”概念，希望做到使风险最小。要着重理解“风险”与“损失”的概念，以及在引入“风险”概念后的处理方法。2023/8/10学习指南本章要说明分类识别中为什么会有错分类，在何种情况下理解本章的关键要正确理解先验概率，类概率密度函数，后验概率这三种概率对这三种概率的定义，相互关系要搞得清清楚楚Bayes公式正是体现这三者关系的式子，要透彻掌握。2023/8/10理解本章的关键2023/8/2统计决策理论是模式分类问题的基本理论之一贝叶斯决策理论是统计决策理论中的一个基本方法统计决策理论最小风险贝叶斯决策2聂曼-皮尔逊判决3最小错误率贝叶斯决策1第二章统计决策理论62023/8/10正态分布决策理论4最小风险贝叶斯决策2聂曼-皮尔逊判决3最小错误率贝叶斯决策1最小错误率贝叶斯决策172023/8/10最小错误率贝叶斯决策172023/8/2信息获取预处理特征提取分类决策模式识别系统的基本构成分类决策：把样本分到哪一类最合理样本1样本2样本3类别空间样本空间到决策空间的一个映射采用不同的标准会得到不同意义下的“最优”的决策最小错误率贝叶斯决策82023/8/10信息获取预处理特征提取分类决策模式识别系统的基本构成分类决策基于最小错误率的贝叶斯决策基本思想使错误率为最小的分类规则称之为基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策基本思想例子：挑选西瓜编号敲声好瓜1沉闷是2沉闷否3沉闷否4沉闷否5清脆是6清脆是7清脆否8浊响是9浊响否

102023/8/10例子：挑选西瓜编号敲声好瓜1沉闷是2沉闷否3沉闷否4沉闷否5贝叶斯公式先验

似然

后验

112023/8/10当敲击声音为清脆时,该西瓜是好瓜的概率贝叶斯公式先验

似然

后验

112023/8/2当敲挑选西瓜这种决策信息没有意义

如何根据敲声挑选出好的西瓜？

根据贝叶斯公式

只根据先验知识挑选西瓜

122023/8/10挑选西瓜这种决策信息没有意义

如何根据敲声挑选出好的西瓜如果有：

则为好瓜，反之亦然

分母相同，实际只需要比较分子这种根据后验概率进行决策的方法称为最小错误率贝叶斯决策132023/8/10如果有：

则为好瓜，反之亦然

分母相同，实际只需要比较判别函数的几种等价形式2023/8/10等价决策规则：判别函数的几种等价形式2023/8/2等价决策规则：讨论类条件概率密度函数直接用来分类是否合理？2023/8/10具有一定的合理性不满足最小错误率要求但是没有考虑先验概率讨论类条件概率密度函数直接用来分类是否合理？2023/8/2类条件概率和后验概率区别？后验概率:P(ω1|x)和P(ω２|x)同一条件x下，比较ω1与ω2出现的概率两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1如P(ω1|x)>P(ω2|x)则可以下结论，在x条件下，事件ω1出现的可能性大类条件概率:P(x|ω1)和P(x|ω2)是在不同条件下讨论的问题即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1P(x|ω1)与P(x|ω2)两者没有联系问题类条件概率和后验概率区别？问题问题为什么先验概率和类条件概率密度函数可以作为已知，而后验概率需要通过计算获得？计算概率都要拥有大量数据估计先验概率与类条件概率密度函数时都可搜集到大量样本对某一特定事件要搜集大量样本是不太容易只能借助Bayes公式来计算得到2023/8/10问题为什么先验概率和类条件概率密度函数可以作为已知，而后验概错误率分析对待分类模式的特征我们得到一个观察值

x

，合理的决策规则：

决策错误的条件概率（随机变量x

的函数）：

182023/8/10错误率分析对待分类模式的特征我们得到一个观察值x，合理平均错误率

(连续情况)(离散情况)192023/8/10如果我们把作出w1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(w2|x)。另一个区R2中的x,条件错误概率为p(w1|x)因此平均错误率P(e)可表示成

平均错误率

(连续情况)(离散情况)192023/8/22023/8/102023/8/2优点：癌细胞筛查：是癌细胞但是判断为正常细胞的风险应该比正常细胞判断为癌细胞的风险大得多决策规则最小误差最小风险限定一类错误率只是在最小错误率下的最优212023/8/10缺点：基于后验概率决策的贝叶斯分类器具有最小错误率小结优点：癌细胞筛查：是癌细胞但是判断为正常细胞的风险应该比正常最小风险贝叶斯决策2222023/8/10最小风险贝叶斯决策2222023/8/2基本思想使错误率最小并不一定是一个普遍适用的最佳选择。例如：癌细胞分类，两种错误的代价(损失)不同两种错误:癌细胞→正常细胞正常细胞→癌细胞宁可扩大一些总的错误率，但也要使总的损失减少。引进一个与损失有关联的，更为广泛的概念——风险。在作出决策时，要考虑所承担的风险。2023/8/10基本思想使错误率最小并不一定是一个普遍适用的最佳选择。202相关概率损耗函数λii=λ(αi/ωi)表示模式样本X本来属于ωi类而判决为ωi类所受损失。损耗函数λij=λ(αi/ωj)表示模式样本X本来属于ωj类错判为ωi所受损失风险R（期望损失）：对未知x采取一个判决行动α(x)所付出的代价（损耗）条件风险（也叫条件期望损失）在整个特征空间中定义期望风险，期望风险2023/8/10相关概率损耗函数λii=λ(αi/ωi)表示模式样本X本来属最小风险贝叶斯决策2023/8/10决策规则：

最小风险贝叶斯决策2023/8/2决策规则：

最小风险VS最小错误率2023/8/10二类问题：把x归于ω1时风险：把x归于ω2时风险：

最小风险VS最小错误率2023/8/2二类问题：把x归于聂曼-皮尔逊决策3272023/8/10聂曼-皮尔逊决策3272023/8/2聂曼－皮尔逊准则聂曼－皮尔逊准则是在取某类错误率为常数时，另一类错误率尽可能小。例如：2023/8/10两类错误率聂曼－皮尔逊准则聂曼－皮尔逊准则是在取某类错误率为常数时，另Lagrange乘子法将有约束极值问题问题转化为2023/8/10Lagrange乘子法将有约束极值问题问题转化为2023/8注：可以看出聂曼-皮尔逊决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的，不同地是最小错误决策阈值为先验概率之比，而聂曼-皮尔逊决策阈值则是Lagrange乘子。注：可以看出聂曼-皮尔逊决策规则与最小错误率贝叶斯决策规则都2023/8/102023/8/2优点：

322023/8/10缺点：必须知道类条件概率（似然）可以设计理论上最优分类器小结优点：

322023/8/2缺点：可以设计理论上最优分类器小正态分布决策理论4332023/8/10正态分布决策理论4332023/8/2本节和前三节的关系前三节:基本概念阶段性的总结本节:概念具体化结合一种比较典型的概率分布来进一步分析基于最小错误贝叶斯决策分类器的种种情况本节和前三节的关系前三节:基本概念本节重点什么叫正态分布高斯分布的表达式如何将正态分布与基于最小错误率的贝叶斯决策结合起来如何简化方式表示正态分布本节重点什么叫正态分布研究正态分布的原因数学上比较简单N(μ,σ²)只有均值和方差两个参数物理上的合理性研究正态分布的原因单变量正态分布单变量正态分布概率密度函数定义为单变量正态分布单变量正态分布概率密度函数定义为思考:正态分布，或高斯分布是先验概率P(ωi)，还是分布P(X|ωi),还是后验概率P(ωi|X)？不是我们所讨论的先验概率P(ωi)，也不是后验概率P(ωi|X)，而是p(x|ωi)。2023/8/10思考:正态分布，或高斯分布是先验概率P(ωi)，还是分布P(（多变量）多维正态分布

2023/8/10（多变量）多维正态分布

2023/8/22023/8/102023/8/2性质①、μ与∑对分布起决定作用P(x)=N(μ,∑),μ由n个分量组成，∑由n(n+1)/2元素组成。∴多维正态分布由n+n(n+1)/2个参数组成。

②、等密度点的轨迹是一个超椭球面。区域中心由μ决定，区域形状由∑决定。③、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。④、边缘分布与条件分布的正态性。⑤、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。⑥、线性组合的正态性。2023/8/10性质①、μ与∑对分布起决定作用P(x)=N(μ,∑),μ正态分布时最小错误率贝叶斯决策2023/8/10判别函数：类条件概率密度用正态来表示：决策面方程：正态分布时最小错误率贝叶斯决策2023/8/2判别函数：类条第一种情况各个特征统计独立，且同方差情况2023/8/10判别函数：第一种情况各个特征统计独立，且同方差情况2023/8/2判别2023/8/10如果M类先验概率相等：最小距离分类器未知样本x与μi相减，找最近的μi把x归类2023/8/2如果M类先验概率相等：最小距离分类器2023/8/102023/8/2讨论讨论

对于未知样本x，把x与各类均值相减，把x归于最近一类，即为最小距离分类器。Σi＝Σ相等，即各类协方差相等。几何上看，相当于各类样本集中于以均值点为中心的同大小和形状的超椭球内。第二种情况对于未知样本x，把x与各类均值相减，把x归于最近一类统计决策方法概论课件讨论：针对ω1，ω2二类情况，如图：讨论：针对ω1，ω2二类情况，如图：Σi为任意，各类协方差矩阵不等，二次项xT

Σix与i有关，所以判别函数为二次型函数。第三种情况(一般情况)Σi为任意，各类协方差矩阵不等，二次项xTΣix与i有关统计决策方法概论课件讨论对于(a)图，的方差比小，因此来自的样本更加可能在该类的均值附近找到，且由于圆的对称性，决策面是包围的一个圆若把轴伸展，图(b)的决策面就伸展为一个椭圆讨论对于(a)图，的方差比讨论若两类的条件概率在方向上具有相同的方差，但在方向上的方差比的方差大，此时值大的样本可能来自类，且决策面为图(c)的抛物线若对在方向上加大其方差，其决策面为图(d)的双曲线讨论若两类的条件概率在