模式识别Chp2.ppt

1、模 式 识 别,Pattern Recognition (2009-2010-2),黄景涛 Email： Mobile：136-1379-6210 河南科技大学 电子信息工程学院,2,Bayes决策理论,2.0 引言 2.1 基于最小错误率的Bayes决策 2.2 基于最小风险的Bayes决策 2.3 正态分布的最小错误率Bayes决策 2.4 说明与讨论,3,4,Bayes公式：设实验E的样本空间为S，A为E的事件，B1,B2,Bn为S的一个划分，且P(A)0，P(Bi)0，(i=1,2,n)，则:,“概率论”有关概念复习,5,划分示意图,“概率论”有关概念复习,6,条件概率,“概率论”有关

2、概念复习,先验概率：P(i)表示类i出现的先验概率，简称类i的概率。,后验概率：P(i|x)表示x出现条件下类i出现的概率,称其为类别的后验概率，对于模式识别来讲可理解为x来自类i的概率。,类概密： p(x|i)表示在类i条件下的概率密度，即类i模式x的概率分布密度，简称为类概密。,7,为表述简洁，我们将随机矢量X及它的某个取值x都用同一个符号x表示，在以后各节中出现的是表示随机矢量还是它的一个实现根据内容是可以清楚知道的。,“概率论”有关概念复习,条件期望(某个特征),因不涉及x的维数,可将Xn改写为特征空间W。,8,Bayes决策理论基本概念,9,Bayes决策理论基本概念,10,引言,统

3、计决策理论根据每一类总体的概率分布决定决策边界 Bayes决策理论是统计决策理论的基本方法 每一类出现的先验概率已知 类别数是一定的 类条件概率密度 例：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。 两类的识别问题。 根据医学知识和以往的经验医生知道： 患病的人，白细胞的浓度服从均值2000，方差1000的正态分布； 未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布； 一般人群中，患病的人数比例为0.5%。 一个人的白细胞浓度是3100，医生应该做出怎样的判断？,11,引言,数学表示： 用表示“类别”这一随机变量，1表示患病，2表示不患病；X表示“白细胞浓度”这个随

4、机变量，x表示浓度值。 医生掌握的知识非常充分，他知道： 类别的先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布; 观测数据白细胞浓度分别在两种情况下的类条件分布： 已知先验分布和观测值的类条件分布，Bayes决策理论是最优的。,12,引言,决策的概念：决策是从样本空间，到决策空间的一个映射,即 对上例 样本空间就是白细胞浓度的取值范围； 决策空间 评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。 Bayes决策是所有识别方法的一个基准（Benchmark）。 Bayes决策两种常用的准则： 最小错误率； 最小风险。,13,几种常用的决策规则,基于最

5、小错误率的贝叶斯决策规则 基于最小风险的贝叶斯决策规则 限定一类错误率条件下使得另一类错误率最小的两类别决策 最小最大决策 序贯分类方法 分类器设计,14,基于最小错误率的贝叶斯决策规则,模式分类中，往往希望尽量减少分类错误，利用概率论中的贝叶斯公式，可得到使错误率最小的分类规则基于最小错误率的贝叶斯决策 以细胞识别为例： 细胞识别问题：1正常细胞，2异常细胞，某地区，经大量统计获先验概率P(1),P(2)。 目的：判断该地区某人细胞x(d维特征向量)属何种细胞 若不做任何观测，则只能由先验概率决定，即： 对x再观察：有细胞光密度特征 ,有类条件概率密度: P(x/i) i=1,2; 如右图所

6、示 利用贝叶斯公式 ：,15,基于最小错误率的贝叶斯决策,设N个样本分为两类1，2。每个样本抽出n个特征， x =(x1， x2， x3， xn)T,通过 对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别,判别函数： 若已知 先验概率P(1),P(2), 类条件概率密度P(x/ 1)， P(x/ 2) 贝叶斯判别函数四种形式 ：,16,基于最小错误率的贝叶斯决策,贝叶斯判别函数的四种形式： 对应的贝叶斯决策规则：,17,基于最小错误率的贝叶斯决策,决策面方程：g(x)=0 x为一维时，决策面为一点 x为二维时决策面为曲线 x为三维时，决策面为曲面 x大于三维时

7、决策面为超曲面 例：某地区细胞识别； P(1)=0.9， P(2)=0.1 ；未知细胞x，先从类条件概率密度分布曲线上查到：P(x/1)=0.2，P(x/2)=0.4 解：该细胞属于正常细胞还是异常细胞，先计算后验概率：,18,基于最小错误率的贝叶斯决策,决策的错误率P(e)最小; 错误率P(e)与条件错误率P(ex): 即错误率是条件错误率的数学期望 条件错误率的计算(以两类为例)： 获得观测值后，有两种决策可能：x 1或x 2，条件错误率为： Bayes最小错误率决策: 选择后验概率中最大的作为决策，使得在观测值x下的条件错误率最小: 条件错误率和错误率为：,19,基于最小错误率的贝叶斯决

8、策,20,基于最小错误率的贝叶斯决策,Bayes最小错误率决策不仅保证了错误率（条件错误率的期望）最小，而且保证每个观测值下的条件错误率最小，Bayes决策是一致最优决策； 多类识别问题的Bayes最小错误率决策： 在观测值x下的每个决策的条件错误率为 决策规则为： 后验概率的计算,21,基于最小风险的贝叶斯决策,决策风险： 以医生根据白细胞浓度判断一个人是否患血液病为例： 没病被判为有病，还可以做进一步检查，损失不大； 有病被判为无病，损失严重。 做决策要考虑决策可能引起的损失。 损失的定义：(N类问题) 做出决策x i, 但实际应为x j，受到的损失： 损失矩阵,22,基于最小风险的贝叶斯

9、决策,要判断某人是正常(1)还是肺病患者(2), 在判断中可能出现以下情况： 第一类，判对(正常正常) 11 ；第二类，判错(正常肺病) 21 ； 第三类，判对(肺病肺病) 22；第四类，判错(肺病正常) 12 。 在判断时，除做出“是” i类或“不是” i类的动作，还可做出“拒识”的动作。 基本概念 行动i：表示把模式x判决为i类的一次动作。 损耗函数ii=(i/i)：表示模式X本来属于i类而错判为i所受损失。因为这是正确判决，故损失最小。 损耗函数ij=(i/j)：表示模式X本来属于j类错判为i所受损失。因为这是错误判决，故损失最大。 风险R(期望损失)：对未知x采取一个判决行动(x)所付

10、出的代价(损耗),23,基于最小风险的贝叶斯决策,条件风险(也叫条件期望损失)： 在整个特征空间中定义期望风险, 期望风险： 条件风险只反映对某x取值的决策行动i所带来的风险。 期望风险则反映在整个特征空间不同的x取值的决策行动所带来的平均风险。 最小风险Bayes决策规则：,24,基于最小风险的贝叶斯决策,二类问题： 把x归于1时风险： 把x归于2时风险：,25,基于最小风险的贝叶斯决策,两类问题的最小风险Bayes决策:,26,一类错误率固定使另一类错误率最小判别准则 (Neyman-Pearson判决),有些情况下希望一类错误率必须满足某种要求 这种情况下，在保证该类错误率的前提下，寻找

11、使得另一类错误率最小的分类器(决策规则),27,一类错误率固定使另一类错误率最小判别准则 (Neyman-Pearson判决),28,一类错误率固定使另一类错误率最小判别准则 (Neyman-Pearson判决),阈值T的求解 例：两类的模式分布为二维正态协方差矩阵为单位矩阵1=2=I，设20.09求聂曼皮尔逊准则T.,29,一类错误率固定使另一类错误率最小判别准则 (Neyman-Pearson判决),30,一类错误率固定使另一类错误率最小判别准则 (Neyman-Pearson判决),T与2的关系如下： 此时聂曼皮尔逊分类器的分界线为 由图可知为保证2足够小，边界应向1一侧靠，则1,31,

12、最小最大判别准则,前面的讨论都是假定先验概率不变，现在讨论在P(i)变化时如何使最大可能风险最小，先验概率P(1)与风险R间的变化关系如下：,32,最小最大判别准则,这样，就可得出最小风险与先验概率的关系曲线,33,最小最大判别准则,讨论,34,最小最大判别准则,上式证明，所选的判别边界，使两类的概率相等： 这时可使最大可能的风险为最小，这时先验概率变化，其风险不变,35,序贯分类方法,迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。 但是，在许多实际问题中，观察实际上是序贯的，即随着时间的推移可以得到越来越多的信息。 假设对样品进行第 i 次观察获取一序列特征为：X=(x

13、1,x2,xi)T 则对于1，2两类问题, 若X 1，则判决完毕 若X 2 ，则判决完毕 若X不属1也不属2 ，则不能判决，进行第i+1次观察，得X=(x1, x2, , xi, x i+1)T ， 重复上面的判决，直到所有的样品分类完毕为止。 这样做的好处是使那些在二类边界附近的样本不会因某种偶然的微小变化而误判，当然这是以多次观察为代价的。,36,序贯分类方法,由最小错误概率的Bayes判决，对于两类问题，似然比为：,37,序贯分类方法,A、B值的来确定,38,序贯分类方法,39,序贯分类方法,序贯分类决策规则： 上下门限A、B由设计给定的错误概率P1(e), P2(e)来确定，Wald

14、已证明，观察次数不会很大，收敛很快。,40,分类器设计,判别函数 决策规则 决策面方程：g(x)=0,41,分类器设计,二类情况 多类情况：=(1,2,m)，x=(x1,x2,xn) 判别函数：M类有M个判别函数g1(x), g2(x), gm(x).每个判别函数有上面的四种形式。 决策规则： 另一种形式：,42,分类器设计,决策面方程：,43,分类器设计,分类器设计：,44,正态分布时的统计决策,物理上的合理性 数学分析上的简便性 单变量正态分布,45,正态分布时的统计决策,多元正态分布,46,正态分布时的统计决策,性质： 与对分布起决定作用P()=N(, ), 由n个分量组成，由n(n+1

15、)/2元素组成。多维正态分布由n+n(n+1)/2个参数组成； 等密度点的轨迹是一个超椭球面。区域中心由决定，区域形状由决定； 正态分布随机向量各分量不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立；即，协方差阵为对角阵，则各分量为相互独立的正态分布随机变量 ； 边缘分布和条件分布的正态性； 线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。 线性组合的正态性。,47,正态分布时的统计决策,多元正态概率型下的最小错误率贝叶斯判别函数和决策规则 决策面方程：,48,正态分布时的统计决策,第一种情况：各类协方差矩阵相等，且类内各特征间相互独立，具有相同的方差 判别函数 若各类先验概率相等，则,49,正态分布时的统计决策,最小距离分类器(先验概率相等时),50,正态分布时的统计决策,讨论：,51,正态分布时的统计决策,第二种情况：i 相等，即各类协方差相等 对未知x，把x与各类均值相减