模式识别第三讲-统计决策理论PPT课件

.,1,第二章统计决策理论,.,2,2.1引言,PR中的分类问题是根据识别对象特征的观测值，将其分到相应的类别中去。统计决策理论是模式分类的主要理论和工具。这一章要讨论：最小错误率贝叶斯决策最小风险贝叶斯决策,.,3,2.2贝叶斯决策,问题：假定要识别的物理对象x有d个特征，x1，x2，xd，记作x=x1，x2，xdT，所有的特征向量构成了d维特征空间。假定这些待识别的对象来自c个类别，i，i=1，2，c，并且每个类别出现的先验概率Pi和类条件概率密度p(x|i)，i=1，2，c已知。,.,4,如果观察到一个样本，那么把分到哪一类去才是合理的呢？,这是这一章要解决的问题。,.,5,一.最小错误率贝叶斯决策,在模式分类问题中，人们希望尽量减小分类的错误。不可能不犯错误，因为样本是随机的我们希望所使用的分类规则，能使错误率达到最小。,.,6,以细胞识别为例：细胞切片的显微图像经过一定的预处理后，抽取出d个特征。每一细胞可用一个d维的特征向量x表示。希望根据x的值分到正常类1或异常类2中去。,假定可以得到Pr1、Pr2（Pr1+Pr2=1）,和p(x|1)、p(x|2)。,如果只有先验概率，那么合理的选择是把x分到Pr1、Pr2大的一类中去。一般由于Pr1Pr2，这样就把所有的细胞分到了正常的一类。失去了意义。,.,7,如果有细胞的观测信息，那么可以改进决策的方法。为了简单起见，假定x是一维的特征（如胞核的总光强度）。p(x|1)和p(x|2)已知：,利用贝叶斯公式：,.,8,得到的Pri|x称为状态（正常、异常）的后验概率。上述的贝叶斯公式，通过观测到的x，把先验概率转换为后验概率。,这时，基于错误率最小的贝叶斯决策规则为：,后面要证明这个决策规则是错误率最小的。,.,9,上面的贝叶斯决策规则还可以表示成以下几种形式：,若，则,若，则,.,10,.,11,例1：某一地区的统计资料，Pr1=0.9（正常），Pr2=0.1（异常），有一待识别细胞，其观测值为x，从类条件概率密度曲线上查出，p(x|1)=0.2，p(x|2)=0.4。,解：利用贝叶斯公式，有,应把x归为1类，不是完全正确，但错误率最小。,.,12,解：,.,13,似然比检验,上式两边取对数，再乘以2，有,，构成一个判别函数。,.,14,下面证明上述基于最小错误率的贝叶斯规则是错误率最小的。,证明：错误率是对所有x的平均错误率Pre,两类时的条件错误概率为：,.,15,对每个x，因为决策为后验概率最大的类别，Pre|x为最小。因此错误率最小。,.,16,对于多类情况，最小错误率决策规则为：,若，则,或若则,称为判别函数（discriminantfunction）。,.,17,二.最小风险贝叶斯决策,在实际工作中，有时仅考虑错误率最小是不够的。,细胞识别,.,18,要考虑行动的后果、行动的风险。采取的决定称为决策或行动。决策可以为分到某一个类别，或“拒绝”等。假设一共有m个决策。每个决策或行动都有一定的代价或损失。,损失函数表示真实状态为，采取行动为时的损失。,.,19,对于给定的x，采取决策时的条件损失或条件风险为：,如果在采取每一决策时，其条件风险都最小，则对所有的x作决策时，其平均（期望风险）也最小。称为最小风险的贝叶斯决策。,.,20,最小风险的贝叶斯决策规则：,若，则采取。,.,21,对于实际问题，最小风险的贝叶斯决策可按如下步骤进行：,根据Prj，p(x|j)，j=1，2，c，以及给出的x，计算后验概率,计算条件风险,.,22,例3：仍以例1中的细胞为例，Pr1=0.9，Pr2=0.1，p(x|1)=0.2，p(x|2)=0.4，=0，=6，=1，=0。,解：由例1的计算，有,而,.,23,和例1正好相反。因为考虑到了损失。,损失函数的确定要针对具体情况，具体领域。,x被划分为异常。,.,24,三.最小错误率决策和最小风险决策间的关系,前者是后者的特例。,如果损失函数（不考虑“拒绝”），这样定义的损失函数称为01损失函数。,.,25,这时的条件风险为即对x采取决策时的条件错误率。所以使的最小风险决策等价于使最大。,最小错误率的贝叶斯决策就是01损失函数下的最小风险贝叶斯决策。,.,26,小结,最小风险贝叶斯决策,.,27,这些决策方法都导致了似然比检验,，只是阈值不同。,以上关于两类问题的决策方法可以很容易推