模式识别：贝叶斯决策理论

1、模式识别贝叶斯决策理论马勤勇mqy_一一 最简单的贝叶斯分类算法最简单的贝叶斯分类算法 n还使用前面的例子：鲈鱼(sea bass)和鲑鱼(salmon)。n使用一个特征亮度对这两种鱼进行表示。n新来了一条鱼特征是x(亮度)，怎么根据特征x确定它到底是鲈鱼1还是鲑鱼2？n已知数据：鲈鱼类标号1，鲑鱼类标号2。鲈鱼总数量占所有鱼总数量的比率为P(1)，鲑鱼总数量占所有鱼总数量的比率为P(2)。由鲈鱼的分布得知这条鱼的亮度x在分类为鲈鱼时出现的概率为p(x|1),由鲑鱼的分布得知这条鱼的亮度x在分类为鲑鱼时出现的概率为p(x|2)。n如何求解？可以求出x属于鲈鱼1的概率P(1|x)和x属于鲑鱼2的

2、概率P(2|x)。如果P(1|x)P(2|x)，就认为x是鲈鱼。现在的问题是如何求P(1|x)和P(2|x)。n有一个概率公式： )()|()()|(yPyxPxPxyPn从而推出： )()()|()|(xPyPyxPxyPn换一种写法： )()()|()|(xPPxPxPjjjn这就是著名的贝叶斯公式。其中P(j)叫做先验概率，就是类别出现的可能性；p(x|j)叫条件概率，就是在j时x出现的可能性；p(j|x)叫后验概率；p(x)是该样例出现的可能性。 n因此： )()()|()|(xPPxPxPjjj该样例出现的概率出现概率类别中该样例出现概率类别的概率该样例属于类别jjj对于上面的问题：

3、 )()()|()|(111xPPxPxP)()()|()|(222xPPxPxPn如果p(1|x)p(2|x)，那么就认为x属于1，即这条鱼是鲈鱼。同理于： )()|()()|(2211PxPPxPn这几个基本数据都已经给出了，因此可以计算出不等式的结果。n如果p(1|x)gj(x)，那么认为x属于第i个类别i。n比如令gi(x)=-R(i|x)。n上面是一个不等式关系，如果不等式两边都乘以相同的正数，或加上相同的树，或取自然对数。那么不等式的关系是不变的。因此不考虑损失时的贝叶斯判别函数： )()()|()|()(xppxpxpxgiiiin可以写成：)()|()(iiipxpxg)(ln

4、)|(ln)(iiipxpxg四四 正态分布正态分布n贝叶斯公式中的p(x|j)是条件概率，代表在类别为j时，x的概率。比如在j为鲈鱼时，一个特定亮度x的概率。条件概率分布中常见的一个分布是高斯分布(正态分布)。n正态分布是最重要的一种概率分布。正态分布概念是由德国的数学家和天文学家Moivre于1733年首次提出的，但由于德国数学家Gauss(Carl Friedrich Gauss，17771855)率先将其应用于天文学家研究，故正态分布又叫高斯分布。 )()()|()|(xPPxPxPjjjn高斯分布的形状是钟形曲线。 n很多随机变量的概率分布都可以近似地用正态分布来描述。例如：n同一种

5、生物体的身长、体重等指标；n百度高个吧投票的身高分布：n在生产条件不变的情况下，产品的强力、抗压强度、口径、长度等指标；n同一种种子的重量；n测量同一物体的误差；n某个地区的年降水量；n学生的智力水平，包括学习能力，实际动手能力等呈正态分布。单变量正态分布的概率密度函数 ：n其中是均值，是标准差。n均值就是所有数的平均数，就是把所有数都加起来再除以个数n2方差就是把每个数减去它们的平均数再平方，把这些平方加起来再除以个数。方差表示统计数据的离散程度。n经常可以把上面的公式简写成：p(x)N(,2)。221exp21)(xxp多变量正态分布的概率密度函数 ：n其中是d维平均向量。是d*d的协方差

6、矩阵。|是它的行列式，-1是它的转置。n经常可以把上面的公式简写成：p(x)N(,)。 )()(21exp|)2(1)(12/12/xxxptd五五 正态分布下的判别函数正态分布下的判别函数)()()|()|()(xppxpxpxgiiii)()|()(iiipxpxg)(ln)|(ln)(iiipxpxg)()()|()|(xPPxPxPjjjn将多变量正态分布公式带入下面的判别函数：)(ln)|(ln)(iiipxpxgn得到：)(ln|ln212ln2)()(21)(1iiiitiipdxxxgn将单变量正态分布公式带入下面的判别函数：)(ln)|(ln)(iiipxpxgn得到：)(ln|ln212ln21)(2iipxxg1. i=2In当所有变量都相互独立，且每个变量的方差都是2的时候，所有的协方差矩阵都相等：i=2I。n此时，判别函数简化成了：baxpxpxxxgiititiiitii)(ln211)(ln2)()()(222n此时判别函数就变成了一个线性判别函数。 当p(i)与p(j)相等的时候，一二三维高斯分布：n如下求分割线x的位置： )(ln)(ln)|(ln)|(ln)(ln)|(ln)(ln)|(ln)(ln)|(ln)()(ln)|(ln)(21122211222111ppxpxppxppxppxpxgpxpxg当p(i)与p(j