正态分布情况下的Bayesian分类器与决策面 (Bayesian Classifier ....doc

正态分布情况下的Bayesian分类器与决策面 (Bayesian Classifier .正态分布情况下的Bayesian分类器与决策面 (Bayesian Classifier and Decision Surfaces for Normal Distributions)若一元变量x在(j的类条件概率密度p(x/(j)服从正态分布N(j, EMBED Equation.3 )，即 EMBED Equation.3 记为 EMBED Equation.3 。对二元变量x=(x1, x2)T，若(j的类均值向量为(j=(j1, (j2)T，类协方差阵为 EMBED Equation.3 ，记为 EMBED Equation.3 。一般地，有(12=(21，即 EMBED Equation.3 为对称阵，它的逆矩阵为 EMBED Equation.3 这时，x属于(j的类条件概率密度为 EMBED Equation.3 一般地，若x(Rm为m维随机变量，则x属于(j的类条件概率密度为 EMBED Equation.3 （2-36）或（2-37）成立的前提条件是 EMBED Equation.3 ，或者说 EMBED Equation.3 可逆。我们知道，当依据后验概率进行决策时，两个类别(j与(k的分界面由 EMBED Equation.3 所决定，即 EMBED Equation.3 EMBED Equation.3 。结合（2-37），我们有 EMBED Equation.3 或 EMBED Equation.3 于是，超维决策面方程为 EMBED Equation.3 这里，分类阈值 EMBED Equation.3 。以下分几种情况对（2-40）进行讨论。(j与(k的类协方差阵相等且为对角阵，即 EMBED Equation.3 ，这时， EMBED Equation.3 ，（2-40）化为 EMBED Equation.3 这是一个超维平面，由此产生的分类器被称为线性分类器。一般将（2-41）写成 EMBED Equation.3 这里，w=(k-(j常被称为权值， EMBED Equation.3 EMBED Equation.3 被称为阈值。显然，超维平面(kj的法矢量为w=(k-(j，即(kj与(k-(j垂直。特别地，当(j、(k两个类别的先验概率相等时， EMBED Equation.3 ，且平面(kj经过点 EMBED Equation.3 ，如图2-3所示。(j与(k的类协方差阵相等， EMBED Equation.3 ，且 EMBED Equation.3 EMBED Equation.3 ，（2-40）化为 EMBED Equation.3 这显然也是超维平面。(j与(k的类协方差阵不相等，即 EMBED Equation.3 ，（2-40）化为 EMBED Equation.3 这是一般二次超维曲面，可能是超维球、超维椭球、超维抛物面或超维双曲面。注意之处：正态分布情况下，的Bayes分类器与决策面存在的前提条件是，类协方差阵均可逆。同类别的样本仅分布在一个凸区域。例2.1. 设(1与(2两个类别的样本分布在二维空间，先验概率P(1)= P(2)，类条件概率密度函数服从正态分布，两个类均值分别为(1=(0.0, 0.0)T，(2=(1.0, 0.0)T，类协方差阵分别为 EMBED Equation.3 EMBED Equation.3 试求决策方程，并画出其大致形状。解：由于先验概率P(1)=P(2)，决策面方程由类条件概率密度函数所决定，即 EMBED Equation.3 或 EMBED Equation.3 今已知 EMBED Equation.3 EMBED Equation.3 EMBED Equation.3 EMBED Equation.3 代入上式并整理得决策面方程： EMBED Equation.3 这是一个中心在(-1, 0)，水平半轴长1.5、垂直半轴长2.05的椭圆，如例图2.1所示。 练习题设(1与(2两个类别的样本分布在二维空间，先验概率P(1)=P(2)，类条件概率密度函数服从正态分布，其类均值分别为(1=(0.0, 0.0)T，(2=(1.0, 0.0)T，类协方差阵分别为 EMBED Equation.3 EMBED Equation.3 试求基于最小错误概率的Bayes决策面方程，并画出其大致形状。设一个2维两类别问题。其中，类条件概率密度函数服从正态分布，类均值向量分别为 EMBED Equation.3 ， EMBED Equation.3 ，类协方差阵分别为 EMBED Equation.3 ， EMBED Equation.3 ，先验概率 EMBED Equation.3 ，试求基于最小错误概率的Bayes决策面方程，并画出其大致形状。设一个m维两类别问题。其中，类条件概率密度函数服从正态分布，均值向量分别为 EMBED Equation.3 和 EMBED Equation.3 ，类协方差阵分别为 EMBED Equation.3 和 EMBED Equation.3 ，先验概率 EMBED Equation.3 ，今欲使基于最小错误概率的Bayes决策面方程为一个超维球，试确定应满足的条件。 PAGE PAGE 37 例图2.1 决策面的大致形状1.002.0-2.0-1.0(xi2xi1(图2-3 当P(j)=P(k)且(j=(k=(2I时的决策分界面(kj示意图0 EMBED Eq