ch2-2.3.2正态分布下的Bayes判据的判别函数和决策面(线性、二次分类器)

2.3.2正态分布下的Bayes判据的判别函数和决策面

(二次和线性分类器)5/11/20241四川大学、电气信息学院、余勤前面讲的提供了设计各种特定形式分类器的基础。这一小节讲述二次和线性分类器。所以叫作二次或线性分类器是因为分类（决策）面方程的数学形式是二次或线性的。这样的分类器又叫参数分类器，因为它们由一些参数所规定（如分布的均值和方差）。5/11/20242四川大学、电气信息学院、余勤二次或线性分类器的引出：在一定的分布和条件下（如正态、等协方差矩阵），贝叶斯决策可以导致二次或线性分类器。虽然贝叶斯决策（似然比检验）在错误率或风险上是最优的，但必须知道类条件密度。(在大多数应用场合，类条件密度函数是从有限的样本中估计的。后面我们将讲一些密度函数估计的方法。但密度函数的估计本身是一件复杂工作（其难度不低于分类）并且需要大量样本。)5/11/20243四川大学、电气信息学院、余勤即使我们得到了密度函数，有时用似然比检验的方法也很难计算，需要大量的时间和空间。因此我们有时考虑实际中更简便易行的分类器设计方法。用二次、线性、分段线性分类器。即先规定分类器的数学（函数）形式，然后在适当的准则下，来确定这些函数中的未知参数。这一节先分析在什么条件下贝叶斯分类器变成二次和线性分类器，第四章再讨论当这些条件不满足时，如何设计“性能好”的参数分类器(LDA判别式分析法）。5/11/20244四川大学、电气信息学院、余勤一.两类问题的二次和线性分类器对于似然比检验的决策规则:5/11/20245四川大学、电气信息学院、余勤当各类的类条件密度是多元高斯分布时，这时似然比为为协方差矩阵，d维均值向量。5/11/20246四川大学、电气信息学院、余勤定义，-2倍自然对数,则:(1)上式是二次分类器。计算

到各类均值的Mahalanobis距离，然后和阈值

相比较，决定属于第一类或第二类。5/11/20247四川大学、电气信息学院、余勤在一维时，马氏距离，即比较用方差标准化的一般距离。展开(1)式，有式中5/11/20248四川大学、电气信息学院、余勤决策边界是二次曲面（超曲面）：超椭球面、超双曲面、超抛物面、超平面等，或它们组合的形式。（为了确定二次曲面的形状，首先要消掉x的各分量相乘的项，可采用旋转坐标系的方法，把坐标轴旋转到A的特征向量的方向。曲面的几何形状由A的特征值决定。如果A的特征值全部是正的，则是超椭球面；如果特征值有些正，有些负，则是超双曲面；如果有些特征值是0，则是超抛物面。）5/11/20249四川大学、电气信息学院、余勤当落到决策边界的某一侧时，就把它分到相应的类。也可以把上述二次分类器用到非高斯分布的密度函数，但这时不能保证错误率最小。（但所确定的边界是和二阶统计矩（均值、方差）最相匹配的。）

任何具有（2）式的分类器都叫作二次分类器。只有A、b、c是由高斯密度函数确定时，才叫高斯分类器。5/11/202410四川大学、电气信息学院、余勤例1：两维时的二次分类器的决策边界假定两类模式都是高斯分布的，参数为：求的分类边界，并画出其曲线。5/11/202411四川大学、电气信息学院、余勤解：

5/11/202412四川大学、电气信息学院、余勤当T=0，h(x)=T=0化为：，是一双曲线。5/11/202413四川大学、电气信息学院、余勤当先验概率相等(）时，最小错误率决策规则选择类条件概率密度函数大的。由于第二类在方向上的方差大于类1的，这样密度函数在方向上将有较广的延伸。使得在左边区域内从而有，尽管这些点比较靠近类1的均值点。5/11/202414四川大学、电气信息学院、余勤在前面的中，如果两类的协方差矩阵相等，则矩阵这时决策规则为:这时的决策边界就退化为线性决策边界（超平面），相应的分类器为线性分类器。特别地：当时，决策面方程可化为：其中：满足（2－96）的x的轨迹是一个超平面该超平面过正交于和的连线。当时，在连线的中点，当时，在连线上靠近先验概率小的一边。5/11/202415四川大学、电气信息学院、余勤二.判别函数和多类分类器多类的判别函数

当模式有类，这时的最小错误率的决策规则可以表示为：若（3）

式中称为判别函数（discriminantfunction）。它表示决策规则。5/11/202416四川大学、电气信息学院、余勤由贝叶斯公式，和等价。即把用（3）式中时，决策规则是一样的。当先验概率相等时，也是一组等价的判别函数。一般地，若是任意一组判别函数，则下面定义的也是一组等价的判别函数：a>0,b是常数。（也可以是x的函数，但不能是k的函数。）5/11/202417四川大学、电气信息学院、余勤同样，若f是单调增函数，它和也是等价的。这些性质可以使我们从一组判别函数推导出另外的判别函数，以便计算上更加简单，或者意义更清楚，便于理解。5/11/202418四川大学、电气信息学院、余勤多类的二次和线性分类器

由于自然对数是单调增的，所以可以定义下面等价的判别函数：当每类都是正态分布，其均值和协方差分别为和时，这时的最小错误率决策规则的判别函数为：5/11/202419四川大学、电气信息学院、余勤这是二次判别函数。当所有类的先验概率相等时，可以省略。前面已经证明，当两类的协方差矩阵相等时，二次分类器退化为线性分类器。多类时也是如此。当时，（4）式化为：上式中，由于第一项和第四项对所有的类都是相同的，所以等价的一组判别函数为：（5）上式是x的线性函数。5/11/202420四川大学、电气信息学院、余勤例2：最小距离分类器。假定各类的先验概率相等，而且各类。即的各个分量不相关，且各类等方差。解：这时的判别函数化为：后两项对所有类是共同的，可以省略。分母中的也可以去掉，因而有等价的判别函数：这时的决策规则的含义是：离哪类的均值最近，就把它分到哪类。5/11/202421四川大学、电气信息学院、余勤例3

：内积分类器（相关分类器）有假定。利用线性判别函数若进一步假定每类的均值的模相等，即相等，它们分布在半径为的一个超球面上，且由于假定先验概率也相等，因此，等价的判别函数为：即将观测向量x和每类的均值μk作内积（或称相关），然后选择值最大的，作为它的类。5/11/202422四川大学、电气信息学院、余勤上述经典例子是通信理论中信号检测的一个例子。假定有c种已知信号要检测。令x(t)表示接收到的信号，mk(t)是c种已知的信号，k=1，2，…，c

。mk(t)在发送的过程中，混入了白噪声w(t)，即接收到的信号为：

如果随机向量x和mk是由相应的时间函数取样而成，即假设：白噪声w(t)是零均值、等方差、不相关的信号（随机过程）。即在任意时刻ti，，方差为，且当时，5/11/202423四川大学、电气信息学院、余勤5/11/202424四川大学、电气信息学院、余勤假定相等，即要求所有的信号具有相等的能量。把接收到的信号和已知信号作相关，然后选择相关最大的输出。作相关时通常通过一个“匹配滤波器”来实现。选择最大的输出

匹配滤波器

┇

匹配滤波器匹配滤波器5/11/202425四川大学、电气信息学院、余勤在连续时，判别函数：上式的相关通常用一个线性滤波器的输出来实现。该滤波器的输出是相关值，滤波器的单位冲激响应，滤波器可由专门的仪器来做。其中：满足，因此5/11/202426四川大学、电气信息学院、余勤可以把上面的线性分类器的讨论再进一步。在线性分类器中，如果把向量在∑的特征向量的坐标系下表示（作变换），并作比例变换使所有分量的方差变为1，这时。线性分类器将作μkT●x相关运算。在通信问题中，如果噪声信号是相关的，而且方差是变化的，那么最优的信号检测是使噪声变为不相关的，然后作相关或匹配滤波器运算。

5/11/202427四川大学、电气信息学院、余勤小结一些简单的决策理论。最小错误率、风险、Neyman—Pearson

似然比检验，只是阈值不同。最小最大决策，当先验概率变化时，使最大的错误率最小。序贯决策：测量的维数可变时，分析了阈值和错误率间的关系。在独立同分布的假定下分析了维数的期望值。5/11/202428四川大学、电气信息学院、余勤线性和二次分类器。