线性判别函数课件

第四章线性判别函数4.1引言4.2Fisher线性判别函数4.3感知器准则函数4.4最小平方(MSE)误差准则4.5最小错分样本数准则4.6线性支持向量机4.1引言Bayes决策规则尽管是最优的，但是实现困难。原因就是要求已知类条件概率密度和先验概率。模式识别的最终任务是分类，可以直接设计分类函数——分类器函数。最简单的分类函数是分类超平面。(2-维的情形，为一条直线，3-维的情形为一个平面，高维的情形即为超平面)4.1.1线性判别函数的基本概念线性判别函数的一般形式为：(4.1)其中是一个d维特征向量(模式向量),b是一个常数，称为阈值。注意：上式中所涉及到的运算包括：关于线性判别函数的说明（1）方程定义了空间中的一个超平面，一般将其称为分类决策超平面。其中向量w是该超平面的法向量。这是由于在该超平面上任取两点，则有因此，有上式说明：向量w超平面是正交的。关于线性判别函数的说明（2）w

关于线性判别函数的说明（3）广义的线性判别函数问题：若给定一个一维的模式空间，希望的划分是或，则；若，则解决的方法解决的办法通过对上图的分析，可以建立入下的一个二次判别函数：决策规则为：其中

经过变换后，得到一个形式上类似于线性函数的判别函数。这种方法称为广义的线性判别函数。线性分类器的设计步骤设计线性分类器，就是利用训练集建立线性判别函数式(4.1)，或是广义线性判别函数式。函数式中只含有两个未知的量，即权向量和惩罚项常数（阈值）。所以说线性分类器的设计过程，实质上就是寻找最优的权向量以及阈值常数。其步骤如下：设计步骤：已知一组具有类别标记的样本集，训练集；根据实际问题确定一个准则函数，使得该函数的值能够反映分类器的性能；利用最优化技术，求出准则函数中最优的和；它们所对应的极值解即为最优的分类决策。Fisher线性判别方法的基本思想Fisher线性分类器的工作原理设训练集为，对于2-类分类问题，其中属于类的模式记为子集，它含有个样本，属于类的模式记为，它含有个样本。令这样便得到了N个一维样本，并且分别属于两个集合。几个基本参量（1）d-维空间中各类样本均值向量：样本类内离散度矩阵和总的类内离散度矩阵为：样本类间离散度矩阵Fisher准则函数希望投影变换之后，在一维Y空间内，各类样本尽可能的分得开，即两类均值之差越大越好；同时各类样本内部尽量密集，即类内离散度越小越好。定义函数：（4.23）要使得该函数值尽可能的大，就是说使得其分母尽可能的小，同时使得其分子尽可能的大。分析(4.23)由于故(4.23)之分子便成为：

分析(4.23)(4.23)之分母：因此，求极值引入Lagrange函数如下：(4.28)上式中的为Lagrange乘子。将上式对w求偏导，并令其为零，得求极值是的极值解。由于是一个非奇异矩阵，所以有：而进一步的，有故，而我们所要求的是w的方向，故实际上，这是一个由d维空间到一维空间的一个映射。Fisher线性判别规则对于任意给定的未知样本，首先计算，然后计算其投影点：决策规则为：时，有

时，有

Fisher线性判别函数的推广问题：如何将2-类分类的情形推广至多类分类情形？4.3基于距离的分类决策－近邻法简介最近邻决策规则最近邻的改进之一k-近邻近邻法基本思想：对于未知样本（输入模式、数据），比较该样本与所有已知样本之间的距离，并决策与离它最近的样本同属一类。最近邻(nearestneighbor)决策规则设有c个类别的模式识别问题(分类问题)，为训练集，每一类中含有个样本。定义：因此，决策规则为：若则，决策最近邻的改进之一设有c类已知类别的样本(模式)，从每一类中选择一个标准样本，例如样本均值：定义：按照最小距离分类原则，决策规则为：若则决策规则的简化可以将上面的决策规则进行化简：可以进一步的简化为：因此决策规则可以表示为：决策函数的简化若定义：决策规则将如何？k-近邻

基本思想是：观察未知样本x的k个最近邻，若这k个近邻中的多数样本向量属于某一类，则就把x判属这一类。也就是说，在含有N个样本训练集中，找出x的k个近邻。设类中含有个样本，…，类中含有个样本。x的k个近邻分别含有来自于