最佳鉴别矢量的提取

最佳鉴别矢量的提取内容回顾Fisher线性判别就是要将目标的原始n维特征矢量映射成一维的标量或二维的矢量。考虑把d维空间中的数据点投影到一条直线上去的问题，需要解决的两个问题：(1)怎样找到最好的投影直线方向；(2)怎样向这个方向实现投影，这个投影变换就是要寻求的解向量w*。这两个问题就是Fisher方法要解决的基本问题。Fisher线性判别Fisher准则的基本原理：

分析w1方向之所以比w2方向优越，可以归纳出这样一个准则，即向量w的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。这就是Fisher准则函数的基本思路。

Fisher准则的基本原理，就是要找到一个最合适的投影轴，使两类样本在该轴上投影的交迭部分最少，从而使分类效果为最佳。Fisher线性判别最佳W值的确定：对拉格朗日函数分别对w求偏导并置为0来求w的解。

最佳w值的确定实际上就是对Fisher准则函数求取其达极大值时的。对于这个问题可以采用拉格朗日乘子算法解决，保持分母为一非零常数c的条件下，求其分子项的极大值。这是一个求矩阵的特征值问题。Fisher鉴别矢量最佳鉴别矢量的确定：数值R实际上我们关心的只是向量的方向，其数值大小对分类器没有影响。因此在忽略了数值因子后，可得：上式就是Fisher的最佳鉴别矢量。向量就是使Fisher准则函数达极大值的解，也就是按Fisher准则将d维X空间投影到一维Y空间的最佳投影方向，该向量的各分量值是对原d维特征向量求加权和的权值。Fisher鉴别平面将高维模式映射成二维模式，需要两个正交矢量，除了Fisher鉴别矢量外，还需要第二个矢量，最佳鉴别矢量集Foley-Sammon变换

设是使取最大的Fisher最佳鉴别矢量，其模长为1，则单位Fisher最佳鉴别矢量是F-S最佳鉴别矢量集中的第一个矢量，该矢量集里的第i个鉴别矢量则有解如下的优化问题求得：

称为Foley-Sammon变换定义：设A是n阶对称阵,B是同阶的正定阵，称的根为A相对于B的特征值，而满足的非零矢量称为相应于的A相对于B的特征矢量定理：设A是n阶对称阵,B是同阶的正定阵，是A相对于B的第大特征值，是相应于的A相对于B的特征矢量，各特征矢量两两正交，c为非零常数，则有：因此，求解上述的优化问题就能表示成解如下方程的广义特征矢量问题如果是非奇异的，第一个鉴别矢量是的最大特征值所对应的单位特征矢量。当有大量的样本时，是非奇异的。在许多实际应用中，训练样本数可能比特征空间维数小，此时,是奇异的，例如，图像识别、医学应用等高维识别问题，特征维数很高以致于不易的到足够多的样本使其非奇异。广义最佳鉴别矢量集为了克服的奇异性，我们将采取等价的准则函数的最优变化方法。广义最佳鉴别矢量集及其求解途径设表示广义最佳鉴别矢量集，中的每个矢量都可用如下方法逐步获得：（1）是n维空间中使Fisher准则函数最大的单位矢量，显然

，是F-S最佳鉴别矢量集的第一个鉴别矢量。（2）第i个广义最佳鉴别矢量通过解如下最优化问题求得：令，则变换称为广义最佳线性变换（GOLT），这个变换可用于特征提取对于子空间的正交补空间中的每个单位矢量，能够成下面的线性变换：设样本集通过上式变成，的类间与类内均方距离之比为：其中，求解中的使最大化，这意味着：样本集投影到子空间所得到的变换后的有最