加权MMC函数与广义FLD准则函数的最优鉴别向量集.doc

加权MMC函数与广义FLD准则函数的最优鉴别向量集1引言 在模式识别问题中，Fisher线性鉴别(FLD)准则与最大间距准则(MMC)是两种有效的模式特征提取方法，它们都是希望寻找最佳的投影方向对原始数据进行投影，使投影后所得数据的类间离散度达到最大而类内离散度达到最小，投影后所得数据就是所需的模式特征。MMC最早由常用如下的加权MMC函数来表示()： (1)FLD准则常用如下的广义FLD准则函数来表示：(2)最大化函数或可得由多个投影向量组成的投影矩阵，投影向量也称为鉴别向量，在实际应用中一般总是将鉴别向量单位化，即 ()，单位化向量集合常称为鉴别向量集4。最大化的方法是特征值分解或广义特征分解，最大化的方法是迭代法。Guo、Yan和Wang都曾给出最大化的迭代算法，但Wang的算法是最佳的。目前人们使用的鉴别向量集主要有两种：一是鉴别向量之间满足正交性，即()，称之为正交鉴别(OD)向量集；另一种是鉴别向量之间满足()，它能使投影后所得数据之间具有统计不相关性，因此称之不相关鉴别(UD)向量集，其中是样本总体协方差阵。实际上，OD向量集是准则函数在正交条件下的最优解，UD向量集是准则函数在不相关性条件下的最优解。这说明，在最大化准则函数时需附加一定的条件，更为一般的附加条件为() (3)其中为正定阵。显然OD向量集与UD向量集分别是和的两种特例。对某个准则函数来说，不同的可得到不同的鉴别向量集，因此一个准则函数可有无穷多种鉴别向量集。现在的问题是，在这无穷多种鉴别向量集中，哪种鉴别向量集能使准则函数值达到最大？能使准则函数值达到最大的鉴别向量集称为该准则函数的最优鉴别向量，本文将主要讨论上述两种准则函数的最优鉴别向量集。当小样本问题出现时，对于准则函数，Yang9从理论上证明了用PCA方法将原始高维样本降到维时不会有鉴别信息的损失（为训练样本量）。不难证明，这个结论也同样适于准则函数或。实际上，由于噪声的存在，并非降到维最好，因此为使讨论更具一般性，以下假定满秩，, ，其中是样本类别数。由于UD向量集中鉴别向量集最多只有个，所以以下也假定。2加权MMC函数的最优鉴别向量集准则函数满足条件(3)的鉴别向量集是相对于的前个最大广义特征值所对应的单位广义特征向量，特别地，准则函数的OD向量集是矩阵的前个最大特征值所对应的单位正交特征向量。先给出几个引理：引理1设为两个阶对称矩阵，是相对于的广义特征值所对应的单位广义特征向量矩阵，广义特征值从大到小排列，则， (4)其中为对角阵。引理2设为阶对称矩阵，为其前个最大特征值所对应的单位正交特征向量矩阵，则对于任意列正交矩阵，有 (5)引理3设为阶正定阵，则（） (6)定理1准则函数的最优鉴别向量集是其OD向量集。即 (7)证明：设 ， (8)则是相对于的前个最大广义特征值所对应的单位广义特征向量矩阵，是矩阵的前个最大特征值所对应的单位正交特征向量矩阵。设是相对于的所有广义特征值所对应的单位广义特征向量矩阵，特征值从大到小排列，则的前列就是，由引理1， , (9)其中对角阵，。需注意的是，对角元并非是相对于的广义特征值。对实施QR分解，即，其中是列正交矩阵，是上三角阵。对进行分块，则，(10)其中为阶方阵。由于的各个列都是单位向量，所以的对角元全为1，从而的对角元也全为1。于是，由式(9)和引理2、引理3可得 #这说明准则函数的OD向量集能使达到最大，因而在理论上OD向量集是加权MMC的最佳选择。当然，参数不同，所得的最优鉴别向量集也不同。3广义FLD准则函数的最优鉴别向量集Guo、Yan和Wang都曾揭示过广义FLD准则函数与加权MMC函数之间的关系，这个关系可用下面的引理来描述： 引理5设 ，则 (11)证明：采用反证法。假设存在，在条件(3)下，使得 (12)由的含义知，式(12)的右边等于0。于是有 (13)这与是()和的条件下的最大值矛盾。由于与对正交矩阵具有不变性，因此引理5是在相差一个正交矩阵的情况下成立的。引理5说明在条件(3)下最大化可转化为最大化，而加权系数又取决于的最大函数值，由此可得迭代算法。表1给出了求取在条件(3)下的鉴别向量集的迭代算法，它是Wang的迭代算法在一般情况下的推广。表1最大化的迭代算法任取正数，令；迭代次数1 =；2；3若(是给定很小的正数)，中止；否则，转到1；于是，。由与的关系，不难得到定理2准则函数的最优鉴别向量集是其OD向量集。因此对于广义FLD准则函数，我们只需讨论OD向量集。需指出的是，当时，的个OD向量全在的零空间中，此时，计算机无法操作。此时，应用Liu的结论4，的个OD向量就是准则函数()的OD向量。4加权MMC函数与广义FLD准则函数的UD向量集虽然与的OD向量集是它们的最优鉴别向量集，但它们的UD向量集具有明显的统计意义，因而在实际问题中被广泛使用。由与的关系知，只需讨论即可。如前所述，的UD向量集是相对于的前个最大广义特征值所对应的单位广义特征向量，即 ， (14)由于，所以式(14)等价于 ， (15)实际上，式(15)中的广义特征向量与加权系数无关。这说明加权MMC函数的UD向量集是同一个向量集，它们是相对于的前个最大广义特征值所对应的单位广义特征向量。需注意的是，当奇异时，相对于的前个最大广义特征值所对应的单位广义特征向量并非是的真正意义上的UD向量集。这是因为在的零空间中，相对于的广义特征值都相等，因而中的任一单位向量都是广义特征向量。这时采用文献的方法，先在零空间中求取准则函数的UD向量集，然后再在的补集合求取余下的UD向量集。由于准则函数在中的UD向量集就是它的OD向量集，因而中的UD向量集可由Guo的算法求得。总而言之，我们可以得如下结论：定理3加权MMC函数与广义FLD准则函数的UD向量集是同一个向量集，与权系数无关。当非奇异时，它们就是相对于的前个最大广义特征值所对应的单位广义特征向量；当奇异时，它们可由表2的处算法求取。表2奇异时求取UD向量集的算法