广义逆矩阵(Pseudoinverse)神经网络

1、广义逆矩阵（Pseudoinverse） 在神经网络学习算法中的应用早在20世纪20年代初期，E.H.Moor 就提出了广义逆矩阵的概念，但长期以来广义逆矩阵的研究却没有受到人们的注意。直到1955年，随着科学技术的迅猛发展，特别是电子计算机的出现，推动了计算科学的进步。R.Penrose又独立提出广义逆矩阵的概念后，情况才开始发生了变化。由于广义逆矩阵在测量学，统计学等多领域中得到了广泛应用，产生了巨大的推动力量，使其在之后的近四十年的时间得到了迅猛发展，形成了完整的理论体系。一 广义逆矩阵若A为非奇异矩阵，则线性方程组Ax=b的解为x=Ab，其中A的逆矩阵A满足AA=A A=I(I为单位矩

2、阵)。若A是奇异阵或长方阵，Ax=b可能无解或有很多解。若有解，则解为x=Xb+(I-XA)，其中是维数与A的列数相同的任意向量，X是满足AXA=A的任何一个矩阵，通常称X为A的广义逆矩阵，用A、A或A等符号表示，有时简称广义逆或伪逆。当A非奇异时，A也满足A AA=A，且x= Ab+(I- AA)= Ab。故非异阵的伪逆矩阵就是它的逆矩阵，说明伪逆矩阵确是通常逆矩阵概念的推广。 1955年R.彭罗斯证明了对每个mn阶矩阵A，都存在唯一的nm阶矩阵X，满足：AXA=A；XAX=X；(AX)AX；(XA)XA。通常称X为A的穆尔-彭罗斯广义逆矩阵，简称M-P逆，记作A。当A非奇异时，A也满足，因

3、此M-P逆也是通常逆矩阵的推广。在矛盾线性方程组Axb的最小二乘解中，xAb是范数最小的一个解。 若A是n阶方阵，k为满足（图1）的最小正整数（rank为矩阵秩的符号），记作k=Ind(A)，则存在唯一的n阶 方阵X，满足： (1) AkXA=Ak；(2) XAX=X； (3) AX=XA。 通常称X为A的德雷津广义逆矩阵，简称D逆，记作Ad，A(d)或AD等。虽然 它和线性代数方程组的解无关，但它在线性差分方程、线性微分方程、最优控制等方面都有应用。二 广义逆矩阵用于解线性方程组对于线性方程组 Ax=b (2-1)的求解问题，如果A是n阶可逆矩阵，则方程(2-1)有唯一解，且可表述为 x=

4、Ab但是在一般情况下，A不是n阶方阵或者在n阶方阵的条件下，矩阵的秩小于n 。方程（2-1）有解的充要条件是 rank(A)=rank(A b) (2-2)自然人们会想到，是否也存在某个矩阵G，把解表示为 x=Gb (2-3)的形式，此式中的G必定与A具有某些行联系。 通过前人的研究不难发现，式2-3中的G应满足 AGA=A (2-4)一般G不是唯一的。这样我们就找到了通过求取矩阵的广义逆矩阵解线性方程组的方法。这个方法在神经网络感知机的学习算法中被应用，Pseudoinverse学习算法也成为一种经典的算法，下面就介绍这种算法。三 人工神经网络人工神经网络也简称为神经网络或称作连接模型，是对

5、人脑或自然神经网络若干基本特性的抽象和模拟。人工神经网络以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人Hecht Nielsen给人工神经网络下的定义就是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态相应而进行信息处理。” 这一定义是恰当的。 神经网络的发展无疑和网络的拓扑结构以及多样的适应性强的学习算法是分不开的，生物神经网络无疑是极其复杂的，但是在实际工程应用当中，我们对生物神经网络做了简化和抽象，其主要的组成元素为网络节点下所示 人工神经网

6、络节点其中，x为神经元的输入，w为各输入的权值，b为外部输入，在神经元的第一级加权求和，在经过f处理函数从神经元输出。神经元构成的人工神经网络 单层神经网络对上神经网络结构的数学描述 (3-1) (3-2) (3-3) 神经网络学习算法就是找到最优的权值w，使目标输出=f(WP)和正确值相等。这个寻找求解的过程这就是所谓的用训练样本来训练神经网络的过程。四 Pseudoinverse学习算法神经网络学习的过程实质就是利用训练样本不断调整神经元之间的连接权，使其在错误中不断提高处理性能。所谓的训练样本是指事先给定的样本对，其中包含正确的输入及输出信息，用这些正确的信息就能实现对网络的训练功能。P

7、seudoinverse学习算法也不例外，其网络为单层多输入结构。输出函数为 y=WP (4-1)误差可表述为 (4-2)为使误差函数达到最小值，我们直观的可以看到应该找到这样的W使 WP=T (4-3)可得 W=TP (4-4)不难发现若式（4-4）成立， P矩阵必须存在可逆矩阵P。可是，在实际的工程应用当中P不存在逆矩阵的现象是极其常见的。在W的求解过程中我们就会遇到求解广义逆矩阵的问题。我们更一般的表达 W=TP (4-5)其中 P= (PP)P (4-6) 这样复杂的方程组就顺利的用数学方法求解出来了，正是在实际工程当中的现实需求，广义逆矩阵理论才在沉默了几十年之后得到了迅速的发展。在MATLAB中也直接有相关函数直接用于计算矩阵的广义逆的方法函数 INV(A) (4-7)五 总结 广义逆矩阵源于线性方程组，但是广义逆矩阵不仅与线性方程组的求解问题有关，而且在求解系统的最优