最小二乘法及其应用

最小二乘法及其应用第一页，共七十六页，2022年，8月28日最小二乘法是求解最优化问题的一种有效而方便的方法。信号处理中有许多问题可归结为最优化问题，因此最小二乘法是信号处理的重要工具之一。希尔伯特空间中线性逼近问题的求解方法称为最小二乘法。通常它有三种不同的表现形式：投影法、求导法和配方法。下面来分别说明。3-1最小二乘法的三种形式第二页，共七十六页，2022年，8月28日设X为希尔伯特空间，为X中一组归一化正交元素，x为X中的某一元素。在子空间中求一元素m。使得（3-1-1）由于M中元素可表为的线性组合，问题转化成为求，使得（3-1-2）第三页，共七十六页，2022年，8月28日第二章中的投影定理指出了最优系数应满足（3-1-3）由此即得。也就是说，当且仅当取为x关于归一化正交系的傅立叶系数时，式(3-1-2)成立。（3-1-4）第四页，共七十六页，2022年，8月28日这种求解方法称为投影法，它是最小二乘法的第一种表现形式。第二种方法是求导法，仍以上面的问题为例来说明。记泛函为了能用求导法求此泛函的极小值，将它表为第五页，共七十六页，2022年，8月28日其中。于是最优的应满足即下面再用第三种方法即配方法来求解：（3-1-5）第六页，共七十六页，2022年，8月28日以上三种方法都称为最小二乘法。在实际应用中，他们各有各的优势和缺陷，我们并不能通过简单的比较来说明他们谁优谁劣，因为衡量一种方法好坏的标准是多方面的。因此，在不同的场合根据不同的需要和可能，灵活选择和使用合适的方法，是掌握最小二乘法的关键。第七页，共七十六页，2022年，8月28日利用令导数等于零来求函数的极值是一种方便的方法。但是对于多元函数，有时由于变元太多而使表达式相当繁复，为此，本节介绍用向量-矩阵的形式来简化求导过程。下面举例个例子来具体说明。例3-2-1

求矛盾方程组Ax=b的最小二乘解（可参阅第二章的相关例题）3-2向量-矩阵求导及配方法第八页，共七十六页，2022年，8月28日解：求Ax=b的最小二乘解就是求的极小点。由于下面先给出两个需要用到的向量求导公式：（3-2-1）（3-2-2）当A不时对称阵时，式（3-2-10）应该为（3-2-3）第九页，共七十六页，2022年，8月28日利用式（3-2-1）和（3-2-2）可以立即得到（3-2-4）这就是书中例2-4-1中所得到的法方程若使用配方法，则有：第十页，共七十六页，2022年，8月28日可以看出，本例中介绍的两个向量求导公式中，提到了对于向量x求导的梯度算符,我们还可以引入对矩阵求导的梯度算符

：（3-2-5）第十一页，共七十六页，2022年，8月28日需要说明的是，算符只有作用在关于的标量函数上才有意义。例如对于二次型由于，故（3-2-6）（3-2-7）在课本中，给出了一些常用的向量-矩阵求导公式，在实际应用中可供大家查阅。第十二页，共七十六页，2022年，8月28日设有如图3-3-1所示的系统T。当输入n个数据时，输出为y，且有下列线性关系：3-3应用举例3-3-1系统辨识（3-3-1）其中为未知，需要通过对输入输出的观测值来确定这组参数。第十三页，共七十六页，2022年，8月28日现设进行了m次观测，观测值为和图3-3-1多输入单输出系统则问题成为求使之满足（3-3-2）第十四页，共七十六页，2022年，8月28日若记及则方程（3-3-2）成为（3-3-3）当方程（3-3-3）无解时，问题就转化为求矛盾方程组的最小二乘解。可以得到（3-3-4）第十五页，共七十六页，2022年，8月28日进而考察多输入多输出的情形。关系式为其中（3-3-6）（3-3-5）现设输入和输出的第k次观测值分别是

第十六页，共七十六页，2022年，8月28日则系统的辨识问题就是求A使之满足（3-3-8）（3-3-7）其中Y为矩阵，X为矩阵。当上述方程无解时，问题就转化成为求A使下列非负定矩阵达到极小：（3-3-9）第十七页，共七十六页，2022年，8月28日问题（3-3-9）可以用配方法来求解：（3-3-10）其中假定可逆。这个问题不能用求导法来求解，因为目标函数J（A）不是标量而是矩阵。要用求导法来求解该问题，需要引入矩阵范数的概念。第十八页，共七十六页，2022年，8月28日矩阵的范数定义为（3-3-11）事实上，可以把式（3-3-11）理解成向量

的范数。这样，我们可以把多输入多输出线性系统的辨识问题叙述为求矩阵A，使得（3-3-12）第十九页，共七十六页，2022年，8月28日式（3-3-12）的形式与（3-3-9）类似，但应注意在此处是标量函数。她可以完全类似于式（3-3-10）那样来配方而求解，也可体用求导法来求解。由于（3-3-13）利用课本中表3-2-2中的公式5和7，得到（3-3-14）第二十页，共七十六页，2022年，8月28日数据压缩是指在传输或存储信号时对信号数据量进行压缩。实际中的信号往往都是维数很高的随机数据向量。各种数据间的相关性也很大，简单的随意压缩会导致数据严重失真。按照最优化原则设计的数据压缩技术可以解决通讯和数据传输系统的信道容量不足和计算机存储容量不足的问题，因而是一种从容量方面提高系统使用效率的重要技术。3-3-2数据压缩第二十一页，共七十六页，2022年，8月28日下面向大家介绍一种有效的数据压缩方法。其思想是对信号作正交变换，根据失真最小的原则在变幻域进行压缩。其框图如下所示。设为n维随机变量，n的值很大。经过正交T变换后，得到变幻域的n维向量（3-3-15）第二十二页，共七十六页，2022年，8月28日其中变幻矩阵T的列向量为满足（3-3-16）（3-3-17）现在对数据进行压缩，即保留y的m个分量其余的n-m个分量用预先选定的常数代，替，得到一个新的向量，再由通过逆变换得到x的估计第二十三页，共七十六页，2022年，8月28日我们的问题是：如何选取变幻矩阵T和常数，y的那些分量被压缩掉，才能使最接近x，即均方误差最小：（3-3-18）下面来注意解决这些问题。由式（3-3-15）和式（3-3-16）可知第二十四页，共七十六页，2022年，8月28日由此式可知，要使达到最小，应有（3-3-19）（3-3-20）即这就使常数应选取的数值。由此式得（3-3-21）第二十五页，共七十六页，2022年，8月28日其中是随机向量x的协方差阵。由式（3-3-22）可考虑如何选择T的行向量使达到极小。注意到是归一化正交的。为求在条件下的极值，令代入式（3-3-19），得到（3-3-22）第二十六页，共七十六页，2022年，8月28日这表明是协方差阵的特征值，而是相应的特征向量，很显然,T取成x的卡享南-洛厄维变换是最合理的，此时的最小均方误差为则由式（3-3-22），有于是（3-3-23）第二十七页，共七十六页，2022年，8月28日根据此式，我们可先把非负定矩阵的特征值按大小次序排列，然后根据实际问题对均方误差的要求选择m，使得小于指定的误差（即选择满足此条件的最小的m），把n-m个较小的特征值所对应的换成。（3-3-24）第二十八页，共七十六页，2022年，8月28日特别地，如果取E{x}=0(通常的信号经过预处理后可满足此条件），则取，至此，前面提出的问题便全部解决。在上述解法中，卡享南-洛厄维变换被选用并不是偶然的，因为这种变换消除了原始信号x的诸分量间的相关性，从而使数据压缩能遵循均方误差最小的准则实施。上述数据压缩方法告诉我们应该压缩掉y中那些方差大的分量，这称为数据压缩的方差准则。第二十九页，共七十六页，2022年，8月28日由于卡享南-洛厄维变换需要知道矩阵的特征值和特征向量，其计算量非常大，因此在实际应用中通常都使用固定程式的有限正交变换。尽管这些变换不是最佳的，但实践和理论表明它们也都能在较大程度上消除随机向量诸分量间的相关性，而且由于它们具有快速算法，因而是实用的。卡享南-洛厄维变换是理论上的最佳变换，它可作为理论研究的工具，也可用来衡量其他变换优劣的标准。第三十页，共七十六页，2022年，8月28日设有随机向量，它含有真实信号及噪声，如下述模型所示：3-3-3维纳滤波（3-3-25）其中H为已知矩阵，它也表示一种干扰。现在将x输入到一个如下图所示的系统第三十一页，共七十六页，2022年，8月28日要使相应的输出成为真实信号s的最佳估计，即均方差最小：求滤波器矩阵A，其中T是正交变换。（3-3-26）这个问题称为维纳(Wiener)滤波器设计问题。正交变换T的作用是把滤波问题转化到变换域处理。由系统框图知于是（3-3-27）第三十二页，共七十六页，2022年，8月28日利用表3-2-2中的公式2和3，得到因此最佳滤波器矩阵A应满足（3-3-28）当可逆时（3-3-29）第三十三页，共七十六页，2022年，8月28日设信号与噪声的均值为零：E{x}=0；E{v}=0；真实信号与噪声不相关：；并记真实信号s与噪声v的自相关矩阵为则第三十四页，共七十六页，2022年，8月28日于是式（3-3-29）便成为这就是维纳滤波器矩阵。（3-3-30）下面再用配方法来解决此问题。为此，用矩阵的迹来表示是有效的。第三十五页，共七十六页，2022年，8月28日又一次得到了式（3-3-29），而且得到了最小误差：（3-3-31）第三十六页，共七十六页，2022年，8月28日注意到的表达式中不出现正交变换T，由此可知维纳滤波与正交变换的选取无关。于是由式（3-3-30）联想到若取T使得矩阵A呈对角型，则将使矩阵乘向量的计算量由降低到n。这种想法是有实际意义的。如在图象处理中，（3-3-25）是一个典型的失真模型。若选T为傅立叶变换，则A便成为对角型矩阵。这样的维纳滤波器称为对角线维纳滤波器。第三十七页，共七十六页，2022年，8月28日模式识别问题是设计一种分类器，使之能自动地将类别未知的对象进行归类。需要归类的对象称为模式。本节来介绍模式分类器的一种设计方法。一个需要识别的对象可以用向量来表示。下面的分类器的设计是对压缩后的模式向量进行的。

3-3-4模式识别第三十八页，共七十六页，2022年，8月28日分类器的设计是通过下列方式（称为训练或学习）来完成的。被识别的对象共有k类：。首先选取一些类别已知的模式向量（称为训练模式）求属于同一类的模式向量的平均模式：那么，对于任一类别未知的模式向量x，判决准则是第三十九页，共七十六页，2022年，8月28日称为判决函数。根据判决准则(3-3-33)实现分类的分类器称为最小距离分类器。由于实际问题中属同一类的模式往往分布的很分散和凌乱，直接采用这种线性函数作为判决界容易造成误判。（3-3-32）由于若记则判决准则等价于若（3-3-33）第四十页，共七十六页，2022年，8月28日为了克服上述缺点，可采用如下所述的最小二乘映射技术。取定k个向量。希望存在一个线性变换A（矩阵）把属于同一类的训练模式，都变为：于是问题转化为求矩阵A，它能够把都变到的附近，越近越好。记第四十一页，共七十六页，2022年，8月28日则矩阵A关于第i类训练模式的平均偏差为总偏差为于是A的选取应使，故A应满足（3-3-34）第四十二页，共七十六页，2022年，8月28日因此（3-3-35）求出A以后，对于任一类别未知的模式x，可如下述进行判决归类：（3-3-36）第四十三页，共七十六页，2022年，8月28日这种分类判决的实现称为最小二乘最小距离分类器。它的主要思想是利用最小二乘映射把属于同一类的训练模式尽可能地聚集在一起。从而克服了最小距离分类器的缺点。在这里所有都是可以任意选择的，可以通过选择特殊的，简化判决函数的获得过程。在课本中就给出了一种简化方法。其中取为K维单位向量第四十四页，共七十六页，2022年，8月28日可以看出，最小二乘最小距离分类器的判决函数仅依赖于最优矩阵A。一旦求出A，立即就可实现这种分类器。在实际应用中此方法的设计技巧是选取合适的判决向量。第四十五页，共七十六页，2022年，8月28日设X为希尔伯特空间，是X中的一组线性无关元（不一定正交）。对某一，求，使得3-4法方程（3-4-1）换言之，求系数，使得（3-4-2）第四十六页，共七十六页，2022年，8月28日这就是最优系数应满足的方程，它是一个线性代数方程组。具体写出来是利用投影定理，应满足即（3-4-3）（3-4-4）第四十七页，共七十六页，2022年，8月28日矩阵Y就是元素组的格拉姆矩阵。它是非负定的，且当线性无关时Y可逆。方程（3-4-4）称为Wiener-Hopf方程。一般地，一个最优化解应满足的方程称为该最优化问题的法方程。因此Wiener-Hopf方程是最优化问题（3-4-2）的法方程。或写成矩阵-向量形简洁形式：（3-4-5）第四十八页，共七十六页，2022年，8月28日现设是最优系数，即满足（3-4-3），这时的最小误差为：（3-4-6）把这个方程合并到方程组（3-4-4）中去，成为第四十九页，共七十六页，2022年，8月28日其中detG表示矩阵G的行列式。用克莱姆法则即可求得最小误差为（3-4-7）第五十页，共七十六页，2022年，8月28日特别地，如果为归一化正交系，则为单位矩阵，式（3-4-4）成为，式（3-4-7）成为上述问题利用求导法也可以解。由式（3-4-2），有第五十一页，共七十六页，2022年，8月28日利用求导公式，应满足此即式（3-4-5）若用配方法，则有易知它与式（3-4-6）是等价的。第五十二页，共七十六页，2022年，8月28日下面，我们再来讨论一个随机序列的预测问题，来进一步说明法方程的意义考虑二阶矩有限的希尔伯特空间中的序列。记子空间（3-4-8）现在的问题是：用中的元素来估计，使得均方误差最小。也就是求系数使第五十三页，共七十六页，2022年，8月28日这个问题称为随机序列的预测问题。（3-4-9）根据投影定理，应是在子空间中的投影，即满足（3-4-10）根据空间中的正交性定义，上式即为这就是最佳预测的法方程。第五十四页，共七十六页，2022年，8月28日其中是该平稳序列的自相关。它满足。（3-4-11）又称为关于平稳序列预测问题的Yule-Walker方程。其分量形式为如果随机序列是平稳的，则式（3-4-10）成为（3-4-11）第五十五页，共七十六页，2022年，8月28日（3-4-12）相应的预测误差为第五十六页，共七十六页，2022年，8月28日把这个方程合并到方程（3-4-12）中去，可以写成记其系数矩阵为。利用克莱姆法则可得（3-4-13）（3-4-14）第五十七页，共七十六页，2022年，8月28日对于给定的序列x和y，求一个离散时不变系统h，使得当输入为x时相应的输出恰为y。这个问题的数学描述是：给定x和y，求h使得3-4最小二乘滤波（3-5-1）一般来说，这个问题不一定是有解的，因此将问题改成：已知x，y，求h使得（3-5-2）第五十八页，共七十六页，2022年，8月28日我们假定x，y，h都是因果的，能量有限的于是x，y，h，式（3-5-2）中的范数是意义下的范数。这个问题称为最小二乘滤波问题。我们先用求导法来解。由知目标函数为第五十九页，共七十六页，2022年，8月28日于是最优解应满足即若记它们分别称为x的自相关序列和x与y的互相关序列。则式（3-5-3）成为（3-5-3）第六十页，共七十六页，2022年，8月28日这就是最小二乘滤波的法方程。下面再利用投影法来求解最小二乘滤波问题。在空间中讨论。对于引入移位算子T：（3-5-4）则第六十一页，共七十六页，2022年，8月28日这样，就把卷积表示成中一组元素的线性组合，这是应用投影法的关键。记子空间。问题便转化为求，使，也就是求y在M中的投影。根据投影定理，应满足即（3-5-5）第六十二页，共七十六页，2022年，8月28日因此式（3-5-5）就是法方程（3-5-4）。接下来我们介绍两个实际应用的例子。其中同理第六十三页，共七十六页，2022年，8月28日仍然考虑因果序列。设是原始声音信号序列。由于回声的影响，在n时刻接收到的信号除了以外还叠加有时刻之前的回音：例3-5-1回声干扰与最小二乘逆滤波（3-5-6）其中r是衰减因子，。现在要求设计一个系统能够消除这种回声干扰，即（3-5-7）第六十四页，共七十六页，2022年，8月28日我们把式（3-5-6）写成卷积形式：其中为（3-5-8）将式（3-5-8）代入式（3-5-7）得这等价于（3-5-9）其中是单位脉冲序列。第六十五页，共七十六页，2022年，8月28日于是问题转化成给定x，要求设计一个系统h，使之满足式（3-5-9）。这是一个特殊的最小二乘滤波问题，称为最小二乘逆滤波。利用法方程（3-5-4），取，即得（3-5-10）而根据序列x的因果性，有第六十六页，共七十六页，2022年，8月28日如果把方程（3-5-10）中的m截断到N为止，则成为（3-5-11）这就是最小二乘逆滤波的“N截断”法方程，它适合于实际计算。第六十七页，共七十六页，2022年，8月28日所谓预测就是由的值预测的值，其中s为某个自然数。预测滤波问题就是要求设计一个系统h，使得当输入为时相应的输出为。这也是一种特殊的最小二乘滤波。根据法方程（3-5-4），只需计算：例3-5-2最小二乘