15_最小二乘自适应滤波(2)

3.4.3线性矢量空间,1.基本概念（1）维矢量空间设是由个基本列矢量组成的数据矩阵:由这个列矢量作为基底矢量张成的空间,称为维矢量空间,用表示.因此:基本矢量是指这些矢量相互独立且正交.矢量对应于一组数据.空间对应于一个(数据)矩阵.空间的维数指用来张成该空间的最少矢量个数.线性矢量空间由若干个矢量的线性组合得到的空间.（2）子空间用少于某空间维数的矢量张成的空间,称为子空间.例如:,基本矢量是指这些矢量相互独立且正交.,设矢量张成空间;张成空间若张成空间,则,都是的子空间.（3）正交子空间设,是两个子空间上的任意矢量,若和的内积满足(3.4.41)则称这两个子空间相互正交.（4）投影矩阵定义：设表示一个数据矩阵或数据矢量,由张成的空间记为,(3.4.42),则称为在上的投影矩阵(或投影算子).若是一个维矩阵,则是一个方阵.作用：的作用是将一个矢量投影到矢量空间U中。,如图3.4.4：设是由矢量张成的一维子空间,则矢量在中的投影，可用该矢量与矢量一加权矩阵相乘来表示，即。加权矩阵称为投影矩阵；称为在中的投影矢量；称为误差矢量，记为。显然，误差矢量与矢量(即子空间)正交。或者说，由矢量张成的一维子空间与子空间正交。这时，对中的任意矢量，均满足(3.4.43),上式表明：对一个维线性空间进行分解,采用正交分解法,可以得到一组相互正交的子空间.（5）投影定理若,为希氏空间中的相互正交的子空间,那么,对中的任一矢量,均满足(3.4.44a)即当子空间相互正交时,矢量在子空间和上的投影等于在各子空间上投影之和.由上式可进一步得(3.4.44b)（6）正交投影矩阵由图3.4.4可知,子空间与子空间正交，称为的正交子空间。定义：误差矢量是矢量在的正交子空间上的投影(即正交投影),记为，称为正交投影矢量；称为正交投影矩阵。,作用：正交投影矩阵的作用，是将一个矢量x投影到与矢量空间U正交的子空间中。正交投影矩阵与投影矩阵之间关系：因有所以(3.4.45)2.数据矢量的扩充与投影矩阵的更新（1）数据矢量的扩充研究一个新矢量增加到中,形成新数据矩阵为,由此张成空间,相应的投影矩阵和正交投影矩阵分别为和.显然,反映了由于矢量的增加,投影矩阵的变化(亦同).这种变化可表示为上式相当于对数据矩阵进行分解。,令修正项等于(即为矢量的投影矩阵),它等于与之差,称为“误差项”。根据投影定理，采用正交分解法,应有(参见式3.4.44b)：(3.4.46)若由矢量张成的空间为,则与正交,这意味着是在的正交子空间上的投影,即(3.4.47)在空间上的投影矩阵为(3.4.48),（2）投影矩阵的更新由于增加新的矢量,使数据矩阵由变为,根据式(3.4.46)和式(3.4.48),得到:投影矩阵更新公式：(3.4.49)正交投影矩阵更新公式：(3.4.50)3.抽取参量与角参量（1）抽取参量定义与作用为抽取一个矢量中的最新时刻的分量，引入抽取参量(也称“单位时间矢量”或“现时矢量”),定义为(3.4.51),共有n个元素，第n个元素为1，表示的是当前时刻，相应的是最新数据,可见,抽取参量是一个沿第个坐标轴方向,长度为1的矢量,它表征的是当前数据矢量的方向,因此,利用可把一个数据空间分解为过去和当前两个子空间.的投影矩阵和正交投影矩阵若是以为基底矢量张成的1维矢量空间,则的投影矩阵为：(3.4.52)其正交投影矩阵为(3.4.53)和都是阶对角线矩阵.现时分量与过去分量现时分量任何矢量在矢量空间上的投影,即为该矢量的当前分量或现时分量.如矢量的现时分量为,或者表示为过去分量任何矢量对的投影补,即为该矢量的过去分量.如的过去分量为（2）角参量定义角参量定义为:利用投影矩阵的对称性,上式可表示为(3.4.54)该式表明,角参量是对空间的正交投影的现时分量.意义与作用以为例.在式(3.4.54)中,将换为,并将代入,得到,(3.4.55)在图3.4.6中,因时间从变到,故数据矢量由变成,两者之间的夹角为.令和是子空间中的单位正交基底矢量,则单位现时矢量可表示为因是对子空间的正交投影,由图可以得到,将以上二式代入式(3.4.66),得到(3.4.56)上式说明:当前时刻的数据子空间相对于前一时刻的数据子空间转了一个角度,角参量是该角度余弦的平方.一般而言,当用数据子空间的个基底矢量进行最小二乘估计时,由于最新数据的到达,数据子空间将由变成,两者之间的夹角为.新的数据信息(新息)正是蕴含在数据子空间与之间的夹角中,因此,是新息的量度.4.投影矩阵和正交投影矩阵的性质（1）幂等性(3.4.57)（2）反身性(对称性),（3）正交性(3.4.59)因此,任意矢量的投影和正交投影,均满足上式.（4）(3.4.60a)(3.4.60b)（5）更新(3.4.61a)(3.4.61b)（6）(3.4.62a)(3.4.