《范数与极限》PPT课件.ppt

第6章 范数与极限 （ norm and limit） 理解向量范数、矩阵范数的概念; 掌握几种常用的范数； 理解范数等价的定义，了解矩阵的谱半径及其性质。了解矩阵序列与极限的概念。 了解矩阵的幂级数并掌握敛散性的基本判别方法。,对于n 维线性空间，定义了内积以后，向量就有了长度（大小）、角度、距离等度量概念，这显然是3维现实空间中相应概念的推广。利用公理化的方法，可以进一步把向量长度的概念推广到范数。,1 向量范数,定义1：设V 是数域P上的线性空间， V， 表示以为自变量的的非负实值函数，如果它具有下列性质：,（3）三角不等式：即对任意两个向量，V，恒有,(1) 非负性：当 0, 0，当=0时，=0,(2) 齐次性：即对任何实数kP，V，,则称为向量的范数，并称定义了范数的空间为赋范线性空间,Cn中几个常用范数：,（1）1-范数,（2）2-范数,（3）-范数,设x = (x1, x2, xn)TCn,则在Cn上定义范数,关于p-范数,定理1 Holder不等式,定理3 对任意向量x，由（*）式定义的|x|p是向量范,数，且有,1-范数,2-范数,-范数都是p-范数的特殊情形；,定理2 Minkowski不等式,（*）,几何意义:,对任意 ,对应于四种范数1,2,p的闭单位圆 |x|=1 的图形分别为,注：内积空间定义的向量长度等于这里的2-范数，称为由内积导出的范数，但范数不一定都是由内积导出的。,由已知的范数构造新范数： 定理4 设| 是Cm上的向量范数， ACmn且rank(A)=n,则由 |x| = |Ax|， xCn 所定义的非负函数|是Cn上的向量范数。,构造新范数,定理5：有限维线性空间V上的任意两个向量范数等价。,称范数|x| ，|x| 等价。,定义2：在n维线性空间V上定义两个向量范数|x| ，|x| ，若存在两个正常数 M 与 m ( Mm ) 使得对一切xV，,注 这个结论对无限维未必成立。另外，根据等价性，处理向量问题（例如向量序列的敛散性）时，我们可以基于一种范数来建立理论，而使用另一种范数来进行计算。,等价范数,对常用范数，容易验证下列不等式：,例1 计算C4的向量x=(3i,0,-4i,-12)T 的1,2,范数。 解：|x|1=|3i|+|-4i|+|-12|=19 |x|2=(xHx)1/2=(3i)(-3i)+(-4i)(4i)+(-12)21/2=13 |x|=max(|3i|,|0|,|-4i|,|-12|)=12 注：在同一线性空间中,不同定义的范数大小可能不同,对任意，V，定义与之间的距离为 d(，)=|-| 称为由范数|决定的距离。,常用距离测度包括:,欧氏距离 Manhattan(曼哈顿)距离 Chebyshev(切比雪夫)距离,距离,例（模式识别中的模式分类问题）,模式分类问题指的是根据已知类型属性的观测样本的模式向量s1 ,sm，判断未知类型属性的模式向量x归属于哪一类模式。其基本思想是根据x与模式样本向量si的相似度大小作出判断。 最简单的方法是用两向量之间的距离来表示相似度，距离越小，相似度越大。最典型的是Euclidean距离:,定义4 设x(k)是Cn中的向量序列，其中 x(k)=(x1(k)，x2(k)，,xn(k)T,如果当k时，x(k)的每一个分量xi(k)都有极限xi(i=1,2,n),则称向量序列x(k)是收敛的，并且向量x=(x1，x2，,xn)T称为x(k)的极限，记为,注 不同的向量范数可能具有不同的大小，但在各种范数下，向量序列的收敛问题却表现出简洁性和一致性。,向量序列的极限,定理3：向量序列xk依坐标收敛于x*的充要条件是,向量序列依范数收敛与依坐标收敛是等价的。,注：若赋范线性空间中任一收敛的向量序列的极限仍属于此赋范线性空间，称此空间为完备的赋范线性空间或Banach空间。,我们常根据不同的要求选择一种方便的范数来研究向量序列的收敛性问题。,1. （广义）矩阵范数 定义1（广义）矩阵范数 设ACmn，定义一个实值函数|A|，若满足：,(1) 非负性：|A|0，且|A|=0当且仅当A=0；,(2) 齐次性：|aA|=|a| |A|，aC；,(3) 三角不等式：|A+B|A|+|B|，A,B Cmn;,则称|A|为A的广义矩阵范数。,2 矩阵范数,例1 对于A=(aij)Cmn,都是广义矩阵范数， 称为Frobenius范数，简称为F-范数。,定理1（等价性定理）：| 与| 是Cmn,上的矩阵范数， 则存在仅与| ，|有关的正数d1 ，d2 ， 使得ACmn ，,即| 与|等价。,2.相容矩阵范数 考虑到矩阵乘法运算的重要性，加入相容性条件。,定义2 对任意两个n阶矩阵A、B，有,则称矩阵范数|是相容范数。,定义2包含了矩阵范数与向量范数的相容性定义： 例如矩阵的F-范数与向量的Euclid范数相容： 即 |Ax|2|A|F |x|2,例1中的m1-范数，F-范数都是相容范数； 注意，m不具备相容条件；,定理4：设| 是Cmn上的相容矩阵范数，则在Cn存在与之相容的向量范数。,矩阵不仅仅是向量，它还可以看成变换或算子。 实际中，从算子或变换的角度来定义范数更加有用。 下面对给定的向量范数，定义与之相容的矩阵范数,3.算子范数,定义3：设| 与| 分别是Cm与Cn上的两个向量范数， 对ACmn ，令,则|,是Cmn上的矩阵范数，且和| 与|相容， 即|AX| |A|, |x| 称该矩阵范数为Cmn上的算子范数或由向量范数| 与| 诱导出的矩阵范数。,定理5 Cnn的算子范数是相容矩阵范数；,定理6：设n 阶方阵A = (aij)nn，则,（）与 相容的矩阵范数 列和-范数,（）与 相容的矩阵范数 谱范数,（）与 相容的矩阵范数 行和范数,即矩阵的1-范数，谱范数，-范数都是由相应的向量范数导出的矩阵范数。,注：矩阵的m1-范数，m-范数，F-范数不是算子范数(可由单位矩阵验证),但F-范数的优点是当A左乘或右乘酉矩阵后F-范数的值不变（酉不变性），所以F-范数也是常用的范数之一.,注2：谱范数虽然不便于计算，但它有很多好性质：,对于m阶酉矩阵U和n阶酉矩阵V，有 |UAV|2=|A|2 （5）,例 S=xP2 | |x|p=1 在矩阵 作用下的效果分别为,注：矩阵范数和特征值有个很重要的关系 定理7 对任意的矩阵ACnn，总有 (A)|A| 其中，(A)是A的谱半径。 即A的谱半径不会超过A的任何一种范数。,计算 ， ， 和 。 解,例1,因为,所以,补充：Hilbert空间,定义 完备的内积空间V称为Hilbert空间，记作H 即内积空间V按距离,是完备的，亦是Banach空间。,完备空间：一个度量空间中的任何Cauchy列都收敛在该空间内，称该空间是完备的； 直观上讲，一个空间完备就是指“没有孔”且“不缺皮”，两者都是某种“不缺点”。没有孔是指内部不缺点，不缺皮是指边界上不缺点。,设xn是度量空间中的向量序列，如果对于任意的0，存在自然数N，当m,nN时，d(xm,xn)，称xn是一个Cauchy列。,补充：Hilbert空间,Hilbert空间是有限维欧几里得空间向无穷维的推广；完备性使得微积分中的大部分概念都可以无障碍地推广到希尔伯特空间中。希尔伯特空间为基于任意正交系上的多项式表示的傅立叶级数和傅立叶变换提供了一种有效的表述方式。,举例,例1 在n维（实或复数）向量空间Rn中，,范数,按范数是完备的内积空间，即Hilbert空间。,定义内积,在,中，,定义内积,（满足三条公理）,，则,按范数是完备的内积空间Hilbert空间,例2,范数,L2a,b指的是平方可积函数的集合，按照函数的加法和数乘构成线性空间：其一组基最常用的是三角函数系,例3 在,定义内积,（满足三条公理）,l 2是Hilbert空间。称为平方可和空间,范数,是内积空间U中的标准正交基,则对于xU,，x在M上的投影,并且,标准正交基的性质,1.设,通常称,x0的长度,为Bessel不等式。 即x在M上的投影,2.推广到无穷维：,是U中的标准正交基，则对xU有,设,3.最佳逼近定理 设 是U中的标准正交基， xU， 则对于任意 一组数， 恒有 （*）,该定理说明：U中的任意元x，当用,作有限维线性组合去逼近时，以,为最好逼近元，其中线性组合系数(x,ei ),可见在有限维线性子空间M中求U中x的最佳逼近元等同于求投影。,称为Fourier系数。,标准正交基的完全性及完备性,是内积空间U中的标准正交基, 当且仅当,时，,则称L=ei是完全的。,1.定义 设,（1）若对于xU,此式称为巴塞弗（Parseval）等式，也称为广义“商高定理”,（2）若对于xU，都有,则称L=ei是完备的。,定理2 H空间中任意两个完全标准正交基,和,具有相同的基,之间存在一一对应的关系）。,（即,定理3 无穷维H空间可分的,H中存在完全标准正交基。,注：H可分：在H中存在可数子集D，使得H中的每个元素都是D中元素序列的极限。,定理4 无穷维可分的H空间必与l 2空间线性及内积同构。 即：存在H到l 2的一一映射 ，使其保持线性运算及 内积相等，即,例如：可取,则是由H到l 2的一一映射，并且H与l 2线性及内积同构。,特别的，当H中的完全标准正交基为有限集,时，则H与R n同构，可取映射,由此可知，欧氏空间R n可看作有限维H空间的模型，平方可和空间l 2可以看作无限维H空间的模型。从而把对可分的H空间的研究转化为对Rn或l 2的研究。 例如： 是可分的H空间，要研究 中的函数，只要研究该函数的傅立叶系数就够了。,根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。,SVM,设x,zX,X属于R（n）空间,非线性函数实现输入空间X到特征空间F的映射,其中F属于R（m）,n (1) 其中：为内积,K(x,z)为核函数。从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。 如何定义K(x,z)？ mercer定理：充要条件K(x,z)是对称半正定矩阵,由于n阶矩阵可以看成nn向量，所以矩阵序列的收敛问题可以和向量序列的收敛问题一样考虑。,3 矩阵序列与矩阵级数,定义1 设矩阵序列A (k) ，其中,如果mn个数列 都收敛，则称矩阵序列 A (k) 收敛。 进一步，如果 那么我们称矩阵 为矩阵序列 的极限。 记为,例1,定理1 矩阵序列 收敛于A的充分必要条件是 其中 为任意一种矩阵范数。,（1）一个收敛的矩阵序列的极限是唯一的。 （2）设,矩阵序列的极限运算性质,（5）设 ，且 ，A均可逆，则 也收敛，且,则 （3）设 其中 则 （4）设 ，其中 则,定义 设,如果有,，则称A为收敛矩阵。,则 的充分必要条件为,定理6.3.2 设,推论 设,如果存在 上的相容矩阵范数使,则有,方阵的幂构成的序列,例2 判断矩阵是否为收敛矩阵,解：由 知A为收敛矩阵。,注意： 是矩阵A为收敛矩阵的充分条件，不是必要条件。,即：矩阵A的范数都大于1，该矩阵也有可能是收敛矩阵。,由 中的矩阵序列 构成的无穷和 称为矩阵级数，记为 ，,若由矩阵级数的部分和构成的矩阵序列 收敛，且有极限S,即 ，则称矩阵级数 收敛，且有和S。 记为:,为矩阵级数的部分和。,称:,定义1,矩阵级数,不收敛的矩阵的级数称之为发散的。,3.若矩阵级数 收敛（或绝对收敛），则 矩阵级数 也收敛（或绝对收敛）， 并且有:,2.设 ， ,则,(1),(2),1. 中的矩阵级数收敛相当于C上的 个级数都收敛,n,定理1 矩阵