机器学习数学基础-矩阵论

1、1.矩阵和线性变换：线性变换的定义：线性映射(linear mapping)是从一个 向量空间V到另一个向量空间 W的映射 且保持加法运算和数量乘法运算，而线性 变换(linear transformation)是线性空间 V 到其自身的线性映射。1)。甲寸孙对任氤r PfcV削J=Q!岬厚不对任意叫氏 Em力存在f 元素OEM对一元素闹为岫悔元 力对口%都存在户W城口+叩的为物7 酊对F中单位元L ia=n(tiv)用对任意 |巳晡kl怛=K加：，.一个矩阵对应了一个线性变换这个说法，乃对任意七I”,代贿1k+lM皿1a就可以知道这个说法并不严谨。(基)小对任意kP, %豌VW他+酢皿坤，矩

2、阵是对线性变换的表示；确定了 定义域空间 与目标空间的两组基，就可以很自然地得 到该线性变换的矩阵表示。我们选择标准基来描述R2的桥隹基是(1, 0), (0,1) r R3的标;域是(I, 0,0),(00),(0,6J)：我们想矢CB1T把取2的标准基变换到了哪里,于是代入上式；7(1,0) = (1,2,7) = 1(1,050)+2(0,1,0)+7(0,0,1)7(0,1)=(3,5,9) = 3(1 , 0,0) + 5(0,15 0) + 9(0,0,1)于是，T关于标准基的矩阵是； 1 32 57 9迂道了.上述内容，那么甚区乘;却w意文也就彳的理馨了.设%，- 是P的尊r位，

3、,rn星 W 的其，%,-,%)旱U的蜕 考虑线呻映鼾 ；U T VT : P T /，分别对面学T和 Af(T).当我们定义了矩南I?法之后，它们的复合快鸵TS ； U t W就对应了M(TS) M(T)M(S).具屈娅明领材上都会有，但我建设最好自己动手验击值注 ,这个优美的性防屈立的前提是r两个卿铿缄选择的是同一组V的基也，* .,，2%，舌 贝坏成立,当然r我用f 用的都是标准基.所以大多数时矣不会有这个同题两个矩阵相乘，表示了三个线性空间的变换。要想从第一个空间转换到第三个空间，则第一个变换的定义域空间U到目标空间V1 ,第二个变换的定义域空间V2到目标空间W,必须满足V1和V2是一

4、个空间。矩阵把vi换成vi的换基矩阵与把 vi 换成vi的换基矩阵这两个矩阵是互逆的.2恒等变换与伸缩变换一、恒等变换：h定义；把任何一点（向量）或图形变换为自身的变换（为恒等变换.即：T:2,恒善变换矩阵工E-.也称为单位却陀U定义；沿装直方向或水平方向伸长或压缩的平面图形支典称为垂直伸吊变换.简称伸抵变模.之、爪在伸压变换盘阵：Mk叫或N= f1 0 C*0*如阳M, N觇定的变奥分别将平时图卜;：轴，了轴方向伸匕或压缩.当itl时伸长,当口父&.3矩阵对角化 条件：n个线性无关的特征向量；每个特征值的线性无关的特征向量的个数恰好等于该特征值的代数重数；充分条件 n个特征值互不相等（充分条

5、件）；代数重数：特征多项式的次数；几何重数：与某一个特征值入相关联的线性无关的特征向量的最大个数。一矣T对于标;隹基（或者苴他某个基）白洞车为A ；而我们为了更清是地面下阵看出 位华均短抠6映果，就把A对角化：A = PDP 1（。城施娜）逵其实就是先把标旭换成后持证向量0成的基（这是1的意义）于是用T基向量登过 T变换之后都只是乘了 Y常数达是O的粤义）,最后再阳由特征向量组成的基撞叵标隹基 这足尸的克义）.而笆何脱过，r啊需准M换成标准基的矩阵就是期由准基的向量竖着写下来J,所以（按照O 中特征值的顺序）蛔应的特征句量受着写下来，就得到了尸.所以对角化其实就是要用特征向量组成的基来代替标准

6、基，描述线性变换，使得多个耦合的变量尽可能的解耦。如果A为实对称阵，则其必可以正交相似对角化。 其中U内的每个向量互相正交。 即：u1.T=u1.I.A = QAQT具不，Q的每一列都是相互正交的特征向量，且是单位向量，A对角线上的元素是从大到小 排列的特征值.线性变换：可以发现里面并不涉及矩阵维度的变化。其中中间的对角矩阵相当于对矩阵的每一列（t特征向量）进行拉伸。两边的同维方阵使用的是同一组基，即上述的线性变换始终在一组基里面，所以相当于在同一空间内做旋转。在一个n维空间里，标准正交基是唯一存在的，该n维空间里面所有的向量都可由该组正交基线性变换得到。所以矩阵的对角化涉及到的运动包括：旋转

7、和缩放。A矩阵将一个向量从x这组基的空间旋转到 x这组基的空间，并在每个方向进行了缩放。 4.SVD当给这一个大小为m xm的矩阵4 ,国然矩阵4不一定是方阵，但大小为m义血的 AX1和九X n的幺丁4即是x痢炬耳，苦44r = PA1Pr t AtA = QA&QT ,则 矩阵A的奇异值分解为A = PLQ1其中，矩阵尸=（1于如.历小）的大小为加X th ,列向量西币2，.方鹏是 的特征向量也被称为矩阵A的左奇异向量（left singular vector）;距阵Q =心一的大小为n x n r列向星备】博门是4:4的特征向星，也裾称为坞阵A的右奇异向曷（right singular v

8、ector）：矩阵A1大小为m x m,矩 阵A?大小为nxn t两个矩而可角线上的非零元素相同（即矩陡AAT和矩阵丁的非 零特征值相同 推导过程见附录1 ）；矩阵的大小为仃I X TL ,位于对笔线上的元素被称为 奇异值（singular value ） .证明：AA.T的特征向量组就是 P矩阵： 2A =P，VT= AT =V 、PT= AAT =P% V V、PT = P， PT得证对A进行矩阵分解得到的 P矩阵就是AA.T的特征向量组成的 P矩阵。SVD的一些应用1 .降维左奇用于行数的压缩。右奇异矩阵可以用于列数即特征维度的压缩，也就是我们的 PCA降维。2 .PCA使用SVD求解P

9、CA求解过程中的协方差矩阵为特征之间（列之间）的关系矩阵（ m*m）。而SVD的 右奇异矩阵也是关于特征之间（矩阵列之间）的关系，所以 PCA里面的协方差矩阵可以通 过SVD得到。SVD有个好处，有一些 SVD的实现算法可以不求先求出协方差矩阵，也能求出我们的 右奇异矩阵。3 .奇异（乱入的）若n阶方阵A的行列式不为零，即 |A| w。则称A为非奇异矩阵或满秩矩阵4 .几何意义：奇异值分解把线性变换清晰地分解为旋转、缩放、投影这三种基本线性变换。A =尸卬其中，P为m*m矩阵，Q为n*n矩阵。其中涉及的变换： AQ = PZ。A矩阵的作用是将一个向量从Q这组正交基向量的空间旋转到 P这组正交基

10、向量空间，并对每个方向进行了一定的缩放，缩放因子就是各个 奇异值。如果 Q维度比P大，则表示还进行了投影。8 .一些概念矩阵行秩等于列秩估计量的数学期望等于被估计参数的真实值，则称此此估计量为被估计参数的 无偏估计。矩阵与标量相乘与相加，每个元素与该标量相乘或相加互逆矩阵特征值互为倒数，特征向量一样9 .条件数矩阵A的条件数等于 A的范数与A的逆的范数的乘积，即 cond(A尸II A II -1)(应矩阵的3种范数，相应地可以定义3种条件数。函数cond(A,1)、cond(A)或cond(A inf)。艰三h 二？ W- X1 - 1UU, K2 -工UU.孔 T；，归-r -三：- 12

11、 - 79SOO.原因：J条件数事实上表示了矩阵计算对于误差的敏感性，条件数越大，矩阵越大越病态，矩阵是指解集X对系数矩阵A和偏差bias高度敏感。主要是某些向量之间可以互相近似线性表达 (如 401 -201与-800 401),从而另一项近似残差项，这样微小的扰动带 来大的扰动。矩阵的条件数总是大于1.正交矩阵的条件数等于1 ,奇异矩阵的条件数为无穷 大，而病态矩阵的条件数则为比较大的数据。10 .鞍点，极值点，驻点检验二元函数F (x, y)的驻点是不是鞍点的一个简单的方法，是计算函数在这个点的 Hessian矩阵：如果黑塞矩阵的行列式小于0,则该点就是鞍点。在一维空间里，鞍点是驻点.也

12、是反曲点点。/目标函数在此点上的梯度(一阶导数)值为0,但从该点出发的一个方向是函数的极大值点，而在另一个方向是函数的极小值点。极指点：函她从逆增变换更逆械，或若从逮减受演钞逆增的点：设函数，(0在加附近有定宜，如果对冲的表3兜域(到一如工0M fM .刑而)是的效人工)的大信：板T有不一定导丑卢.驻点要求一阶导致rfl我存在.而根优点时写数没有要求(共点带是一曲导数十口的克)c 比如.9=1到在W =。处1是跟小值点，但不足6点,没有导数；想成的，驻点也不 定层极值点.比如亨=工苫在工=0处：11矩阵对角化计算过程对称矩阵肯定可以对角化。矩阵可以对角化的充分必要条件是： 矩阵有n各不同的牛I

13、征值。n个相互无关的特征向量L求段4的所有弄不嵇同的衬征慎儿为一九.它们的篁 R,.*+*i*f (A+】* .+*q=in】.L时每个丸女将征值4.求方程轨I4-4EI=。的泰融解 系.将与个蝶桂无更M带衽南堂.把这丸个姓姓无果的林征向量正文化、单位化，得利比 个的两正交的单徒将在向量.因为文九=”,第系可用”个两两正交枸单位 特征向量.3,这片个两两正交的单粒朝衽商止杓成正文阵匕 便有尸-3F = d.,1中对唐元的邨列次序位于中列向量的橹列次序幅时应.正交化过程:其中口/口。上下是点乘的过程12矩阵正定半正定判断条件：(1) A为半正定阵：a.定义判定。XTAX表示的意义是：矩阵A对应的

14、二次型XAX ,对于任意 不为0的实列向量X,都大于等于0。b.所有的主子式非负。主子式是指将行号与列号相等的项拿出来组成一个 矩阵的行列式。(2) A为正定阵： a.定义判断 b.各阶顺序主子式都为正 c.特征值都为正 d.合同为单位阵 e.g上述四个条件都为充分必要条件。 主子式是，可以跳，顺序主子式是惟一的。 意义：正定、半正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角 小于等于90度。13核方法核函数的取(Mercer定理)任何半正定的函数都可以作为核函数。所谓半正定的函数f(xi,xj),是指拥有训练数据集合(x1,x2，xn),我们定义一个矩阵的元素 aij = f(

15、xi,xj),这个矩阵是n*n 的，如果这个矩阵是半正定的， 那么f(xi,xj)就称为半正定的函数。这个mercer定理 不是核函数必要条件，只是一个充分条件，即还有不满足mercer定理的函数也可以 是核函数。常见的核函数有高斯核，多项式核等等，在这些常见核的基础上，通过 核函数的性质(如对称性等)可以进一步构造出新的核函数。SVM是目前核方法应用的经典模型。一般实施步骤核函数方法是一种模块化（Modularity）方法，它可分为核函数设计和算法设计两个部 分，具体为：1）收集和整理样本，并进行标准化；2）选择或构造核函数；3）用核函数将样本变换成为核函数矩阵，这一步相当于将输入数据通过非

16、线性 函数映射到高维特征空间；4）在特征空间对核函数矩阵实施各种线性算法；5）得到输入空间中的非线性模型。14共轲共轲复数，两个实部相等，虚部互为相反数的复数互为共轲复数（conjugatecomplex number）。当虚部不为零时，共轲复数就是实部相等，虚部相反，如果虚部为零，其共轲复数就是自身。（当虚部不等于0时也叫共轲虚数）复数z的共轲复数记 作z，。同时，复数称为复数z的复共轲（complex conjugate）.共轲矩阵是指，共轲矩阵又称 Hermite阵。Hermite阵中每一个第i行第j列的 元素都与第j行第i列的元素的共轲相等。共轲相等概念出现于共轲矩阵中，体现在：主对角

17、线上的元素为实数（即其共 轲复数为其本身），而第i行第j列的元素与第j行第i列的元素为共轲复数（这个不 用解释了吧）。埃尔米特矩阵（又称“自共轲矩阵”）是共轲对称的方阵。埃尔米特矩阵中每一 个第i行第j列的元素都与第j行第i列的元素的共轲相等。15概率和似然概率用于在已知事物一些参数的情况下，预测接下来的观测所得到的结果，而 似然性则是用于在已知某些观测结果时，对有关事物的性质的参数进行估计。举例：我们从一个袋子（只有红球和蓝球）里面又放回的抓球，抓了 10次，其 中红球为3次，蓝球为7次，则我们估计取得蓝球的概率为 0.7,红球的概率为0.3. 此过程采用的是极大似然的思想，然后我们估计下一

18、次取得蓝球的概率为0.7,此过程称之为概率思想。 16奇异矩阵奇异矩阵是线性代数的概念，就是该矩阵的秩不是满秩。首先，看这个矩阵是 不是方阵（即行数和列数相等的矩阵。若行数和列数不相等，那就谈不上奇异矩阵 和非奇异矩阵）。然后，再看此矩阵的行列式 冏是否等于0,若等于0,称矩阵A为奇异矩阵； 若不等于0,称矩阵A为非奇异矩阵。同时，由冏知力1阵A可逆，这样可以得出另外一个重要结论:可逆矩阵就是非奇异矩阵、非奇异矩阵也是可逆矩阵。如果A为奇异矩阵，则AX=0有无穷解，AX=b有无穷解或者无解。如果 A为非奇异 矩阵，则AX=0有且只有唯一零解,AX=b有唯一解。 17海森矩阵的意义在求解凸优化问题的时候，前提条件是嗨森矩阵是正定的。 如果不是正定， 不能保证所产生的方向是目标函数在xk处的下降方向。Hessian矩阵的特征值就是形容其在该点附近特征向量方向的凹凸性（可以看 成是抛物线口的大小，而梯度只是抛物线某点的斜率。），特征值越大，凸性越强。而凸性和优化方法的收敛速度有关，比如梯度下降。如果正定Hessian矩阵的特征 值都差