第0章、数学基础.doc

第一章、数学基础主要分为两部分：矩阵代数和概率统计1矩阵代数1、定义（1） 矩阵（Matrix）矩阵, m为行维数, n为列维数(dimension). 例如, 其中（2） 向量（vector）：m维行向量, （row vector）, 记为：n维列向量, （column vector）, 记为（3） 标量（Scalar）:矩阵, 为一实数（4）方阵（square）Amm（5）对角矩阵（Diagonal）Amm有aij=0, ij, 即（6）单位矩阵, 恒等矩阵（Identity）（7）零矩阵（zero matrix, null matrix）（8）对称矩阵, , 即例子：2 矩阵运算（1） 矩阵相等A = B 如果aik = bik, 例: , , AB（2） 矩阵转置（行列互换）, , 性质: , (aA)=aA, aR (A+B)=AB (AB)=BA, Amn, Bnk , （3） 矩阵相加A， B同维, （4）数乘（Scalar multiplilation） 例子: g2, , （5）向量乘法（内积, inner product）, , （6）矩阵乘法（matrix multiplication）Amn, Bnp, (AB)mp=(kaikbkj), AB第（i, j）个元素等于A中的第i行的每个元素与第j列的对应元素的乘积之和. 例: 性质：（a, bR） (a+b)A=aA+bA a(A+B)= aA+ aB (ab)A=a(bA) a(AB)=(aA)B A+B=B+A (AB)C=A(BC) A(B+C)=AB+AC (A+B)C=AC+BC IA=AI=A A+0=0+A=A A0=0A=0（7）分块矩阵乘法, 其中ai为k维行向量, , 其中bi为m维行向量. , , 为km矩阵（8）迹（trace）Ann的迹为tr(A)=(ni aii),性质： tr ( In ) = n tr ( A ) = tr ( A ) * tr ( AB ) = tr ( BA ), Amn, Bnm tr ( aA ) = a tr ( A ) tr ( A+B ) = tr ( A ) + tr ( B ) aa = tr ( a a) = tr ( aa )（9）逆矩阵（inverse）A-1A = AA-1 = In, 称Ann可逆或者非奇异性质： (AB)-1 = B-1A-1 (A)-1 = (A-1) (aB)-1 = (1/a) (B)-1例子：, , 有Matlab命令: inv(A), det(A), rank(A)3、数值和, 有i=, 4、幂等矩阵（idempotent）（1）幂等矩阵的定义: M2 = MM = M（2）对称幂等矩阵的定义: 幂等矩阵M是对称的. 即M = M且M2 = M, 也即M= MM（3）一个常用幂等矩阵, 此处为n维的全1列向量, 则有性质：(习题) (M0) = M0 M0 M0 =M0 证明：？ M0 x？ M0 x, M0 y,？5、线性无关和矩阵的秩（1）线性无关/独立（linearly independent）称向量（a1,ak）为线性独立的, 如果线性方程a1a1+ .+akak=0的唯一解为a1=.=ak=0（2）线性相关至少一个向量可以表示为其它向量的线性组合. ai 0, 有aiaj例子：线性独立, 而中有线性相关（3）秩（rank）Amn(a1, .,an), 其中ai 是m维列向量. a1, .,an中最大线性无关子组的个数, 称为A的（列）秩, 记为rank(A)性质： rank(A)=rank(A) rank(A)min(m, n) Amm, rank(A)=m, 称A满秩6、特征根与特征向量（characteristic roots and vectors）（1）定义：Ac=lc, c为列向量, 满足cc=1（2）定理：mm对称矩阵有m个不相同的特征向量c1,cm, 和相应的特征根l1,.,lm为实数, 不一定相同.（3）Cc1,cm, , AC=CL, CC=ICC=I可以推出C C =I，为什么？注意：CC=I说明C是C的逆矩阵，即C=C-1。因此C C =IMatlab: C, L=eig(A)矩阵的对角化：在AC=CL左右两边左乘以C，有CAC= CCL=L，即CAC= L(4) 对称矩阵的秩 若A=A, 则rank(A)=rank(L), 数非0的个数即可. Rank(A)=rank(AA)=AA的非0特征根的个数.(5) 矩阵的迹 tr(A)=tr(L), 特征根之和, tr(A)=tr(ACC)=tr(CAC)=tr(L)(6) 矩阵的行列式 |A|=|L|, 特征根之积证明：由于CAC=L，所以|CAC|=|L|，而左边等于|C |A|C|=|C |C|A|=|C C|A|=|A|(7) 矩阵的幂定理: 若A对称,则A2的特征向量同A, A2的特征根是A的特征根的平方. 推论: Ak=CLkC, k=0, 1, 2(8) 幂等矩阵的特征根 若A2=A, 则l=l2, 即l=0或1.7. 二次型和正定矩阵(1) 二次型q=xAx=ijxixjaij, A对称(2) 称A是正定的(Positive define), 若对任意x0, 有xAx0 称A是负定的(negative define), 若对任意x0, 有xAx0, 则对任意y0, 有q0. (4) *对称幂等二次型定理: (1) 对称幂等矩阵均为非负定的; (2) 若A为对称幂等矩阵, 秩为J, 则xAx=i=1Jyi2证: 由幂等矩阵的特征根非0即1可证.8 向量微分设列向量xn1Rn, f: Rn R, 则例：(1) (2) (3) 例子：效用函数，求？生产函数为，求？9、多元函数的极值。Max (min) f(x)一阶条件：二阶条件：为负定矩阵：极大值为正定矩阵：极小值如何理解？回忆泰勒展开表达式：其中H是二阶矩阵或者海塞（Hessian）矩阵。也可以记为2 概率论(注意：不需要分布函数CDF)1随机变量及其分布(1) 定义: 如果一个变量的值是由随机实验的结果决定的, 则称该变量为随机变量(rv.)(2) 离散型随机变量设X是一个随机变量, 且取离散数值的概率为P(X=xk) = pk, k=1,2,其中 pk , k=1,2,满足 pk0, k=1,2,. kpk=1, 则称X为离散型随机变量, pk , k=1,2,为概率密度函数(pdf)或者分布律.也可以记为Xx1x2PkP1P2例 (公平的骰子)X123 4 5 6Pk1/61/61/6 1/6 1/6 1/6(3) 连续型随机变量X为连续型rv, f(x)为X的pdf, 若满足 f(x)0 P(aXb)=, (a0, f(x)=0, x0, 试确定常数K, 并求P(X0.1)(4) 联合pdf (X,Y)为离散型rv, 其联合pdf为P(X = xi, Y = yj)=pij, i, j = 1, 2, 满足pij0, ij pij=1.例子Y X-202330.270.080.160600.040.10.35(X,Y)为离散型rv, 其联合pdf满足 f (x, y)0(1) 边际pdf (marginal pdf) /边缘分布离散型相对于P(X=xi, Y=yj)而言, P(X=xi)和P(Y=yj)分别称为X和Y的边际pdf, 有 P(X=xi)=j P(X=xi, Y=yj)连续型相对于联合pdf, f(x, y)而言, X的pdf为fX(x)和Y的pdf为fY(y), 分别称为X和Y的边际pdf, 有例子:P(X=-2)=0.27+0=0.27 P(Y=3)=0.27+0.08+0.16+0=0.51P(X=0)=0.08+0.04=0.12 P(Y=6)=0+0.04+0.01+0.35=0.49P(X=2)=0.16+0.1=0.26P(X=3)=0+0.35=0.35(2) 条件pdf (conditional pdf)离散型在Y=yj的条件下X的条件pdf为例子: 连续型在Y=y的条件下X的pdf为(3) 独立性定义: 若对任意x, y有P(Xx, Yy)= P(Xx)P(Yy), 则称X和Y是相互独立的.离散型: X和Y相互独立的充要条件P(X=xi, Y=yj)= P(X=xi)P(Y=yj)连续型: X和Y相互独立的充要条件f(x, y)=fX(x) fY(y)2 期望和方差(1) 期望/均值(expected value/mean)离散型: X的pdf为 P(X=xk) = pk, k=1,2,则X的期望为E(X)=kxkpk例子:X-2023pk0.270.120.260.35E(X)=1.03Y36pk0.510.49E(Y)=30.51+60.49=4.47连续型: X的期望为性质 C为常数, E(C)=C a, b为常数, E(aX+b)=aE(X)+b 若X和Y相互独立, 则E(XY)=E(X)E(Y) 设g(x)为X的函数, 则Eg(X) 或 E(X+Y)= E(X)+E(Y)(2) 方差X的方差定义为var(X)=EX-E(X)2, 记为标准差或者均方差.离散型: var(X)= kxk-E(X)2pk连续型: 性质: Var(X)=E(X2)-E(X)2 C为常数, var(C)=0 C为常数, var(CX)=C2var(X) 若X和Y相互独立则有 Var(X+Y)=Var(X)+ Var(Y)(3) 协方差X和Y的协方差, 记为cov(X,Y)cov(X,Y)=EX-E(X)Y-E(Y)=E(XY)-E(X)E(Y)X和Y的相关系数, 记为rXY, 若cov(X,Y)=0, 即rXY=0, 称X和Y不相关.性质 var(X+Y)=var(X)+var(Y)+2cov(X,Y) cov(X,Y)=cov(Y,X) cov(aX, bY)=abcov(X,Y) cov(X1+X2, Y)=cov(X1,Y)+ cov(X2,Y)(4) 条件期望离散型给定Y=yj, X的条件期望为E(X|Y=yj)=ixi P(X=xi|Y=yj)其中P(X=xi|Y=yj)为Y=yj条件下的X的pdf连续型给定Y=y, X的条件期望为E(X|Y=y)=xf(x| Y=y)dx注意: E(X|Y=yj)的yj只是一个Y的特定值, 因此给定yj, E(X|Y=yj)是一个常数. 随着yj的改变, 条件期望E(X|Y=yj)也在改变, 因此E(X|Y= yj)是yj的函数. E(X|Y=y)的y只是一个Y的特定值, 因此给定y, E(X|Y=y)是一个常数. 随着y的改变, 条件期望E(X|Y=y)也在改变, 因此E(X|Y=y)是y的函数. E(X|Y)是Y的函数, 是一个随机变量.性质: 对任意函数g(Y)有 Eg(Y)|Y=g(Y)例 E(3Y2+2Y|Y)= 3Y2+2Y Ef(Y)X+g(Y)|Y= f(Y) E(X|Y) +g(Y)例 E(3Y2X+2Y|Y)= 3Y2E(X|Y)+2Y 若X和Y相互独立, 则E(X|Y)=E(X), (迭代期望法则) EE(X|Y)=E(X) (注: EE(X|Y)记为EYE(X|Y)更清楚. 若E(X|Y)=E(X), 则cov(X,Y)=0.(5) 条件方差Var(X|Y=y)=EX-E(X|Y=y)2|Y=y =E(X2|Y=y)-E(X|Y=y)2性质 若X和Y相互独立, 则Var(X|Y) = Var(X) 方差分解(decomposition of variance)Var(X) = VarE(X|Y) + EVar(X|Y)或者记为VarYE(X|Y) + EYVar(X|Y)3. 正态分布(1) XN(m, s2) 的pdf为,E(X)=m, Var(X)= s2, 即正态分布完全由期望和方差所确定.(2) 定理: 若XN(m, s2), 则 a+bX N(a+bm, b2s2), 从而N(0,1).标准正态分布 N(0,1)Matlab command: x=-3:0.1:3; y=pdf(Normal,x,0,1);plot(x,y)(3) 对数正态分布(The lognormal distribution)若, 则服从对数正态分布, 且有和.9 , t, F分布(1) 若 N(0,1), , 独立, 则 .Matlab: disttool(2) 若, 独立, 则 .(3) 若N(0,1)和独立, 则 .10 随机向量的矩(1) 随机向量(random vector), 设X1,Xn为随机变量, 则称为随机向量(2) 期望 (3) 随机矩阵, Znm为随机矩阵, 若它的每个元素Zij是随机变量, 其期望为E(Z)=E(Zij)为nm矩阵性质: (线性) 设矩阵Amn和bn1为非随机的, 则E(AX+b)=AE(X)+b=Am+b, 其中mn1=E(X) 设矩阵Apn和Bmk是非随机的, 则E(AZB)=AE(Z)B(4) 方差-协方差矩阵var(X)其中, si2=var(Xi), sij=cov(Xi, Xj). 显然, var(X)是对称矩阵(因为cov(Xi, Xj)= cov(Xj, Xi).性质: 若an1非随机, 则var(aX)=avar(X)a0 若任意a0, var(aX)0, 则var(X)正定. var(X)=E(X-m)(X-m), 其中mn1=E(X) 若X的各个元素都不相关, 则var(X)为对角阵, 而且若对任意j, 有var(Xj)=s2, 则var(X)= s2In, In为n阶单位矩阵. 若矩阵Amn和bn1为非随机, 则var(AX+b)= A var(X)A推论: 若mn1=E(X), =var(X), 则E(AX)=Am和var(AX)= Avar(X)A11. 多元正态分布设随机向量XN(m, ), 其中mn1=E(X), =var(X)(1) AX+b N(Am+b, AA) (2) -1/2(X-m) N(0, I)(3) (X-m)-1(X-m) c2(n)(4) 若X N(0, I), C为方阵且有CC=I, 则CXN(0, I)证: 由(1)即得(5) 若X N(0, I), A为幂等, rank(A)=J, 则XAXc2(J)证明：q=XAX=XCLCX，定义yCX。由于X N(0, I)，且CC=I，所以yCXN(0, I)。因此q=yLySj=1nlj2yj2由于A幂等，秩为J，所以lj等于1或0，共J个1，不妨记前J个为1。那么q=yLySj=1Jyj2又yj相互独立（为什么？），所以qc2(J)(6) 若X N(0, I), A和B为对称幂等的, 且AB=