矩阵基础及多元线性回归模型

1、矩阵代数概述,矩阵(matrix)就是一个矩形数组。 mn矩阵就有m行和n列。m称为行维数，n称为列维数。 可表示为,矩阵,方阵：具有相同的行数和列数的矩阵。一个方阵的维数就是其行数或列数。 行向量：一个1m的矩阵被称为一个(m维)行向量。 列向量：一个n1的矩阵被称为一个(n维)列向量,方阵、行向量、列向量,对角矩阵、单位矩阵和零矩阵,对角矩阵,单位矩阵,零矩阵,矩阵的运算,加法,数乘,两矩阵相乘,A为mn阶矩阵 B为np阶矩阵,矩阵运算的性质（1,和是实数，矩阵A、B、C具有运算所需的维数,矩阵运算的性质（2,和是实数，矩阵A、B、C具有运算所需的维数,矩阵A的行与列互换称为A的转置矩阵，

2、用A表示,矩阵的转置、对称矩阵,转置矩阵的性质,x是n1维向量,一个方阵A是对称矩阵的充要条件A=A,对任意一个nn的矩阵A，A的迹tr(A)定义为其主对角线元素之和。 迹的性质,迹,其中，A为nm矩阵，B为mn矩阵,对一个nn的矩阵A，如果存在矩阵B，使得 BA=AB=In 则称B为矩阵A的逆，用A-1表示。 如果A有逆矩阵，则称A是可逆的或非奇异的；否则，称A是不可逆的或奇异的,矩阵的逆,1) 如果一个矩阵的逆存在，则它是唯一的 (2) 若0且A可逆，则 (3) 如果A和B都是nn可逆矩阵，则 (4,矩阵逆的性质,给定一个nn的方阵 ，A的行列式，记为|A|，定义为： |A|=(-1)ta

3、1p1a2p2anpn 其中，t为p1p2.pn的逆序数,矩阵的行列式,例：求下列矩阵A的行列式,因此， |A|=21-4+16-10+15-42= - 4,解： 根据行列式定义，可得,求方阵的逆矩阵（1,余子式： 将nn的方阵A的第i行和第j列去掉，所剩下的子矩阵的行列式叫做元素aij的余子式，记为|Mij| 例如,求方阵的逆矩阵（2,余因子(代数余子式)： 将nn的方阵A的元素aij的余因子，记为cij ，定义为 cij =(-1)i+j|Mij,余因子矩阵： 将方阵A的元素aij代之以其余因子，则得到A的余因子矩阵，记为cof A。 伴随矩阵：余因子矩阵的转置矩阵称为A的伴随矩阵，记为a

4、dj A adj A=(cof A,求方阵的逆矩阵（3,如果A是方阵且是非退化的矩阵（即|A|0），则A的逆矩阵的计算公式为,例：求下列矩阵A的逆阵,Step1: 求|A| |A|=-24 Step2: 求A的余因子矩阵c Step3: 求A的伴随矩阵，即c Step4,解,1) 令 x1, x2, xr是一组维数相同的向量，若存在不全为零的实数1, 2, , r使得 则称向量组x1, x2, xr是线性相关的； 否则，称x1, x2, xr是线性无关的,向量组的线性相关,令A是一个nm的矩阵，则A中线性无关的最大列向量称为A的秩，即为rank(A)。 若rank(A)=m，则称为列满秩 秩的

5、性质： (1) 行秩列秩=rank(A) (即： rank(A)=rank(A) (2) 如果A是一个nk矩阵，则 rank(A)min(n,k,矩阵的秩,令A为nn对称矩阵。 (1) 如果对除x=0外的所有n1向量x，都有xAx0，则称A为正定的。 (2)如果对除x=0外的所有n1向量x，都有xAx0，则称A为半正定的。 正定和半正定矩阵的性质： (1) 正定矩阵的主对角元素都严格为正，半正定矩阵的主对角元素都非负； (2) A是正定的，则A-1存在并正定； (3) 如果X是一个nk矩阵，则XX和XX都是半正定的,正定和半正定矩阵,令A为nn对称矩阵。如果AA=A，则称A是幂等矩阵。 幂等矩

6、阵的性质： 令A为nn幂等矩阵 (1) rank(A)=tr(A) (2) A是半正定的,幂等矩阵,1) 对于一个给定的n1向量a，对所有n1向量x，定义线性函数 f(x)= ax，则f 对x的导数是1n阶偏导数向量a，即： (2) 对一个nn的对称矩阵A，定义 则,矩阵微分,why,why,如果y是一个n1随机向量，用var(y)（或cov-var(y)）表示的y的方差-协方差矩阵定义为： 其中j2=var(yj), ij=var(yi, yj) 显然， ij=var(yi,yj) =var(yj,yi)=ji，故var(y)对称,方差-协方差矩阵,第三章 经典单方程计量经济学模型：多元回归

7、,多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 回归模型的其他形式 回归模型的参数约束,3.1 多元线性回归模型,一、多元线性回归模型 二、多元线性回归模型的基本假定,多元线性回归模型的引入,一元（双变量）线性回归模型在实践中对许多情况往往无法描述。 例如：对某商品的需求很可能不仅依赖于它本身的价格，而且还依赖于其他相互竞争(互替)或相互补充(互补)的产品价格。此外，还有消费者的收人、社会地位，等等。因此，我们需要讨论因变量或回归子Y，依赖于两个或更多个解释变量或回归元的模型,一、多元线性回归模型,多元线性回归模型: 有多个解释变量的线性回归

8、模型。也称为多变量线性回归模型。 总体回归函数： 意为：给定X1,X2,Xk的值时Y的期望值,i=1,2,n,Y是被解释变量 Xji为解释变量，i指第i次观测,增加随机干扰项的随机表达式,为随机干扰项 i为偏回归系数,习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。这样：型中解释变量的数目为k+1,截距项和偏回归系数,1) j (j1) 称为 偏回归系数 表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的条件均值 的变化; 或者说j给出了Xj的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。 (2) 0 (j1) 称为 截距项，它给出了所有未包含到模型中

9、的变量对Y的平均影响,总体回归函数的随机表达式,总体回归模型的n个随机方程（1,若有n组观测值，则可得n个联立方程,令,总体回归模型的n个随机方程的矩阵表示,则有，总体回归方程的矩阵表示为,样本回归函数：根据样本估计的总体回归函数,其随机表示式,ei称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项i的近似替代,样本回归函数,样本回归模型的n个随机方程（1,或,若有n组观测值，则可得n个联立方程,令,样本回归模型的n个随机方程的矩阵表示,则有，样本回归方程的矩阵表示为,或,或,经典线性回归模型的基本假设的引入,在回归分析中我们的目的不仅仅是获得参数的估计值，而且要对参数估

10、计值做出推断 。 例如： 和 离它们相应的真实值有多远？ 与其期望值E(Yi|Xi)多接近？ 由PRF： 可知，Yi依赖于Xi 和ui，除非我们明确Xi 和ui的产生方式，否则我们将无法对Yi 作任何推断。同时，为了使得使用OLS方法的估计量具有良好的性质，我们做出了如下假设,线性回归模型的基本假设（1,假设1、 (1) 解释变量X1, X2, ,Xk是确定性变量，不是随机变量； 即在重复抽样中，X1, X2, ,Xk的值被认为是固定的。 (2) 解释变量X0（虚拟）, X1, X2, ,Xk相互之间无多重共线性,等价于,的列向量组的秩为k+1，即列满秩,线性回归模型的基本假设（2-1,假设2

11、、随机误差项具有零均值、同方差和不序列相关： (2.1) 零均值： E(i|X1, X2, Xk)=0 i=1,2, ,n 用矩阵表示为： 意为：对给定的解释变量的值，随机干扰项ui的均值（条件期望）为0。即凡是模型不含的因而归属于ui的因素，对Y的均值都没有系统的影响,线性回归模型的基本假设（2-2,假设2、随机误差项具有零均值、同方差和不自相关性： (2.2) 同方差 Var (i|X1, X2, , Xk)=2 i=1,2, ,n 或表示为： Var (i)=2 i=1,2, ,n 意为：对给定的X值，随机干扰项ui的条件方差是恒定的。 同方差假设表明：对应于不同X值的全部Y值具有同样的

12、重要性或对应于不同的X值，Y围绕均值的分散程度是相同的,线性回归模型的基本假设（2-3,假设2、随机误差项具有零均值、同方差和不序列相关性(不自相关)： (2.3) 不序列相关： Cov(i, j)=0 ij i,j= 1,2, ,n 等价于 E(uiuj)=0 意为：相关系数为0， i, j非线性相关,线性回归模型的基本假设（2-4,假设2、随机误差项具有零均值、同方差和不序列相关性(不自相关) Var (i)=2 Cov(i, j)=0 ij i,j= 1,2, ,n 的矩阵表示为,线性回归模型的基本假设（3,假设3、随机误差项与解释变量Xj之间不相关： Cov(Xji, i)=0 i=1

13、,2, ,n，j=1,2,k E(Xjiui)=0 可推出: E(X)=0，即,作此假设的理由：当我们把PRF表述为 时，我们假定了Xj和u(后者代表所有被省略的变量的影响)对Y有各自的(并且可加的)影响。但若X和u是相关的，就不可能评估它们各自对Y的影响,线性回归模型的基本假设（4,假设4、服从零均值、同方差、零协方差的正态分布 iN(0, 2 ) i=1,2, ,n 意为：ui服从正态分布且相互独立。对两个正态分布的变量来说，零协方差或零相关意为这两个变量独立。 矩阵表示为： ，其中， =1,2,n 作该假设的理由：i代表回归模型中末明显引进的许多解释变量的总影响，利用统计学中著名的中心极限定理：如果存在大量独立且相同分布的随机变量，那么，除了少数例外情形，随着这些变量的个数无限地增大，它们的总和将趋向正态分布,线性回归模型的基本假设（5,假设5、各解释变量的方差var(Xj)必须是一个有限的正数。即： 其中：Q为一非奇异固定矩阵（即主对角线全为非零元素），矩阵x是由各解释变量的离差为元素组成的