计量经济学第3章 多元线性回归模型ppt课件

.,1,第3章多元线性回归模型3.1模型的建立及其假定条件,1.基本概念多元总体线性回归模型：Y=0+1X1+2X2+kXk+u多元总体线性回归方程：E(Y)=0+1X1+2X2+kXk,.,2,样本数据结构形式的多元总体线性回归模型：Yi=0+1X1i+2X2i+kXki+ui,i=1,2,n它是由n个方程，k+1个未知参数组成的一个线性方程组，即这个模型相应的矩阵表达形式是Y=X+U,.,3,其中,.,4,多元样本线性回归方程：估计的回归方程的矩阵表达形式是：其中,.,5,2.模型的假定（1）E(ui)=0，i=1,2,n（2）Var(ui)=E(ui2)=2,i=1,2,n（3）Cov(ui,uj)=E(uiuj)=0，ij,i,j=1,2,n（4）Cov(Xijuj)=0(i=1,2,k,j=1,2,n)且Cov(XkXl)=0(kl)。（5）rank(X)=k+1n（6）uiN(0,2)，i=1,2,n,.,6,引进向量、矩阵记法后，模型的基本假定1、2、3三条，可以综合为误差向量U的方差协方差矩阵为对角矩阵：满足这种假定的误差项称为“球形扰动”。,.,7,3.2最小二乘法,1.参数的最小二乘估计对于含有k个解释变量的多元线性回归模型Yi=0+1X1i+2X2i+KXKi+ui,i=1,2,n和相应的估计的样本回归方程根据最小二乘准则，寻找使下式达到最小的参数估计值,.,8,当Q对的一阶偏导数都等于0，即下列方程组同时成立时，Q有最小值。对上述方程组加以整理，可得到正规方程组，正规方程组有k+1个方程，未知数也是k+1个。只要系数矩阵非奇异(满足模型假设5，解释变量之间不存在严格线性关系即可)，就可以解出的唯一的一组解，就是0,1,K的最小二乘估计值。,.,9,用向量和矩阵的表示方法和运算，多元线性回归最小二乘估计的推导会简洁得多。先引进参数估计量、解释变量回归值和回归残差的下列向量表示：,.,10,写成等价的向量方程，则为再利用向量、矩阵的运算法则，可以得到残差平方和为,.,11,其中矩阵求导：,.,12,整理该向量方程，得到下列形式的正规方程组当可逆，也就是X是满秩矩阵（满足假设5）时，在上述向量方程两端左乘的逆矩阵，得到这就是多元线性回归模型最小二乘估计的矩阵一般公式。,.,13,补充：矩阵的运算（1）矩阵乘法按住鼠标左键拖放选定存放结果的单元格区域，输入计算公式=MMULT()按Ctrl+Shift+Enter复合键确认。（2）矩阵转置按住鼠标左键拖放选定存放结果的单元格区域，输入计算公式=TRANSPOSE()按Ctrl+Shift+Enter复合键确认。（3）逆矩阵按住鼠标左键拖放选定存放结果的单元格区域，输入计算公式=MINVERSE()按Ctrl+Shift+Enter复合键确认。,.,14,3.3最小二乘估计量的特性,1.线性性所谓线性性是指最小二乘估计量是被解释变量Y的观测值的线性函数。多元线性回归模型参数的最小二乘估计向量为令则矩阵A是一个非随机的常数矩阵。线性性得证。,.,15,2.无偏性,.,16,3.最小方差性（有效性）,.,17,证明思路：如果模型参数向量的任意其他线性无偏估计量(b)的协方差矩阵Var(b)，与最小二乘估计的协方差矩阵Var()之间，都满足Var(b)-Var()是半正定矩阵(Var(b)-Var()0)，那么最小二乘估计的最小方差性得到证明。,.,18,具体证明：因为所设b是线性无偏估计向量，因此可以表示为b=BY又因为b是无偏估计，因此E(b)=E(BY)=EB(X+U)=E(BX+BU)=BX+BE(U)=BX=所以必然有BX=I计算b的方差，有Var(b)=VarB(X+U)=Var(+BU)=Var(BU)=BVar(U)B=BB2,.,19,根据矩阵代数知识，任意矩阵与自身转置的乘积都是半正定矩阵，因此这意味着为半正定矩阵。这样的协方差矩阵之差也是半正定矩阵。因此多元线性回归参数的最小二乘估计是最小方差的线性无偏估计。,.,20,高斯马尔可夫定理：如果基本假定(1)-(5)成立，则最小二乘估计量是的最优线性无偏估计量(BestLinearUnbiasedEstimate，简记为BLUE)，也就是说在的所有线性无偏估计量中，具有最小方差性。,.,21,3.4可决系数,1.总离差平方和的分解公式TSS=RSS+ESS2.多元样本可决系数不难发现可决系数只与被解释变量的观测值以及回归残差有关，而与解释变量无直接关系。因此可以将它直接推广到多元线性回归分析，作为评价多元线性回归拟合优度的指标。,.,22,但是需注意：多元线性回归模型解释变量的数目有多有少，而上述可决系数R2又可以证明是解释变量数目的增函数。这意味着不管增加的解释变量是否对改善模型、拟合程度有意义，解释变量个数越多，可决系数一定会越大。因此，以这种可决系数衡量多元回归模型的拟合优度是有问题的，而且会导致片面追求解释变量数量的错误倾向。正是由于存在这种缺陷，可决系数R2在多元线性回归分析拟合优度评价方面的作用受到很大的限制。,.,23,克服可决系数R2上述缺陷的方法，是对可决系数进行适当的调整，采用如下调整的可决系数：用这个调整的可决系数作为评价多元回归拟合优度的评价标准，可以基本消除由于解释变量数目的差异所造成的影响，更加合理和具有可比性。,.,24,与R2有如下关系：当n较大和k较小时，两者差别不大，但当n不很大而k又较大时，两者的差别是比较明显的。(1)若k1，则R2；(2)可能出现负值。此情形下，取=0。,.,25,3.5显著性检验,1.回归方程的显著性检验（F检验）回归方程的显著性检验，是指在一定的显著性水平下，从总体上对模型中被解释变量与解释变量之间的线性关系是否显著成立进行的一种统计检验。,.,26,F检验的步骤：第一步：提出假设：原假设H0：1=2=k=0。备择假设H1：至少有一个j不等于零(j=1,2,k)。第二步：构造F统计量：第三步：给定显著水平,查F分布临界值F(k,n-k-1),.,27,第四步：做出统计决策：若FF(k,n-k-1)时，拒绝H0，接受H1，则认为在显著性水平下，被解释变量与解释变量之间的线性相关关系显著即回归方程显著；若FF(k,n-k-1)时，接受H0，则认为被解释变量与解释变量之间的线性相关关系不显著，即回归方程不显著。,.,28,因为，检验统计量还可以表示为,.,29,2.解释变量的显著性检验（t检验）解释变量的显著性检验，是指在一定的显著性水平下，检验模型的解释变量是否对被解释变量有显著影响的一种统计检验。,.,30,t检验的步骤：第一步：提出假设：原假设H0：i=0，备择假设H1：i0。其中i=1,2,k第二步：构造t统计量：第三步：给定显著性水平，查t分布临界值t/2(n-k-1)。,.,31,第四步：做出统计决策：当|ti|t/2(n-k-1)时，拒绝原假设H0，接受备择假设H1，认为i显著不为零，说明解释变量Xi对被解释变量Y的线性相关关系显著；当|ti|t/2(n-k-1)时，接受原假设H0，拒绝备择假设H1，认为i与零没有显著差异，说明解释变量Xi对被解释变量Y的线性相关关系不显著。,.,32,补充：相关系数分析多重样本决定系数定义为R2,我们可以把R定义为被解释变量Y关于X1,X2,Xk的复相关系数。很显然，复相关系数R反映了被解释变量Y关于一组解释变量X1,X2,Xk之间的线性相关程度。简单相关系数：解释变量Xk与Xl之间的相关系数称为简单相关系数rkl。,.,33,3.6预测,1.点预测求对应解释变量的一组特定值X0=(1,X10,X20,Xk0)的被解释变量值Y0的估计。得到回归直线以后，点预测是比较简单的，只要把X0=(1,X10,Xk0)代入回归直线，得到就是对Y0的一个估计，也就是点预测。,.