一元线性回归模型与多元线性回归模型对比

1、一元线性回归模型多元线性回归模型E(YXi,X2 Xk)0iXi2X2kXk总体回归函数E(Y|X)。iX即 E(Y|X) XB总体回归模型（总体回归函数的Y E(YX)Y E(YXi，X2 Xk)即Y XB p随机表达形式）0iX0i Xi2 X2k Xk样本回归模型（样本回归函数的Y?0ZX eY Z ZX Nx2?kXk e即Y X? e随机表达形式）样本回归函数Y?0ZxY?0ZXi?2X2?kXk即Y?X 仗(Xii，Xi2，Xik,Yi),(X2i,X22, X2k，K)，给定一组容量为 n 的样本给定一组容量为n的样本(X1,Y1),(X2,Y2),(Xj,Y) (Xn，Yn)(

2、Xii，Xi2，Xik,Yi)，则，上述式子可以写成(Xni，Xn2， Xnk，Yn)则上述式子可以写成：总体回归函数E(YiXi)0 iXiE(YiXii，Xi2 Xik)0iXii2X12kXikYE(Yi|xi) iYE(Yi|Xii，Xi2Xik) i总体回归模型0iX ii0iXii2Xi2kXi ki样本回归模型YiZ ZXi eiY Z iX” 马 Xi2?kXikei样本回归函数Y?0?iXiY?0ZXii?2Xi2?kXik样本回归函数的离差形式?i?x呼x ?解释变量的个数2 个： C, Xk+i 个：C,Xi,X2, Xk（包括常数项）基本假定回归模型是正确设定假设1:的

3、。模型设定正确假设.确定性假设。解释变量假设2:X是确定性变量，不是确定性假设。解释变量Xi,X2, Xk是非随机或固定的， 且随机变量，在重里抽样中取固定值。：各X j之间不存在严格线性相关(无完全多重共线性)。假设3:样本变异性假 设.对解释变量 X抽取的样本 观察值并不完 全相同。样本方差趋于 常数假设。样本变异性假设。各解释变量 X j在所抽取的样本中具有变异性。样本方差趋于常数假设。随着样本容量的无限增加，各解释变量的样本方差区域 一个非零的有限常数.假设4:随机误差项科零均值、 同方差、不序列相关假 设。随机误差项科零均值、同方差、不序列相关假设。假设5:随机误差项与解释变 量不相

4、关.随机误差项与解释变量不相关。假设：6:止态性假设。随机项服 从正态分布。止态性假设。随机项服从正态分布。参数估计一元线性回归模型多元线性回归模型普通最小二乘估计(OLS)残差平方和达到最小， 得到正规方程组，求得 参数的普通最小二乘估 计值：?收12、，一X (普通?0 Y ZX最小一乘估计的离差形 式)随机干扰项的方差的估2?2上n 2残差平方和达到最小，得到正规方程组，求得参数的普通最小一乘估计值? (X X)-1 X Y仗(x x)- 1 x y?0 Y?XiZXk(普通最小一乘估计的离差形式)2随机干扰项的力差 ？2 -een k 1 n k 1最大似然情计(ML ) 矩估计(MM

5、 )|参数估计值估计结果与 OLS方法一致，但随机|干扰项的方差的估计量 与 OLS 不 同29 ©?2 n参数估计值估计结果与 OLS方法一致，但随机干扰项的力差2的估计量?2 eLn参数估计量的性质线性性、无偏性、后效 性线性性、无偏性、功效性参数估计量的概率 分布2?N( 1, 2) xX 2c八i2Z N( 0,2 2)n x-样本容量问题- -样本容量n必须不少于模型中解释变量的个数（包括常数项）， 即n k 1才能得到参数倩计值， n-k 8时t分布才比较 稳定，能够进行变量的显著性检验，一般认为n 30活着至少n 3k 1时才能满足模型估计要求。如果样本量过小，则只依靠

6、样本信息是无法完成倩计的，需要用其他方法去借计。统计检验一元线性回归模型多元线性回归模型拟合优度检验总周差平方和的分解TSS=ESS+RSS2 ESS -2R ,R 0,1TSS越接近于1,拟合优度越（Wj o总离差平方和的分解TSS=ESS+RSS_2 ESS / RSS、R 1,（即总平方和中回归平方和的比例 ）TSSTSS_2一 ,2R0,1对于同一个模型，R越接近于1,拟合优度越高。R2 1 RSS （nk-Q （调整的思路是残差平方和 RSS和总平方和TSS TSS/（n 1）各自除以它们的自由度）为什么要对R2进行调整？解释变量个数越多，它们对 丫所能解释的部分越大（即回归平方和部

7、分越大），残差平方和部分越小， R 2越高，由增加解释变量 引起的R2的增大与拟合好坏无关，因此在多元回归模型之间比较拟合优度 ，R2就不 是一个合适的指标，必须加以调整。方程总体显著性检 验- 目的：对模型中被解释变量与解释变量之间的线性关系在总 体上是否成立做出判断。原假设“泄二°、氏=。一强二0备择假设:心胆=型，申纳？ESS/kF - S777-J-k- 1）统计量的构造：二1判断步骤：计算F统计量的值给定显著性水平 巴查F分布的临界值表获得但_±1）变量的显著性检验比较F与的值，若F'F拒绝原假设，认为原方程总体线性关系在1 - 口的置信水平下显著。若EY

8、 F1接受原假设,不能认为原方程总体线性关系在1-3的置信水平下显著.目的：对模型中被解释变量对每一个解释变量之间的线性关系是否成立作出判断说考察所选择的解释变量对被解释变量是否有显著的线性影响。针对某解释变量看, 原假设：四二。，备择假设：内串尸° 最常用的检验方法：t检验 构造统计量： 判断步骤：计算t统计量的值给定显著性水平Q,查t分布的临界值表获得比较t值与二的值,（或者t拒绝原假设，认为变量 Xi在1 -口的置信水平下通过显著性检验说,在优的显著性水平下通过检验），认为解释变量Xj对被解释变量 Y有显著线 性影响。若接受原假设，在显著性水平 艮下没有足够证据表明K对Y有显著线性 影响.目的：考察一次抽样中样本参数的估价值"与总体参数的真实值B1的接近程度。思路:构造一个以样本参数的估计值 也为中心的区间，考察它以多大的概率包含总体参 数的真实值。参数的置信区间方法：预先选择一个概率，使得区间（足一 汽&包含参数真值生的概率为1 -北即工口=占+=1 - a同= U X 5ft q u.计算其中的“（ 三 b,从而求出1-Q置信度下月阳置信区间：-A 以x .A +年x 5访）掌握概念：置信区间置信度 显著性水平实