一元线性回归模型与多元线性回归模型对比

1、一元线性回归模型多元线性回归模型总体回归函数E(Y|X)=/?o+4XE(Y|X1,X2.Xk)=/70+/1X14-/?2X2+.AXk即七刀二耶总体回归模型（总体回归函数的随机表达形式）Y=E(Y|X)+/=Do+DX+NY=E(Y|X1,X2.Xk)+/z即丫二邓+“=0o+4X+夕?x?+/Xk+*样本回归模型（样本回归函数的随机表达形式）Y=A+Ax+eAY=Wx2+3kA+e即y=X。+e样本回归函数Y=0+AXAAY=3o+31x1+x2+.AXk即F=XR给定一组容量为n的样本 （&丫） , （&,*） ,.（4#,.（7）则，上述式子可以写成：（xlrx12,

2、.xlk，x）,给定一组容量为n的样本，（xnl,xn2.xnk，x）则上述式子可以写成：总体回归函数E(XX)=/?O+AXE(|p2.XiJ=Z70+AXil+Xi2+.Ak总体回归模型X=E(X|X1)+A=00+01Xi+X=E(X|X11,X13.Xlk)+/xSX+氏XM样本回归模型x=A+A%+A4+ AXk+q样本回归函数样本回归函数的离差形式A解释变量的个数（包括常数项）2个：C,Xk+1个：C,Xi，X?,Xk基本假定假设1：回归模型是正确设定的。模型设定正确假设。假设2：确定性假设。 解释变量X是确定性变量， 不是随机变量，在重复抽样确定性假设。解释变盘得，x”均：是非随

3、机或固定的，且中取固定值.：各Xj之间不存在严格线性相关（无完全多重共线性）。假设3：样本变异性假设对解释变量X抽取的样本观察值并不完全相同样本方差趋于常数假设。样本变异性假设。各解释变量Xj在所抽取的样本中具有变异性。样本方差趋于常数假设0随着样本容量的无限增加，各解释变量的样本方差区域一个非零的有限常数。假设4：随机误差项H零均值、同方差、不序列相关假设。随机误差项P零均值、同方差、不序列相关假设。假设与随机误差项与解群变量不相关。随机误差项与解释变量不相关，假设6正态性假设。 随机项服从正态分布。正态性假设。随机项服从正态分布，参数估计一元线性回归模型多元线性回归模型普通最小二乘估计（O

4、LS）残差平方和达到最小， 得到正规方程组， 求得参数的普通最小二乘估计值：限二乂J1十（普通A-A/?0=Y-AX最小二乘估计的离差形式）随机干扰项的方差的估计量n-2残差平方和达到最小，得到正规方程组，求得参数的普通最小二乘估计值g=仅X）TXY1/5=kx尸x，yU=Y-31X1-.3kXk（普通最小二乘估计的离差形式）随机干扰项的方差3?=汇=ggn-k-1n-k-1最大似然估计（ML）矩估计（MM）参数估计值估计结果与OLS方法一致，但随机干扰项的方差的估计量与OLS不同小江11参数估计值估计结果与OLS方法一致，但随机干扰项的方差的估计量52=白_二11参数估计量的性质线性性、无偏

5、性、有效性线性性、无偏性、有效性参数估计量的概率分布AN（Ay）小吃，至小样本容量问题一样本容最n必须不少于模型中解释变量的个数 （包括常数项） ，即nNk+1才能得到参数估计值，n kN8时t分布才比较稳定，能够进行变量的显著性检验， 一般认为n230活着至少nN3 （k+l）时才能满足模型估计要求。如果样本最过小，则只依靠样本信息是无法完成估计的,需要用其他方法去估计。统计检验一元线性回归模型多元线性回归模型拟合优度检验总离差平方和的分解TSS=ESS+RSS2ESSR=,TSS正（0,1越接近于1,拟合优度越高。总离差平方和的分解TSS=ESS+RSS、ESSRSSR-=1,（即总平方和

6、中回出平方和的比例）TSSTSSR?w0,l对于同一个模型，越接近于1,拟合优度越高。有），RS（nk1）,R-=1-（调整的思路是残差平方和 RSS 和总平方和 TSSTBS/（n-l）各自除以它们的自由度）为什么要对R二进行调整？解杼变坡个数越它/对丫所能解择的部分越大（即回归平方和部分越大）残差平方和部分越小.R7 越高由增加解铎变量引起的R的增大与拟含好坏无关.因此在多元向打模型之间比较拟合优度.R?就不是一个合适的指标，必须加以调整。方程总体显著性检验目的：对模型中被解释变量与解释变量之间的线性关系在总体上是否成立做出判断。原假设Ho：01=0,%=0，0k=。备择假设：H1：pj（

7、j=l,2,.k）不全为零统计量的构造：F=RSSZL）F（kn-k-l）判断步躲：计算F统计量的值给定显著性水平a,查F分布的临界值表获得Fa（kI-k1）比较F与Fa的值，若FFa，拒绝原假设，认为原方程总体线性关系在1一a的置信水平下显著。若FWFa，接受原假设，不能认为原方程总体线性关系在1-a的置信水平下显著。变量的显著性检验目的：对模型中被解释变量对每一个解释变策之间的线性关系是否成立作出判断,或者说考察所选择的解释变量对被解释变量是否有显著的线性影响。针对某解释变量Xj,原假设H():由=0,备择假设：Hx:P)=#0最常用的检验方法t检验构造统计量t=骐亡5-女一1)n判断步骤

8、：计算t统计量的值给定显著性水平明查t分布的临界值表获得t(nk1)2比较t值与的值，2若tt,拒绝原假设，认为变量多在1-a的置信水平下通过显著性检验(或者说， 在a的显著性水平下通过检验)，认为解释变量X)对被解释变量丫有显著线性影响。若tK1,接受原假设，在显著性水平a下没有足够证据表明Xj对丫有显著线性影响。参数的置信区间目的：考察一次抽样中样本参数的估价值4与总体参数的真实值月的接近程度。思路：构造一个以样本参数的估计值耳为中心的区间，考察它以多大的概率包含总体参数的真实值。方法；预先选择一个概率a0a1),使得区间。8,PjIb)包含参数真值Pi的概率为+a计算其中的b(5=t-xSy),从而求出1a置信度下pj的置信区间：PjtaXSp.Pj+tXS,)掌握概念：置信区间置信度显著性水平实际应用中