多元线性模型估计

1、2.4 多元线性回归模型 前面介绍了简单线性回归模型，但在实际中，众多的经济现象之间的关系并非这样简单，往往是具有多方面的相互联系，总是涉及到多变量之间的关系，是多元线性关系，甚至是非线性关系，在这种情况下，就不能把复杂的经济现象过于简单地表述成一元线性回归模型。对于这类问题的解决办法就要用到多元线性回归模型或非线性回归模型。2.4.1二元线性回归模型（具有两个解释变数的模型）2.4.1.1模型(Model) 多元线性回归模型是由两个以上变量构成的模型，是一元线性回归模型推广。最简单的多元回归模型是二元线性回归模型，它包含两个自变量一个因变量。二元线性回归模型的形式是：Y=+X1+X2+ui

2、（2.4.1-1）与一元线性回归模型相类似，总体回归模型可以由样本回归Y=+X1+X2+ei （2.4.1-2）来估计回归方程式=+X1+X2 （2.4.1-3）（2.4.1-3）式是（-1）式的最佳估计。2.4.1.2模型的参数估计二元回归模型的参数估计与一元线性回归模型具有相同的原理，亦是采用误差平方和最小之准则。= =取最小的、的值。取极小值的条件是： =0=0 =0 （2.4.1-4）= （-5）=即 （-6） （-6）式是解、和的正规方程。写成矩阵形式： （-7）通过解 （-6）或（式，可求出总体参数的估计值、。（-6） 式也可用离差的形式表示：（推导见附录2.4A）（-8）其中x1

3、=X1 x2=X2y= 由（-8）中的第二和第三个组成的联立方程解出、，代入该方程组的第一个方程解出。重要概念2.4-1二元模型的参数估计正规方程组 2.4.1.3偏相关系数和复相关系数偏相关系数和复相关系数是用于多元线性回归模型的两个统计量。l 偏相关系数含义是衡量在假设其它变量者保持任何两个变量之间相关程度的不变的情况下。例如某避暑旅游地暑期冷饮料的消费量与旅游者人数和天气状况的关系：Y饮料消费量X1旅游人数X2天气状况根据先验的理由，旅游的人数多，饮料消费量大，反之，饮料消费多少，但又受天气影响。如果天气炎热，旅游人数就多，反之人数就少。为了衡量Y与X1或X2的真实相关，就要借助于偏相关

4、系数。表示Y与X1之间的偏相关系数，即在考察Y与X1的相关性时，把X2看成常数保持不变，排除X2的影响。表示Y与X2之间的偏相关系数。把X1看成是常数保持不变，排除X1的影响。偏相关系数是由处在多种关系中的各种变数间的简单相关系数决定的，对于具有两个自变量的回归模型，偏相关系数的计算公式是(公式推导见附录2.4B)： Y和X1之间相关系数，排除X2的影响 （-9）Y和X2之间相关系数，排除X1的影响 （-10）l 偏相关系数的应用偏相关系数的应用目的在于，确定建立模型时所用的自变量，根据偏相关系数的大小，可以判断哪些自变量因对变量影响较大，而选择作为重要的变量保留在模型，哪些自变量对因变量的影

5、响较小，则应在建立模型时不予考虑。这样在建立多元回归模型时，应有重点地选择对因变量相关性较大的自变量。这一步工作可以在建模之前做。重要概念2.4-2二元回归偏相关系数2.4.1.4二元回归问题的方差分析和判定系数l 回归方差分析多元线性回归方差分析是一元线性回归的方差分析的推广，其原理类同，也是通过对Y的离差平方和的分解来进行的。Y的离差平方和可表示为： （-11） （-12）式中，第次实测值 n次实测值的均值 n资料数目，即样本数 叫剩余差，或称残差平方和，通常用符号SSR（sum of squares residuals）表示。 叫回归差，或称被解释的平方和，通常用符号ESS（explai

6、ned sum of squares）表示。叫总变差，或称总平方和，通常用符号TSS（total sum of squares）表示。在实际计算时，也可以来用如下的简便公式(公式推导见附录2.4C)：回归差：ESS= （-13）（-13）式是以离差形式表示的，它又可写成下面的形式。ESS = （-14） （-15） （-16） TSS= （-17）公式中X、Y是实际观察值SSR= TSS TSS （-18）方差分析解释的是在总方差TSS = ESS +SSR中，方差由回归差ESS 和剩余差SSR两部分组成。在总方差中剩余差占得比重越小，说明回归效果越好。从复相关系数R2可以说明这一点。l 判定

7、系数R2判定系数R2（regression R2）是指在Y的样本方差中由X所解释的部分。定义 R2 = = （-19）= （-20）R2与r2一样其取值落在0和1之间，如果靠近1，说明模型拟合越好。SSR占总方差的比重越小，R2越接近于，则回归效果越好。重要概念2.4-3 F统计量F= ESS =, TSS=重要概念2.4-4可决系数R2R2 = = R2 =R2 = 2.4.1.5二元解释变量回归方程拟合优度显著性检验与一元回归类似，用两个统计量F和R2来检验回归方程是否显著。l F统计量检验对于给定的一组样本值而言，TSS是固定的，剩余差大，回归差则小，反之剩余差小，回归差则大，因此剩余差

8、和回归差都可以用于衡量回归效果。于是引入一个统计量F。在假设随机误差项服从正态分布情况下。原假设H0: j=1，2F= （-21）k参数个数n样本容量F值可以用来检验包含两个自变量的模型总体效果。按样本资料计算出F值后，与理论值作比较可以确定回归效果的好坏，作为回归方程取舍的重要依据。与一元回归模型方法类似，为了学习方法重写一遍。统计量F值的计算，通过方差分析得到。F的理论临界值是按照给定的显著性水平及自由度从F分布表中查出的。将F的计算值与理论值（F）比较，进行判断：1）F> F，认为回归模型是显著的，接受回归模型；2）F< F，认为回归模型是不显著的，舍弃回归模型。方差分析表：

9、来源平方和自由度方差方差比回归差ESS= k-1ESS/kF=剩余n-kSSR/(n-k)TSS总=ESS+SSRn-1k：参数个数（包括常数项）n：样本容量l 统计量F与可决系数R2F与R2有密切的联系。由于R2= （-22） F=（-23）由R2式得出ESS=TSS·R2 SSR=TSS-ESS =TSS- TSSS·R2=TSS（1-R2） （-24）将（-24）代入（-23）F式有如下结果： （-25）或 （-26）这两式子清楚地指出了R和F的关系。利用F值可以回答R值有多大时才算有显著的回归效果。因为从F式可以看出F与R2成正比例变化。R2值越大，F值也越大，表示

10、各个自变量与Y之间的回归关系愈显著，由此可见，对回归方程的F析验，同时也成为R2的显著性检验。在选定的显著性水平下，查出F的临界值，便可算出R的临界值： （-27）示例重要概念2.4-5模型优度判断1、 F统计量标准将F的计算值与理论值（F）比较，进行判断：1）F> F，认为回归模型是显著的，接受回归模型；2）F< F，认为回归模型是不显著的，舍弃回归模型。2、可决系数R2将R2的计算值与理论值（R2）比较，进行判断：1）R2> R2，认为回归模型是显著的，接受回归模型；2）R2< R2，认为回归模型是不显著的，舍弃回归模型。三元线性回归模型模型： （2.4.2-1）

11、估计式：（-29）残差：（2.4.2-2）残差平方和： （2.4.2-3） 最小二乘法则：令 （2.4.2-4） （2.4.4-5） （2.4.2-6） （2.4.2-7）（-7）代入（-3）： （-8）（-8）式求导：令 （-9）（式，解出。 （-10） 由（-10）式解出后再带入（-7）式中解出。三元线性回归模型检验的方法与二元模型类似，在此不在赘述。三元以上的模型相关的公式，具体在中对多元线性回归模型的所做出的归纳。以上是求解二元回归模型的数学原理，可以看出，随着模型中变量增多，模型计算公式变的复杂了，关于这一点在中会看的更清楚。在实际中，对于经济计量模型的应用者来讲，是不用人工计算的，

12、所有的计算过程都可以通过计算机应用软件来完成。值得注意的是，提醒大家！切记，不要为这些烦琐的公式扰乱了我们的头脑，三元和多元模型更复杂，我们的注意力应该放在模型运算之外，更多的考虑应该是，如何积累经验，建立更实用的模型上来，把那些计算交给计算机去吧。2.4.3一般性回归模型.1模型形式具有P个解释变量的一般线性回归模型形式： (-1)参数的个数有k个：， 样本回归模型 (-2)样本回归模型估计式 (-3)总结一个解释变量和两个解释变量关于正规方程规律导出多元回归方程，求参数的正规方程组。1、具有一个解释变量的模型结构形式 (-4)估计形式 (-5)正规方程 (-6)2、具有两个解释变数的模型结

13、构形式 (-7)估计形式 (-8)正规方程 (-9)离差形式 (-10)3、具有P个解释变量的模型结构式 (-11)估计式 (-12)正规方程 (-13)离差形式.2 R2和F公式的推广1、具有一个解释变数 (-14)2、具有两个解释变数 (-15)3、具有P个解释的变数 (-16)从R2公式推广看到，模型中包括进新增解释变数，通常会增大R2，（分子值增加了，而分母值即Y的总变差保持不变。）为纠正这种缺陷，用自由度来调整R2，函数中引进一个新变量。自由度显然要减少，调整的多重可决系数： (-17)或 (-18)式中R2是未调整的可决系数。.3偏相关系数推广1、两个解释变量 (-19) (-20

14、)2、P个解释变量设P个变量，每个变量间R与Y间的简单相关系数构成的主行列式为 (-21)其中 为第i个变量与第j个变量的简单相关系数。 (-22) (-23)因变量Y与自变量Xi的相关系数式中 是中的代数余子式 是中的代数余子式 是中的代数余子式、都是对称行列式如：二个解释变量的 (-24) (-25) (-26) (-27) (-28).5参数估计值方差公式推广借助于行列式。 1、一个解释变数的模型 (-29)可写成离差形式的正规方程组： (-30) (-31) (-32)2、两个解释变数的模型 (-33) (-34) (-35) (-36)（k：参数个数） (-37)3、三个解释变量模型

15、 (-38)正规方程离差形式： (-39) (-40) (-41) (-42) (-43)4、P个解释变量模型(-44)附录2.4A求参数的离差形式(-8）推导如下；（方法一）由元回归模型真实关系式：样本关系式：样本估计式回归方程：用样本资料估计总体 e = = 由=0得 方程两边用n除： （4）把（4）代入（3）： （5）记 （5）式变成 （6）此时 可写成= = （7） 求的极小值 （9） （10）证毕。正规方程离差形式（68）式推导如下：由 （由1两边同除n得到）两式相减，用表示 = = =求的极小值于对分别对和求偏微分并令其等于0整理得到：附录2.4B二元偏相关系数公式推导参考书经济计量学理论方法概述P193（许开甲译）张寿：计量经济学P127推导为了度量Y与X1之间的纯相关关系，首先必须消除第三个变量X2对Y和X1两者的影响，方法是可以拟合Y对X2、X1对X2的回归模型。Y=a0+a1x2+v1 e1 （1）X1=c0+c1x2+v2 e2 （2）应用最小二乘法，可得第一模型 第二模型 每个方程中未被解释的变差是（1）第一个模型 第二个模型 这些是在消除了X2影响之后，分别代表Y和X1的变化中不能解释的部分。Y与X1之间的偏相关系数是定义为上述两个变量的未被解释部分的简单相关。（2）由简单