计量经济学第三章多元线性回归模型知识讲解

计量经济学第三章多元线性回归模型第三章

多元线性回归模型◆学习目的理解多元线性回归模型的矩阵表示，掌握多元线性回归模型的参数估计、检验。◆基本要求

1)理解多元线性回归模型的矩阵表示，了解多元线性回归模型的基本假设；2)掌握多元线性回归模型的普通最小二乘参数估计方法，了解多元线性回归模型的普通最小二乘参数估计量与样本回归线的性质、多元线性回归模型的随机误差项方差的普通最小二乘参数估计；3)学会对多元线性回归模型进行拟合优度检验，对多元线性回归模型的参数进行区间估计，对多元线性回归模型进行变量显著性检验和方程显著性检验；

4)学会利用EViews软件进行多元线性回归模型的参数估计、检验。第三章多元线性回归模型第一节多元线性回归模型的

矩阵表示与基本假设一、多元线性回归模型的矩阵表示二、多元线性回归模型的基本假设第一节多元线性回归模型的

矩阵表示与基本假设多元线性回归模型的一般形式是

其中，Y为被解释变量，为解释变量，、、、、为待估参数，即回归系数，为解释变量个数，为随机误差项，

为观测值下标，

为样本容量。

待估参数、、、、，反映其他解释变量保持不变情况下，对应解释变量每变化一个单位引起的被解释变量的变化，也被称为偏回归系数。一、多元线性回归模型的矩阵表示（3-1）

（3-2）

习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。这样：模型中解释变量的数目为（k+1）也被称为总体回归函数的随机表达形式。它的非随机表达式为:

方程表示：各变量X值固定时，Y的平均响应。

j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化;或者说j给出了Xj的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。记有（3-3）多元线性总体回归模型的矩阵形式

多元线性总体回归函数可用矩阵形式表示为（3-4）样本回归函数：用来估计总体回归函数其随机表示式:

ei称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项i的近似替代。:

或其中：

样本回归函数的矩阵表达:

二、多元线性回归模型的基本假定

假设1，解释变量是非随机的或固定的，且各X之间互不相关（无多重共线性）。

假设2，随机误差项具有零均值、同方差及不序列相关性

假设3，解释变量与随机项不相关

假设4，随机项满足正态分布

上述假设的矩阵符号表示式：

假设1，n(k+1)矩阵X是非随机的，且X的秩=k+1，即X矩阵列满秩。

假设2，

假设3，E(X’)=0，即

假设4，向量

有一多维正态分布，即

假设5，回归模型的设定是正确的。

且由第2条假设有第二节多元线性回归模型的

参数估计任务

方法模型结构参数、、、、的估计随机误差项的方差的估计

普通最小二乘法讲课内容一、参数的普通最小二乘估计二、参数的普通最小二乘估计量的性质三、普通最小二乘样本回归函数性质四、随机误差项的方差的普通最小二乘估计五、样本容量问题一、参数的普通最小二乘估计对于多元线性回归模型（3-7）按照最小二乘法的基本思想，求参数的普通最小二乘估计，就是要求使、、、、达到最小的参数的估计。根据最小二乘原理，参数估计值应该是下列方程组的解

其中于是得到关于待估参数估计值的正规方程组：

正规方程组的矩阵形式即由于X’X满秩，故有

例：在家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。因此，由该样本估计的回归方程为：

在上述家庭收入-消费支出例中，如果用矩阵应该怎么求解？可求得

于是

二、参数的普通最小二乘估计量的性质1．线性性因为记矩阵的第j行第i列的元素为aji，则是矩阵的第j+1行与列矩阵Y的乘积，即这就是说，中的任意一个都可以表示为被解释变量的线性组合，

满足线性性。、、、、、、、、二、参数的普通最小二乘估计量的性质2．无偏性因为所以二、参数的普通最小二乘估计量的性质3．有效性因为的方差-协方差矩阵为（3-16）（3-17）记矩阵的主对角线上的第i个元素为cii，则讲课内容一、参数的普通最小二乘估计二、参数的普通最小二乘估计量的性质三、普通最小二乘样本回归函数性质四、随机误差项的方差的普通最小二乘估计五、样本容量问题三、普通最小二乘样本回归函数性质1．样本回归线通过样本均值点，即点（，，，，）满足。样本回归函数。3．残差和为零，即。2．被解释变量的估计的均值等于被解释变量的均值，即。4．各解释变量与残差的乘积之和为零，即。5．被解释变量的估计与残差的乘积之和为零，即。四、随机误差项的方差的普通最小二乘估计多元线性回归模型的随机误差项的方差的普通最小二乘估计量为（3-18）是一个无偏估计量。容易看出，多元线性回归模型的随机误差项的方差的普通最小二乘估计量，与一元线性回归模型的随机误差项的方差的普通最小二乘估计量一致。因为在一元线性回归模型中k=1。所以，残差平方和可用矩阵表示为（3-19）五、样本容量问题样本容量越大，样本观测数据对经济活动的反映越全面，从样本观测数据中发现规律的可能性就越大，计量经济研究的结果就越可靠。参数估计的最小样本容量要求是满足基本要求的样本容量：模型的检验要求有足够大的样本容量，z检验在n<30时不能使用，

因为n<30时构造不出用于检验的服从标准正态分布的统计量；

t检验在时才比较有效，因为时t分布才比较稳定。一般经验认为，当或者至少时，才能满足基本要求。

模型的良好性质只有在大样本下才能得到理论上的证明无多重共线性,秩(X)=k+1第三节多元线性回归模型的拟合优度检验一、离差分解二、决定系数三、调整的决定系数一、离差分解所以，在多元线性回归模型中，依然有（3-20）即（3-21）注意：一个有趣的现象

可决系数该统计量越接近于1，模型的拟合优度越高。

问题：在应用过程中发现，如果在模型中增加一个解释变量，R2往往增大这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。但是并不是每个解释变量都有效的.为了获得更加精简的模型,修正可决系数,对引入的解释变量个数进行惩罚。R2需调整。三、调整的决定系数（adjustedcoefficientofdetermination）

（3-22）其中，是残差平方和的自由度，是总体平方和的自由度。平方和与总体平方和得到，计算公式为，通过用自由度调整决定系数R2中的残差调整的决定系数，记作R2由的计算公式，可得调整的决定系数与决定系数R2之间的关系R2R2（3-23）

赤池信息准则和施瓦茨准则

为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有:赤池信息准则（Akaikeinformationcriterion,AIC）施瓦茨准则（Schwarzcriterion，SC）

这两准则均要求仅当所增加的解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量。

表3-1某商品的销售量、价格、售后服务支出数据序号销售量Y（千个）价格X1（元/个）售后服务支出X2（万元）12345678910111213141516171819202122121133130126131147148159160156155157179189180183202200201203258234150014901480147014601450144014301420141014001390138013701360135013401330132013101300129012151310111413151312111015151312141211101512例3-2假设已获得了某商品的销售量、价格、售后服务支出数据如表3-1所示，求多元线性回归模型的决定系数R2与调整的决定系数。R2析：i

12345678910111213141516171819202122121133130126131147148159160156155157179189180183202200201203258234150014901480147014601450144014301420141014001390138013701360135013401330132013101300129012151310111413151312111015151312141211101512111.6543131.1411127.0208118.1791128.2230147.7098148.3109163.0763158.9560159.5571160.1582160.7593189.6890195.0115190.8912191.4923206.2576202.1373202.7384203.3395232.2692223.42742454.7571409.6651643.9381984.3021563.847554.391508.300133.299111.208211.572241.663183.48171.479340.56989.388155.115989.386867.568927.4771053.2957648.2904026.4743468.1721552.7051894.4002742.2451791.193521.469494.37755.789134.317120.745107.89695.770366.472598.584413.946438.7671275.357998.0431036.3841075.4483809.8142796.50087.3423.4558.87661.1677.7120.5040.09716.6161.09012.65326.60714.132114.25336.138118.61772.11918.1284.5683.0220.115662.075111.779求和375227169.4525788.391381.065平均170.5455表3-2TSS、ESS、RSS计算表据表3-2可计算决定系数为调整的决定系数为第四节多元线性回归模型的统计推断一、参数估计量的分布二、参数的区间估计三、参数的假设检验一、参数估计量的分布满足基本假设条件下，多元线性回归模型参数的普通最小二乘估计量服从正态分布。已知其中，是矩阵的主对角线上的第个元素。所以

进行标准化变换可得记的标准差（standarderror）为

替代令的样本方差的样本标准差服从自由度为n-k-1的t分布替代令（3-25）

将替代后的统计量记为，有

～参数的区间估计，即是求参数的置信区间，是在给定显著性水平对参数的取值范围作出估计，参数的真实值落入这一区间的概率为。之下，区间

二、参数的区间估计由此可得所以，在显著性水平下，参数的置信区间分别为（3-26）

︿如何才能缩小置信区间？

增大样本容量n，因为在同样的样本容量下，n越大，t分布表中的临界值越小，同时，增大样本容量，还可使样本参数估计量的标准差减小；提高模型的拟合优度，因为样本参数估计量的标准差与残差平方和呈正比，模型优度越高，残差平方和应越小。提高样本观测值的分散度,一般情况下，样本观测值越分散，(X’X)-1的分母的|X’X|的值越大，致使区间缩小。参数的假设检验——检验对模型参数所作的某一个假设是否成立——基础是参数估计量的分布性质——采用的方法是统计学中的假设检验三、参数的假设检验在多元线性回归模型中，常针对参数是否为0的假设进行检验

变量显著性检验（t检验）方程显著性检验（F检验）——针对单个解释变量对被解释变量的影响是否显著所作的检验，检验被检验变量的参数为0是否显著成立；都为0——针对所有解释变量对被解释变量的联合影响是否显著所作的检验，检验是否显著成立。

，对第j个解释变量的显著性进行检验，

原假设为，备择假设，根据原假设，有（3-27），如果，接受原假设则拒绝原假设，接受备择假设。利用t分布进行参数的假设检验，称为t检验。1．变量显著性检验（t检验）～︿从而判定对应的解释变量是否应包括在模型中。表3-1某商品的销售量、价格、售后服务支出数据序号销售量Y（千个）价格X1（元/个）售后服务支出X2（万元）12345678910111213141516171819202122121133130126131147148159160156155157179189180183202200201203258234150014901480147014601450144014301420141014001390138013701360135013401330132013101300129012151310111413151312111015151312141211101512例3-4假设已获得了某商品的销售量、价格、售后服务支出数据如表3-1所示，对多元线性回归模型进行变量显著性检验，显著性水平取0.01。析：首先检验解释变量的显著性。

原假设，备择假设已知，，有所以拒绝原假设，接受备择假设影响显著

查t分布表可得,接下来检验解释变量的显著性。原假设，备择假设已知，，有影响显著所以拒绝原假设，接受备择假设也可以通过比较显著性水平和参数估计值的P值，判断对应解释变量的显著性

2．方程显著性检验（F检验）利用F分布进行参数的假设检验，称为F检验。基础是离差分解针对原假设备择假设不全为0作出检验。在离差分解的基础上，通过构造F统计量～表3-1某商品的销售量、价格、售后服务支出数据序号销售量Y（千个）价格X1（元/个）售后服务支出X2（万元）12345678910111213141516171819202122121133130126131147148159160156155157179189180183202200201203258234150014901480147014601450144014301420141014001390138013701360135013401330132013101300129012151310111413151312111015151312141211101512例3-5假设已获得了某商品的销售量、价格、售后服务支出数据如表3-1所示，对多元线性回归模型进行方程显著性检验，显著性水平取0.01。析：影响显著原假设，备择假设不全为0已知，查F分布表得拒绝原假设接受备择假设不全为03．变量显著性检验与方程显著性检验的关系1)变量显著性检验是针对单个解释变量对被解释变量的影