多元线性回归模型参数估计

多元线性回归模型参数估计第一页，共四十二页，2022年，8月28日一、多元线性回归模型

1.多元线性回归模型的形式由于：在实际经济问题中，一个变量往往受到多个原因变量的影响；从一般到简单的建模思路；在线性回归模型中解释变量有多个，这样的模型被称为多元线性回归模型。第二页，共四十二页，2022年，8月28日多元线性回归模型的一般形式：i=1,2…,n其中:k为解释变量的数目，j

称为回归系数（regressioncoefficient）。习惯上：把常数项看成为一个虚变量的系数，该虚变量的样本观测值始终取1。这样：模型中解释变量的数目为（k+1）。第三页，共四十二页，2022年，8月28日总体回归函数的非随机表达式:

j也被称为偏回归系数。总体回归函数的随机表达形式:第四页，共四十二页，2022年，8月28日总体回归模型n个随机方程的矩阵表达式为其中第五页，共四十二页，2022年，8月28日样本回归函数：用来估计总体回归函数其随机表示式:

ei称为残差或剩余项(residuals)，可看成是总体回归模型中随机扰动项i的近似替代。

样本回归函数和样本回归模型的矩阵表达:

或其中：第六页，共四十二页，2022年，8月28日2.多元线性回归模型的基本假定假设2，随机误差项具有零均值、同方差及不序列相关性。

假设3，解释变量与随机误差项不相关。假设4，随机误差项满足正态分布

假设5，解释变量之间不存在严格的线性关系，即不存在完全共线性。

假设1，解释变量是非随机的。第七页，共四十二页，2022年，8月28日上述假设的矩阵符号表示式：假设2，

第八页，共四十二页，2022年，8月28日假设3，E(X′)=0，即假设4，向量

有一多维正态分布，即

假设5

，n(k+1)矩阵X的秩=k+1，即X满秩。第九页，共四十二页，2022年，8月28日例：测度教育的回报问题

wage:小时工资(元)，educ:受教育的年数，exper:以年数计的工作经历。其他非观测因素：天生能力、职业道德等。

E(μ|educ,exper)=0影响wage的其它因素与educ和exper无关。比如，如果μ是天生能力，这个假定就是要求，员工总体中受教育和工作经历的各种组合，其平均能力都相同。

Var(μ|educ,exper)=σ2，Var(wage|educ,exper)=σ2，如果这个方差随着两个解释变量中的任何一个变化，就出现了异方差。

第十页，共四十二页，2022年，8月28日“无完全共线性假定”的说明

cons:消费，inc:收入一个问题：在什么情况下由多元线性模型估计得到的偏回归系数与仅用该变量作为解释变量构成的一元回归模型的估计结果是相同的？第十一页，共四十二页，2022年，8月28日重要提示：几乎没有哪个实际问题能够同时满足所有基本假定；通过模型理论方法的发展，可以克服违背基本假设带来的问题；违背基本假设的处理构成了线性单方程计量经济学理论方法的主要内容。异方差问题（违背同方差假设）序列相关性（违背序列不相关假设）共线性问题（违背解释变量之间不相关假设）随机解释变量问题（违背了解释变量和随机误差项之间不相关假设）零均值、正态性假定是由模型的数理统计理论决定。第十二页，共四十二页，2022年，8月28日二、多元线性回归模型的估计普通最小二乘法最大似然法矩估计方法第十三页，共四十二页，2022年，8月28日1、普通最小二乘估计对于随机抽取的n组观测值：如果样本函数的参数估计值已经得到，则有：根据最小二乘原理，参数估计值应该是下列方程组的解其中第十四页，共四十二页，2022年，8月28日于是得到关于待估参数估计值的正规方程组：第十五页，共四十二页，2022年，8月28日正规方程组的矩阵形式:即由于X’X满秩，故有

第十六页，共四十二页，2022年，8月28日将上述过程用矩阵表示如下：即求解方程组：得到：于是：第十七页，共四十二页，2022年，8月28日正规方程组的另一种写法：对于正规方程组于是或(*)或(**)是多元线性回归模型正规方程组的另一种写法。

(*)(**)第十八页，共四十二页，2022年，8月28日样本回归函数的离差形式:其矩阵形式为其中：在离差形式下，参数的最小二乘估计结果为第十九页，共四十二页，2022年，8月28日

2、最大似然估计

Y的随机抽取的n

组样本观测值的联合概率即为变量Y

的似然函数。第二十页，共四十二页，2022年，8月28日对数似然函数为：对对数似然函数求极大值，也就是对：

求极小值。

因此，参数的最大似然估计为：结果与参数的普通最小二乘估计相同。第二十一页，共四十二页，2022年，8月28日3、矩估计（MomentMethod,MM）

用每个解释变量分别乘以模型的两边，并对所有样本点求和，即得到：第二十二页，共四十二页，2022年，8月28日对每个方程的两边求期望，有：利用和第二十三页，共四十二页，2022年，8月28日得到一组矩条件：求解这组矩条件就得到参数估计量与OLS、ML估计量等价第二十四页，共四十二页，2022年，8月28日矩方法是工具变量方法(InstrumentalVariables,IV)和广义矩估计方法(GeneralizedMomentMethod,GMM)的基础。在矩方法中关键是利用了：如果某个解释变量与随机项相关，只要能找到1个工具变量，仍然可以构成一组矩条件，就是IV。如果存在＞k+1个变量与随机项不相关，可以构成一组包含＞k+1方程的矩条件，就是GMM。第二十五页，共四十二页，2022年，8月28日因此，由该样本估计的回归方程（样本回归函数）为：例2.3：在例2.1的家庭收入-消费支出例中，对于所抽出的一组样本数:

表2.1.3家庭消费支出与可支配收入的一个随机样本可支配收入(X)800110014001700200023002600290032003500家庭消费支出(Y)59463811221155140815951969207825852530第二十六页，共四十二页，2022年，8月28日例2.3：在例2.1的家庭收入-消费支出例中，

可求得

于是

第二十七页，共四十二页，2022年，8月28日随机误差项的方差2

的无偏估计

可以证明，随机误差项的方差的无偏估计量为:第二十八页，共四十二页，2022年，8月28日三.OLS参数估计量的性质在满足基本假设的情况下，其结构参数的普通最小二乘估计仍具有：线性性、无偏性、有效性。(1)线性性

其中,C=(X’X)-1

X’为一仅与固定的X有关的行向量第二十九页，共四十二页，2022年，8月28日(3)有效性（最小方差性）(2)无偏性这里利用了假设:E(X’)=0第三十页，共四十二页，2022年，8月28日其中利用了和结论：在经典假定条件下，多元线性回归的OLS估计式是最佳线性无偏估计式。第三十一页，共四十二页，2022年，8月28日四、参数估计量的方差-协方差矩阵和随机误差项方差σ2的估计1.参数估计量的方差-协方差矩阵将参数估计量看成是随机变量，具有数字特征。参数估计量的方差以及不同参数估计量之间的协方差在模型理论中具有重要性。具体描述如下：第三十二页，共四十二页，2022年，8月28日β的方差—协方差矩阵：第三十三页，共四十二页，2022年，8月28日矩阵符号表达式：第三十四页，共四十二页，2022年，8月28日第三十五页，共四十二页，2022年，8月28日可以证明随机误差项方差σ2的无偏估计量是：2.随机误差项方差σ2的估计量于是，参数估计量的方差、标准差、协方差可以分别用其样本方差、标准差、协方差估计：第三十六页，共四十二页，2022年，8月28日五、样本容量问题所谓“最小样本容量”，即从最小二乘原理出发，要得到参数估计量，不管其质量如何，所要求的样本容量的下限。

⒈最小样本容量

样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即

n

k+1因为，无完全共线性要求：秩(X)=k+1第三十七页，共四十二页，2022年，8月28日2、满足基本要求的样本容量

从统计检验的有效性角度：

n

30时，Z检验才能应用，t分布较为稳定；

从参数估计角度，一般经验认为:当n30或者至少n3(k+1)

时，才能说满足模型估计的基本要求。

模型的良好性质只有在大样本下才能得到理论上的证明。第三十八页，共四十二页，2022年，8月28日六、多元线性回归模型的参数估计实例中国消费函数模型根据消费模型的一般形式，选择人均消费支出为被解释变量，人均国内生产总值和前一年的人均消费支出为解释变量，变量之间关系为简单线性关系，选取1979~2000年统计数据为样本观测值。被解释变量：CONSP解释变量：人均GDP：GDPP前期消费：CONSP(-1)估计区间：1979~2000年第三十九页，共四十二页，2022年，8月28日中国居民人均消费支出与人均GDP单位：元/人yearCONSPGDPPyearCONSPGDPP1978395.8675.11990797.11602.31979437716.91991861.41727.21980464.1763.71992966.61949.81981501.9792.419931048.62187.91982533.5851.119941108.72436.11983572.8931.419951213.12663.71984635.61059.219961322.82889.119857161185.219971380.93111.91986746.51269.619981460.63323.11987788.31393.619991564.43529.31988836.4152720001690.83789.71989779.71565.9

第四十页，共四十二页，2022年，8月28日DependentVariable:CONSPMethod:LeastSquaresSample(adjusted):19792000Includedobservations:22afteradjustmentsVariableCoefficientStd.Errort-StatisticProb.

GDPP0.2213590.0609733.6304620.0018CONSP(-1)0.4514080.1703182.6503800.0158C120.725336.513743.3062990.0037R-squared0.995403

Meandependentvar928.4909AdjustedR-squared0.994919

S.D.dependentvar372.6339S.E.ofregression26.56264

Akaikeinfocriterion9.523012Sumsquaredresid13405.90

Schwarzcriterion9.671791Loglikelihood-101.7531

Hannan-Quinncriter.9.558060F-statistic