计量经济学多元线性回归模型及参数估计

计量经济学多元线性回归模型及参数估计本章主要内容§3.1多元线性回归模型及其参数估计§3.2多元线性回归模型的统计检验§3.3多元线性回归模型的区间估计§3.1多元线性回归模型

及其参数估计一、多元线性回归模型及其基本假定二、多元线性回归模型的参数估计三、OLS参数估计量的统计性质四、样本容量问题五、多元线性回归模型实例由于：在实际经济问题中，一个变量往往受到多个原因变量的影响；“从一般到简单”的建模思路。所以，线性回归模型中的解释变量往往有多个（至少开始是这样）。这样的模型被称为多元线性回归模型。一、多元线性回归模型及其基本假定

多元线性回归模型的一般形式为：

习惯上，把常数项看成为一个虚变量（记作Xio）的系数，在参数估计过程中该虚变量的样本观测值始终取1（即Xi0≡1）。

i=1,2,…,n

这样：模型中解释变量的数目为（k+1）。1.多元线性回归模型的形式(见教材P62-63)

多元线性回归模型的矩阵表达式为：其中

注意这里的符号和教材P63的对应关系。其中如果多元线性回归模型的样本回归模型为：(教材P63)

i=1,2,…,n

则有2.多元线性回归模型的基本假定(见教材P64-65)（2）解释变量Xj(j=1,2,…,k)是确定性变量，不是随机变量，在重复抽样中取固定值；解释变量之间不存在严格的线性相关性（无完全多重共线性）。（3）各个解释变量Xj在所抽取的样本中具有变异性，而且随着样本容量的无限增加，各个解释变量Xj的样本方差趋于一个非零的有限常数Qj。即当n→∞时，（1）回归模型是正确设定的。

为使参数的普通最小二乘估计量具有良好的统计性质，对多元线性回归模型提出下列基本假定：

（4）随机误差项具有零均值和同方差；随机误差项在不同样本点之间是独立的，不存在序列相关：

E(

i)=0i=1,2,…,nVar(

i)=

2i=1,2,…,nCov(

i,

j)=0i≠ji,j=1,2,…,n注意：严格讲，这里应该是条件期望、条件方差和条件协方差的形式。教材P65指出：这里的条件期望、条件方差和条件协方差均可以简写为非条件的形式。（5）随机误差项与解释变量之间不相关：

Cov(Xij,

i)=0i=1,2,…,n；j=1,2,…,k（6）随机误差项服从零均值、同方差、零协方差的正态分布：

i~N(0,

2)i=1,2,…,n注意：以上假设也称为线性回归模型的经典假设或高斯（Gauss）假设。满足这些假设的线性回归模型，也称为经典线性回归模型（ClassicalLinearRegressionModel,CLRM）。

在经典假设下，严格讲，这里也应该是条件协方差形式。严格讲，这里也应该是条件分布形式。

2.多元线性回归模型的基本假定（矩阵形式）关于多元线性回归模型的基本假定2~6，也可以写成矩阵形式。见教材P64-65，一定要熟记。如：秩(X)=k+1，即Xn×(k+1)为列满秩矩阵。因为各个解释变量之间不存在严格的线性关系，也即任何一个解释变量都不能用其它解释变量的线性组合来表示，这样，矩阵X的任何一列都不可能通过线性变换变成全为0。

2.多元线性回归模型的基本假定（矩阵形式）

2.多元线性回归模型的基本假定（矩阵形式）“从一般到简单”的建模思路。（1）回归模型是正确设定的。二、多元线性回归模型的参数估计多元线性回归模型的一般形式为：一、多元线性回归模型及其基本假定（1）回归模型是正确设定的。严格讲，这里也应该是条件协方差形式。该式等价于P66的（）式2多元线性回归模型的统计检验二、多元线性回归模型的参数估计多元线性回归模型的形式(见教材P62-63)随机误差项的均值为0，方差的无偏估计量为：E(i)=0i=1,2,…,n严格讲，这里也应该是条件协方差形式。Cov(Xij,i)=0i=1,2,…,n；1.普通最小二乘估计二、多元线性回归模型的参数估计（i=1,2,…,n）随机抽取被解释变量和解释变量的n组样本观测值根据最小二乘原理，参数估计值应该是下列方程组的解：其中最小于是得到关于待估参数估计值的正规方程组：

问题：我们无法象一元回归那样，用小代数公式来表达多元线性回归模型的参数估计量！上述估计过程的矩阵表示其中从而，被解释变量的观测值与估计值之差的平方和为：求解过程如下：（教材P66）要点：若A、X均为列向量，则A’X

关于列向量X的导数为A。注意：一个函数关于列向量求导，是指这个函数关于列向量中的每个元素求导，其结果仍应写成列向量的形式。见教材P64-65，一定要熟记。2多元线性回归模型的统计检验于是，得到正规方程组：满足基本要求的样本容量1多元线性回归模型及其参数估计这里利用了解释变量为非随机变量和随机误差项的零均值假设：注意：这里对潘文卿等《计量经济学学习指南与练习》（P37-38，例7）作了补充！由于被解释变量的估计值与观测值之间的残差i~N(0,2)i=1,2,…,n虽然当n≥k+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。（3）各个解释变量Xj在所抽取的样本中具有变异性，而且随着样本容量的无限增加，各个解释变量Xj的样本方差趋于一个非零的有限常数Qj。满足这些假设的线性回归模型，也称为经典线性回归模型（ClassicalLinearRegressionModel,CLRM）。二、多元线性回归模型的参数估计多元线性回归模型的形式(见教材P62-63)（2）解释变量Xj(j=1,2,…,k)是确定性变量，不是随机变量，在重复抽样中取固定值；于是，得到正规方程组：

由于假定解释变量之间不存在多重共线性，

X’X为(k+1)阶满秩矩阵，可得参数的最小二乘估计值为：

该式等价于P66的（）式例利用第二版P28表中的家庭可支配收入（X）和消费支出（Y），估计一元线性回归模型，参数估计的计算可通过下面的表进行。多元线性回归模型的一般形式为：其中,符号“tr”表示矩阵的迹，其定义为矩阵主对角线元素的和。虽然当n≥k+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。对于第三版P37例的家庭可支配收入-消费支出数据，如果用矩阵公式求解，那么过程如下：“从一般到简单”的建模思路。满足基本要求的样本容量（教材P71）多元线性回归模型的形式(见教材P62-63)E(i)=0i=1,2,…,n（1）回归模型是正确设定的。Cov(Xij,i)=0i=1,2,…,n；Cov(Xij,i)=0i=1,2,…,n；一、多元线性回归模型及其基本假定（2）解释变量Xj(j=1,2,…,k)是确定性变量，不是随机变量，在重复抽样中取固定值；随机抽取Y的n组样本观测值，其联合概率为虽然当n≥k+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。因此，由该样本估计的回归方程为：

小代数解法：对于该例题，如果用矩阵公式求解，那么过程如下：可求得：

例对于第三版P37例的家庭可支配收入-消费支出数据，如果用矩阵公式求解，那么过程如下：见教材P67，略⃟正规方程组的另一种写法：(教材P67)对于正规方程组

于是

或

(*)或（**）是多元线性回归模型正规方程组的另一种写法。

(*)(**)离差形式的样本回归方程由于所以这就是离差形式的样本回归方程。随机误差项

的均值为0，方差的无偏估计量为：提示：证明过程参见潘文卿、李子奈：《计量经济学学习指南与练习》，高等教育出版社，，P37-38，例7随机误差项方差的无偏估计量随机误差项方差估计量的无偏性（证明，有补充，不要求）

由于被解释变量的估计值与观测值之间的残差残差的平方和为：所以有其中,符号“tr”表示矩阵的迹，其定义为矩阵主对角线元素的和。于是所以，随机误差项方差的无偏估计量为注意：这里对潘文卿等《计量经济学学习指南与练习》（P37-38，例7

）作了补充！提示：tr(A+B)=tr(A)+tr(B)；tr(ABC)=tr(CAB)=tr(BCA)这两步推导，分别利用了序列无关假定和同方差假定！即注：潘文卿等《计量经济学学习指南与练习》P50给出了另一种证明。（不要求）2.最大似然估计（MaximumLikelihood,ML)

(不作要求）随机抽取Y的n组样本观测值，其联合概率为

对数似然函数为参数的最大似然估计

结果与参数的普通最小二乘估计相同。

3.矩估计（MomentMethod,MM）

（不作要求）三、OLS参数估计量的统计性质（教材P70）另外，随着样本容量的增加，即当n→∞时，参数估计量还具有渐近无偏性、一致性和渐近有效性等三个性质。1．线性

2．无偏性

这里利用了解释变量为非随机变量和随机误差项的零均值假设：3．有效性

其中利用了根据高斯—马尔可夫定理，上述方差在所有无偏估计量的方差中是最小的，所以普通最小二乘参数估计量具有有效性。

四、样本容量问题1.最小样本容量2.满足基本要求的样本容量

计量经济学模型，说到底是从表现已经发生的经济活动的样本数据中寻找经济活动中内含的规律性，所以，它对样本数据具有很强的依赖性。

⒈

最小样本容量（教材P71）所谓“最小样本容量”，是指从最小二乘原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。样本容量必须不少于模型中解释变量的数目（包括常数项）：（证明过程，见教材P71）这就是最小样本容量。2.满足基本要求的样本容量（教材P71）虽然当n≥k+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行