第四讲多元线性回归模型

1、第四讲 多元线性回归模型Ø 目的和要求：通过本章学习，要求学生理解多元线性回归模型的矩阵表示，掌握多元线性回归模型的参数估计，理解模型检验的方法，学会应用多元线性回归模型进行经济预测。Ø 教学重点：1、 普通最小二乘估计法；2、 多元线性回归模型的检验。Ø 教学难点：多元线性回归模型的参数估计和检验 知识体系1、回归模型总体线性回归模型与样本线性回归模型；回归模型的矩阵表示；模型的基本假定2、参数估计OLS估计法；OLS估计量的性质；OLS估计量的区间估计3、统计检验方程总体显著性检验（F检验）；变量显著性检验（t检验）4、模型应用总体均值的点预测与区间预测；个别

2、值的点预测与区间预测一、 为什么学习计量经济学？ 案例：中国汽车的保有量会达到1.4亿辆吗？中国经济的快速发展，使居民收入不断增加，数以百万计的中国人开始实现拥有汽车的梦想，中国也成为世界上成长最快的汽车市场。中国交通部副部长在中国交通可持续发展论坛上做出预测：“2020年，中国的民用汽车保有量将比2003年的数字增长倍，达到1.4亿辆左右”。是什么因素导致中国汽车数量的增长？影响中国汽车行业发展的因素并不是单一的，经济增长、消费趋势、市场行情、业界心态、能源价格、道路发展、内外环境，都会使中国汽车行业面临机遇和挑战。怎样分析多种因素的影响？分析中国汽车行业未来的趋势，应具体分析这样一些问题：

3、中国汽车市场发展的状况如何？（用销售量观测）影响中国汽车销量的主要因素是什么？（如收入、价格、费用、道路状况、能源、政策环境等）各种因素对汽车销量影响的性质怎样？（正、负）各种因素影响汽车销量的具体数量关系是什么？所得到的数量结论是否可靠？中国汽车行业今后的发展前景怎样？应当如何制定汽车的产业政策？显然，只用一个解释变量已很难分析汽车产业的发展，还需要寻求多元回归分析方法。一、 多元线性回归模型（一）总体回归模型和样本回归模型项目总体样本多元线性回归模型多元线性回归函数随机干扰项偏回归系数Note: 多元回归分析是以多个解释变量的固定值为条件的回归分析，反映了各解释变量X值固定时Y的平均响应。

4、偏回归系数表示在其它解释量保持不变的条件下，每变化1个单位时，的均值的变化。多元线性回归模型中的“线性”是对各个回归系数而言的，对变量而言，可以是线性，也可是非线性的。如柯布-道格拉斯生产函数，取自然对数转化为（二）多元线性回归模型的矩阵表示多元线性回归模型的一般形式，可表示为： 用矩阵表示为： 总体回归函数 ：总体回归模型：样本回归函数：样本回归模型： 其中：都是有个元素的列向量， 是有个元素的列向量，是第一列为1的阶解释变量的观测值矩阵 （截距项可视为解释变量取值为1）（三） 多元线性回归中的基本假定1、 基本假定1 解释变量为确定性变量，且各解释变量之间不存在线性关系，即：矩阵

5、型式：矩阵是阶非随机矩阵和列满秩矩阵，即：，也就是说，阶方阵是可逆的非奇异矩阵。Note：列满秩矩阵指一个矩阵的列数小于行数，且秩等于列数；行满秩矩阵指一个矩阵的行数小于列数，且秩等于行数。 随机干扰项具有零均值、同方差和不序列相关性，即零均值；同方差无序列相关矩阵形式： 随机干扰项与解释变量不相关，即矩阵形式： 随机干扰项服从零均值，同方差，零协方差的正态分布，即：（中心极限定理）矩阵形式： 样本容量趋于无穷时，各解释变量的样本方差趋于有限常数，即取值要有变异性，不能单调上升或下降 模型没有设定偏误（specification error） 样本容量大于待估参数的个数，即2、的分布性质（）零

6、均值假定：同方差假定：无序列相关假定：正态分布假定：二、参数估计（一）普通最小二乘法（OLS）1、基本思想随机抽取n组样本观测值，若要使样本回归线尽可能好地拟合这些散点的分布规律，则必须满足所有样本观测点（）到样本回归线的距离之和最小，即：2、 参数的最小二乘估计1 微分求最值原理要使，则必使对的一阶偏导数等于0，即可得正规方程组： Note:2 转化成矩阵形式 样本回归函数为 两边同乘，可得： 阶方阵是可逆的非奇异矩阵 Note: 行向量乘以列向量得到一个标量（数）；列向量乘以行向量得到一个矩阵；求逆矩阵可使用初等变换的方法；为对称的方阵。 3、 样本回归函数的离差形式1 样本回归函数的离差

7、形式其矩阵形式为：2 参数的OLS估计由微分求最值原理可知，要使，则必使：转化成矩阵形式：同理可得，离差形式下参数的OLS估计量为： 二元线性回归模型的OLS估计 对二元线性回归模型的OLS估计量为：（二）OLS估计量的性质1、 线性性2、 无偏性 3、 有效性最小方差性1 结论：在古典假定下，多元线性回归的 OLS估计量是最佳线性无偏估计量（BLUE）（三）OLS回归线的性质*1、 样本回归线通过样本均值点，即2、 估计值的均值等于实际观测值的均值，即3、残差的和为零，即，而残差平方和最小，即 4、解释变量与残差的乘积之和为零，即5、被解释变量的估计与残差的乘积之和为零，即（四）OLS估计量

8、的区间估计 基本思想是随机变量，必须确定其分布性质才可能进行区间估计和假设检验是服从正态分布的随机变量，决定了也是服从正态分布的随机变量是的线性函数，决定了也是服从正态分布的随机变量 1、 OLS估计量的分布性质 方差已知 估计量是的线性组合 的分布函数取决于的分布函数又 也服从正态分布，即： Note：若随机变量服从正态分布，则其线性组合也服从正态分布。 方差未知在随机干扰项方差的估计出后，参数的样本方差和标准差分别为：2、 构造统计量1 方差已知2 方差 未知A. 小样本当样本为小样本时，可用代替去估计参数的置信区间，用估计的参数标准差对 作标准化变换，所得的统计量不再服从正态分布，而是服

9、从 t 分布：B. 大样本当样本为大样本时，用估计的参数标准差对作标准化变换，所得Z 统计量仍可视为标准正态变量（根据中心极限定理）3、 OLS估计量的区间估计1 构造枢轴变量2 构造概率为的事件，即：3 反解不等式，得到置信度为的置信区间：（五）样本容量问题*1、 最小样本容量2、 满足基本要求的样本容量一般认为，当，才能满足模型估计的基本要求。三、统计检验（一）拟合优度检验1、可决系数与调整的可决系数1 总变差分解分析Y 的观测值、估计值与平均值的关系：总离差平方和（Total Sum of Square，），反映了样本观测值与其平均值的总体离差的大小；回归平方和（Explained Su

10、m of Square，ESS），反映了由模型中解释变量所解释的那部分离差的大小；（来自回归线）残差平方和（Residual Sum of Square，RSS），反映了由模型中解释变量不能解释的那部分离差的大小。（来自随机势力）2 可决系数样本回归线与样本观测值的拟合程度在多元回归模型中，由各个解释变量联合解释了的变差，在的总变差中占的比重。若解释变量的个数增加，残差平方和减小或不变，则可决系数就变大。3 调整的可决系数消去自由度后的可决系数若调整的可决系数，则剔除新增加的解释变量 新增加的解释变量没有解释能力 残差平方和基本保持不变，待估参数个数2*、赤池信息准则和施瓦茨准则赤池信息准则（

11、AIC，Akaike information criterion）:施瓦茨准则（SC，Schwarz criterion）: 若和，则剔除新增加的解释变量。 新增加的解释变量没有解释能力 残差平方和基本保持不变，待估参数个数Note：剔除新增加的解释变量的原则、和（二）方程总体显著性检验（F检验）1、 F检验的步骤1 分析问题，提出假设原假设:；备择假设:2 确定检验统计量3 构造小概率事件，查F分布表，得到临界值4 计算检验统计量的值，判断其落入的区域。若时，则拒绝，而接受，说明所有解释变量联合起来对被解释变量有显著影响。若时，则接受，说明所有解释变量联合起来对被解释变量没有显著影响。2、

12、可决系数与F检验的关系*1 区别拟合优度检验是从已经得到估计的模型出发，检验它对样本观测值的拟合程度；F检验是从样本观测值出发检验模型总体线性关系的显著性。拟合优度检验只是通过提供了对模型拟合优度的度量，并没有提供模型是否通过检验的明确界限；F检验可在给定显著性水平下，给出模型总体线性关系是否显著成立的结论。2 联系拟合优度检验和F检验都是在把总离差平方和TSS分解为回归平方和ESS与残差平方和RSS的基础上构造统计量进行检验的。可决系数与F同方向变化，越大，F越大，即模型对样本数据的拟合程度越高，模型总体线性关系的显著性越强。当时， ；当时， 结论：对方程的总体显著性检验，实际上也是对的显著

13、性检验。（三）变量显著性检验（t检验）1、 t检验的步骤分析问题，提出假设原假设: ；备择假设:确定检验的统计量构造小概率事件计算检验统计量的值，判断其落入的区域。若时，则拒绝，而接受，说明解释变量对被解释变量有显著影响，即两者线性关系显著。若时，则接受，说明解释变量对被解释变量没有显著影响，即两者线性关系不显著。2、 F检验和t检验的关系*1 区别F检验是针对所有解释变量对被解释变量的联合影响是否显著所作的检验；而t检验是针对单个解释变量对被解释变量的影响是否显著所作的检验。在多元线性回归模型中，F检验和t检验都要进行，不能相互替代。因为单个解释变量对被解释变量的影响都显著，不代表所有解释变

14、量对被解释变量的联合影响显著；反之亦然。2 联系在一元线性回归模型中，F检验和t检验是一致的，即一方面，原假设相同都是，另一方面，两个统计量之间的关系为：F=t2四、模型应用（一）总体均值的点预测 总体回归函数为 当时，又 样本回归函数为 当时， 是条件均值的一个无偏估计，即可将作为总体均值的点预测。（二）总体均值的区间预测1、 的分布形式2、 区间预测的步骤1 构造枢轴变量2 构造概率为的事件3 反解不等式，得到置信度为的置信区间：（三）的区间预测1、的分布形式2、的区间预测的步骤1 构造枢轴变量2 构造概率为的事件3 反解不等式，得到置信度为的置信区间：Ø 附录：4.1 最小二乘

15、估计法的矩阵求法根据普通最小二乘原理，要需找一组参数估计值，使得残差平方和：即参数估计值应该是方程组的解。求解过程为：Note：矩阵转置的性质4.2 矩阵求导公式1、矩阵对标量求导 法则矩阵中每个元素均求导数后再转置，即m×n矩阵求导后将变成n×m矩阵；公式2、标量对列向量求导法则标量对列向量的每个元素分别求偏导，但不转置，对n×1向量求导后还是n×1向量；公式3、行向量对列向量求导法则1×m行向量对n×1列向量求导后是n×m矩阵，即将行向量的每一列对列向量每一行求偏导，将各列构成一个矩阵。公式重要结论4、列向量对行向量求导法则m×1列向量对1×n行向量求导后是m×n矩阵，即将列向量的每一行对行向量每一列求偏导，将