多元回归精品课件

1、多元回归第1页，共85页，2022年，5月20日，13点33分，星期二第四章：多元回归分析一、多元线性回归模型 二、多元线性回归模型的参数估计三、多元线性回归模型的统计检验四、多元线性回归模型的预测五、回归模型的参数约束*第2页，共85页，2022年，5月20日，13点33分，星期二一、 多元线性回归模型 1、多元线性回归模型的基本概念2、多元线性回归模型的矩阵表述 3、多元线性回归模型的基本假定 第3页，共85页，2022年，5月20日，13点33分，星期二 多元线性回归模型: 一般表现形式：i=1,2,n 模型中解释变量的数目为（k+1） 1、多元线性回归模型基本概念第4页，共85页，20

2、22年，5月20日，13点33分，星期二总体回归函数：回归的本质: 1、多元线性回归模型基本概念第5页，共85页，2022年，5月20日，13点33分，星期二 j 称为回归系数（regression coefficient）,也被称为偏回归系数，表示在其他解释变量保持不变的前提下，Xj每变化1个单位时，Y的均值E(Y)的变化; 1、多元线性回归模型基本概念第6页，共85页，2022年，5月20日，13点33分，星期二 我们观察到n组数据，并认为其生成过程如下： 2、多元线性回归模型矩阵表述上述方程组可表现为矩阵形式第7页，共85页，2022年，5月20日，13点33分，星期二其中UXY+=21

3、=n1nuuuMU 2、多元线性回归模型矩阵表述第8页，共85页，2022年，5月20日，13点33分，星期二 样本回归函数（加随机项）的矩阵表达: 其中： 2、多元线性回归模型矩阵表述第9页，共85页，2022年，5月20日，13点33分，星期二 假设1：线性的回归方程是客观存在的 假设2：解释变量是非随机的，且各解释变量之间互不相关。 3、多元线性回归模型的基本假定第10页，共85页，2022年，5月20日，13点33分，星期二 假设3：随机误差项具有零均值，独立同分布。0)(=iEu 22)()(suu=iiEVar0)(),(=jijiECovuuuu 3、多元线性回归模型的基本假定第

4、11页，共85页，2022年，5月20日，13点33分，星期二假设4*：随机项满足正态分布 3、多元线性回归模型的基本假定第12页，共85页，2022年，5月20日，13点33分，星期二上述假设的矩阵表示 ： n(k+1)矩阵X是非随机的，且X的秩 = k+1，即X是满秩矩阵。 假设2：第13页，共85页，2022年，5月20日，13点33分，星期二上述假设的矩阵表示 ： 假设3：随机误差项具有零均值、同方差及无序列相关性第14页，共85页，2022年，5月20日，13点33分，星期二假设4*，向量 服从多维正态分布，即 上述假设的矩阵表示 ：第15页，共85页，2022年，5月20日，13点

5、33分，星期二二、 多元线性回归模型的估计 估计方法： 1、普通最小二乘估计OLS 2、最大或然估计ML（*） 3、矩估计 MM（*） 4、参数估计量的性质 5、广义最小二乘法 6、估计实例 第16页，共85页，2022年，5月20日，13点33分，星期二1、普通最小二乘估计对于随机抽取的n组观测值i=1,2n根据最小二乘原理，参数估计值应该是下列方程组的解 其中第17页，共85页，2022年，5月20日，13点33分，星期二于是得到关于待估参数估计值的正规方程组： 第18页，共85页，2022年，5月20日，13点33分，星期二正规方程组的矩阵形式即由于XX满秩，故有 第19页，共85页，2

6、022年，5月20日，13点33分，星期二将上述过程用矩阵表示如下： 即求解方程组：得到： 于是：第20页，共85页，2022年，5月20日，13点33分，星期二样本回归函数i=1,2n其矩阵形式为 其中 ：参数的最小二乘估计结果为 第21页，共85页，2022年，5月20日，13点33分，星期二随机误差项的方差的无偏估计 可以证明，随机误差项的方差的无偏估计量为 第22页，共85页，2022年，5月20日，13点33分，星期二 *2、最大似然估计 对于多元线性回归模型易知 Y的随机抽取的n组样本观测值的联合概率即为变量Y的似然函数 第23页，共85页，2022年，5月20日，13点33分，星

7、期二对数或然函数为对对数或然函数求极大值，也就是对 求极小值。 因此，参数的最大或然估计为结果与参数的普通最小二乘估计相同第24页，共85页，2022年，5月20日，13点33分，星期二*3、矩估计（Moment Method, MM） OLS估计是通过得到一个关于参数估计值的正规方程组并对它进行求解而完成的。所以有:第25页，共85页，2022年，5月20日，13点33分，星期二称为原总体回归方程的矩条件，它表明了原总体回归方程所具有的内在特征。 即，第26页，共85页，2022年，5月20日，13点33分，星期二意味着：这就是回归方程参数的“矩估计”（MM估计）；它与OLS估计的结果一样。

8、第27页，共85页，2022年，5月20日，13点33分，星期二 4、参数估计量的性质 在满足基本假设的情况下，其结构参数的普通最小二乘估计、最大或然估计及矩估计具有： 线性性、无偏性、有效性。 （1）线性 其中,C=(XX)-1 X 为一仅与固定的X有关的行向量 第28页，共85页，2022年，5月20日，13点33分，星期二 （2）无偏性 这里利用了假设: X非随机，所以E(X)=0 4、参数估计量的性质第29页，共85页，2022年，5月20日，13点33分，星期二 （3）有效性（最小方差性） 4、参数估计量的性质因为：第30页，共85页，2022年，5月20日，13点33分，星期二 （

9、3）有效性（最小方差性） 4、参数估计量的性质所以：其中利用了 第31页，共85页，2022年，5月20日，13点33分，星期二高斯马尔科夫定理：在关于的一切线性无偏估计中（BLUE），最小二乘法的估计是方差最小的。证明：略 4、参数估计量的性质第32页，共85页，2022年，5月20日，13点33分，星期二多元情况下，“异方差”与“序列自相关”问题的矩阵表述在“异方差”、“序列自相关”的情况下，OLS估计量不再具有“有效性”！ 异方差与序列自相关第33页，共85页，2022年，5月20日，13点33分，星期二在“异方差” 的情况下，OLS估计量不再具有“有效性”！ 异方差第34页，共85页，

10、2022年，5月20日，13点33分，星期二 序列自相关问题（一阶）在“序列自相关”的情况下，OLS估计量不再具有“有效性”！第35页，共85页，2022年，5月20日，13点33分，星期二在上述两种情况下，都无法得到因此，最小方差性质无法证明。 异方差与序列自相关第36页，共85页，2022年，5月20日，13点33分，星期二 对于模型 Y=X+ 如果存在序列自相关，或者存在异方差，亦或者二者都存在，则有 5、广义最小二乘法第37页，共85页，2022年，5月20日，13点33分，星期二 其中，是一个对称的正定矩阵，存在一可逆的下三角矩阵D，使得： =DD 乔列斯基分解（Cholesky d

11、ecomposition） 5、广义最小二乘法第38页，共85页，2022年，5月20日，13点33分，星期二变换原模型： D-1Y = D-1X +D-1重定义为： Y* = X* + * 所以，变形后的模型具有同方差性和随机误差项互相不相关性：因为此时：第39页，共85页，2022年，5月20日，13点33分，星期二 这就是原模型的广义最小二乘 (GLS)估计量， 它是无偏的、有效的估计量。对重定义模型： Y* = X* + * （ D-1Y = D-1X +D-1 ）进行OLS 估计：第40页，共85页，2022年，5月20日，13点33分，星期二 当数据存在“异方差”、“序列自相关”时

12、，广义最小二乘法（GLS）才是线性、无偏、有效的估计量！ 5、广义最小二乘法第41页，共85页，2022年，5月20日，13点33分，星期二 如何得到矩阵？（略） 对的形式进行特殊设定后，才可得到其估计值。 如设定随机扰动项存在异方差，且形式为： 2i = f(Xi) 2 则第42页，共85页，2022年，5月20日，13点33分，星期二 如何得到矩阵？（略）代入第43页，共85页，2022年，5月20日，13点33分，星期二 如何得到矩阵？（略）或者由：进行乔列斯基分解得到：第44页，共85页，2022年，5月20日，13点33分，星期二 如何得到矩阵？（略）之后对D求逆：第45页，共85页

13、，2022年，5月20日，13点33分，星期二变形：Y* = D-1Y ； X*= D-1X然后用X*对Y*进行OLS 估计：第46页，共85页，2022年，5月20日，13点33分，星期二 如何得到矩阵？（略） 对的形式进行特殊设定后，才可得到其估计值。 如设定随机扰动项为一阶序列相关形式 i=i-1+i 则第47页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验1、拟合优度检验2、 t 检验3、 F检验4、序列自相关性检验5、异方差检验6、多重共线性检验7、有约束的检验*第48页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模

14、型的统计检验1、拟合优度检验第49页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验2、 t 检验 对单个变量的显著性进行检验 H0： i=0， H1：i0第50页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验3、 F检验 对多个变量的显著性进行的联合检验：H0： 1= k= 0 ， H1： 起码有一个i0注意：没有0第51页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验3、 F检验 若FF(k , n-k-1)，则接受原假设。问题：为什么不能用t检验替代F检验呢？ 第52页，

15、共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验4、序列自相关性检验 （略）见一元回归中的相应问题第53页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验5、异方差检验 （略）见一元回归中的相应问题。第54页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验6、多重共线性检验（1）多重共线性（Multi-Collinearity）问题；（2）检验方法（3）处理方法 第55页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验（1）多重共线性（Multi

16、-Collinearity）问题当自变量中，出现彼此“ 线性相关 ”的时候，rank( X )10”，就不能容忍了。 第63页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验6、多重共线性检验（3）处理方法 差分法 取对数 去除某个变量 第64页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验6、多重共线性检验（4）样本容量问题 第65页，共85页，2022年，5月20日，13点33分，星期二 样本容量问题 所谓“最小样本容量”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下

17、限。 (1) 最小样本容量 样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即 n k+1因为，不存在多重共线性要求：秩(X)=k+1第66页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验7、联合检验* t检验、F检验的深入探讨。第67页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验7、联合检验* 例如：柯布-道格拉斯函数第68页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验7、联合检验* 例如：对估计出的回归函数，有时需要检验：第69页，共85页，2022年，5月

18、20日，13点33分，星期二三、多元线性回归模型的统计检验7、联合检验* 一般性的F统计量第70页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验7、联合检验* 请验证：我们之前给出的F统计量只是一个特例第71页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验7、联合检验* 检验的内容非常广，一般可将原假设写为：例如：第72页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验7、联合检验* 检验的内容非常广、作用非常大必需是线性的约束第73页，共85页，2022年，5月20日，13点

19、33分，星期二三、多元线性回归模型的统计检验7、联合检验* 检验的内容非常广、作用非常大深入讨论：制度转换的检验 邹至庄检验：Chow Test 本质上也是F检验第74页，共85页，2022年，5月20日，13点33分，星期二邹至庄检验：Chow Test第75页，共85页，2022年，5月20日，13点33分，星期二邹至庄检验：Chow Test构造统计量：第76页，共85页，2022年，5月20日，13点33分，星期二三、多元线性回归模型的统计检验7、联合检验* 检验的内容非常广、作用非常大F检验的应用之一：货币政策对产出、就业有影响吗？ 1977年、1978年，Robert Barro的两篇经典论文第77页，共85页，2022年，5月20日，13点33分，星期二F检验的应用之一：货币政策对产出、就业有影响吗？新古典主义：预料到的货币供给量的变化对产出、就业没有影响；没有预料到的货币供给量的变化才能对产出、就业产生影响；1977、1978年，巴罗对此问题进行了研究。第78页，共85页，2022年，5月20日，13点33分，星期二F检验的应用之一：货币政策对产出、就业有影响吗？首先，对Mt(货币供给量的变化)进行回归：回归部分被定义为：预料到的变化，At残差被定义为：未预料到的变化，Ut第79页，共85页，2022年，5月20日，1