计量经济学第三章多元线性回归

1、 3.1 3.1 多元线性回归模型多元线性回归模型 3.2 3.2 多元线性回归模型的参数估计多元线性回归模型的参数估计 3.3 3.3 多元线性回归模型的统计检验多元线性回归模型的统计检验 3.4 3.4 多元线性回归模型的预测多元线性回归模型的预测 3.5 3.5 可线性化的多元非线性回归模型可线性化的多元非线性回归模型 3.6 3.6 受约束回归受约束回归一、模型形式一、模型形式二、基本假定二、基本假定 注意注意：（：（1 1）解释变量）解释变量X X的个数：的个数：k k 回归系数回归系数 j j的个数的个数：k k1 1 （2 2） j j：偏回归系数，表示了：偏回归系数，表示了X

2、Xj j对对Y Y的的净影响净影响 （3 3）X X的第一个下标的第一个下标 j j 区分变量（区分变量（j j1 1，2 2，k k） 第二个下标第二个下标 i i 区分观测（区分观测（i i1 1，2 2，nn）1,2,in 011220100.(1)iiikkiikjjiijkjjiijYXXXXXX kikiikiiiiXXXXXXYE 2211021),|(kikiiiiXXXY22110ikikiiiieXXXY22110其中：其中：e ei i 称为称为残差残差 (residuals)(residuals)，可看成是随机误差项，可看成是随机误差项 i i的近似替代。的近似替代。

3、XY)1(212221212111111knknnnkkXXXXXXXXXX1)1(210kk121nn1321 nnYYYYY1231nnYYYYY k10neee21eXYeXYnnEE11)( 21121nnnEI22211100)var(),cov(),cov()var(nnn),(2I0N假设假设5 5：样本容量趋于无穷时，各解释变量的方差趋于有界常数，即：样本容量趋于无穷时，各解释变量的方差趋于有界常数，即n n时，时， jjjijiQXXnxn22)(11Qxxn1knnkxxxx1111x一、普通最小二乘估计一、普通最小二乘估计二、参数估计量的性质二、参数估计量的性质三、样本容

4、量问题三、样本容量问题1 1、估计目标：回归系数、估计目标：回归系数 j j、随机误差项方差、随机误差项方差 2 22 2、估计方法：、估计方法：OLSOLS、MLML或者或者MMMM基本思想：残差平方和最小基本思想：残差平方和最小基于取得最小值的条件获得系数估计）基于取得最小值的条件获得系数估计） 2112)(niiiniiYYeQ2122110)(nikikiiiXXXY0000210QQQQkkiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102222110112211022110nknkknkkiiki

5、kikiiiikiiYYYXXXXXXXXXXXXXXXXn212111211102112111111YXX)X(YXXX1)(0)()(XYXY0)(XXXYYXYY0)2(XXXYYY0XXYXYXXX1)(XXYX对对称称阵阵）为为（nn(2)()(),(;),()2121 BBBAAaaaAABABnn 2()()iQeeeYXYX 53650000215002150010111111)(22121iiinnXXXnXXXXXXXX39468400156741112121iiinnYXYYYYXXXYX0735. 10003. 00003. 07226. 0)(1EXX7770. 01

6、72.10339648400156740735. 10003. 00003. 07226. 021E2 1122knkneiee(1)e enk 1 1、基本原理基本原理：样本观测值出现的：样本观测值出现的概率最大概率最大。2 2、似然函数似然函数：)()(21)(212122222211022)2(1)2(1),(),(XYXYeeYYYPLnXXXYnnnkikiiin),(2XiNYi3 3、最大似然估计最大似然估计MLEMLE：YXXX1)(1 1、OLSOLS估计是通过得到一个关于参数估计值的估计是通过得到一个关于参数估计值的正规方程组正规方程组YXX)X(并对它进行求解而完成的。并

7、对它进行求解而完成的。XYXXXYXXX(YX)0XYX)(E0)1X(YXnYXXX0XYX)(EYX 高斯高斯马尔可夫定理马尔可夫定理(Gauss-Markov theorem):(Gauss-Markov theorem):在给定经典线性回归的假定下，最小二乘估计量是具有在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量，即最佳线性无偏估计量最小方差的线性无偏估计量，即最佳线性无偏估计量（BLUEBLUE）。）。CYYXXX1)(XXXX XXXYXXX11)()()()()()(1EEEEYXXX1)(XXXXXXX11)()()(I2)(E)(,(12 XXN

8、2j(,)jjjNc 最小样本容量最小样本容量满足基本要求的样本容量满足基本要求的样本容量所谓所谓“最小样本容量最小样本容量”，即从最小二乘原理和最大或然原理出发，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。样本最小容量必须样本最小容量必须不少于模型中解释变量的数目不少于模型中解释变量的数目（包括常数项）（包括常数项）, ,即：即：n n k k+1+1因为，无多重共线性要求：因为，无多重共线性要求：秩秩(X)=(X)=k k+1+1一、拟合优度检验一、拟合优度检验二、方程显著性检验二、

9、方程显著性检验三、变量显著性检验三、变量显著性检验 目的：测定样本回归函数对样本观测值的拟合紧密程度目的：测定样本回归函数对样本观测值的拟合紧密程度 指标：指标：R2、Adj(R2)TSSRSSTSSESSR121 1、定义：、定义：)1/()1/(12nTSSknRSSR11)1 (122knnRR用于比较因变量相同，解释变量个数不同的多元回归模型的拟合优度用于比较因变量相同，解释变量个数不同的多元回归模型的拟合优度 赤池信息准则赤池信息准则（Akaike information criterion, AICAkaike information criterion, AIC）nknAIC)

10、1(2lneennknAClnlnee目的：目的：检验检验Y与所有与所有X的线性关系在总体上是否成立的线性关系在总体上是否成立方法：方法：F检验检验)1/(/knRSSkESSF（1 1）提出原假设和备择假设：）提出原假设和备择假设：（2 2）在）在HH0 0成立成立的条件下，计算检验统计量的值：的条件下，计算检验统计量的值：)1/(/knRSSkESSF（3 3）给定显著性水平）给定显著性水平 ，可得到临界值：，可得到临界值：F F ( (k,n-k-k,n-k-1)1) （4 4）如果）如果 F F F F ( (k,n-k-k,n-k-1)1)，拒绝拒绝原假设，总体线性关系原假设，总体线

11、性关系成立成立 如果如果 F F F F ( (k,n-k-k,n-k-1)1)，接受接受原假设，总体线性关系原假设，总体线性关系不成立不成立) 1/() 1/(12nTSSknRSSR) 1/(/knRSSkESSFkFknnR1112)1/()1 (/22knRkRF目的：目的：检验检验Y与某个与某个Xj的线性关系在总体上是否成立或者的线性关系在总体上是否成立或者 说说Xj对对Y是否存在显著影响是否存在显著影响方法：方法： t检验检验1122knkneiee2(,0 , ,1 2,)jjjjNjck (1)1jjjjjjjtt n kSeecn k jjtS 1 1、在、在一元线性回归模型

12、一元线性回归模型中，变量的显著性中，变量的显著性t t检验检验与方程的与方程的F F检验检验是是一致一致的的 一方面，二者检验的假设一致：一方面，二者检验的假设一致： 1 10 0 另一方面，从检验统计量来看：另一方面，从检验统计量来看：F Ft t2 22 2、在、在多元线性回归模型多元线性回归模型中，二者的作用不同，中，二者的作用不同，并不等价并不等价3 3、在多元回归模型中，对各个变量的进行、在多元回归模型中，对各个变量的进行t t检验时，检验时，显著性水平应该一致显著性水平应该一致4 4、t t检验未通过，说明在给定的显著性水平下，变量对检验未通过，说明在给定的显著性水平下，变量对Y

13、Y没有显著性影响，没有显著性影响，但但不要简单的剔除变量不要简单的剔除变量，关键仍然是考察变量在经济关系上是否对因变，关键仍然是考察变量在经济关系上是否对因变量有影响以及变量在模型及应用中的作用，显著性检验起到验证的作用量有影响以及变量在模型及应用中的作用，显著性检验起到验证的作用(1)jjjtt nks Pttt()22122()1jjjPtts 22()1jjjjjPtsts 22(,)jjjjtsts 一、均值一、均值E(Y0)的置信区间的置信区间二、个值二、个值Y0的置信区间的置信区间点预测点预测区间预测区间预测XY0Y)()()()(00YEEEYEXXX000)()()(20()X

14、(XXX0000EEYVar0102000)()()(XXXXX)(XX)(X00EEYVar),(020XX)X(XX100NY) 1(knt)E(YY00010XX)X(X010000100)()()(22XXXXXXXXtYYEtY如果已经知道如果已经知道X=XX=X0 0处的实际个值处的实际个值Y Y0 0，那么预测误差为：，那么预测误差为：000YYe0)()()()(100000000XXXXXXXEEEeE)(1 ()()()(01022100200XXXXXXXXEeEeVar)(1 (,0(01020XXXXNe)(1(010220XXXXe)1(000kntYYte010000100)(1)(122XXXXXXXXtYYtYxy10 线性模型的本质含义线性模型的本质含义 解释变量的非线性解释变量的非线性变量代换法变量代换法 回归参数的非线性回归参数的非线性函数变换法函数变换法：消费者的收入