经典线性回归模型

1、第二章 经典线性回归模型一、线性回归模型的概念1、一元线性回归模型（1）总体回归模型总体回归模型：，总体回归方程：说明：确定性部分Y对于给定X的期望值随机部分代表了排除在模型以外的所有因素对Y的影响。它是期望为0的，具有一定分布的随机变量。 研究的目标： 确定总体回归方程的参数随机扰动项的分布（想想看，为什么？）（2）样本回归模型问题：我们往往无法获得全体数据，无法准确的分析出总体回归参数。能从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？画一条直线以尽好地拟合该散点图，由于样本取自总体，可以用该直线近似地代表总体回归线。该直线称为样本回归线。样本回归模型：样本回

2、归方程：（3）样本回归线与总体回归线的关系2、多元线性回归模型在许多实际问题中，我们所研究的因变量的变动可能不仅与一个解释变量有关。斜率 “”的含义是其它变量不变的情况下，Xj改变一个单位对因变量所产生的影响即对于n组观测值，有定义： 多元线性回归模型的矩阵形式为（总体）：， （样本），二、经典线性回归模型的统计假设引言：为什么要做基本假定 为了保证参数估计得以进行（或者有意义）为保证参数估计量具有良好的性质。对于随机扰动的分布作出假定，才可能确定所估计参数的分布性质，也才可能进行假设检验（1）线性假定。总体模型为（2）严格外生性即E(ut|X)=0, t=1,2,n；含义：ut与所有解释变量

3、都不相关注；如果E(ut|X)=c，c为某常熟，但不一定为0.当回归方程中有常数项时，可以将这个非零的期望c并入常数项。 命题1：,扰动项的无条件期望为0命题2，随机变量与扰动项正交。（3）球形假定l 无自相关假设cov( ui, uj|Xi,Xj) = 0,即E(ui uj|Xi,Xj)=0, ij含义：表明产生干扰的因素是完全随机的。此次干扰和彼此干扰互不相关，相互独立l 同方差假设，即：含义：所需估计的方差数简化为一个。可以推出，因变量可能取值的分散程度也是相同的。每个观测的可信程度是一样的。（2）（3）可以合并为：假设（2），（3）说明随机项u的方差协方差矩阵为对角矩阵：（4）各解释变

4、量之间不存在严格的线性关系（即不存在“严格的多重共线性”）即X是满秩的。此时矩阵XX也是满秩的，所以行列式 ，保证了 可逆。是OLS估计可以进行的前提。含义：从直观含义来看。模型中的变量对于解释Y提供了新的信息，不能由其他信息完全替代 从参数的含义来看。保持其他信息不变时，如果存在严格多重共线，则无法做到 从系数的求解来看：缺少足够信息将两变量的影响区分开来 三、最小二乘估计1、最小二乘估计原理分析：直观上看，也就是要求在X和Y的散点图上穿过各观测点画出一条“最佳”直线，如下图所示。选择一个好的拟合标准。，使得拟合的直线为最佳 。因可正可负，所以取 最小。取最小值2、最小二乘估计的正规方程最小

5、二乘方法要求残差平方和最小即，满足可以写成：也就是（正规方程，矩条件）：3、一元线性回归模型的最小二乘估计例如：一元线性回归的最小二乘估计最小化：即找到使得残差平方和最小的参数近似值用残差表示得到： ，并可以推导得到：正规方程：得参数估计：可以从两个角度来理解参数估计：、参数估计量 给出了两个(随机的）估计量，此时强调估计量受到一个确定性变量和一个随机变量的影响。因此也是随机的。（估计量的分布是怎样的？）、参数估计值 将的具体观测数据带入公式，计算出具体的数值。此时表现为一个确定的数字。4、最小二乘估计的矩阵表示（具体可以参考陈强的书）我们的目标是使得回归的残差平方和达到最小，即： 则它的一阶

6、条件为：化简得：四、OLS估计量的性质1、线性性(有助于确定估计量的分布)2、无偏性（有助于确定正态分布的均值）即其中，两边取期望与零均值假定，以及非随机解释变量两个假设有关3、最小方差性（有助于确定正态分布的方差）(1)方差-协方差矩阵：（2）方差协方差矩阵的计算方法1：方法2 估计量的方差协方差矩阵为：五、最小二乘估计量的分布1、多元线性回归中的无偏估计为k为所有参数的个数，包括常数项。n-k是自由度可以得到：估计量的方差为： 样本方差为： 样本标准差为：2、OLS估计的分布OLS估计量是随机变量，必须确定其分布才能进行区间估计和假设检验分析：分布：根据线性性的性质： 随机干扰项是服从正态

7、分布的随机变量，决定了Y也是服从正态分布的随机变量。OLS估计量是Y的线性函数，决定了OLS估计量是服从正态分布的随机变量。均值：根据无偏性：估计量的期望: 方差：估计量的方差协方差矩阵为：如果记 为 的元素，则所以多元线性回归OLS估计量服从以下分布： 或3、估计量分布的标准化随机误差项方差已知：则参数OLS估计量经标准化后的的统计量服从标准正态分布。随机误差项方差未知：用估计的标准误差做上述变换得到t统计量。六、拟合优度检验1、为什么要进行拟合优度检验虽然OLS有好的性质（BLUE)，但并不保证具体模型的参数估计结果理想。相对最优 vs. 优秀的绝对水平拟合度的评价标准：残差平方和：有量纲

8、，并且受样本容量影响，没有横向可比性。应建立新的指标。新的指标判定系数：建立在总离差分解的基础上拟合优度的含义：样本回归线对样本观测数据拟合的优劣程度称为拟合优度。判断回归好坏的重要指标。2、拟合优度的定义（1）残差平方和的分解分析Y的观测值、估计值和平均值的关系：对所有样本数据平方求和后得到：TSS总离差平方和，total sum of squaresESS回归平方和，explained sum of squaresRSS残差平方和，residual sum of squareso 在给定样本中，TSS不变分析：Y的观测值围绕其均值的总离差(total variation)可分解为两部分：一

9、部分来自回归线(ESS)，另一部分则来自随机势力(RSS)。如果实际观测点离样本回归线越近，则ESS在TSS中占的比重越大（2）判定系数R2的定义特点：取值范围0R21判定系数是无量纲的若值为1，表明观察值均在估计的回归直线上若值为0，表明完全不拟合；判定系数越接近1，拟合程度越好，反之越差（3）注意点判定系数只是说明列入模型的所有解释变量对因变量的联合的影响程度，不说明模型中单个解释变量的影响程度。不同被解释变量的方程不具有可比性相同被解释变量，但是解释变量个数不同，也不适用。判定系数达到多少为宜？没有一个统一的明确界限值；若建模的目的是预测应变量值，一般需考虑有较高的判定系数。若建模的目的

10、是结构分析，就不能只追求高的判定系数，而是要得到总体回归系数的可信任的估计量。判定系数高并不一定每个回归系数都可信任。3、调整的拟合优度（1）拟合优度（判定系数）的缺陷可以证明，多重决定系数时模型中解释变量个数的不减函数，这给对比含有不同解释变量个数的模型的决定系数带来困难（缺陷），需要修正。拟合优度随着回归变量个数增加的直观说明在多元回归中，除非新增加的回归变量系数估计值恰好为0，否则只要增加回归变量个数，拟合优度就增大。 比如从一元回归模型开始加入第二个回归变量。当使用OLS估计含两个变量的模型时，OLS找到使残差平方和最小的系数取值。如果OLS碰巧选择的新回归系数为0，无论是否加入第二个

11、变量，RSS都相同。但是如果OLS选择的是非零值，则相对于不包含这个回归变量的回归来说，必定降低RSS。（2）调整（校正的）判定系数思想：决定系数只涉及变差，没有考虑自由度。如果用自由度去校正所计算的变差，可纠正解释变量不同引起的对比困难。对增加的解释变量增加了“惩罚”使用中的注意点可以用于比较解释变量个数不同的模型比较不同模型的拟合度时，要注意被解释变量形式是否相同？只有被解释变量形式相同时，才具有可比性 4与的关系意味着随着解释变量的个数增加， 比 增加的慢。总是非负，但可能为负5、其他常用判别准则七、假设检验1、回归模型检验的步骤（1）经济意义检验：用先验理论检验，看是否与经济理论一致，

12、是否合乎情理（2）统计推断检验：（3）计量经济学检验：是否符合基本假定（异方差，自相关、多重共线性，等）2、参数显著性检验，T检验（1）目的：判断解释变量X是否是被解释变量Y一个显著的影响因素。（2）假设检验的思想原理：基于概率论的反证法 因为：小概率事件在一次实验中几乎不会发生思想：对所关心的问题提出原假设H0，然后运用样本信息看H0成立时，会不会发生矛盾。对H0的成立与否作出判断如果小概率事件发生，拒绝H0如果不发生小概率事件，不拒绝H0。其逻辑是：如果小概率事件在一次实验中居然发生，我们就以很大的把握否定原假设假设检验的一般步骤: 建立统计假设 构造统计量 根据样本计算统计量的观测值 规

13、定显著性水平a,查表得到临界值，确定接受域和拒绝域 判断并且给出结论（3）参数显著性检验步骤检验单个参数的显著性. 对总体参数提出假设以原假设H0构造t统计量 并由观察数据计算其值一般情况下，总体方差未知，只能用样本方差代替，因此可以利用t分布作t检验。 在原假设成立情况下，计算统计量：其中给定显著性水平,查自由度为n-k的t分布表,得临界值判断若 , （小概率事件发生）则拒绝 接受 若 ,（大概率事件发生）则不拒绝说明：t检验的含义，判断估计值是否与0(H0)有显著差别。影响显著性的因素t检验的扩展，对其他系数的检验，同样进行。（用于单个约束检验）软件包中所输出的参数显著性检验t值，都是在原

14、假设 ：条件下计算的t值。掐指一算法则。 假设检验的P值l P值是根据既定的样本数据所计算的统计量拒绝原假设的最小显著性水平l 统计分析软件通常给出了检验的P值l 方法：将给定的显著性水平与P值比较。l 若 ，则拒绝原假设，认为X对Y有显著影响。l 若 ，不拒绝原假设，即认为X对Y没有显著影响。l 规则：当 时，P越小，越能拒绝原假设。3、模型总体显著性检验F检验 对模型进行整体显著性检验思想：说明所有解释变量联合起来对应变量影响的整体显著性。一般，在对各个参数的逐个进行进行显著性检验之前进行。F检验的过程：提出假设在H0成立条件下计算统计量（可以证明）直观解释，和拟合优度比较。给定显著性水平

15、，查表得临界值判断： 若 ，拒绝H0，回归方程显著成立，即所有解释变量联合起来对Y有显著影响。 若 ，不能拒绝H0，回归方程整体不显著。所有解释变量联合起来对Y没有显著影响。 一般统计软件直接给出F，和对应的P值。 注意公式中字母的含义，不同标注形式的模型，不能盲目套用。4、检验约束条件是否成立的F检验约束条件的F检验可以用来检验回归参数的一个或多个线性约束条件，例如，对于原模型，要检验，是否最后q个参数同时为零。分析：原假设H0：备择假设H1：至少有一个约束不满足。H1成立，对应原模型（长模型），也称为不受约束模型（UR）：回归残差（RSSUR）H0成立，对应短模型，也称为受约束模型（R）回归残差（