[经济学]第三讲一元线性回归模型.ppt

第三讲 一元线性回归模型,知识体系,一、回归分析 二、参数估计（ ） 三、统计检验（ ） 四、模型应用（ ）,一、回归分析,知识体系 （一）回归分析与相关分析 （二）总体回归函数 （三）样本回归函数（ ）,（一）回归分析与相关分析,知识体系 1、变量之间的关系 2、相关系数 3、回归分析与相关分析的关系（ ）,1、变量之间的关系,图3-1 变量之间的关系,（一）回归分析与相关分析,2、相关系数线性相关程度的度量,（1）总体线性相关系数,（2）样本线性相关系数,相关系数只反映随机变量间的线性相关程度，不能说明非线性相关关系； 相关系数只能反映线性相关程度，不能确定因果关系，不能说明相关关系具体接近哪条直线； 样本相关系数是总体相关系数的估计值，由于抽样波动，样本相关系数是个随机变量，其统计显著性有待检验。,（一）回归分析与相关分析,2、相关系数线性相关程度的度量,Note:,（一）回归分析与相关分析,3、回归分析与相关分析的关系, 回归的起源 一般而言,父亲身高(矮),子女也身高(矮)。英国的遗传学家弗朗西斯高尔顿 (Francis Galton)发现: 矮个的父亲,如身高1.6M 的人群,他们的子女的平均身高会大于其父亲的身高,且趋向于(或回归于)所有人(高和矮)子女的平均身高；而对于高个的父亲,其子女的平均身高会低于其父亲的身高, 而且也回归到所有人子女的平均身高,即所谓回归到中等。,表3-1 父子身高关系统计表 单位：cm,（1）内涵,（一）回归分析与相关分析,3、回归分析与相关分析的关系,相关分析（Regression Analysis） 研究随机变量间的相关形式及相关程度； 回归分析（Correlation Analysis ） 研究一个被解释变量与若干个解释变量的统计依赖关系。其目的是由解释变量固定值，去估计和预测被解释变量的平均值。,研究对象 相关分析仅从统计数据上测度变量间的相关程度，而无需考察两者间是否有因果关系；回归分析侧重于变量间的因果关系分析。 变量特性 变量在相关分析中的地位是对称的，并且都是随机变量；变量在回归分析中的地位不对称，区分为解释变量和被解释变量，经常假定解释变量为非随机变量。,（2）区别,（一）回归分析与相关分析,3、回归分析与相关分析的关系,研究目的 相关关系只关注变量间的联系程度，而不关注具体的依赖关系；回归分析更加关注变量间的具体依赖关系，侧重于通过解释变量的变化来估计或预测被解释变量的变化，从而找到经济运行的规律。,（一）回归分析与相关分析,（2）区别,3、回归分析与相关分析的关系,（3）联系,两者都研究非确定变量间的统计依赖关系，并能测度线性依赖程度的大小。,（二）总体回归函数,知识体系 1、条件分布与条件期望 2、总体回归线与总体回归函数 3、总体回归函数的形式 4、 引入模型的原因,1、条件分布与条件期望,（二）总体回归函数,（1）Y的条件分布 解释变量X取某固定值时，被解释变量Y 的值不确定， Y的不同取值形成的分布。 （2）Y的条件期望 对于X的每一个取值，由Y的条件分布确定其期望，称为Y的条件期望，即：,。,（一）总体回归函数,表3-2 某社区家庭每月可支配收入与消费支出统计表 单位：元,（二）总体回归函数,图3-2 总体回归线,（二）总体回归函数,2、总体回归线与总体回归函数,（1）总体回归线 对于X每一个取值，都有Y的条件期望 与之对应，这些Y条件期望的点形成的轨迹。,（2）总体回归函数（Population Regression Function，PRF） 将Y的条件期望 与解释变量X 的对应关系，写成函数表达式 ，反映了被解释变量的平均状态随解释变量X变化的规律。,3、总体回归函数的形式,（二）总体回归函数,（1）条件均值形式 将Y的条件均值 是解释变量X 的线性函数，则：,（2）随机设定形式,3、总体回归函数的形式,（二）总体回归函数,（2）随机设定形式,系统性部分 非系统性部分随机干扰项,Note: 这表明被解释变量Y不仅受解释变量X的系统性影响，还受其它因素的随机性影响， 代表所有未包含在模型中的其它因素。,（二）总体回归函数,图3-3 随机干扰项的图示,4、 引入模型的原因,（二）总体回归函数,（1）代表未知的影响因素； （2）代表残缺数据； （3）代表众多细小的影响因素； （4）代表数据观测误差； （5）代表模型设定误差； （6）代表变量的内在随机性。,（三）样本回归函数,知识体系 1、样本回归线与样本回归函数 2、样本回归函数的形式 3、样本回归函数与总体回归函数的关系（ ）,（三）样本回归函数,1、样本回归线与样本回归函数,（1）样本回归线 对于X的每一个值 ，都有样本观测值Y的条件均值 与之对应，样本观测值条件均值的轨迹称为样本回归线。 （2）样本回归函数(Sample Regression Function，SRF) 如果把Y的样本条件均值 表示为解释变量X的某种函数，这个函数称为样本回归函数。,（三）样本回归函数,1、样本回归线与样本回归函数,Note： 每次抽样都能获得一个样本，就可以拟合一条样本回归线，所以样本回归线随抽样波动而变化，可以有许多条； 样本回归线不是总体回归线，只是未知总体回归线的近似表现； 样本回归函数的形式应与设定的总体回归函数的形式一致。,2、样本回归函数的形式,（三）样本回归函数,（1）条件均值形式：,（2）随机设定形式：,（三）样本回归函数,3、样本回归函数与总体回归函数的关系,表3-3 总体回归函数与样本回归函数,（三）样本回归函数,3、样本回归函数与总体回归函数的关系,图3-4 样本回归函数与总体回归函数,二、参数估计,知识体系 （一）基本假定 （二）普通最小二乘法（ ） （三）OLS估计量的统计性质（ ） （四）OLS回归线的性质 （五）OLS估计量的区间估计（ ）,（一）基本假定,知识体系 1、经典假定（高斯假定） 2、暗含假定 3、 的分布性质,（一）基本假定,1、基本假定,（1）解释变量 是确定性变量，不是随机变量， 而且在重复抽样中取固定值； （2）随机干扰项 具有零均值、同方差和不序 列相关性，即：,（一）基本假定,1、基本假定,（3）随机干扰项 与解释变量 不相关，即:,（4）随机干扰项 服从零均值，同方差，零 协方差的正态分布，即：,（一）基本假定,2、暗含假定,（5）随着样本容量的无限增加，解释变量X的 样本方差趋于一个有限常数，即：,（,（6）模型没有设定偏误（specification error） （7）观测次数大于待估参数的个数（ ）,Note： 回归模型中存在随机干扰项 ，使待估参数 成为随机变量，因此，只有对随机干扰项做出假定，才能确定待估参数的分布性质，从而才能进行假设检验和区间估计，这也是应用普通最小二乘法的前提条件。,（一）基本假定,3、 的分布性质（ ）,（一）基本假定,（二）普通最小二乘法,知识体系 1、OLS的基本思想 2、最小二乘估计 3、样本回归函数的离差形式,（二）普通最小二乘法,图3-5 OLS估计示意图, 点到直线的距离 （1）点到直线的垂直距离； （2）点到直线的垂直坐标距离； （3）点到直线的水平坐标距离。,（二）普通最小二乘法,1、OLS的基本思想,已知样本观测值 ，若使样本回归线 尽可能好地拟合这些观测点的分布规律，则必须满足所有样本观测点（ ）到样本回归线的垂直坐标距离之和最小，即: 由于残差可正可负，简单求和可能正负互相抵消，因此，只有残差平方和才能反映两者总体上的接近程度，即：,（二）普通最小二乘法,2、最小二乘估计（Ordinary least squares, OLS）,（1）微分求最值,2、最小二乘估计,（二）普通最小二乘法,（2）求解正规方程组(克拉姆法则),。,（二）普通最小二乘法,2、最小二乘估计,（3）形式变换,3、样本回归函数的离差形式,（二）普通最小二乘法,（三）OLS估计量的统计性质,知识体系 1、线性性 2、无偏性 3、有效性,（三）OLS估计量的统计性质,1、线性性,（三）OLS估计量的统计性质,2、无偏性,3、有效性,（三）OLS估计量的统计性质,（1）先求 的方差,（三）OLS估计量的统计性质,3、有效性,（1）先求 的方差,3、有效性,（1） 再证最小方差性,（三）OLS估计量的统计性质,高斯定理：在经典假定下，OLS估计量具有线性性、无偏性和最小方差性，是最佳线性无偏估计量（best linear unbiased estimator, BLUE）,知识体系 1、OLS回归线通过样本均值点 2、残差的和为零，而残差的平方和最小 3、解释变量与残差的乘积之和为零 4、被解释变量的估计与残差的乘积之和为零 5、估计值 的均值等于实际观测值 的均值,（四）OLS回归线的性质,（四）OLS回归线的性质,1、OLS回归线通过样本均值点,2、残差的和为零，而残差的平方和最小,3、解释变量与残差的乘积之和为零,5、估计值 的均值等于实际观测值 的均值,（四）OLS回归线的性质,4、被解释变量的估计与残差的乘积之和为零,（五）OLS估计量的区间估计,知识体系 1、OLS估计量的分布 2、OLS估计量的区间估计,（五）OLS估计量的区间估计,1、OLS估计量的分布,（1） 方差 已知,（五）OLS估计量的区间估计,1、OLS估计量的分布,（2） 方差 未知, 小结,2、OLS估计量的区间估计,（五）OLS估计量的区间估计,（1） 构造枢轴变量,（2） 构造概率为 的事件,（3） 反解不等式，得到 的置信区间,三、统计检验（ ）,知识体系 （一）拟合优度检验（R2检验） （二）方程显著性检验（F检验） （三）变量显著性检验（T检验）,（一）拟合优度检验,知识体系 1、拟合优度的涵义 2、总离差的分解（ ） 3、可决系数R2（ ） 4、可决系数与相关系数的关系（ ）,（一）拟合优度检验,1、拟合优度的涵义,样本回归线对样本观测值拟合的优劣程度。,Note: 样本回归线是对样本观测值的一种拟合，不同的估计方法可拟合出不同的回归线，拟合的回归线与样本观测值总有偏离，因此，拟合优度的度量是建立在总离差分解的基础上。,图3-6 拟合优度的示意图,（一）拟合优度检验,2、总离差分解,图3-7 总离差分解示意图,（一）拟合优度检验,2、总离差分解,（一）拟合优度检验,2、总离差分解,（1）总离差平方和（Total Sum of Square，TSS）,（2）回归平方和（Explained Sum of Square，ESS）,（3）残差平方和（Residual Sum of Square，RSS）,3、可决系数R2拟合优度的指标,（一）拟合优度检验,回归平方和ESS占总离差平方和TSS的比重。,（1）可决系数R2,（2）作用,可决系数越大，说明由解释变量解释了的那部分离差占总离差的比重越大，模型对样本观测值的拟合程度越好，即模型的解释能力越强。,（一）拟合优度检验,3、可决系数R2,（3）特点,可决系数取值范围： 可决系数是随抽样而变动的随机变量； 可决系数是非负的统计。,（1）联系,4、可决系数与相关系数的关系,（一）拟合优度检验,数值上，可决系数等于被解释变量与解释变量之间简单相关系数的平方，即：,（一）拟合优度检验,4、可决系数与相关系数的关系,（2）区别,表3-4 可决系数与相关系数的关系,（一）拟合优度检验,4、可决系数与相关系数的关系,Note： （1）在多元线性回归模型中，可决系数只说明所有解释变量对被解释变量的联合影响程度，并不说明模型中每个解释变量的影响程度； （2）若建模的目的是经济结构分析时，要得到总体回归系数可信的估计量，就不能只追求较高的可决系数，因可决系数高并不表示每个回归系数都可信； （3）若建模的目的仅为了预测被解释变量值，不是为了正确估计回归系数，一般可考虑较高的可决系数。,（二）方程显著性检验,知识体系 1、自由度df（ ） 2、构造F统计量（ ） 2、F检验的步骤（ ）,（二）方程显著性检验,1、自由度（degree of freedom, df）,在数学中，指能够自由取值的变量个数；在统计学中，指计算某一统计量时，取值不受限制的变量个数。,（1）含义,n为样本含量，k为被限制的条件数或变量个数，或计算某一统计量时用到其它独立统计量的个数。,（2）计算 df=n-k,（二）方程显著性检验,1、自由度df,（3）判断准则,统计量的df，取决于样本容量n与引入的独立统计量个数k之差； 抽样分布的df，取决于构造抽样分布的统计量中自由度最小的统计量。 回归模型的df，取决于模型中能够自由取值的变量个数。,1、自由度df,（二）方程显著性检验,（4）举例,表3-5 一元线性回归模型的df,Note：在回归模型中， 看作常数，而在回归函数中，却看作随机变量。,表3-6 多元线性回归模型的df,Note：在回归模型中， 看作常数，而在回归函数中，却看作随机变量。,2、构造F统计量,（二）方程显著性检验,3、F检验的步骤,（二）方程显著性检验,（1）分析问题，提出假设,（2）确定检验的统计量,（3）构造小概率事件,（4）计算检验统计量，判断其落入的区域,（三）变量显著性检验,知识体系 1、构造T统计量（ ） 2、T检验的步骤（ ）,（三）变量显著性检验,1、构造T统计量,2、T检验的步骤,（三）变量显著性检验,（1）分析问题，提出假设,（2）确定检验的统计量,（3）构造小概率事件,2、T检验的步骤,（三）变量显著性检验,（4）计算检验统计量，判断其落入的区域,四、模型应用（ ）,知识体系 （一）点预测 （二）区间预测,（一）点预测,知识体系 1、Y的条件均值 的点预测 2、Y的个别值 的点预测,（一）点预测,基本思想 利用所估计的样本回