《回归第一讲》PPT课件.ppt

应 用 回 归 分 析,2019/8/4,1,本课程的要求 1.掌握回归分析的基本理论与方法 2.熟知回归分析的作用与应用条件 3.熟练使用回归分析方法 4.正确解读回归分析结果 5.以问题出发的回归分析的应用,2,3,4,某商家有如下的数据，研究这个问题的主要目的是看销售额是否受到促销方式、售后服务和奖金这三个自变量的影响，以及怎样的影响。 因变量:销售额 因素:促销方式、售后服务、奖金,5,6,第一讲 回归分析基本问题,一、回归分析 回归分析是处理变量X与Y之间关系的一种统计方法和技术。 这里的关系是指统计关系，即当给定X值，Y的值不能确定，只能通过一定的概率分布来描述。 称给定X时Y的条件数学期望 为随机变量Y对X的（均值）回归函数。,7,又称为理论回归方程 方程中的参数尚不知道,需要由样本数据去进行估计,得到 方程称为回归方程。又称为经验回归方程。 分别称为回归常数和回归系数 分别称为经验回归常数和经验回归系数,8,二、回归模型的一般形式,模型清楚地表达了x与y的关系：它由两部分组成，一是确定性的函数关系，另一部分是随机误差项。,随机误差项包括的内容,9,二、回归模型的一般形式,模型清楚地表达了x与y的关系：它由两部分组成，一是确定性的函数关系，另一部分是随机误差项。,随机误差项主要包括下列因素的影响： （1）未引入模型但又对y有影响的因素的影响;？ （2）样本数据采集过程中变量观测的观测误差的影响？ （3）理论模型设定误差的影响？ （4）其它随机因素的影响。？,10,回归预测与时间序列模型的比较 以预测为例,实证研究表明，各类模型之间并不存在明显优劣,只是不同方法具有各自不同的特点 ；,回归预测和时间序列预测是两类不同的定量预测方法，它们根据不同的角度对经济现象进行预测。 回归预测注重分析影响预测对象的各因素所造成的影响。 而时间序列预测则根据预测对象本身的历史数据来 预测其未来。,11,回归模型：单一方程,工资（Y）生产力（X）回归模型：,12,2.,如零工招聘指数（HWI）与失业率（U）之间的回归方程：,13,3. 多元线性回归模型,例如：关于恒生指数的回归模型：,14,4.,生产函数回归方程,15,5. 包含虚拟变量的回归模型,16,5. 包含虚拟变量的回归模型,17,18,6. 被解释变量为离散变量的模型 离散选择模型,如：01型因变量模型 例如：在一次关于公共交通的社会调查中，一个调查项目是“乘坐公共汽车上下班，还是以其它方式上下班”。因变量y=1表示主要乘坐公交车，y=0表示其它方式上下班。自变量x1是年龄，是连续变量，x2是月收入，x3=1表示男性，x3=0表示女性。 则可拟合下面模型（Logistic回归模型）,19,7. 分布滞后模型,8. 自回归分布滞后模型：,20,克莱因战争之间模型的变量,回归模型例：联立方程,21,克莱因战争之间模型的估计,消费依赖的不是总收入，而是总收入的分量：工资收入和利润收入 总工资收入对消费的边际倾向是0.8，相比之下，利润对消费的边际倾向只有0.02,滞后边际消费倾向0.235,22,政府开支的平衡预算收入乘数（这里的G的变化被T的变化抵消）是1.93-0.484=1.446,政府当期开支增加10亿美元，收入增加19.3亿美元，私人工资增加8.11亿元，消费增加6.71亿美元, Y K C WP I,23,三、回归分析的主要内容,线性回归,一元线性回归 多元线性回归 多个因变量与多个自变量的回归,非线性回归,一元非线性回归 分段回归 多元非线性回归,含有定性变量的回归,自变量含定性变量的情况 因变量是定性变量的情况,24,回归诊断,讨论如何从数据推断回归模型基本假定的合理性 当基本假设不成立时如何对数据进行修正 判断回归方程拟和的效果 选择回归函数的形式,回归变量 的选择,选择的准则 变量选择的方法,参数估计 方法的选择 与改进,岭回归 主成分回归 最小二乘法,25,26,回归分析应用中的错误频出. 错误较多主要缘于对模型的方法论基础缺乏深入研究和正确理解。,“自欺欺人” “自娱自乐”,四、回归分析的基本问题,27,建立回归模型的目的,如何从经历到的过去、特殊、局部，推论到 没有经历到的未来、一般、整体？,研究过程： 观察（偶然、个别、特殊） 假说（理论、模型） 检验（实验、预测、回归） 发现（必然、一般、普遍）,建立回归模型的思路,28,建立回归模型的方法,29,在认识论范畴上，很难简单地将回归模型方法归为“归纳”或者“演绎”。 回归分析是一种归纳，是从个别事实走向一般理论、概念的思维方法。 但具体到建立模型的每个阶段，又是“归纳”和“演绎”交替的。 从观察到理论模型（假说）的提出，是一个归纳推理过程；而模型的应用，将归纳得到的一般性规律应用于观察以外的事实，又是一个演绎推理过程。,建立回归模型的方法,30,回归分析方法，无论是它的归纳阶段，还是它的演绎阶段，无论是它的证伪还是证实，都是反映客观经济活动的经济学理论的发现过程所不可缺少的，具有科学性。,31,模型对数据的依赖关系,三类数据： 截面数据（Cross-sectional Data） 时间序列数据（Time-series Data） 平行数据（Panel Data，面板数据、综列数据）,32,正确地提出可供证实或证伪的假说，即回归模型，是十分重要的。 对该理论模型进行检验的依据是表征已经发生的经济活动的数据， 相对于不同类型的数据，应该设定不同类型的理论模型，否则，经验检验的数学基础、统计学基础和逻辑学基础将被破坏。 大量的错误皆源于此。,提出可供证实或证伪的假说,五、回归分析的基本步骤,如何建立回归方程？ 进行回归分析的难点？ 回归分析的作用？,33,具体社会经济问题,估计模型参数,设置指标变量,收集整理数据,构造理论模型,模型检验与诊断,模型运用,经济变量控制,经济因素分析,经济决策预测,修改,Y,N,34,35,模型总体设定的依据 实际应用研究中的研究目的导向 经典模型的先验理论导向 时间序列模型的数据关系导向 正在发展的关系论导向,回归分析中最关键的问题 模型的设定,模型的设定变量的确定,1. 根据研究目的，设置变量 （1）因变量的设置 （2）自变量的设置,问题：1 .确定因变量的难点 2. 确定自变量的难点,36,选择变量，包括被解释变量Y和解释变量X。 被解释变量：如研究中国通货膨胀问题。 解释变量：如研究储蓄波动机理中，曾考虑把货币发行量、全国零售物价指数、股票价格指数、银行利率、国债利率、居民收入等指标作为解释变量。 注：解释变量不是越多越好。,37,连续的解释变量,离散的解释变量,二元离散选择变量,多元离散选择变量,38,模型的设定数据,2. 收集数据 整理统计数据 调整数据,问题：横截面数据和时间数据 进行回归分析应注意的 主要问题是什么？,39,1.数据的类型 （1）截面数据、 时序数据、 平行数据 （2）定类数据、定序数据、数值性数据 2. 数据的规模 nk+1 n10k（英国统计学家肯德尔）,40,41,42,43,44,45,46,模型的设定模型形式,3. 确定理论回归模型的数学形式 包括方程的形式 也包括回归系数的假设,问题：如何确定理论回归 模型数学形式,47,理论模型形式的确定,(1). 依据经济理论和数理经济学结果。 如：消费函数。 绝对收入假说理论支持下的回归模型： 相对收入假说理论支持下的回归模型： 理性预期收入假说,48,理论模型形式的确定,(2). 绘制变量的样本散点图是选择数学模型形式的重要环节之一。,49,50,51,52,53,54,55,56,57,58,4. 模型的参数估计,问题：模型参数估计的内容 模型参数估计的方法有哪些 应用条件与特点,59,模型参数的估计,反映模型中各类方程式的经济结构特性的参数，称为结构参数 它有显含参数和隐含参数之分 参数估计是一个纯技术过程,交叉估计方法 交叉估计也是对模型参数进行部分回归的一种估计方法，但是与前面部分回归估计不同的是，它将模型的参数按照其性质分类，然后分别用不同的样本观测值，包括被解释变量的样本观测值，估计各类参数。那么自然地，它只是相对于某类应用模型而言。,如:需求函数模型中，解释变量一般为收入和价格，这两类变量对商品需求量的影响是不同的。按照协整理论，商品需求量和收入为流量指标，一般情况下为一阶单整，它们之间可能存在协整关系，反映了二者之间的长期关系；而价格水平一般是0 阶单整，它对商品需求量具有短期影响。从直观上也可以看出，收入对商品需求量具有长期影响，价格对商品需求量只具有短期影响。它们的参数分别属于长期弹性和短期弹性，具有不同的性质。而一般说来，时间序列数据适合于短期弹性的估计，截面数据适合于长期弹性的估计。所以用同一组样本数据同时估计需求函数模型的所有参数，在理论上是存在问题的。 于是就提出了合并时间序列数据和截面数据的估计方法，即交叉估计方法。即用截面数据为样本估计模型中的一部分反映长期影响的参数，然后再用时间序列数据为样本估计模型中的另一部分反映短期影响的参数，分两阶段完成模型的估计。,交叉估计法,交叉估计不仅适于需求函数模型的估计，也适用于包含长期影响和短期影响两类解释变量的其它模型的估计。例如居民储蓄方程。居民新增储蓄由收入水平和利率决定，其中收入水平具有长期影响，利率具有短期影响，适合于用交叉估计方法进行分析。再如税收方程，以税基和税率为解释变量，也适合于用交叉估计方法进行估计,交叉估计法,5. 模型的检验与诊断,问题：为什么进行检验 模型的检验内容 检验通不过的可能的主要原因,69,6. 回归模型的应用 预测 政策评价 结构分析,问题：模型应用时应注意什么问题？,70,回归预测与时间序列模型的比较 以预测为例,实证研究表明，各类模型之间并不存在明显优劣,只是不同方法具有各自不同的特点 ；,回归预测和时间序列预测是两类不同的定量预测方法，它们根据不同的角度对经济现象进行预测。 回归预测注重分析影响预测对象的各因素所造成的影响。 而时间序列预测则根据预测对象本身的历史数据来 预测其未来。,71,一元线性回归分析,72,几个问题,具体社会经济问题,估计模型参数,设置指标变量,收集整理数据,构造理论模型,模型检验与诊断,模型运用,经济变量控制,经济因素分析,经济决策预测,修改,Y,N,73,1. 关于相关系数?,计算出相关系数0.7，但显著性检验没有通过。计算相关系数为0.2，而声称此相关系数高度显著。可能吗？你能作出解释吗？ 经验判断与统计检验是否可能存在矛盾？ 如相关系数r=0.2,但T检验统计量很大。,74,相关系数检验两变量之间线性相关程度的缺点。,2. 判定系数是一个回归直线与样本观测值拟合优度的相对指标，需要注意什么问题？如何使用？,75,判定系数应注意的问题： 1，当样本量较小时，与相关系数一样，即使得到一个大的决定系数，但是这个大的决定系数很可能是虚假现象。 2，即使样本量并不小，判定系数很大，例如是0.9，也并不能肯定自变量与因变量的关系就是线性的，这是因为有可能曲线回归的效果更好。（什么情况下更好？）,76,?,不同领域对判定系数大小要求不同 不论何种形式的回归方程，均以判定系数的大小作为选择方程的依据。 为使判定系数大，放入过多的自变量,77,4. P值的优缺点:,78,4. P值的优缺点: (1)用P值作检验不需要查表,只需直接用P值与显著性水平进行比较即可. 用P值检验具有可比性,而用T值作检验与自由度有关,可比性差 用P值检验可以准确地知道显著性水平,P值就是第一类错误的概率 难以手工计算.,79,5. 仅凭回归系数的假设被拒绝，能否认为X与Y之间一定的线性关系？一元线性回归模型是否能直接应用?,80,一个线性回归方程通过了T 检验或F检验，只是表明变量X与Y之间的线性关系是显著的，或者说是线性回归方程是有效的，但不能保证数据拟合得很好，也不能排除由于意外原因而导致的数据不完全可靠，比如有异常值出现、周期性因素干扰等。只有当模型中的残差项有关的假定满足时，才能放心地使用模型使用残差分析。,残差分析的作用：帮助我们诊断回归效果与样本数据的质量。 探查对统计推断有较大影响的试验点，即强影响点。,81,当自变量的取值范围很窄时，线性回归效果通常是较好的，这样的线性回归方程是不能用于外推预测的。,82,6. 残差的作用 1.残差图应用于研究既定模型与实际数据是否能很好拟合。 2.模型线性诊断、模型误差方差齐性诊断、模型误差独立性诊断、模型误差正态性诊断等。 3.识别、判定和检验异常点。 4. 区分出对统计推断影响特别大的点（影响分析）。,83,84,85,86,87,88,89,有影响的观测值,90,有影响的观测值 (图示),91,有影响的观测值 (图示),92,有影响的观测值 (图示),有影响的观测值,存在影响值的趋势,93,有影响的观测值 (图示),不存在影响值的趋势,有影响的观测值,存在影响值的趋势,94,95,96,改进的残差,标准化残差：,学生化残差：,在残差分析中，一般认为超过3个标准差的残差成为异常值，考虑到普通残差ei的方差不等，用ei作判断和比较会带来一定的麻烦，人们引入标准化残差和学生化残差的概念，改变普通残差的性质。,97,标准化残差：,学生化残差：,标准化残差使残差具有可比性，标准化残差3的相应观测值即判定为异常值，这简化了判定工作。但是没有解决方差不等的问题。 学生化残差则进一步解决了方差不等的问题，因而在寻找异常值时，用学生化残差优于用普通残差，认为学生化残差3的相应观测值即为异常值,98,残差图,表示残差的图形 关于x的残差图 关于y的残差图 标准化残差图 用于判断误差的假定是否成立 检测有影响的观测值,99,残差图 (形态及判别),100,残差图 (例题分析),101,T,102,.,.,.,.,.,.,.,.,.,X,残差,.,103,X,残差,表示男生,表示女生,104,残差分析中发现模式不合适时的方法,1.变量的变换 (优点是较经济,不需再花时间收集资料) 最常使用的因变量Y的变换有下列几种:,也可考虑变量X的变换,105,2.加入其它变量而成为多元回归模型 3.放弃线性回归模式，改用非线性回归或其它方式，如时间数列分析。,残差分析中发现模式不合适时的方法,106,4. BoxCox变换，即次方变换,残差分析中发现模式不合适时的方法,采用哪一种最好，一般以SSE越小越好。,107,7. 一元线性回归方程是否经过原点,什么时候使用过原点的回归方程？ 有理论依据时 例如：体重作为Y，身高作为X 例如：弹簧拉力X与拉开长度Y的回归 做一般线性回归后，发现其参数估计表中的截距项不显著。,这时，不能以R2的大小作为选过原点与不过原点回归式的比较。(因为计算公式中分母不同),108,8. 回归方程的应用,1.预测 2.控制,109,做预测的主要原因有下列两种: 第一,有时因变量Y的值在事前不可能获得,因为它们经常是未来值,所以现在无法获得,但是为了做决策,研究者想要在获得他们真正数据之前就能知道它们的值到大约是多少.例如广告费与销售之间的关系. 第二,有时真正的Y值要花很高的代价才能获得,但是相对的得到自变量的值的花费很少,因此可以用比较便宜的X去预测得到昂贵的Y.,利用回归方程进行估计和预测,110,利用回归方程进行估计和预测,根据自变量 x 的取值估计或预测因变量 y的取值 估计或预测的类型 点估计 y 的平均值的点估计 y 的个别值的点估计 区间估计 y 的平均值的置信区间估计 y 的个别值的预测区间估计,111,点估计,2. 点估计(预测)值有 y 的平均值的点估计(预测) y 的个别值的点估计(预测) 在点估计条件下，平均值的点估计和个别值的的点估计是一样的，但在区间估计则不同,对于自变量 x 的一个给定值x0 ，根据回归方程得到因变量 y 的一个估计值或预测值,112,区间估计与预测,点估计不能给出估计的精度，点估计预测值与实际值之间是有误差的，因此需要进行区间估计与预测 对于自变量 x 的一个给定值 x0，根据回归方程得到因变量 y 的一个估计与预测区间 区间估计预测有两种类型 置信区间估计(预测) 预测区间估计(预测),113,置信区间估计预测,利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的平均值的估计预测区间 ，这一估计区间称为置信区间 E(y0) 在1-置信水平下的置信区间为,式中：sy为估计标准误差,114,预测区间估计,利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的一个个别值的估计区间，这一区间称为预测区间 y0在1-置信水平下的预测区间为,115,置信区间、预测区间、回归方程,116,控 制,控制相当于预测的反问题。预测和控制有着密切的关系。在许多经济问题中，我们要求Y在一定范围内取值。如在研究近年的经济增长率时，我们希望经济增长能保持812%，在控制通货膨胀问题中，我们希望全国零售物价指数增长在10%以内等。,117,控制问题用数学表达式描述，即要求： 问题是如何控制影响经济增长的最主要的因素呢？即X包括什么？ 讨论如何控制自变量X的值，才能以1的概率保证把目标值Y控制在 ，即,118,119,异常点与影响点的困扰，将异常点直接除掉。异常点可能造成直接对模型拟和的困扰，但也可能可以提供新的研究方向，发现新的问题。,120,9. 如何处理异常点与影响点,在任何一个散点图上都可以画出一条回归线，但此种做法引起两个问题：一是两变数之间是否呈非线性关系？如果关系是非线性的，则以直线回归可能引起误解，即使看起来是