第十七章 回归分析

1、回归分析,概述,一元线性回归的曲线方程 一元线性回归方程的建立 一元线性回归方程的检验 多元线性回归分析 可化成线性的非线性回归分析,在数量分析中，经常会看到变量与变量之间存在着一定的联系。要了解变量之间如何发生相互影响的，就需要利用相关分析和回归分析。在上一章讲述了相关分析有关内容。本章介绍回归分析基本概念，回归分析的主要类型： 一元线性回归分析 多元线性回归分析 非线性回归分析 曲线估计 时间序列的曲线估计 含虚拟自变量的回归分析 逻辑回归分析,基本概念,将存在相关的两个变量，一个作为自变量，另一个作为因变量，并把二者之间不十分准确、稳定的关系，用数学方程式来表达，则可利用该方程由自变量的

2、值来估计、预测因变量的估计值，这一过程称为回归分析 。 回归表示一个变量随另一个变量作不同程度变化的单向关系。,回归分析与相关分析的关系,相关与回归是从不同角度对变量间关系的分析 相关关系是两个变量之间的双向关系，没有主从之分；而回归关系是两个变量之间的单向关系，是自变量对因变量的影响关系。 相关关系用相关系数来表示，而回归关系用数学模型来表示，这种数学模型称为回归方程（regression equation） 。,线性回归的基本假设,线性关系假设 X与Y在总体上具有线性关系 正态性假设 回归分析中的Y服从正态分布 独立性假设 （1）与某一个X对应的一组Y和与另一个X对应的一组Y之间没有关系，

3、彼此独立 （2）误差项独立，不同的X所产生的误差之间应相互独立，无自相关，且误差项与X也相互独立 误差等分散性假设 特定X水平的误差，除了应呈随机化的常态分配，其变异量也应相等，成为误差等分散性,1.一元线性回归方程的建立,在心理统计学中，回归分析的目的： 在一组给定的数据中找出一条直线，且该直线作为该组数据的最优拟合度的直线 即该直线能很好的表示该批数据的分布趋势 对于X对Y变量之间的线性关系，可用线性方程表达，用数学函数式可表达为： =a+bX 其中a和b都是常数,用于找出一组数据的最佳拟合直线的统计技术被称为回归，作为结果的直线被称为回归直线。 最佳似合直线 对于给定的一组数据，我们可以

4、从数据的中心画出很多条不同的直线，每条直线都可能被定义为 =a+bX的形式，且每条直线都有自己唯一的a、b值。而我们需要找出特定的提供了实际数据的最佳拟合的那条线。,最小二乘法求回归系数 (method of least squares),常用的拟合这条回归线的原则，就是使各点与该线纵向距离的平方和最小，也就是使误差的平方和最小。这种求回归系数的方法称为最小二乘法。 由最小二乘法得到的直线在各条直线中是拟合最好的一条。,回归直线示意图,（X，Y）,Y,X,O,（X， ）,a,h,（X，Y）,Y,X,O,（X， ）,h,回归直线示意图,最小二乘法的步聚,(1)确定每个数据点到回归线之间的算术距离

5、 距离值= 其中对于数据中的每个X值，线性方程将在线上确定Y值，这个值就是预测的Y值，即 (2)将每个距离值求平方，并加和，即 (3)通过微分求异求出a、b值,求直线的截距,由回归系数公式的计算中可得： 在不同的情况下, 对于斜率b的还可以用以下公式计算：,10个学生初一与初二数学成绩回归系数计算表,例,回归方程为,回归方程为,原始数据计算回归系数公式,相关系数及两样本标准差计算公式,10个学生初一与初二数学成绩回归系数计算表,由估计的方程为：,由估计的方程为：,学生初一与初二数学成绩的回归线,回归方程用于预测时应该注意的问题,预测值不是绝对准确的；误差的大小与相关有关系。 回归方程不应该被用

6、于X值超出原始数据范围外的预测。,标准化回归系数,将自变量和因变量都标准化后得到的回归系数； 标准化回归系数和非标准化回归系数的关系； 标准化回归系数和相关系数的关系。,估计的标准误,估计的标准误衡量了回归直线和实际数据点之间距离的大小； SS残差=估计值与实际观测值的离差平方和 Df残差=n-2 估计的标准误 估计的标准误与相关系数的关系,2.一元线性回归方程的检验,拟合优度检验 回归方程的显著性检验（F检验） 回归系数的显著性检验（t检验）,回归方程的拟合优度检验就是要检验样本数据聚集在样本回归直线周围的密集程度，从而判断回归方程对样本数据的代表程度。 拟合优度检验一般用判定系数R2实现。

7、该指标是建立在对总离差平方和进行分解的基础之上。,（1）拟合优度检验,回归方程的显著性检验是对因变量与所有自变量之间的线性关系是否显著的一种假设检验。 回归方程的显著性检验一般采用F检验，利用方差分析的方法进行。,（2）回归方程的显著性检验（F检验）,各点的Y到其平均值 的距离都可分为两部分： 如果各点都很接近回归线，则各点的Y值到其平均值的离差中大部分是由回归部分的差异造成的，这种情况说明回归误差小，回归的效率较高。,A.变异的分解,B.分解平方和,即：SST = SSR + SSE 总平方和 = 回归平方和 + 残差平方和,C.分解自由度,dfTn1 对于所有Y值而言，自由度为 n1。 d

8、fEn2 在误差平方和的计算中，由于用到平均值和回归系数，因此失去两个自由度。 dfRdfTdfE1,D.计算方差,回归方差 残差方差,E.列回归方程的方差分析表,所谓回归系数的显著性检验，就是根据样本估计的结果对总体回归系数的有关假设进行检验。 之所以对回归系数进行显著性检验，是因为回归方程的显著性检验只能检验所有回归系数是否同时与零有显著性差异，它不能保证回归方程中不包含不能较好解释说明因变量变化的自变量。因此，可以通过回归系数显著性检验对每个回归系数进行考察。,（3）回归系数的显著性检验（t检验）,回归参数显著性检验的基本步骤： 提出假设 计算回归系数的t统计量值 根据给定的显著水平确定

9、临界值，或者计算t值所对应的p值 作出判断,多元线性回归分析,在上一节中讨论的回归问题只涉及了一个自变量，但在实际问题中，影响因变量的因素往往有多个。 例如，商品的需求除了受自身价格的影响外，还要受到消费者收入、其他商品的价格、消费者偏好等因素的影响；影响水果产量的外界因素有平均气温、平均日照时数、平均湿度等。 因此，在许多场合，仅仅考虑单个变量是不够的，还需要就一个因变量与多个自变量的联系来进行考察，才能获得比较满意的结果。这就产生了测定多因素之间相关关系的问题。,研究在线性相关条件下，两个或两个以上自变量对一个因变量的数量变化关系，称为多元线性回归分析，表现这一数量关系的数学公式，称为多元

10、线性回归模型。 多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型类似，只是在计算上更为复杂，一般需借助计算机来完成。,计算公式： 设随机变量y与一般变量x1，x2，xk的线性回归模型为 其中， 是k+1个未知参数， 称为回归常数， 称为回归系数。 y称为被解释变量（因变量）， x1，x2，xk是k个可以精确测量并可控制的一般变量，称为解释变量（自变量）。,当k=1时，上式即为一元线性回归模型式 当k=2时，就为多元线性回归模型。 随机误差，与一元线性回归一样，通常假定,同样，多元线性总体回归方程为 系数 表示在其他自变量不变的情况下，自变量x1变动一个单位时引起的因变量y

11、的平均变动单位。其他回归系数的含义类似。 从几何意义上讲，多元回归方程是多为空间上的一个平面。,多元线性样本回归方程为 其中， 是 的估计值,多元线性回归方程中回归系数的估计同样可以采用最小二乘法。由残差平方和 根据微积分中求极小值的原理，可知残差平方和SSE存在极小值。欲使SSE达到最小，SSE对 的偏导数必须等于零。,参数的最小二乘估计,采用最小二乘估计回归系数b,令：,取最小值,参数的最小二乘估计,Q在最小值处偏导数为0，得：,采用最小二乘估计回归系数b,参数的最小二乘估计,采用最小二乘估计回归系数b,整理得：,求解该联立方程组即可得,B1=(SPX1Y)(SSX2)-(SPX1X2)(

12、SPX2Y) /(SSX1)(SSX2)-(SPX1X2 )(SPX1X2),b2=(SPX2Y)(SSX1)-(SPX1X2)(SPX1Y) /(SSX1)(SSX2)-(SPX1X2 )(SPX1X2),回归方程的显著性检验,假设,求得的回归方程为：,总离差平方和分解,总离差平方和分解,同一元回归，可得：,并且：,总离差平方和分解,总离差平方和：,即是：,回归平方和：,残差平方和：,样本决定系数对回归方程“拟合优度” 的检验,样本决定系数，又称复决定系数，或多重决定系数。,定义：,样本决定系数,样本决定系数对回归方程“拟合优度” 的检验,样本容量增大(n),R2也随之增大(R2),R2的大

13、小 很难说明问题,存在的问题,样本决定系数对回归方程“拟合优度” 的检验,R2的改进,当n为小样本，解释变量数很大时，上式可能为负数，这时取其值为0。,R2与,均反映在给定样本下，回归方程与样本,观测值拟合优度，但不能据此进行总体模型的推断。,改进,估计的标准误,MS残差=SS残差/df df=n-k-1 估计的标准误=SQRT(MS残差),回归方程的显著性检验,回归方程的显著性检验,检验的目的：检验Y与解释变量x1，x2，xk之间的线性关系是否显著。,检验的目的,回归方程的显著性检验,检验的步骤,第一步，提出假设：,原假设：H0：b1=b2=bk=0,备择假设：H1：bi不全为0 （i=1，

14、k）,回归方程的显著性检验,检验的步骤,第二步，计算统计量：,或：,回归方程的显著性检验,第三步，查表，得：,检验的步骤,回归方程的显著性检验,检验的步骤,第四步，做检验：,拒绝H0， 回归方程显著,接受H0， 回归方程不显著,检验 法则,回归系数的显著性检验,回归方程显著，并不意味着每个解释变量对因变量Y的影响都重要,因此需要进行检验：,回归系数检验的必要性,回归方程显著,每个回归系数都显著,回归系数的显著性检验,回归系数检验的步骤,第一步，提出假设：,原假设：H0： bi=0 (i=1，2，k),备择假设：H1：bi0 (i=1，2，k),回归系数的显著性检验,回归系数检验的步骤,第二步，

15、构造并计算统计量 ：,回归系数的显著性检验,回归系数检验的步骤,第三步，查表得 ：,回归系数的显著性检验,回归系数检验的步骤,第四步，做检验：,接受H0,检验 法则,拒绝H0,评估每个预测变量的贡献,层次回归 逐步回归,非线性回归分析,定义： 研究在非线性相关条件下，自变量对因变量的数量变化关系，称为非线性回归分析。 在实际问题中，变量之间的相关关系往往不是线性的，而是非线性的，因而不能用线性回归方程来描述它们之间的相关关系，而要采用适当的非线性回归分析。,非线性回归问题大多数可以化为线性回归问题来求解，也就是通过对非线性回归模型进行适当的变量变换，使其化为线性模型来求解。 一般步骤为： 根据

16、经验或者绘制散点图，选择适当的非线性回归方程； 通过变量置换，把非线性回归方程化为线性回归； 用线性回归分析中采用的方法来确定各回归系数的值； 对各系数进行显著性检验。,在本节中介绍几种常见的非线性回归模型，并分别给出其线性化方法及图形。,（1）双曲线模型,若因变量y随自变量x的增加而增加（或减少），最初增加（或减少）很快，以后逐渐放慢并趋于稳定，则可以选用双曲线来拟合。双曲线模型形式是 线性化方法：令 则转换为线性回归方程,（2）幂函数模型,幂函数模型的一般形式为 线性化方法：令 则转换为线性回归方程,（3）指数函数模型,指数函数用于描述几何级数递增或递减的现象。一般的自然增长及大多数经济数列属于此类。 指数函数模型为