第8章回归分析

1、1第八章回归分析2主要内容主要内容8.1 回归分析概述回归分析概述8.2 线性回归分析线性回归分析8.3 曲线估计曲线估计8.4 二元二元Logistic回归分析回归分析38.1 回归分析概述回归分析概述（1 1）确定性关系与非确定性关系）确定性关系与非确定性关系 变量与变量之间的关系分为确定性关系和非确定性关系，函数表达确定性关系。研究变量间的非确定性关系，构造变量间经验公式的数理统计方法称为回归分析。（2 2）回归分析基本概念）回归分析基本概念 回归分析是指通过提供变量之间的数学表达式来定量描述变量间相关关系的数学过程，这一数学表达式通常称为经验公式。我们不仅可以利用概率统计知识，对这个经

2、验公式的有效性进行判定，同时还可以利用这个经验公式，根据自变量的取值预测因变量的取值。如果是多个因素作为自变量的时候，还可以通过因素分析，找出哪些自变量对因变量的影响是显著显著的，哪些是不显著不显著的。4（3 3）回归分析的一般步骤）回归分析的一般步骤n第1步 确定回归方程中的因变量和自变量。n第2步 确定回归模型。n第3步 建立回归方程。n第4步 对回归方程进行各种检验。拟合优度检验回归方程的显著性检验回归系数的显著性检验n第5步 利用回归方程进行预测。8.1 回归分析概述回归分析概述5主要内容主要内容8.1 回归分析概述回归分析概述8.2 线性回归分析线性回归分析8.3 曲线估计曲线估计8

3、.4 二元二元Logistic回归分析回归分析68.2线性回归分析线性回归分析8.2.1 基本概念及统计原理基本概念及统计原理1.1.基本概念基本概念 线性回归假设因变量与自变量之间为线性关系，用一定的线性回归模型来拟合因变量和自变量的数据，并通过确定模型参数来得到回归方程。根据自变量的多少，线性回归可有不同的划分。当自变量只有一个时，称为一元线性回归，当自变量有多个时，称为多元线性回归。78.2线性回归分析线性回归分析(2) (2) 统计原理统计原理 一元回归方程和多元回归方程01( )E yx一元线性和多元线性回归分析的核心任务就是估计其中的参数。01 122( )ppE yxxx88.2

4、线性回归分析线性回归分析8.2.2 SPSS实例分析实例分析【例8-1】现有1992年-2006年国家财政收入和国内生产总值的数据如下表所示，请研究国家财政收入和国内生产总值之间的线性关系。年份国内生产总值（单位：亿元）财政收入（单位：亿元）年份国内生产总值（单位：亿元）财政收入（单位：亿元）199226923.53483.37200099214.613395.23199335333.94348.952001109655.216386.04199448197.95218.102002120332.718903.64199560793.76242.202003135822.821715.2519

5、9671176.67407.992004159878.326396.47199778973.08651.142005183867.931649.29199884402.39875.952006210871.038760.20199989677.111444.0898.2 线性回归分析线性回归分析第第1步步 分析：分析：这是一个因变量和一个自变量之间的问题，故应该考虑用一元线性回归解决。第第2步步 数据组织：数据组织：定义三个变量，分别为“year”（年份）、“x”（国内生产总值）、“y”（财政收入）。第第3步步 作散点图，观察两个变量的相关性：作散点图，观察两个变量的相关性：依次选择菜单“图形

6、旧对话框散点/点状简单分布”，并将“国内生产总值”作为x轴，“财政收入”作为y轴，得到如下所示图形。可以看出两变量具有较强可以看出两变量具有较强的线性关系，可以用一元的线性关系，可以用一元线性回归来拟合两变量。线性回归来拟合两变量。108.2 线性回归分析线性回归分析第第4步步 一元线性回归分析设置：一元线性回归分析设置：选择菜单“分析回归线性”，打开“线性回归”对话框，将变量“财政收入”作为因变量 ，“国内生产总值”作为自变量。打开“统计量”对话框，选上“估计”和“模型拟合度”。单击“绘制（T）”按钮，打开“线性回归：图”对话框，选用DEPENDENT作为y轴，*ZPRED为x轴作图。并且选

7、择“直方图”和“正态概率图” 作相应的保存选项设置，如预测值、残差和距离等。118.2 线性回归分析线性回归分析第第5步步 主要结果及分析：主要结果及分析：变量输入和移去表表中显示回归模型编号、进入模型的变量、移出模型的变量和变量的筛选方法。可以看出，进入模型的自变量为“国内生产总值” 。 模型综述表 R=0.989，说明自变量与因变量之间的相关性很强。R方(R2) =0.979，说明自变量“国内生产总值”可以解释因变量“财政收入”的97.9%的差异性。 模型输入的变量移去的变量方法1国内生产总值.输入a. 已输入所有请求的变量。 b. 因变量: 财政收入。模型RR 方调整 R 方 标准估计的

8、误差1.989a.979.9771621.66312a. 预测变量：（常量），国内生产总值。b. 因变量：财政收入。128.2 线性回归分析线性回归分析方差分析表表中显示因变量的方差来源、方差平方和、自由度、均方、F检验统计量的观测值和显著性水平。方差来源有回归、残差。从表中可以看出，F统计量的观测值为592.25，显著性概率为0.000，即检验假设“H0：回归系数B = 0”成立的概率为0.000，从而应拒绝原假设，说明因变量和自变量的线性关系是非常显著的，可建立线性模型。模型平方和df均方FSig.1回归1.557E911.557E9 592.250残差34187286.770132629

9、791.290总计1.592E914a. 预测变量：（常量），国内生产总值。b. 因变量：财政收入。138.2 线性回归分析线性回归分析回归系数表表中显示回归模型的常数项、非标准化的回归系数B值及其标准误差、标准化的回归系数值、统计量t值以及显著性水平（Sig.）。从表中可看出，回归模型的常数项为-4993.281，自变量“国内生产总值”的回归系数为0.197。因此，可以得出回归方程：财政收入=-4993.281 + 0.197 国内生产总值。模型非标准化系数标准系数tSig.B标准误差试用版1（常量）-4993.281919.356-5.431.000国内生产总值.197.008.98924

10、.336.000回归系数的显著性水平为0.000，明显小于0.05，故应拒绝T检验的原假设，这也说明了回归系数的显著性，说明建立线性模型是恰当的。14主要内容主要内容8.1 回归分析概述回归分析概述8.2 线性回归分析线性回归分析8.3 曲线估计曲线估计8.4 二元二元Logistic回归分析回归分析158.3 曲线估计曲线估计8.3.1 基本概念及统计原理基本概念及统计原理(1) (1) 基本概念基本概念 曲线估计（曲线拟合、曲线回归）则是研究两变量间非线性关系的一种方法，选定一种用方程表达的曲线，使得实际数据与理论数据之间的差异尽可能地小。如果曲线选择得好，那么可以揭示因变量与自变量的内在

11、关系，并对因变量的预测有一定的意义。 在曲线估计中，需要解决两个问题：一是选用哪种理论模型，即用哪种方程来拟合观测值；二是当模型确定后，如何选择合适的参数，使得理论数据和实际数据的差异最小。168.3 曲线估计曲线估计(2) 统计原理 在曲线估计中，有很多的数学模型，选用哪一种形式的回归方程才能最好地表示出一种曲线的关系往往不是一个简单的问题，可以用数学方程来表示的各种曲线的数目几乎是没有限量的。在可能的方程之间，以吻合度而论，也许存在着许多吻合得同样好的曲线方程。因此，在对曲线的形式的选择上，对采取什么形式需要有一定的理论，这些理论是由问题本质决定的。(3) 分析步骤首先，首先，在不能明确究

12、竟哪种模型更接近样本数据时，可在上述多种可选择的模型中选择几种模型；其次，其次，SPSS自动完成模型参数的估计，并输出回归方程显著性检验的F值和概率p值、决定系数R2等统计量；最后，最后，以判定系数为主要依据选择其中的最优模型，并进行预测分析等。178.3 曲线估计曲线估计8.3.2 SPSS实例分析实例分析【例例8-38-3】 表表8.168.16是是1989198920012001年国家保费收入与国内生产总值的数据年国家保费收入与国内生产总值的数据，试研究保费收入与国内生产总值的关系。，试研究保费收入与国内生产总值的关系。年度保费收入国民生产总值年度保费收入国民生产总值19804.6451

13、7.81991239.721662.519817.84860.3199237826651.9198210.35301.8199352534560.5198313.25957.41994630466701984207206.7199568357494.9198533.18989.1199677666850.5198645.810201.41997108073142.7198771.0411954.519981247.376967.21988109.514922.319991393.2280579.41989142.616917.820001595.988228.11990178.518598.4

14、20012109.3694346.4188.3 曲线估计曲线估计第第1步步 分析：先用散点图的形式进行分析，分析：先用散点图的形式进行分析，看究竟是否具有一元线性关系，如果具有一元线性关系，则用一元线性回归分析，否则采用曲线估计求解。第第2步步 数据组织：数据组织：定义为三个变量，分别是“year”（年度）、“y”（保费收入）和“x”（国内生产总值），输入数据并保存。第第3步步 作散点图初步判定变量的分布趋势：作散点图初步判定变量的分布趋势：保费收入y随国内生产总值x的提高而逐渐提高，而且当国内生产总值达到一定水平后，保费收入的增幅更加明显。因此用线性回归模型表示x，y的关系是不恰当的。于是应

15、找拟合效果好的模型。198.3 曲线估计曲线估计第第4步步 进行曲线估计：进行曲线估计：依次选择菜单“分析回归曲线估计”，将所有模型全部选上，看哪种模型拟合效果更好(主要看决定系数R2)，其所有模型的拟合优度R2如下表所示。模型名称R Square（R2）直线（Linear）0.941二次曲线（Quadratic）0.973复合曲线（Compound）0.789生长曲线（Growth）0.789对数曲线（Logarithmic）0.772三次曲线（Cubic）0.990S曲线（S）0.946指数曲线（Exponential）0.789逆函数（Inverse）0.481幂函数（Power）0.9

16、72逻辑函数（Logistic）0.789从决定系数（R方即R2）来看，三次曲线效果最好（因为其R2值最大），并且方差分析的显著性水平（Sig.）为0。故重新进行上面的过程，只选“三次曲线（Cubic）”一种模型。 208.3 曲线估计曲线估计第第5步步 结果与分析。结果与分析。三次曲线模型拟合效果的检验表复相关系数R = 0.995，R2 = 0.990，经校正后的R平方值为0.989。故可判断保费收入与国内生产总值之间有较显著的三次曲线关系 方差分析表 相伴概率Sig.=0.000说明模型具有显著的统计学意义。 RR方调整R方估计值的标准误.995.990.98964.883自变量为 国内

17、生产总值。平方和df均方FSig.回归7800612.55932600204.186 617.659.000残差75775.960184209.776总计7876388.51821自变量为 国内生产总值。218.3 曲线估计曲线估计回归系数表从表中可知因变量与自变量的三次回归模型为：y=-166.430+0.029x-5.364E-7x2+5.022E-12x3未标准化系数标准化系数tSig.B标准误Beta内民生产总值.029.0051.5065.836.000国内生产总值 * 2-5.364E-7.000-2.554-4.277.000国内生产总值 * 35.022E-12.0002.09

18、3.（常数）-166.43045.399-3.666.002229.2 曲线估计曲线估计拟合效果图从图形上看出其拟合效果非常好。238.3 曲线估计曲线估计 曲线估计是一个自变量与因变量的非线性回归过程，但只能处理比较简单的模型。如果有多个自变量与因变量呈非线性关系时，就需要用其他非线性模型对因变量进行拟合，SPSS 19中提供了“非线性”过程，由于涉及的模型很多，且非线性回归分析中参数的估计通常是通过迭代方法获得的，而且对初始值的设置也有较高的要求，如果初始值选择不合适，即使指定的模型函数非常准确，也会导致迭代过程不收敛，或者只得到一个局部最优值而不能得到整体最优值。24主要内容主要内容8.

19、1 回归分析概述回归分析概述8.2 线性回归分析线性回归分析8.3 曲线估计曲线估计8.4 二元二元Logistic回归分析回归分析258.4.1 基本概念及统计原理基本概念及统计原理（1）基本概念）基本概念 Logistic回归分析就是针对因变量是定性变量的回归分析。根据因变量取值类别数量不同，Logistic回归分析又分为二元Logistic回归分析和多元Logistic回归分析。二元Logistic回归模型中因变量只可以取两个值1和0（虚拟因变量），而多元Logistic回归模型中因变量可取多个值。8.4 二元二元Logistic回归分析回归分析26（2）统计原理）统计原理logit变换

20、 8.4 二元二元Logistic回归分析回归分析Logistic回归模型logit( )ln(/1)ppp12ln(,)1kpg xxxpLogistic回归模型01 1ln1kkpxxp01 101 1exp()1exp()kkkkxxpxx27（3）统计检验）统计检验 与线性回归一样，拟合时也要考虑模型是否合适、哪些变量该保留、拟合效果如何等问题。线性回归中常用的是决定系数R2，T检验、F检验等工具在这里均不再适用。在Logistic回归中常用的检验有-2对数似然检验（-2 log（likelihood）, -2LL）、Hosmer和Lemeshow的拟合优度检验、Wald检验等。 8.

21、4 二元二元Logistic回归分析回归分析288.4.2 SPSS实例分析实例分析【例8-4】 诊断发现运营不良的金融企业是审计核查的一项重要功能，审计核查的分类失败会导致灾难性的后果。下表列出了66家公司的部分运营财务比率，其中33家在2年后破产（Y = 0），另外33家在同期保持偿付能力（Y = 1）。请用变量X1（未分配利润/总资产）、X2（税前利润/总资产）和X3（销售额/总资产）拟合一个Logistic回归模型。 8.4 二元二元Logistic回归分析回归分析X1X2X3YX1X2X3YX1X2X3YX1X2X3Y-62.8-89.51.704316.41.31-27.96.31

22、.3031.415.71.913.3-3.51.1047161.91-48.26.81.6021.5-14.411-120.8-103.22.50-3.342.71-49.2-17.20.308.55.81.51-18.1-28.81.103520.81.91-19.2-36.70.8040.65.81.81-3.8-50.60.9046.712.60.91-18.1-6.50.9034.626.41.81-61.2-56.21.7020.812.52.41-98-20.81.7019.926.72.31-20.3-17.4103323.61.51-129-14.21.3017.412.61.

23、31-194.5-25.80.5026.110.42.11-4-15.82.1054.714.61.7120.8-4.31068.613.81.61-8.7-36.32.8053.520.61.11-106.1-22.91.5037.333.43.51-59.2-12.82.1035.926.421-39.4-35.71.205923.15.51-13.1-17.60.9039.430.51.91-164.1-17.71.3049.623.81.91-381.61.2053.17.11.91-308.9-65.80.8012.571.81-57.90.70.8039.813.81.217.2-

24、22.62037.334.11.51-8.8-9.10.9059.5721-118.3-34.21.5035.34.20.91-64.7-40.1016.320.411-185.9-2806.7049.525.12.61-11.44.80.90-34.6-19.43.4018.113.54121.7-7.81.6129第第1 1步步 分析：分析：共有3个自变量，均是定量数据类型，而因变量是定性的，取值有两种状态（0和1），这是一个典型的可用二元Logistic回归解决的问题。 第第2 2步步 数据组织：数据组织：定义三个自变量X1，X2和X3，再定义因变量Y，输入数据并保存。 第第3步步 二元

25、二元Logistic回归分析设置：回归分析设置： （设置过程详见教材p195-197） 第第4步步 主要结果及分析主要结果及分析：数据的基本信息表数据的基本信息表8.4 二元二元Logistic回归分析回归分析未加权的案例aN百分比选定案例包括在分析中66100.0缺失案例0.0总计66100.0未选定的案例0.0总计66100.0a. 如果权重有效，请参见分类表以获得案例总数。给出了数据进入模型的记录数 30模型系数的检验结果模型系数的检验结果8.4 二元二元Logistic回归分析回归分析其中常数项系数为0.000，其相伴概率为1，可见常数项不显著。X1，X2和X3的相伴概率分别是0.00

26、0，0.000和0.094，如果以5%为置信的话，X1和X2的系数通过了检验，即这两个变量是显著的。BS.E,WalsdfSig.Exp (B)步骤 0常量.000.246.00011.0001.000得分dfSig.步骤 0变量X131.6211.000X219.3581.000X32.8001.094总统计量37.6133.00031模型全局检验结果表模型全局检验结果表8.4 二元二元Logistic回归分析回归分析共采用了三种检验方法，分别是步与步间的相对似然比检验、块（Block）间的相对似然比检验和模型间的相对似然比检验。由于本例中只有一个自变量组且采取强行进入法将所有变量纳入模型，所以三种检验方法的结果是一致的，模型有显著的统计