第九章 回归分析(下).ppt

1、第9章，SPSS收益分析(下)，本章，多元线性回归的回归诊断9.5曲线估计9.6线性回归导数模型，多元线性回归的回归诊断，检验模型的假设是否成立，如单变量线性回归，通过残差分析检验假设是否成立，如正态性，独立性，等方差性等。离群点探索通过标准化残差探索影响点。所谓影响点是指非标准化残差不大，但删除后回归线变化较大的点。它们将导致拟合模型偏向数据点。冲击点的检测主要包括以下方法：(1)与杠杆率相关的检测；(2)异常情况逐渐消除；(3)是否影响收益系数的方差；冲击点的检测方法；和检测杠杆比率，杠杆比率是模型中每个观察到的独立变量的每个值的作用的度量。值越大，影响越大。一般来说，如果超过2(p/n)

2、，影响会太大。库克距离用于测量第一次观测值删除后返回系数的变化。是剩余误差和集中杠杆比率的函数。厨师的价值越大，影响力越大。根据经验，COOKs距离大于1，这通常被认为是Mahanobis影响点的距离：它是杠杆值的n-1倍，并且它是单个案例的值和所有单个案例的平均值之间的差异的度量。马哈拉诺比斯距离很大，表明该案例在一个或多个独立变量中具有极值。影响点的检测方法逐步消除了异常情况下的回归系数的变化及其标准化的DfBeta，并在从模型中删除特定的观测值后，比较了回归系数变化前后的情况。标准化的DfBeta，当它大于2/sqrt(n)时，通常被认为是影响点。预测值的变化及其标准化数据拟合标准化因从

3、模型中删除观测值而导致的预测值变化。通常，默认标准是当值大于2/sqrt(p/n)时，它是影响点。其中p是包含常项的参数个数，影响点的检测方法，是否影响回归系数的方差-协方差比，是指个别情况对参数估计的“方差-协方差矩阵”的影响程度。当它等于删除后协方差矩阵的行列式/所有情况下协方差矩阵的行列式时，它接近1，表明它的影响很小。根据经验，协方差比为| 1|3(p/n)的点可视为影响点。保存选项，该窗口将部分回归分析结果以SPSS变量的形式保存到数据编辑窗口，同时可以生成XML格式的文件，方便分析结果的网络发布。(1)在预测值框中，保存非标准化预测值、标准化预测值、调整预测值和预测值的平均标准误差

4、。(2)在2)距离框中：保存平均值或单个预测值的95(默认)置信区间的下限和上限。(3)在残差框中：保存非标准残差、标准残差等。(4)在4)影响统计框中：保存移除第一个样本后统计的变化量。总结建立回归模型的步骤，制作散点图，观察变量之间的趋势。调查数据的分布，进行必要的预处理，分析变量方差的正态性和同质性，并进行必要的变换。进行线性回归分析，包括变量的选择、残差分析，如多重共线性、残差间的相对性、残差的正态性和异方差性，并用图解法进行观察。强影响点的诊断和多重共线性问题的判断只有在全部五个步骤都通过的情况下才能被认为是统计上正确的模型，并且可以结合实际应用进行分析和预测。8.5曲线估计，8.5

5、.1曲线估计概述变量之间的相关性并不总是呈线性关系，而非线性关系也很常见。变量之间的非线性关系可以分为本质线性关系和本质非线性关系。内在线性关系意味着，尽管变量关系在形式上是非线性的，但它可以是常见的基本线性模型如下：1 .二次型，变量变换后的方程是2。复合，变量转换后的方程是3。增长，变量转换后的方程是4。对数，变量变换后的线性方程是三次的，方程是6，曲线s，方程是7，指数，方程是8，逆，方程是9，幂函数变量变换后的方程是10，变量变换后的方程是逻辑斯蒂的，变量变换后的方程是线性的。在SPSS曲线估计中，首先，当不清楚哪个模型更接近样本数据时，可以从多种备选模型中选择几个模型；然后SPSS自

6、动完成模型的参数估计，并输出回归方程显著性检验的F值、概率P值和判断系数R2等统计量。最后，根据判断系数选择最优模型，并进行预测分析。此外，SPSS曲线估计还可以利用时间作为解释变量，实现时间序列的简单回归分析和趋势外推分析。8.5.2曲线估计的基本操作是通过绘制和观察样本数据的散点图，可以大致确定解释变量和解释变量之间的相关性，为曲线拟合中的模型选择提供依据。SPSS曲线估计的基本操作步骤如下：(1)选择菜单分析回归曲线估计，出现如下图所示的窗口。(2)在“相关”框中选择解释变量。曲线估计中的解释变量可以是相关因素变量或时间变量。如果解释变量是一个相关因素变量，选择变量选项，并将解释变量分配

7、给独立框；如果选择了时间参数，则意味着解释变量是时间变量。(4)在模型中选择几个模型。(5)选择绘图模型选项绘制回归线；选择显示方差分析表，输出各模型的方差分析表和各回归系数的显著性检验结果。此时，曲线估计操作完成，SPSS将根据所选模型自动进行曲线估计，并在输出窗口显示结果。8.5.3应用示例1。教育支出的相关因素分析为了研究家庭教育支出与消费支出的关系，收集了1978-2002年全国人均消费支出与教育支出的数据。首先，绘制教育支出和消费支出的散点图。观察散点图，我们发现两个变量之间存在非线性关系。我们可以尝试选择二次曲线、三次曲线、复合函数和幂函数模型，并用曲线估计来分析本质线性模型。其中

8、，教育支出是解释变量，消费支出是解释变量。2.外出就餐费用的分析与预测利用1978-2002年的数据，对未来外出就餐的趋势进行了分析和预测。首先，画出就餐费用的顺序图，并选择菜单图顺序。序列图显示，自20世纪80年代以来，外出就餐成本呈非线性增长，自20世纪90年代中期以来，增长速度明显加快，大致呈指数形式，可通过曲线估计进行分析。由于需要进行预测，点击曲线估计主窗口中的保存按钮，会出现如下窗口：在保存变量框中：预测值表示保存预测值；剩余意味着保存剩余；预测区间表示保存预测值的默认95%置信区间的上限和下限。预测案例框：只有当解释变量为时间时，才能选择此框中的选项。从估计期到最后一个案例的预测

9、是指计算当前所有样本期的预测值；通过在观察框后输入的方式预测，计算指定采样周期内的预测值。在本例中，如果要预测2003年和2004年的值，应在“观察”框后输入27。9.6线性回归的导数模型，如果在线性回归模型中遇到异方差、多重共线性和序列相关性等问题，必须通过相应的模型改进加以消除，才能在实践中得到解释和应用。下面简要介绍三种衍生模型及其在SPSS中的实现。加权最小二乘法(解决异方差问题)岭回归(解决多重共线性问题)最优规模回归(解决自变量分类或排序的问题)在解决序列相关问题时，最直接、最简单的方法是增加新的自变量，初始回归的残差处理一般可以增加。加权最小二乘法，如果出现异方差，则采用最小二乘

10、法进行分析，这将使结果受变化较大的数据的影响最大，从而可能引起偏差。一般来说，变化小的数据更重要，而变化大的数据不太重要。如果我们能够在返回结果之前知道每个数据的重要性并对其进行加权，就可以提高模型的准确性和预测效果。然而，加权最小二乘法是有偏估计，当异方差性不明显或权重使用不当时，其效果不如OLS法。实施过程：分析-回归-线性分析-回归-权重估计，线性过程，适用于知道具体的数据重要度变量并将其选入WLS箱，权重估计过程，适用于相关的近似权重变量，但其最佳形式未知，因此将该变量选入权重变量箱并选择权重变化的形式。例如，如果自变量X和因变量Y是已知的，则进行回归分析，其中X是平均值，并通过分别混

11、合相应的N个样本来计算。显然，N越大，X的变化越小，它的权重应该越大。试着用WLS.sav的数据在两个过程中进行分配，以n为权重，用加权最小二乘法返回方程。岭回归，当数据中存在多重共线性时，我们可以通过逐步回归来剔除一些不必要的变量，这样可以剔除一些我们要分析的变量。我们能在保留所有变量的基础上进行回归吗？答案是肯定的，我们可以通过凌回归做到这一点，这在本质上是对的改进。通过放弃无偏性，我们寻求一个不太有效但更符合现实的回报，代价是损失一些数据和降低准确性。在多元回归方程中，通过最小二乘估计得到的回归系数值是对其真值=(0，1，p)=(XX)-1XY的无偏估计，由于多重共线性|(XX)|接近于零，估计值可能会偏离实际值很远，所以引入(k)=(xx-ki)可以通过以下语句实现：INCLUDESPSS，SPSS ridge reg . sav pre