《回归分析一》课件

回归分析(一)回归分析(一)1什么是回归分析？

(Regression)从一组样本数据出发，确定变量之间的数学关系式对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著利用所求的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确程度回归一词是怎么来的?？什么是回归分析？

(Regression)从一组样本数据出发2回归模型

(regressionmodel)回答“变量之间是什么样的关系？”方程中运用1个数值型的因变量(响应变量，dependentvariable)被预测的变量1个或多个数值型的或分类的自变量(解释变量，independentvariable)用于预测的变量3. 主要用于预测和估计回归模型

(regressionmodel)回答“变量之间3回归分析与相关分析的区别相关分析中，变量x变量y处于平等的地位；回归分析中，变量y称为因变量，处在被解释的地位，x称为自变量，用于预测因变量的变化相关分析中所涉及的变量x和y都是随机变量；回归分析中，因变量y是随机变量，自变量x可以是随机变量，也可以是非随机的确定变量相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量x对变量y的影响大小，还可以由回归方程进行预测和控制回归分析与相关分析的区别相关分析中，变量x变量y处于4回归模型的类型回归模型的类型5第一节：一元线性回归一元线性回归模型参数的最小二乘估计回归直线的拟合优度显著性检验第一节：一元线性回归一元线性回归模型6一元线性回归模型一元线性回归模型7一元线性回归涉及一个自变量的回归因变量y与自变量x之间为线性关系被预测或被解释的变量称为因变量(dependentvariable)，用y表示用来预测或用来解释因变量的一个或多个变量称为自变量(independentvariable)，用x表示因变量与自变量之间的关系用一条线性方程来表示一元线性回归涉及一个自变量的回归8一元线性回归模型描述因变量y如何依赖于自变量x和误差项

的方程称为回归模型一元线性回归模型可表示为y=b0+b1x+ey是x的线性函数(部分)加上误差项线性部分反映了由于x的变化而引起的y的变化误差项

是随机变量反映了除x和y之间的线性关系之外的随机因素对y的影响是不能由x和y之间的线性关系所解释的变异性0和1称为模型的参数一元线性回归模型描述因变量y如何依赖于自变量x和误差9一元线性回归模型

(基本假定,高斯假设)为保证回归模型的估计值具有无偏性、有效性、和一致性，需要满足以下假设：误差项ε是一个期望值为0的随机变量，即E(ε)=0。对于一个给定的x值，y的期望值为E(y)=0+

1x对于所有的x值，ε的方差σ2都相同误差项ε是一个服从正态分布的随机变量，且相互独立。即ε~N(0,σ2)独立性意味着对于一个特定的x值，它所对应的ε与其他x值所对应的ε不相关对于一个特定的x值，它所对应的y值与其他x所对应的y值也不相关一元线性回归模型

(基本假定,高斯假设)为保证回归模型的估计10

方差非齐性方差非齐性11回归方程

(regressionequation)描述y的平均值或期望值如何依赖于x的方程称为回归方程一元线性回归方程的形式如下E(y)=0+1x方程的图示是一条直线，也称为直线回归方程0是回归直线在y轴上的截距，是当x=0时y的期望值1是直线的斜率，称为回归系数，表示当x每变动一个单位时，y的平均变动值回归方程

(regressionequation)描述12估计的回归方程

(estimatedregressionequation)一元线性回归中估计的回归方程为用样本统计量和代替回归方程中的未知参数和，就得到了估计的回归方程总体回归参数和

是未知的，必需利用样本数据去估计其中：是估计的回归直线在y轴上的截距，是直线的斜率，它表示对于一个给定的x的值，是y的估计值，也表示x每变动一个单位时，y的平均变动值

估计的回归方程

(estimatedregression13参数的最小二乘估计参数的最小二乘估计14最小二乘估计使因变量的观察值与估计值之间的离差平方和达到最小来求得和的方法。即用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小最小二乘估计使因变量的观察值与估计值之间的离差平方和达到最小15最小二乘估计

(图示)xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾最小二乘估计

(图示)xy(xn,yn)(x1,y16最小二乘法

(

和的计算公式)

根据最小二乘法的要求，可得求解和的公式如下最小二乘法

(和的计算公式)根据最小二17估计方程的求法

(例题分析)【例】求不良贷款对贷款余额的回归方程回归方程为：y=-0.8295+0.037895x回归系数=0.037895表示，贷款余额每增加1亿元，不良贷款平均增加0.037895亿元

估计方程的求法

(例题分析)【例】求不良贷款对贷款余额的回归18估计方程的求法

(例题分析)不良贷款对贷款余额回归方程的图示估计方程的求法

(例题分析)不良贷款对贷款余额回归方程的图示19回归直线的拟合优度回归直线的拟合优度20变差因变量

y的取值是不同的，y取值的这种波动称为变差。变差来源于两个方面由于自变量x的取值不同造成的除x以外的其他因素(如x对y的非线性影响、测量误差等)的影响对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差来表示变差因变量y的取值是不同的，y取值的这种波动称为变差。21变差的分解

(图示)xyy{}}变差的分解

(图示)xyy{}}22离差平方和的分解

(三个平方和的关系)SST=SSR+SSE总平方和(SST){回归平方和(SSR)残差平方和(SSE){{离差平方和的分解

(三个平方和的关系)SST=SSR23离差平方和的分解

(三个平方和的意义)总平方和(SST)反映因变量的n个观察值与其均值的总离差回归平方和(SSR)反映自变量x的变化对因变量y取值变化的影响，或者说，是由于x与y之间的线性关系引起的y的取值变化，也称为可解释的平方和残差平方和(SSE)反映除x以外的其他因素对y取值的影响，也称为不可解释的平方和或剩余平方和离差平方和的分解

(三个平方和的意义)总平方和(SST)24判定系数r2

(coefficientofdetermination)回归平方和占总离差平方和的比例反映回归直线的拟合程度取值范围在[0,1]之间

R21，说明回归方程拟合的越好；R20，说明回归方程拟合的越差判定系数等于相关系数的平方，即R2＝(r)2判定系数r2

(coefficientofdeter25判定系数r2

(例题分析)【例】计算不良贷款对贷款余额回归的判定系数，并解释其意义

判定系数的实际意义是：在不良贷款取值的变差中，有71.16%可以由不良贷款与贷款余额之间的线性关系来解释，或者说，在不良贷款取值的变动中，有71.16%是由贷款余额所决定的。也就是说，不良贷款取值的差异有2/3以上是由贷款余额决定的。可见不良贷款与贷款余额之间有较强的线性关系判定系数r2

(例题分析)【例】计算不良贷款对贷款余额回26估计标准误差

(standarderrorofestimate)实际观察值与回归估计值离差平方和的均方根反映实际观察值在回归直线周围的分散状况对误差项的标准差的估计，是在排除了x对y的线性影响后，y随机波动大小的一个估计量反映用估计的回归方程预测y时预测误差的大小

计算公式为注：例题的计算结果为1.9799估计标准误差

(standarderrorofesti27显著性检验显著性检验28模型整体线性关系的检验检验自变量与因变量之间的线性关系是否显著残差均方(MSE)是σ2(即误差项的方差)的无偏有效估计量，而当回归系数为0时，回归均方(MSR)才是σ2的无偏有效估计量。因此，将MSR与MSE加以比较，应用F检验来分析二者之间的差别是否显著。如果差别显著，则说明回归系数并不等于零，方程具有较好的线性关系。回归均方：回归平方和SSR除以相应的自由度(自变量的个数p)残差均方：残差平方和SSE除以相应的自由度(n-p-1)模型整体线性关系的检验检验自变量与因变量之间的线性关系是否显29模型整体线性关系的检验

(检验的步骤)提出假设H0：1=0线性关系不显著2.计算检验统计量F确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F作出决策：若F>F,拒绝H0；若F<F,不能拒绝H0模型整体线性关系的检验

(检验的步骤)提出假设2.30模型整体线性关系的检验

(例题分析)提出假设H0：1=0不良贷款与贷款余额之间的线性关系不显著计算检验统计量F确定显著性水平=0.05，并根据分子自由度1和分母自由度25-2找出临界值F=4.28作出决策：若F>F,拒绝H0，线性关系显著模型整体线性关系的检验

(例题分析)提出假设确定显著性水31单个回归系数的检验在一元线性回归中，等价于线性关系的显著性检验检验x与y之间是否具有线性关系，或者说，检验自变量x对因变量y的影响是否显著理论基础是回归系数

的抽样分布单个回归系数的检验在一元线性回归中，等价于线性关系的显著性检32回归系数的检验

(样本统计量的分布)

是根据最小二乘法求出的样本统计量，它有自己的分布的分布具有如下性质分布形式：正态分布数学期望：标准差：由于未知，需用其估计量sy来代替得到的估计的标准差回归系数的检验

(样本统计量的分布)是根据最小二33回归系数的检验

(检验步骤)提出假设H0:b1=0(没有线性关系)H1:b1

0(有线性关系)计算检验的统计量确定显著性水平，并进行决策t>t，拒绝H0；t<t，不能拒绝H0回归系数的检验

(检验步骤)提出假设确定显著性水平，34回归系数的检验

(例题分析)对例题的回归系数进行显著性检验(＝0.05)提出假设H0：b1=0H1：b1

0计算检验的统计量

t=7.533515>t=2.201，拒绝H0，表明不良贷款与贷款余额之间有线性关系回归系数的检验

(例题分析)对例题的回归系数进行显著性检35用SPSS进行回归分析用SPSS进行回归分析36第二节利用回归方程进行

估计和预测点估计区间估计第二节利用回归方程进行

估计和37利用回归方程进行估计和预测根据自变量x的取值估计或预测因变量y的取值估计或预测的类型点估计y的平均值的点估计y的个别值的点估计区间估计y的平均值的置信区间估计y的个别值的预测区间估计利用回归方程进行估计和预测根据自变量x的取值估计或预测因38点估计点估计39点估计2.点估计值有y的平均值的点估计y的个别值的点估计在点估计条件下，平均值的点估计和个别值的的点估计是一样的，但在区间估计中则不同对于自变量x的一个给定值x0，根据回归方程得到因变量y的一个估计值点估计2.点估计值有对于自变量x的一个给定值x0，根40

y的平均值的点估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y的平均值的一个估计值E(y0)，就是平均值的点估计在前面的例子中，假如我们要估计贷款余额为100亿元时，所有分行不良贷款的平均值，就是平均值的点估计。根据估计的回归方程得y的平均值的点估计利用估计的回归方程，对于自变量x41y的个别值的点估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y的一个个别值的估计值，就是个别值的点估计比如，如果我们只是想知道贷款余额为72.8亿元的那个分行(这里是编号为10的那个分行)的不良贷款是多少，则属于个别值的点估计。根据估计的回归方程得y的个别值的点估计利用估计的回归方程，对于自变量x的42区间估计区间估计43区间估计点估计不能给出估计的精度，点估计值与实际值之间是有误差的，因此需要进行区间估计对于自变量

x的一个给定值x0，根据回归方程得到因变量y的一个估计区间区间估计有两种类型置信区间估计(confidenceintervalestimate)预测区间估计(predictionintervalestimate)区间估计点估计不能给出估计的精度，点估计值与实际值之间是有误44置信区间估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y的平均值的估计区间，这一估计区间称为置信区间(confidenceinterval)

E(y0)

在1-置信水平下的置信区间为式中：sy为估计标准误差置信区间估计利用估计的回归方程，对于自变量x的一个给定值45置信区间估计

(例题分析)

【例】求出贷款余额为100亿元时，不良贷款95%的置信区间解：根据前面的计算结果，已知n=25，sy=1.9799，t(25-2)=2.0687置信区间为当贷款余额为100亿元时，不良贷款的平均值在2.1422亿元到3.7778亿元之间置信区间估计

(例题分析)【例】求出贷款余额为100亿元46预测区间估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y的一个个别值的估计区间，这一区间称为预测区间(predictioninterval)

y0在1-置信水平下的预测区间为预测区间估计利用估计的回归方程，对于自变量x的一个给定值47预测区间估计

(例题分析)【例】求出贷款余额为72.8亿元的分行，不良贷款95%的预测区间

解：根据前面的计算结果，已知n=25，sy=1.9799，t(25-2)=2.0687置信区间为贷款余额为72.8亿元的那个分行，其不良贷款的预测区间在-2.2467亿元到6.1067亿元之间预测区间估计

(例题分析)【例】求出贷款余额为72.8亿元的48影响区间宽度的因素置信水平(1-)区间宽度随置信水平的增大而增大数据的离散程度(s)区间宽度随离散程度的增大而增大3. 样本容量区间宽度随样本容量的增大而减小4. 用于预测的xp与x的差异程度区间宽度随xp与x的差异程度的增大而增大影响区间宽度的因素置信水平(1-)49置信区间、预测区间、回归方程xpyxx预测上限置信上限预测下限置信下限置信区间、预测区间、回归方程xpyxx预测上限置信上限预测50用SPSS进行估计和预测用SPSS进行估计和预测51用SPSS进行估计和预测其中：pre_1为预测(均)值；sep_1为预测均值的标准差；(lmci_1，umci_1)为置信区间；(lici_1，uici_1)为预测区间用SPSS进行估计和预测其中：pre_1为预测(均)值；52第三节：残差分析用残差证实模型的假定用残差检测异常值和有影响的观测值第三节：残差分析用残差证实模型的假定53残差

(residual)因变量的观测值与根据估计的回归方程求出的预测值之差，用e表示反映了用估计的回归方程去预测而引起的误差确定有关误差项的假定是否成立检测有影响的观测值残差

(residual)因变量的观测值与根据估计的回归方程54用残差证实模型的假定用残差证实模型的假定55残差图

(residualplot)表示残差的图形关于x的残差图关于y的残差图(适用于多变量回归分析)标准化残差图学生化残差图标准化残差直方图正态概率图用于判断误差的假定是否成立检测有影响的观测值残差图

(residualplot)表示残差的图形56残差图

(形态及判别)残差图

(形态及判别)57残差图

(例题分析)残差图

(例题分析)58标准化残差

(standardizedresidual)残差除以它的标准差后得到的数值。计算公式为

是第i个残差的标准差，其计算公式为

标准化残差

(standardizedresidual)59标准化残差图用以直观地判断误差项服从正态分布这一假定是否成立若假定成立，标准化残差的分布也应服从正态分布(可从直方图上观察)在标准化残差图中，大约有95%的标准化残差在-2到+2之间标准化残差图用以直观地判断误差项服从正态分布这一假定是否60标准化残差图

(例题分析)标准化残差图

(例题分析)61标准化残差直方图横轴为标准化残差，纵轴为其频数。判断其是否服从正态分布，适用于样本量较大的情况，否则难以识别。标准化残差直方图横轴为标准化残差，纵轴为其频数。62正态概率图是累积误差的观测分布与正态假设条件下的期望分布的比较，如果实际与假设条件完全吻合，那么散点将完全落在由原点出发的参照线上。横轴为观测的累积概率，纵轴为期望的累积概率。正态概率图是累积误差的观测分布与正态假设条件下的期望分布的比63Durbin-Watson检验

dL和dU值通过查表获得(根据自变量数和样本量来查)用于检验误差项是否自相关。查表：当DW<dL时，存在正的自相关当DW>4-dL时，存在负的自相关当dU<DW<4-dU时，不存在自相关。

灰色区间灰色区间DW44-dL4-dududL0拒绝原假设存在正相关不能拒绝原假设拒绝原假设存在负相关Durbin-Watson检验

dL和dU值通过查表获得64用残差检测异常值和

有影响的观测值用残差检测异常值和

有影响的观测值65异常值

(outlier)如果某一个点与其他点所呈现的趋势不相吻合，这个点就有可能是异常点，或称为野点如果异常值是一个错误的数据，比如记录错误造成的，应该修正该数据，以便改善回归的效果如果是由于模型的假定不合理，使得标准化残差偏大，应该考虑采用其他形式的模型，比如非线性模型，或可以考虑增加样本量如果完全是由于随机因素而造成的异常值，则应该保留该数据在处理异常值时，若一个异常值是一个有效的观测值，不应轻易地将其从数据集中予以剔出异常值

(outlier)如果某一个点与其他点所呈现的趋势不66异常值

(识别)异常值也可以通过标准化残差或学生化残差来识别如果某一个观测值所对应的标准化残差较大，就可以识别为异常值一般情况下，当一个观测值所对应的标准化残差小于-2或大于+2时，就可以将其视为异常值异常值

(识别)异常值也可以通过标准化残差或学生化残差来识别67有影响的观测值如果某一个或某一些观测值对回归的结果有强烈的影响，那么该观测值或这些观测值就是有影响的观测值一个有影响的观测值可能是一个异常值，即有一个的值远远偏离了散点图中的趋势线对应一个远离自变量平均值的观测值或者是这二者组合而形成的观测值，有影响的观测值如果某一个或某一些观测值对回归的结果有强烈的影68有影响的观测值

(图示)不存在影响值的趋势不存在影响值的趋势存在影响值的趋势有影响的观测值

(图示)不存在影响值的趋势不存在影响值的趋势69杠杆率点

(leveragepoint)如果自变量存在一个极端值，该观测值则称为高杠杆率点(highleveragepoint)在一元回归中，第i个观测值的杠杆率用hi表示，其计算公式为

如果一个观测值的杠杆率就可以将该观测值识别为有高杠杆率的点

一个有高杠杆率的观测值未必是一个有影响的观测值，它可能对回归直线的斜率没有什么影响SPSS可计算中心化杠杆值，为高杠杆值减去杠杆率点

(leveragepoint)如果自变量存在一个70高杠杆率点

(图示)高杠杆率点高杠杆率点

(图示)高杠杆率点71[Plots子对话框]用于选择需要绘制的回归分析诊断或预测图左侧给出绘图时可用的中间变量列表。

绘制标准化残差图，可供选择的有直方图和正态P-P图

对每个自变量绘出它与因变量残差的散布图,主要用于回归诊断.[Plots子对话框]用于选择需要绘制的回归分析诊断或预测图72回归模型对因变量的原始预测值.进行标准化后回归模型的预测值，此时均数为0，标准差为1。去掉当前记录时,当前模型对该记录的因变量的预测值。回归预测值的标准差。模型预测值对因变量观测值的原始残差。

进行标准化后的残差，此时均数为0，标准差为1。

标准化法采用的是U变换，如果采用t变换，则产生的就是此处的学生化残差，亦称史氏化残差。去掉当前记录时，当前模型对该记录因变量的预测值对因变量观测值的原始残差，通过观察它可以发现可疑的强影响点。

上一个预测值进行t变换后的结果。

[Save子对话框]用来存储中间结果(1/3)回归模型对因变量的原始预测值.进行标准化后回归模型的预测值，73[Save子对话框]用来存储中间结果(2/3)

马哈拉诺夫距离，表示记录值离样本平均值的距离若某条记录多个自变量出现大的”马氏”距离，则该记录可能为离群值。

表示如果将该记录去除，模型残差会发生多大的变化一般而言，Cook's距离大于1，则该记录可能为离群值或强影响点。杠杆值，用于测量该数据点的影响强度若该数值大于2*P/N(P为变量数，N为样本量),则该记录可能为强影响点。一些专门用于判断强影响点的统计量。

即DifferenceinBeta的缩写，表示去除某观察值后其回归系数的变化值。

标准化的DfBeta值，当它大于2/Sqrt(N)时(Sqrt()为平方根函数)，该点可能为强影响点。即Differenceinfitvalue的缩写，表示去除某观察值后,其预测值的变化值。

标准化的DfFit值，当它大于2/Sqrt(P/N)时，该点可能为强影响点。

去除某观察值之后协方差阵与含全部观察值的协方差阵的比率其绝对值大于3*P/N时，该观察值可能为强影响点。

一系列用于测量数据点与拟合模型距离的指标。

[Save子对话框]用来存储中间结果(2/3)马哈拉诺夫74要求给出均数的可信区间或个体参考值范围的上下界，默认为95%区间可以自己设定概率值。将模型信息存入XML文件以便进一步分析.以上选择默认会在当前数据集中建立新变量;Savetonewfile组则可以让用户将这些新变量存储到一个新的SPSS数据文件中。

[Save子对话框]用来存储中间结果(3/3)要求给出均数的可信区间或个体参考值范围的上下界，默认为95%75用SPSS进行残差分析用SPSS进行残差分析76一元回归分析的练习家庭人均支出的分析雇员数据的分析一元回归分析的练习家庭人均支出的分析77结束结束78回归分析(一)回归分析(一)79什么是回归分析？

(Regression)从一组样本数据出发，确定变量之间的数学关系式对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著利用所求的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确程度回归一词是怎么来的?？什么是回归分析？

(Regression)从一组样本数据出发80回归模型

(regressionmodel)回答“变量之间是什么样的关系？”方程中运用1个数值型的因变量(响应变量，dependentvariable)被预测的变量1个或多个数值型的或分类的自变量(解释变量，independentvariable)用于预测的变量3. 主要用于预测和估计回归模型

(regressionmodel)回答“变量之间81回归分析与相关分析的区别相关分析中，变量x变量y处于平等的地位；回归分析中，变量y称为因变量，处在被解释的地位，x称为自变量，用于预测因变量的变化相关分析中所涉及的变量x和y都是随机变量；回归分析中，因变量y是随机变量，自变量x可以是随机变量，也可以是非随机的确定变量相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量x对变量y的影响大小，还可以由回归方程进行预测和控制回归分析与相关分析的区别相关分析中，变量x变量y处于82回归模型的类型回归模型的类型83第一节：一元线性回归一元线性回归模型参数的最小二乘估计回归直线的拟合优度显著性检验第一节：一元线性回归一元线性回归模型84一元线性回归模型一元线性回归模型85一元线性回归涉及一个自变量的回归因变量y与自变量x之间为线性关系被预测或被解释的变量称为因变量(dependentvariable)，用y表示用来预测或用来解释因变量的一个或多个变量称为自变量(independentvariable)，用x表示因变量与自变量之间的关系用一条线性方程来表示一元线性回归涉及一个自变量的回归86一元线性回归模型描述因变量y如何依赖于自变量x和误差项

的方程称为回归模型一元线性回归模型可表示为y=b0+b1x+ey是x的线性函数(部分)加上误差项线性部分反映了由于x的变化而引起的y的变化误差项

是随机变量反映了除x和y之间的线性关系之外的随机因素对y的影响是不能由x和y之间的线性关系所解释的变异性0和1称为模型的参数一元线性回归模型描述因变量y如何依赖于自变量x和误差87一元线性回归模型

(基本假定,高斯假设)为保证回归模型的估计值具有无偏性、有效性、和一致性，需要满足以下假设：误差项ε是一个期望值为0的随机变量，即E(ε)=0。对于一个给定的x值，y的期望值为E(y)=0+

1x对于所有的x值，ε的方差σ2都相同误差项ε是一个服从正态分布的随机变量，且相互独立。即ε~N(0,σ2)独立性意味着对于一个特定的x值，它所对应的ε与其他x值所对应的ε不相关对于一个特定的x值，它所对应的y值与其他x所对应的y值也不相关一元线性回归模型

(基本假定,高斯假设)为保证回归模型的估计88

方差非齐性方差非齐性89回归方程

(regressionequation)描述y的平均值或期望值如何依赖于x的方程称为回归方程一元线性回归方程的形式如下E(y)=0+1x方程的图示是一条直线，也称为直线回归方程0是回归直线在y轴上的截距，是当x=0时y的期望值1是直线的斜率，称为回归系数，表示当x每变动一个单位时，y的平均变动值回归方程

(regressionequation)描述90估计的回归方程

(estimatedregressionequation)一元线性回归中估计的回归方程为用样本统计量和代替回归方程中的未知参数和，就得到了估计的回归方程总体回归参数和

是未知的，必需利用样本数据去估计其中：是估计的回归直线在y轴上的截距，是直线的斜率，它表示对于一个给定的x的值，是y的估计值，也表示x每变动一个单位时，y的平均变动值

估计的回归方程

(estimatedregression91参数的最小二乘估计参数的最小二乘估计92最小二乘估计使因变量的观察值与估计值之间的离差平方和达到最小来求得和的方法。即用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小最小二乘估计使因变量的观察值与估计值之间的离差平方和达到最小93最小二乘估计

(图示)xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾最小二乘估计

(图示)xy(xn,yn)(x1,y94最小二乘法

(

和的计算公式)

根据最小二乘法的要求，可得求解和的公式如下最小二乘法

(和的计算公式)根据最小二95估计方程的求法

(例题分析)【例】求不良贷款对贷款余额的回归方程回归方程为：y=-0.8295+0.037895x回归系数=0.037895表示，贷款余额每增加1亿元，不良贷款平均增加0.037895亿元

估计方程的求法

(例题分析)【例】求不良贷款对贷款余额的回归96估计方程的求法

(例题分析)不良贷款对贷款余额回归方程的图示估计方程的求法

(例题分析)不良贷款对贷款余额回归方程的图示97回归直线的拟合优度回归直线的拟合优度98变差因变量

y的取值是不同的，y取值的这种波动称为变差。变差来源于两个方面由于自变量x的取值不同造成的除x以外的其他因素(如x对y的非线性影响、测量误差等)的影响对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差来表示变差因变量y的取值是不同的，y取值的这种波动称为变差。99变差的分解

(图示)xyy{}}变差的分解

(图示)xyy{}}100离差平方和的分解

(三个平方和的关系)SST=SSR+SSE总平方和(SST){回归平方和(SSR)残差平方和(SSE){{离差平方和的分解

(三个平方和的关系)SST=SSR101离差平方和的分解

(三个平方和的意义)总平方和(SST)反映因变量的n个观察值与其均值的总离差回归平方和(SSR)反映自变量x的变化对因变量y取值变化的影响，或者说，是由于x与y之间的线性关系引起的y的取值变化，也称为可解释的平方和残差平方和(SSE)反映除x以外的其他因素对y取值的影响，也称为不可解释的平方和或剩余平方和离差平方和的分解

(三个平方和的意义)总平方和(SST)102判定系数r2

(coefficientofdetermination)回归平方和占总离差平方和的比例反映回归直线的拟合程度取值范围在[0,1]之间

R21，说明回归方程拟合的越好；R20，说明回归方程拟合的越差判定系数等于相关系数的平方，即R2＝(r)2判定系数r2

(coefficientofdeter103判定系数r2

(例题分析)【例】计算不良贷款对贷款余额回归的判定系数，并解释其意义

判定系数的实际意义是：在不良贷款取值的变差中，有71.16%可以由不良贷款与贷款余额之间的线性关系来解释，或者说，在不良贷款取值的变动中，有71.16%是由贷款余额所决定的。也就是说，不良贷款取值的差异有2/3以上是由贷款余额决定的。可见不良贷款与贷款余额之间有较强的线性关系判定系数r2

(例题分析)【例】计算不良贷款对贷款余额回104估计标准误差

(standarderrorofestimate)实际观察值与回归估计值离差平方和的均方根反映实际观察值在回归直线周围的分散状况对误差项的标准差的估计，是在排除了x对y的线性影响后，y随机波动大小的一个估计量反映用估计的回归方程预测y时预测误差的大小

计算公式为注：例题的计算结果为1.9799估计标准误差

(standarderrorofesti105显著性检验显著性检验106模型整体线性关系的检验检验自变量与因变量之间的线性关系是否显著残差均方(MSE)是σ2(即误差项的方差)的无偏有效估计量，而当回归系数为0时，回归均方(MSR)才是σ2的无偏有效估计量。因此，将MSR与MSE加以比较，应用F检验来分析二者之间的差别是否显著。如果差别显著，则说明回归系数并不等于零，方程具有较好的线性关系。回归均方：回归平方和SSR除以相应的自由度(自变量的个数p)残差均方：残差平方和SSE除以相应的自由度(n-p-1)模型整体线性关系的检验检验自变量与因变量之间的线性关系是否显107模型整体线性关系的检验

(检验的步骤)提出假设H0：1=0线性关系不显著2.计算检验统计量F确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F作出决策：若F>F,拒绝H0；若F<F,不能拒绝H0模型整体线性关系的检验

(检验的步骤)提出假设2.108模型整体线性关系的检验

(例题分析)提出假设H0：1=0不良贷款与贷款余额之间的线性关系不显著计算检验统计量F确定显著性水平=0.05，并根据分子自由度1和分母自由度25-2找出临界值F=4.28作出决策：若F>F,拒绝H0，线性关系显著模型整体线性关系的检验

(例题分析)提出假设确定显著性水109单个回归系数的检验在一元线性回归中，等价于线性关系的显著性检验检验x与y之间是否具有线性关系，或者说，检验自变量x对因变量y的影响是否显著理论基础是回归系数

的抽样分布单个回归系数的检验在一元线性回归中，等价于线性关系的显著性检110回归系数的检验

(样本统计量的分布)

是根据最小二乘法求出的样本统计量，它有自己的分布的分布具有如下性质分布形式：正态分布数学期望：标准差：由于未知，需用其估计量sy来代替得到的估计的标准差回归系数的检验

(样本统计量的分布)是根据最小二111回归系数的检验

(检验步骤)提出假设H0:b1=0(没有线性关系)H1:b1

0(有线性关系)计算检验的统计量确定显著性水平，并进行决策t>t，拒绝H0；t<t，不能拒绝H0回归系数的检验

(检验步骤)提出假设确定显著性水平，112回归系数的检验

(例题分析)对例题的回归系数进行显著性检验(＝0.05)提出假设H0：b1=0H1：b1

0计算检验的统计量

t=7.533515>t=2.201，拒绝H0，表明不良贷款与贷款余额之间有线性关系回归系数的检验

(例题分析)对例题的回归系数进行显著性检113用SPSS进行回归分析用SPSS进行回归分析114第二节利用回归方程进行

估计和预测点估计区间估计第二节利用回归方程进行

估计和115利用回归方程进行估计和预测根据自变量x的取值估计或预测因变量y的取值估计或预测的类型点估计y的平均值的点估计y的个别值的点估计区间估计y的平均值的置信区间估计y的个别值的预测区间估计利用回归方程进行估计和预测根据自变量x的取值估计或预测因116点估计点估计117点估计2.点估计值有y的平均值的点估计y的个别值的点估计在点估计条件下，平均值的点估计和个别值的的点估计是一样的，但在区间估计中则不同对于自变量x的一个给定值x0，根据回归方程得到因变量y的一个估计值点估计2.点估计值有对于自变量x的一个给定值x0，根118

y的平均值的点估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y的平均值的一个估计值E(y0)，就是平均值的点估计在前面的例子中，假如我们要估计贷款余额为100亿元时，所有分行不良贷款的平均值，就是平均值的点估计。根据估计的回归方程得y的平均值的点估计利用估计的回归方程，对于自变量x119y的个别值的点估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y的一个个别值的估计值，就是个别值的点估计比如，如果我们只是想知道贷款余额为72.8亿元的那个分行(这里是编号为10的那个分行)的不良贷款是多少，则属于个别值的点估计。根据估计的回归方程得y的个别值的点估计利用估计的回归方程，对于自变量x的120区间估计区间估计121区间估计点估计不能给出估计的精度，点估计值与实际值之间是有误差的，因此需要进行区间估计对于自变量

x的一个给定值x0，根据回归方程得到因变量y的一个估计区间区间估计有两种类型置信区间估计(confidenceintervalestimate)预测区间估计(predictionintervalestimate)区间估计点估计不能给出估计的精度，点估计值与实际值之间是有误122置信区间估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y的平均值的估计区间，这一估计区间称为置信区间(confidenceinterval)

E(y0)

在1-置信水平下的置信区间为式中：sy为估计标准误差置信区间估计利用估计的回归方程，对于自变量x的一个给定值123置信区间估计

(例题分析)

【例】求出贷款余额为100亿元时，不良贷款95%的置信区间解：根据前面的计算结果，已知n=25，sy=1.9799，t(25-2)=2.0687置信区间为当贷款余额为100亿元时，不良贷款的平均值在2.1422亿元到3.7778亿元之间置信区间估计

(例题分析)【例】求出贷款余额为100亿元124预测区间估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y的一个个别值的估计区间，这一区间称为预测区间(predictioninterval)

y0在1-置信水平下的预测区间为预测区间估计利用估计的回归方程，对于自变量x的一个给定值125预测区间估计

(例题分析)【例】求出贷款余额为72.8亿元的分行，不良贷款95%的预测区间

解：根据前面的计算结果，已知n=25，sy=1.9799，t(25-2)=2.0687置信区间为贷款余额为72.8亿元的那个分行，其不良贷款的预测区间在-2.2467亿元到6.1067亿元之间预测区间估计

(例题分析)【例】求出贷款余额为72.8亿元的126影响区间宽度的因素置信水平(1-)区间宽度随置信水平的增大而增大数据的离散程度(s)区间宽度随离散程度的增大而增大3. 样本容量区间宽度随样本容量的增大而减小4. 用于预测的xp与x的差异程度区间宽度随xp与x的差异程度的增大而增大影响区间宽度的因素置信水平(1-)127置信区间、预测区间、回归方程xpyxx预测上限置信上限预测下限置信下限置信区间、预测区间、回归方程xpyxx预测上限置信上限预测128用SPSS进行估计和预测用SPSS进行估计和预测129用SPSS进行估计和预测其中：pre_1为预测(均)值；sep_1为预测均值的标准差；(lmci_1，umci_1)为置信区间；(lici_1，uici_1)为预测区间用SPSS进行估计和预测其中：pre_1为预测(均)值；130第三节：残差分析用残差证实模型的假定用残差检测异常值和有影响的观测值第三节：残差分析用残差证实模型的假定131残差

(residual)因变量的观测值与根据估计的回归方程求出的预测值之差，用e表示反映了用估计的回归方程去预测而引起的误差确定有关误差项的假定是否成立检测有影响的观测值残差

(residual)因变量的观测值与根据估计的回归方程132用残差证实模型的假定用残差证实模型的假定133残差图

(residualplot)表示残差的图形关于x的残差图关于y的残差图(适用于多变量回归分析)标准化残差图学生化残差图标准化残差直方图正态概率图用于判断误差的假定是否成立检测有影响的观测值残差图

(residualplot)表示残差的图形134残差图

(形态及判别)残差图

(形态及判别)135残差图

(例题分析)残差图

(例题分析)136标准化残差

(standardizedresidual)残差除以它的标准差后得到的数值。计算公式为

是第i个残差的标准差，其计算公式为

标准化残差

(standardizedresidual)137标准化残差图用以直观地判断误差项服从正态分布这一假定是否成立若假定成立，标准化残差的分布也应服从正态分布(可从直方图上观察)在标准化残差图中，大约有95%的标准化残差在-2到+2之间标准化残差图用以直观地判断误差项服从正态分布这一假定是否138标准化残差图

(例题分析)标准化残差图

(例题分析)139标准化残差直方图横轴为标准化残差，纵轴为其频数。判断其是否服从正态分布，适用于样本量较大的情况，否则难以识别。标准化残差直方图横轴为标准化残差，纵轴为其频数。140正态概率图是累积误差的观测分布与正态假设条件下的期望分布的比较，如果实际与假设条件完全吻合，那么散点将完全落在由原点出发的参照线上。横轴为观测的累积概率，纵轴为期望的累积概率。正态概率图是累积误差的观测分布与正态假设条件下的期望分布的比141Durbin-Watson检验

dL和dU值通过查表获得(根据自变量数和样本量来查)用于检验误差项是否自相关。查表：当DW<dL时，存在正的自相关当DW>4-dL时，存在负的自相关当dU<DW<4-dU时，不存在自相关。

灰色区间灰色区间DW44-dL4-dududL0拒绝原假设存在正相关不能拒绝原假设拒绝原假设存在负相关Durbin-Watson检验

dL和dU值通过查表获得142用残差检测异常值和

有影响的观测值用残差检测异常