工科数理统计-课件 7 回归分析

第7章

回归分析7.1一元正态线性回归模型7.2一元非线性回归模型7.3多元正态线性回归模型经典统计案例：次贷危机与股票市场的波动回归分析是研究变量之间关系的一种统计方法.变量之间的关系分为确定关系和不确定关系两种：确定关系是指可以用普通函数y=f(x)形式描述的关系，其中x

为自变量，y

为因变量，x值可以唯一确定y

值；不确定关系是指当x

给定时，y

值不能完全确定，而是一个随机变量，不存在一个普通的函数关系式.例如，身高和脚的大小之间的关系，化学反应中温度与生成物得率之间的关系等，都属于不确定性关系.回归分析的目标就是构建一个模型来描述这种关系，并通过样本数据确定模型，最终实现预测和控制的目的.“回归”一词是由统计学家高尔顿在研究人类遗传问题时提出的.为了研究父代与子代的身高关系，高尔顿收集了1078对父亲与儿子的身高数据.通过研究发现：(1)当父亲身高增加时，儿子的身高呈线性增加趋势，但并不完全满足线性关系，数据点围绕趋势直线上下波动.这条直线的方程为(2)当父亲身高高于平均身高时，儿子身高比他更高的比率低于1/2；当父亲身高低于平均身高时，儿子身高比他更矮的比率也低于1/2.这反映了一个规律：儿子的身高有向他们父辈的平均身高“回归”的趋势.显然，父子身高属于一种不确定性关系.设x，y分别表示父亲和儿子的身高，我们尝试建立如下模型：y=a+bx+ε，其中

ε~N(0，σ2).可以理解为，儿子的身高主要受两方面因素影响：一是父亲的身高，它决定了x和y

之间的主要关系；二是随机因素ε，在影响中起次要作用.随机因素是不可控的，因此我们希望确定主要关系y=a+bx.建立一般的回归模型：式中：x

为自变量；y

为因变量；f(x)称为回归函数.ε

为随机变量，表示随机误差.x

可以是可控变量，也可以是随机变量；如果是随机变量，分析方法基本一致.本书中假设x

为可控变量.如果x

是一维变量，该模型称为一元回归模型；如果x

是多维变量，则称为多元回归模型.回归分析的首要目的是估计回归函数.当x

是一维变量，且f(x)是一元线性函数时，对应的模型即为一元线性回归模型.7.1一元正态线性回归模型设两个变量x，Y，其中x

是可控变量，Y是随机变量.要研究他们之间的关系，首先需要获得一组样本

x1，y1，x2，y2，…，xi，yi，…，xn，yn.然后在平面直角坐标系中绘制样本的散点图，观察点的分布情况.如果这些点大致围绕一条直线上下波动，则有理由认为回归函数具有线性形式.若变量x

和Y

满足如下关系：则称x

与Y

满足一元正态线性回归模型.显然EY=β0+β1x，DY=σ2，Y=β0+β1x+ε，其中ε~N(0，σ2)，Y~N(β0+β1x，σ2).称y=β0+β1x

为Y

关于x

的线性回归函数，其中回归系数β0，β1

未知.该回归函数也称为回归直线.需要通过样本估计回归系数，得到回归直线的估计，称为回归方程：7.1.1最小二乘法确定回归系数设(x1，y1)，(x2，y2)，…，(xi，yi)，…，(xn，yn)是模型的一组观测值.一元正态线性回归模型可表示为根据模型可知，点

xi，yi

分布在回归直线附近.对于每一个xi，回归直线上对应的函数值为β0+β1xi，与真实值yi

的偏差为εi=yi

-(β0+β1xi).回归直线是使偏差达到最小的直线，因此可通过最小化总偏差平方和构建能够反映偏差大小的最小二乘函数yi=β0+β1xi+εi，i=1，2，…，n，εi~N(0，σ2)，各εi

相互独立.确定β0，β1的值，使得函数值达到最小.该非负二次函数的最小值点一定存在.令7.1.1最小二乘法确定回归系数解该方程组，得唯一的一组解回归方程为为表述方便，引入如下符号即7.1.1最小二乘法确定回归系数公安机关破案中，经常通过现场采集到的罪犯脚印长度来推断其身高.一般而言，脚长越长，身高越高.现采集12名成年男子的脚长(单位：cm)和身高(单位：cm)见表7-1，试判定脚长x

与身高y

是否存在线性关系，并确定回归方程.解

首先利用给定样本画散点图，如图7-1.7.1.1最小二乘法确定回归系数通过散点图可以发现，12个点呈线性上升趋势.构建一元线性回归模型，根据给出的样本计算因此回归方程为7.1.1最小二乘法确定回归系数估计回归系数，最经典的方法是最小二乘法，也可以应用前面学过的最大似然估计方法或贝叶斯估计方法.贝叶斯估计与先验分布有关，这里不做介绍.最大似然估计相对简单，较容易得到，这里直接给出结论：回归系数的最大似然估计和最小二乘估计相同，参数σ2的最大似然估计为

7.1.1最小二乘法确定回归系数为构造适合的单位正交阵，对上式进一步整理可得：设A=(aij)为一个n

×n阶单位正交阵，则正交阵前两行分别为7.1.1最小二乘法确定回归系数根据单位正交阵的性质，显然有其中令z=Ay，其中zT=(z1，z2，…，zn)，yT=(y1，y2，…，yn)，则7.1.1最小二乘法确定回归系数因此

由正态分布的性质，两两独立，可得z1，z2，…，zn

相互独立.即得7.1.1最小二乘法确定回归系数

7.1.2最小二乘估计的优良性

证明7.1.2最小二乘估计的优良性

7.1.2最小二乘估计的优良性

即得7.1.2最小二乘估计的优良性

因此7.1.2最小二乘估计的优良性计算协方差因此

7.1.3回归模型的线性显著性检验考察线性模型效果的好坏，首先应检验模型中变量之间是否具有线性关系，然后判断这种线性关系是否显著.由前面分析可知，残差平方和越小，所建立的线性回归模型越合理.如果线性模型合理，那么线性关系的强弱将完全由回归系数β1决定，β1

越大，x

对y

的影响越大，即线性关系越显著，所以线性显著性的检验实际是对β1

的检验，β1=0表示线性关系不显著，β1≠0表示线性关系显著.因此提出假设：若备择假设成立，则说明线性模型合理，且线性效果显著.下面给出三种等价的显著性检验方法，其检验结果完全一致.1.T

检验法由定理7.1和定理7.2的结论

7.1.3回归模型的线性显著性检验若原假设成立，且β1=0，则得到检验统计量为

2.F检验法F检验法采用方差分析的基本原理构造F检验统计量.首先将总离差平方和分解为回归平方和与残差平方和7.1.3回归模型的线性显著性检验容易验证因此

构造检验统计量7.1.3回归模型的线性显著性检验如果备择假设成立，表示模型合理性的分母值小，代表线性效果显著性的分子值大，最终会导致检验统计量F

值偏大，因此拒绝域为3.相关系数法用样本相关系数r

构造检验统计量.由样本相关系数定义可直接得由此可通过检验统计量F

的拒绝域确定r

检验统计量的拒绝域7.1.3回归模型的线性显著性检验续例7.1(1)求标准差σ

的估计值和样本相关系数r，并进一步检验模型的线性显著性.解

根据已知数据计算因此7.1.3回归模型的线性显著性检验

由标准差估计值和样本相关系数值，可以初步判定模型线性效果显著.下面继续检验假设，计算给定显著性水平α=0.025，查表F0.025(1，10)=6.94.由于F>F0.025(1，10)，因此认为模型线性回归效果显著.7.1.4利用回归模型进行预报和控制回归分析的最终目标是进行预报和控制.回归方程可以预报在任意一点x

处的y值，并通过控制x

的值实现对y值的控制.1.点预报

2.区间预报

7.1.4利用回归模型进行预报和控制因此

y0

的区间预报为当n值较大，且x0

值在样本附近时(近距离预报)，区间可近似为7.1.4利用回归模型进行预报和控制续例7.1(2)当x0=26.8时，求y0

的点预报值和近似的区间预报(α=0.05).解

点预报近似的预报区间为代入已知数值得具体区间为[167.3，184.5].3.控制

如图7-2，由区间预报可知7.1.4利用回归模型进行预报和控制那么只需满足下式所以令

7.1.4利用回归模型进行预报和控制解解方程得续例7.1(3)以0.95的概率控制y∈[168，175]，确定x的范围.所以x

的控制区间为7.2一元非线性回归模型在一元回归分析中，第一步是采集数据，画散点图，通过散点图的分布情况判断自变量x与因变量Y之间的关系，从而确定回归函数的形式.如果散点图未呈现线性趋势，则说明回归函数不是线性函数，此时应建立非线性回归模型.如果回归函数不是一元线性函数，一般的解决办法是通过适当的变换，将回归函数转化为线性函数，即利用线性回归理论解决.我们需要对各类典型的一元函数及其图像非常熟悉，才有可能通过散点图较为准确的确定回归函数形式.例如，假设根据散点图确定的回归函数是幂函数形式两边取对数变成令y*=lny，x*=lnx，β0=lna，β1=b，那么回归函数变为线性形式

在非线性回归分析中，不可回避的一个问题是：回归函数可以由散点图趋势确定，那么怎么确定回归模型呢?例如上例中，若回归模型为如下形式则会给后续转换为线性模型带来不小的麻烦，因此对于非线性情况，我们只关心回归函数.将回归函数转换成线性形式后，再给出转换后的线性模型的具体形式，如这样一切问题都归结到线性模型，包括回归效果的假设检验.下面给出几种典型的一元函数形式及其图像，见表7-2.(续表)(续表)在流感高发期，某地区连续记录了一个月内病毒感染人数，每三天统计一次累计感染人数，共得到10组数据见表7-3.求感染人数y

关于统计次数t的回归方程.解

从数据可以看出y

和t

之间显然不存在线性关系，y

值增长过快，那么取y

的对数值见表7-4，画散点图如图7-4.从图7-4可以看出lny

与t呈线性趋势，可设回归函数为指数型，即取对数转换成线性函数令

y*=lny，β0=lna，β1=b，得样本转换见表7-5计算即因此回归方程为检验回归效果的好坏，也是检验转换后的线性模型的线性效果的显著性.计算检验统计量值检验统计量值较大，线性效果显著，即原回归模型合理.7.3多元正态线性回归模型在现实问题中，往往一个指标与多个自变量有关.研究一个随机变量与多个可控变量之间的关系，就是多元回归分析.例如，化学反应产品得率与温度和催化剂的关系，身高与体重、脚长等因素的关系.假设可控变量的个数为p，那么回归函数的形式为y=f(x1，x2，…，xp).若回归函数为线性函数，则称为多元线性回归模型，否则为多元非线性回归模型.设一个随机变量y

与p

个可控变量x1，x2，…，xp

有关，如果满足y=β0+β1x1+β2x2+…+βpxp+ε，其中ε~N(0，σ2)，则称随机变量y与可控变量x1，x2，…，xp

满足多元正态线性回归模型.β0，β1，…，βp

称为回归系数.回归函数为显然，y~N(β0+β1x1+β2x2+…+βpxp，σ2).设(yi，xi1，xi2，…，xip)，i=1，2，…，n

是来自模型的一组观测值，则有yi=β0+β1xi1+β2xi2+…+βpxip+εi，εi~N(0，σ2)，i=1，2，…，n，相互独立.为了书写方便，后面采用矩阵形式表示.令观测数据的回归模型表示为建立最小二乘函数求函数的最大值点，令解得回归方程为注意：这里需要条件n>p，且(XTX)-1

存在.若(XTX)-1

不存在，表明可控变量之间存在线性关系，即出现多重共线性.对于多重共线性，解决的方法有很多种：岭回归、Lasso回归、弹性网络回归、逐步回归、主成分回归、贝叶斯回归等.每种方法都有各自的优缺点，详见专业的回归分析教材.与一元线性回归理论类似，下面不加证明地直接给出下列结论：

(4)多元线性回归模型的假设检验.①全检：检验假设H0：β1=β2=…=βp=0，H1：βi≠0，至少一个i

成立，检验统计量为

②偏检：检验假设检验统计量为

拒绝域为多元线性回归分析计算较为烦琐，通常需要借助专门的统计软件完成，这里不再举例说明。实际问题中还存在大量多元非线性回归模型，例如多项式回归、半线性回归等。随着模型复杂度的提升，相关理论也愈加深入，有兴趣的读者可进一步参考专业教材进行学习.经典统计案例：次贷危机与

股票市场的波动经典统计案例：次贷危机与股票市场的波动

2007—2008年，全球金融市场经历了次贷危机的冲击，这场危机引发了全球范围内的经济衰退和金融市场动荡.许多国家的股市大幅下跌，投资者信心受挫.为了了解次贷危机对股票市场的影响，经济学家们利用回归分析来量化这种影响，并探索其背后的机制.(1)经济学家们收集了以下数据：①

股票市场指数(因变量Y)：以标准普尔500指数(S&P500)为例，记录了危机前后一段时间内的月度收盘价.②

次贷危机虚拟变量(自变量X1)：定义一个虚拟变量，危机期间取值为1，其他时间取值为0.③

其他宏观经济变量(控制变量)：利率(X2)：联邦基金利率;通货膨胀率(X3)：消费者价格指数(CPI)同比增长率;失业率(X4)：月度失业率.(2)构建的回归模型如下：