5-土木工程科学数据分析方法课件 第四章 线性回归分析

回归分析(regression

analysis)

是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。同时，回归分析法可建立一个相

关性较好的回归方程

(函数表达式),以用于预测因变量今后的变化规律

。在各种回归分析方法中，线性回归通常是学习预测模型时首选的技术之

一。本章介绍一元及多元线性回归方法的相关知识。授课内容1

授课内容

第四章：线性回归分析Page:1

2026/1/74.1

一元线性回归模型一元线性回归是描述两个变量之间相关关系的最简单回归模型，通过一元线性回归模型的建立过程，可以了解回归分析方法的基本思想以及它在实际问题研究中的应用原理。1、回归模型的数学形式在对所研究的问题首先要收集与它有关的n组样本数据(x;,y;),其中i=1,2,...,n。若只考虑两个变量间的关系，描述上述x与y间线性关系的数学结构通常用式(4.1-

1)的形式。y=βo+β₁x+8(4.1-1)Page:2

2026/1/7授课内容1

授课内容

第四章：线性回归分析4.1

一元线性回归模型y=βo+β₁x+E

(4.1-1)式(4.1-1)将实际问题中变量y与x之间的关系用两个部分描述。一部分是由于x的变化引起y线性变化的部分，即βo+β₁x,

另一部分是由其他一切随机因素引起的，记为ε。式(4.1-1)确切地表达了变量x与y之间的密切相关关系，但密切的程度又没有到由x唯一确定y的这种特殊关系。授课内容1

授课内容

第四章：线性回归分析Page:3

2026/1/74.1

一元线性回归模型y=βo+β₁x+E

(4.1-1)式(4.

1-1)称为变量y对x的一元线性回归理论模型。

一般称y为被解释变量(因变量),x为解释变量(自变量)。式中

βo和β₁是未知参数，称β₀为回归常数，β₁为回归系

数。ε表示其他随机因素的影响。在式(4.1-1)中一般假定ε是不可观测的随机误差，授课内容它是一个随机变量，通常假定ε满足E(c)=0

Var(ε)=σ²1

授课内容

第四章：线性回归分析Page:42026/1/7(4.1-2)式中，E(ε)

表示ε的数学期望，Var(ε)表示ε的方差。对式(4.1-1)两端求期望得如下回归方程E(y)=βo+β₁x(4.1-3)4.1

一元线性回归模型y=βo+β₁x+EE(ε)=0Var(ε)=σ²授课内容1

授课内容

第四章：线性回归分析Page:5

2026/1/7(4.1-1)(4.1-2)),…,

(xn,yn),如果他们符合模型(4.1-1),则y;=βo+βx+8i,(4.1-4)式(4.1-4)即为一元线性回归模型。其均值和方差分别为：E(E;)=0(4.1-5)Page:62026/1/71

授课内容

第四章：线性回归分析4.1

一元线性回归模型y=βo+β₁x+E

(4.1-1)一般情况下，对所研究的某个实际问题，获得n组样本观测值(x₁,y₁),(x₂,y₂授课内容4.1

一元线性回归模型y;=βo+βx+8i,E(ε;)=0Var(ε;)=σ²通常还假定n组数据是独立观测的，因而y1,y₂,…

,2,

…

,授课内容随机变量。而x;(i=1,2,…,n)是确定性变量，其值是可以精确测量和控制的。对式(4.1-4)两边分别求数学期望和方差，得E(y;)=βo+β₁x;(4.1-6)Var(y;)=σ²(4.1-4)(4.1-5)都

是相互独立的1

授课内容

第四章：线性回归分析Page:7

2026/1/74.1

一元线性回归模型E(ε;)=0

(4.1-5)Var(ε;)=σ²E(y)=βo+Bx(4.1-6)Var(y,)=σ²式(4.1-6)表阴随机变量y₁,y₂,,…,y

。

的期望不等，方差相等，因而y₁,Y₂,,y,是独立的随机变量，但并不同分布。而e₁,ε₂,

…

,c,

是独立同分布的随机变量。E(y;)=βo+β₁x;,

从平均意义上表达了变量y与x的统计规律性，正确理解回归方程的这个特点对实际应用有重要的指导意义。授课内容1

授课内容

第四章：线性回归分析1

授课内容

第四章：线性回归分析4.1

一元线性回归模型(实际问题)回归分析的主要任务就是通过n组样本观测值(x₁,y₁)(i=1,2,.…,n)

对β₀和β₁进行估计。

一般用β,β分别表示βo,β₁

的估计值，则称式y=β₀+βx

(4.1-7)为y关于x的一元线性经验回归方程。???

β₀

,βy=β+β

???

y=βo+β₁x授课内容Page:9

2026/1/7中误差项ε遵从正态分布，即

ε~N(0,σ²)。由于ε₁

,

E₂,…,εn是ε的独立且同分布的样本，因而有ε;～N(0,σ²)在遵从正态分布的假定下，随机变量y;也遵从正态分布，即y;~N(βo+βx;,σ²)授课内容4.1

一元线性回归模型在实际问题的研究中，为了方便地作区间估计和假设检验，还假定模型(4.1-1)一元线性回归方程的一般形式(4.

1-4)可

用矩阵表示为Page:10(4.1-9)(4.1-10)(4.1-12)2026/1/71

授课内容

第四章：线性回归分析4.1

一元线性回归模型一元线性回归方程的一般形式(4.1-4)可

用矩阵表示为1

授课内容

第四章：线性回归分析Page:11

2026/1/7授课内容(4.1-12)4.1

一元线性回归模型2、回归参数的估计为了由样本数据得到回归参数

βo

和β₁

的理想估计值，一般使用最小二乘法估计(ordinary

leastsquares

estimate,OLSE)。所谓最小二乘法，就是寻找参数β₀

,β₁

的估计值

β₀,β₁,,使下式定义的离差平方和为极小。(4.1-13)而后，依照式(4.1-14)求出的

β,β

就称为回归参数βo和β₁

的最小二乘估计。(4.1-14)2U26/1//授课内容1

授课内容

第四章：线性回归分析4.1

一元线性回归模型2、回归参数的估计(4.1-14)按式(4.1-14)求

β₀和β₁

是一个求极值问题。由于Q

是关于β,β

的非负二次函数,因而它的最小值总是存在的。根据微积分中求极值的原理可求得β,β

的具体取值。进而，式(4.1-15)被称为y;(i=1,2,…,n)的回归拟合值，简称回归值或拟合值，式(4.1-16)中SSE称为残差平方和。ý,=βo+βx,

(4.1-15)

(4.1-16)授课内容1

授课内容

第四章：线性回归分析Page:13

2026/1/7如果残差平方和为0,则得到一条直线且所有点都在该直线上；如果残差平方和不为0,则所有点

(x;,y;)不会落在同一条直线上，所以不得不移

动直线，使其离某些点较近、离其它点较远。因此，拟合直线的过程为先计

算出各点的残差，进而算出残差平方和，再通过最小化残差平方和，最后选出最好的拟合直线(确定截距和斜率)。授课内容1

授课内容

第四章：线性回归分析Page:14

2026/1/7(4.1-15)(4.1-16)4.1

一元线性回归模型2、回归参数的估计,=βo+βx;授课内容1授课内容

第四章：线性回归分析(4.1-18)Page:15

2026/1/74.1

一元线性回归模型2、

回归参数的估计解未知数为β₀和β的二元一次方程(4.1-17),得到令式(4.1-16)右端对β和β求偏导数均为0,则有(4.1-16)(4.1-17)授课内容1授课内容

第四章：线性回归分析4.1

一元线性回归模型2、

回归参数的估计得到一个实际问题的经验回归方程ZUZO/1/1式中

，

。由于可以得到β₀和β₁

的最小二乘估计量为(4.1-19)(4.1-18)Page:164.1

一元线性回归模型3、回归方程的显著性检验当得到一个实际问题的经验回归方程

=β+βx。后，还不能直接就用它去作分析和预测，因为

Bx₀是否真正描述了变量y与x之间的统计规律性，还需运用统计方法对回归方程进行检验，

在对回归方程进行检验时，通常需要将其假设为正态分布,即

ε~N(0,c²)。常用的显著性检验方法包括t检验、F检验、相关系数、样本决定系数及统计软件计算检验值等方法。对一元线性回归分析而言，t

检验、F

检验和相关系数这三种检验的结果是等价的，因而对一元线性回归实际只需要做其中的一种检验即可。对于多元线性回归，这三种检验所考虑的问题已有所不同，是三种不同的检验，因而并不等价。Page:17

2026/1/7授课内容1

授课内容

第四章：线性回归分析4.1

一元线性回归模型3、回归方程的显著性检验t检验、F检验的原理及方法在第五章有详细介绍，本节仅针对相关系数、样本决定系数及统计软件计算检验值这三种方法进行介绍。本节以下的检验内容若无特别声明，都是在正态分布的假设下进行的。授课内容1

授课内容

第四章：线性回归分析Page:18

2026/1/74.1

一

元线性回归模型3、回归方程的显著性检验1)相关系数的显著性检验若设

(x;,y;)(i=1,2,…,n)是(x,y)的n组样本观测值，式(4.1-17)称为x与y的简单相关系数，简称相关系数。(4.1-17)式中，相关系数r

表示x与y的线性关系的密切程度，相关系数的取值范围为

r|≤1。授课内容1

授课内容

第四章：线性回归分析Page:19

2026/1/74.1

一

元线性回归模型3、回归方程的显著性检验1)相关系数的显著性检验(4.1-17)相关系数接近于1的程度与数据组数n有关。当n较小时，相关系数的绝对值容易接近于1,当n较大时，相关系数的绝对值容易偏小。特别是当n=2时，相关系数的绝对值总为1。因此，在样本容量较小时，不能仅凭相关系数较大就说明变量x与y之间有密切的线性关系。授课内容1

授课内容

第四章：线性回归分析式如式(4.1-18)所示。由式(4.1-19)可以证明式(4.1-18)的r²正好是式(4.1-17)(4.1-19)(4.1-18)(4.1-17)Page:21

2026/1/74.1

一元线性回归模型3、回归方程的显著性检验2)样本决定系数回归平方和SSR

与总离差平方和SST

之比定义称为样本决定系数，记为r²,其表达授课内容1

授课内容

第四章：线性回归分析中相关系数r的平方。决定系数r²是一个回归直线与样本观测值拟合优度的相对指标，反映了因变量的波动中能用自变量解释的比例，r²的值总是在0和1之间，也可以用百分量表示。一个线性回归模型如果充分利用了x的信息，因变量不确定性的绝大部分能由回归方程解释，则

r²越接近于1,拟合优度就越好。反之，如果r²

不大，说明以模型中给出的x对y解释的信

息还不充分，回归方程的效果不好，应进行修改，使x与y的信息得到充分利用。4.1

一

元线性回归模型3、回归方程的显著性检验2)样本决定系数1

授课内容

第四章：线性回归分析Page:22

2026/1/7授课内容(4.1-18)一般而言，回归方程的显著性检验与r²值的大小是一致的，即检验越显著(概率P值

越

小

)

,r²就越大，但是这种关系并不是完全确定的，在样本容量n很大时，对高度显著的检验结果仍然可能得到一个小的r²2。4.1

一元线性回归模型3、回归方程的显著性检验2)样本决定系数1

授课内容

第四章：线性回归分析Page:23

2026/1/7授课内容(4.1-18)Model

Summarye↵↵↵Adjusted

RStd.Errorof

thModelR↵R

SquareSquareEstimate<1↵.989a.978↵.977←710.23646←中4.1

一元线性回归模型3、回归方程的显著性检验3)用统计软件计算检验值以SPSS为例，介绍检验值的计算方法R.Square即为样本决定系数r²;

Std.ErroroftheEstimate为标准

误差估计；

Sum

of

Squares为离

均差平方和；

df

为自由度；F值

是

方

差

检

验

量

；Sig

是

significance(

显

著

性

)的

简写

;其它参数，请自查。授课内容↵ModelkVariableseVariablese↵Entered↵RemovedMethod1↵xb↵↵Enter-1

授课内容

第四章：线性回归分析a.Predictors:(Constant),x↵Page:24a.Dependent

Variable:yeb.Allrequestedvariablesentered.↵Variables

Entered/Removed⁴↵↵Unstandardized↵Standardized↵↵↵↵CoefficientseCoefficients↵↵↵ModelB↵Std.Error↵Beta<t↵Sig.↵(Constant)↵30208.913↵477.415←↵63.276<.000↵x↵4.217↵.149←.98928.323↵.000↵4.1一元线3、回归方程Model↵Sumof

Squaresdf←Mean

SquareeF↵F

Sig.Regression404656132.697←1↵404656132.697802.195.000bResidual9079845.012↵18↵504435.834↵↵↵Total413735977.709←19←↵↵授课内容IISDS

为

合

级

检

验

值

十

管

方

法Coefficientsa↵a.Dependent

Variable:y↓b.Predictors:(Constant),x↵1授课内a.Dependent

Variable:ye3)用统计ANOVAa。4.1

一元线性回归模型4、预测和控制建立回归模型的目的就是为了应用，预测和控制是回归模型最重要的应用。1)单值预测单值预测就是用单个值作为因变量新值的预测值。例如研究水泥产量y与原材料用量x的关系时，在n块单位面积的矿山上各原材料用量x;,

最后求得相应的产量y,,

建立回归方程；=β+βx;

。某