线性回归分析讲义

1、线性回归分析一、变量间的两类关系在现实世界的许多问题中，普遍存在着变量之间的关系一般来说，变量之间的关系分为确定性与非确定性两类确定性关系是指变量间的关系是完全已知、可以用函数关系来描述的，例如电学中的欧姆定律 等而非确定性关系是指变量间有关系，但不是确切的函数关系，例如人的年龄和血压之间的关系，一般来讲，人的年龄大一些，血压就高一些，但这两者间的关系不是确定的函数关系再如人的身高与体重，农作物的亩产量与施肥量之间等等都属于非确定性关系这种不呈现确定性关系的变量间关系又称为相关关系回归分析是研究相关关系的一种数学工具，也是一种最常用的统计方法本书只讨论简单的一元线性回归分析变量本身也可分为两类

2、，若一个变量是人力可以控制的、非随机的，称为控制变量或可控变量，另一类变量是随机的、且随着控制变量的变化而变化，则这个变量称为随机变量或不可控变量控制变量与随机变量之间的关系称为回归关系，若两个变量都是随机的，则它们之间的关系称作是相关关系两者的差别在于把自变量当作控制变量还是随机变量，这就是回归与相关的不同之处但在解决实际时常常把不可控的自变量当作可控变量处理一般对自变量不加区分 二、一元线性回归模型设变量与之间具有相关关系，其中为可控变量，作为自变量；为随机变量，作为因变量（也称响应变量）当固定时，是一个随机变量，因此有一个分布，如果该分布的期望存在，其期望值应为的函数，记为，称之为关于的

3、回归函数，就是我们要寻找的相关关系的表达式当为关于的线性函数时，称为线性回归，否则称为非线性回归进行回归分析时首先是回归函数形式的选择，这需要通过专业知识、实际经验和具体的观测才能确定，当只有一个自变量时，通常可采用画散点图的方法进行选择请看下例：例1 在某种产品表面进行腐蚀刻线试验，得到腐蚀深度与腐蚀时间对应得一组数据，如表9-4所示表9-4腐蚀深度与腐蚀时间的数据5101520304050507090120610101316171923252946一般地，对于取定一组不完全相同的值，设为在对应处的观测结果，称，是一个样本，相应地，称为样本观测值一般以表格给出我们把每一数对看作直角坐标系中的

4、一个点，在图上画出这个点，称该图为散点图例1的散点图见图9-1图9-1 腐蚀深度及腐蚀深度的散点图从散点图我们发现11个点基本上在一条直线附近，这说明两个变量有一个线性关系，即，记轴方向上的误差为，进一步假定，这里均为与无关的常数则上述假设可写为 为常数 （2.1）我们称（2.1）为一元线性回归模型研究一元线性回归模型的主要内容有：参数估计、显著性检验、预测与控制等三、回归系数的最小二乘估计取的个不完全相等的值，得到一组独立观测样本，在模型（2.1）下，可得如下数据结构通常采用最小二乘法估计，记各次拟合误差的平方和为寻找，使达到最小，即 （2.2）这样得到的称为的最小二乘估计，可通过对求偏导数

5、并令它们等于0求出，即 （2.3）这组方程称为正规方程组，经过整理可得 （2.4）记 解（2.4）可得 （2.5） 称方程 为线性回归方程，其图形称为回归直线除了估计回归系数外，还需估计未知参数注意到反映出观测误差的大小，样本中有关的信息可由回归方程的残差来体现，称为残差平方和可以证明： （2.6）于是，这说明 是的一个无偏估计为便于计算，通常将作如下分解： 即 （2.7）例2 求例1中关于的回归方程，并求的无偏估计解 经计算得 代入得 于是 回归直线为 的估计值为 四、线性假设的显著性检验从以上求回归直线的过程可以看出，对任意给出的对观测数据，不管与是否真的有线性关系，都可以求出对的回归直线

6、，但这样给出的回归直线不一定有意义要判断回归直线是否有意义，就必须对回归方程是线性的假设作显著性检验注意到在线性回归方程中，如果，则表示不依赖而变化，那么这时求出的回归方程就没有意义，称回归方程不显著；如果，那么当变化时，随的变化而线性变化，这时称回归方程是显著的因此，对回归方程是否有意义作判断 就是要作如下的显著性检验： （2.8）考虑的最小二乘估计，可以证明 又由（2.6）式，知且与相互独立，故统计量 （2.9）在为真时，检验统计量可取 （2.10）在水平下，检验的拒绝域为 （2.11）该检验称为检验当拒绝时，回归方程是显著的，表明回归方程有意义反之，就认为回归方程是不显著的由于若，有，因

7、此检验统计量也可以取仿照方差分析的做法，数据总的偏差平方和记为称 为回归平方和，由（2.7）式，平方和有分解式 利用上述记号，则在为真时，检验统计量 （2.12）在水平下，检验的拒绝域为 （2.13）该检验称为检验，显然它与检验是等价的利用（2.9）式，我们还可得到参数的置信度为的置信区间： （2.14）另外，评价回归方程好坏的有一个常用指标：回归决定系数（复行列式系数），定义如下：，显然，回归决定系数越接近1，说明回归方程拟合得越好。例3 试求例1中参数的置信度为的置信区间，并对回归方程进行显著性检验（）解 由例2知 ， ， ，查表得 代入（2.14）式，则得参数的置信度为的置信区间为 关于

8、回归方程的显著性检验我们作检验，由于 故拒绝，即认为回归方程是显著的回归决定系数 五、用回归模型作预测当回归方程经过检验是显著的后，可以用它来作预测所谓预测是指在给定的处，而这一点处并未进行观测或者暂时无法观测，需要以一定的置信度预测对应的因变量的取值范围，这种预测的取值范围称为预测区间下面我们来讨论该预测区间的构造，由（2.1）式知的取值应在回归值附近，于是，我们可以取一个以为中心的区间 来作为的预测区间，为确定的值，需要利用如下结果：且与相互独立，再由因此，可以构造随机变量以作为的预测区间的枢轴量（类似于置信区间的处理），则的置信水平为的预测区间为：， （2.15） 从（2.15）式可以看

9、出，预测区间的长度与样本量，的偏差平方和，到的距离有关越靠近，预测的精度就越高；另外，若样本中的取值较为集中，那么就较小，就会导致预测精度的降低因此，在收集数据或安排试验时，要使控制变量的取值尽量分散，以提高回归方程的预测精度 当较大（如）时，分布可以用正态分布近似，进一步，若与相距不远时，可近似取为： （2.16）线性回归模型除了预测外还可以用来控制，这里不再讨论例4 利用例1中的试验结果，预测腐蚀时间为75s时，腐蚀深度的范围解 将代入回归方程，得 取，则，又由例2、例3知：， 应用（2.16）式，则当腐蚀时间为75s时，腐蚀深度的置信水平为0.95的预测区间为：六、非线性回归的线性化处理

10、在实际中常会遇到更为复杂的非线性回归问题，此时一般是采用变量代换法将非线性回归模型线性化，再按线性回归方法处理。举例如下：1、模型 令 ，则有2、模型 令 ，则有3、模型 令 ，则有4、模型 令 ，则化为多元线性回归模型七、多元线性回归分析在实际问题中影响随机变量的自变量不是一个而是多个，先看一例子例：某种水泥在凝固时放出的热量(cal/g)与水泥中的4种化学成分有关：3Ca0.Al2O3. .现记录了13组观测值，试求对4种化学成分的回归方程编号x1x2x3x4y172666078.52129155274.331156820104.34113184787.6575263395.6611559

11、22109.27371176102.78131224472.59254182293.1102147426115.911140233483.8121166912113.3131068812109.4一般地，如自变量有个： 模型为： 设有组不同的样本观测值，数据一般以如下表格给出：编号12数据结构为：为了方便，常采用矩阵表达式，记则模型可写为：1、 参数估计 用最小二乘法，可得总的离差平方和：；回归平方和：残差（误差）平方和： 2、 回归方程的显著性检验 检验Y与自变量之间是否有线性关系，就是要检验假设检验统计量： 对于给定的显著水平，由样本观测值算得的值，若，则拒绝，即认为回归效果显著；否则，接

12、受，认为回归效果不显著。同样，多元回归也有：回归决定系数，定义是相同的：3、 单个回归系数的显著性检验 当回归方程显著时，仅说明不全为0，但并不排出某一个或几个，若某个，这意味着与无关或地作用被其它的的作用所代替，因而可将这个从回归方程里剔出掉。这就是说当检验整个回归方程显著时，还必须检验每个变量对有无显著性影响，这相当于检验检验统计量为其中是对角线上第个元素（对应于）。对于给定的显著水平，由样本观测值算得的值，若，则拒绝，认为对有显著性影响；否则，接受，认为对无显著性影响，应从回归方程中剔出。回归系数的置信水平为的置信区间为： 其中 4、 预测假设已由样本算得回归方程为：经检验，回归效果及各回归系数都是显著的。当给定一组固定值，对应的估计值为：的置信水平为的置信区间为： 其中 5、 逐步回归6、 练习题多元回归分析 已知煤的有机成分主要为碳（C）、氢（H）、氧（O）、氮（N）等元素，由于变质程度不同，它们的含量（%）也不同，煤的性能也不同。今搜集各种煤的样品10块，分别测得碳、氢、氧、氮与高发热量（卡/克）的含量如下表，试求高发热量与碳、氢、氧、氮的关系。CHON高发热量695.5241.567005763525200824.3121.9