回归分析教学讲义

回归分析教学讲义1.理解变量间的相关关系以及回归分析的主要任务2.会用最小二乘法建立回归直线方程一元线性回归方程的建立回归直线方程的有效性检验教学要求重点

回归分析的任务是：根据试验数据取估计回归函数，讨论有关的点估计、区间估计、假设检验等问题。特别重要的是对随机变量Y的观察值做出点预测和区间预测。确定性关系是指变量之间的关系可以用函数关系来表达的；§11.1回归概念自然界和生产实践中的许多现象之间存在着相互依赖、相互制约的关系。一、现象二、关系非确定性关系即所谓相关关系。回归分析是研究相关关系的一种数学工具。它能帮助我们从一个变量取得的值去估计另一个变量所取得值。

另一类是统计关系或称相关关系。即变量之间虽然存在着密切的关系，但从一个（或一组）变量的每一确定的值，不能求出另一变量的确定的值。可是在大量试验中，这种不确定的关系，具有统计规律性，这种联系使称为统计相关。二、关系一类是函数关系，即变量之间有着确定的关系。例如已知圆的半径R，则圆面积可以用公式S=πR2

来计算。这里S与R之间有着确定的关系。这些关系表现在量上主要有两种类型：

例1居民按人口计算的平均收入与某种商品（如糖果）的消费量之间，有着一定的联系。一般说来平均收入高的，消费量大，但平均收入相同时，这种商品的消费量却不一定是完全相同的。例2森林中的同一种树木，其断面直径与高度之间是有联系的。一般说来，较粗的树较高，但直径相同的树，其高度也不完全是相同的。

例3消费者对某种商品（比如西红柿）的月需求量与该种商品的价格有很密切的关系。一般说来，价格低时需求量大，价格高时需求量小，但同一种价格，月需求量也不完全相同。例4农作物的产量与施肥量、气候、农药也有这种不确定的关系。即便是具有确定关系的变量，由于试验误差的影响，其表现形式也具有某种程度的不确定性。如果这个模型是线性的就称为线性回归分析。这种方法是处理变量间相关关系的有力工具，是数理统计中一种常用的方法。它不仅告诉人们怎样建立变量间的数学表达式，即经验公式，而且还利用概率统计知识进行分析讨论，判断出所建立的经验公式的有效性，从而可以进行预测或估计。这在实际中是很有用的。本章主要介绍如何建立经验公式，以及建立的经验公式其有效性的判断。由一个或一组非随机变量来估计或预测某一个随机变量的观察值时，所建立的数学模型及所进行的统计分析，称为回归分析。§11.2一元线性回归方程具有相关关系的变量间虽然不具有确定的函数关系，但是可以借助函数关系表达它们之间的统计规律性。用以近似地描述具有相关关系的变量间联系的函数称为回归函数。在实际中最简单的情况是由两个变量组成的关系，比如：在经济关系中，对某种商品的需求量随价格的升降而变化；居民消费随收入的增减而改变等等。首先考察两量间的模型即我们对普通变量x取定一组不完全相同的值：分别是在处对Y的独立观察结果称是一个样本，对应的样本值记为如何利用样本来估计Y关于x的回归函数首先需要推测f(x)的形式，可将每对观察值在直角坐标系中描绘出它的相应的点，这种图称为散点图。通过散点图可以粗略的看出f(x)的形式。由于两个变量之间不存在完全确定的函数关系，因此必须把随机波动产生的影响引入方程：

其中，y是随机变量，x是普通变量，ε是随机项。随机变量yi表示对应于给定变量x的值xi的试验结果：首先一个问题是如何根据已经试验的结果以及以往的经验来确定回归函数的类型以及求出函数中的未知参数的估计，得到经验公式。（一）回归直线方程例1以家庭为单位，某种商品年需求量与该商品价格之间的一组调查数据如表11-1所示：统计结果表明，尽管价格不变，需求仍可能变化，价格改变需求也可能不变。但是，总的趋势是家庭对该商品的年需求量随着价格的上升而减少，它们之间存在着密切的联系。我们要找出近似地描述它们关系的回归函数，也就是求出d对于p的回归方程。价格Pi(xi)需求量di(yi)1523.5232.32.72.52.42.62.52.8231.53.31.23.51.2的类型，先把10对数据作为直角坐标平面上点的坐标，并把这些点画在直角坐标平面上。这样得到的图称为散点图（如图11-1）。为了确定回归函数可以看出，所有的点大体上分布在一条直线的周围。即需求量与价格大致成线性关系。要求出回归直线方程L，就是要找出a与b的估计量因而可以决定该种商品的需求量y对价格x的回归函数为直线型。我们把y对x的回归函数记为b称为回归系数y对x的回归直线方程达到最小。使直线L总的看来与所有的散点最接近。通常是固定x使得散点的纵坐标回归直线上点的纵坐标

一般地，两个变量的线性回归模型为取一个容量为n的样本并且假定：平面上任意一条直线L的方程记为用数值描述点与它沿平行纵轴方向到L的远近距离。定量地描述了直线L与n个观察点总的接近程度。Q的大小随直线L的位置变化而变化。也就是说，Q的值随着a和b的不同而变化。它是a和b的二元函数。称它们为a及b的最小二乘估计。要找一条总的看来最接近这n个点的直线，就要找出使得Q达到最小值的求法可以利用微积分中的极值求法：整理后得：由（1）得：代入（2）得（11.8）（11.9）于是所求的回归直线方程为（11.10）可以用（11.9）与（11.8）式分别计算为了清楚起见，可先列出回归计算表如表11-2：可以证明，确实使平方和Q达到最小。例1以家庭为单位，某种商品年需求量与该商品价格之间的一组调查数据如表11-1所示：Pi(xi)di(yi)1523.5232.32.72.52.42.62.52.8231.53.31.23.51.2比如求例子1中的回归方程5174646.215.2966.256.56.765.67.844.593.9610.894.212.25∑252554.9767.28所求回归方程应为继续计算：解：设回归直线方程为EX

P2231、2、3、4

（二）相关性检验说明x值的变化对y没有影响，因而变量x不能控制变量y，用回归直线方程(11.10)不能描述两个变量y与x之间的关系。用最小二乘法求出的回归直线并不需要事先假定y与x一定具有线性相关的关系。就方法——最小二乘法——本身而言，对任意一组数据都可以用（11.8)及(11.9)式给它们配一条直线，描述y与x间的关系。因此，需要判断y对x的回归函数的类型是否为线性的，也就是这两个变量间是否真的存在着近似线性的关系。如果在中的b=0因此，在相关性检验时首先提出待检假设：（二）相关性检验因此，在相关性检验时首先提出待检假设：若H0成立，则x与y之间无线性关系，由此建立的回归直线方程就无效。若拒绝H0，则x与y之间存在线性关系，由此建立的回归直线方程就有效。用方差分析的方法进行检验。为此先介绍平方和分解公式，将x对y的线性影响与随机波动引起的变差分开。总的离差平方和对于任意n组数据：总的离差平方和总和Syy余和Q回归和U在平方和分解公式中须证明成立带入上式左端得＝a=0(1)=0∴(2)证明：（3）证明：是回归直线上的点说明也是样本值的均值点在平方和分解公式中其中U是对于其平均值的离差平方和它反映了的分散程度。而这一分散性是由于在回归直线上它们所对应的横坐标，的变化引起的，并且通过x对于y的线性影响表现出来，称它为回归平方和。（11.1）可更清楚地看出x对y的线性影响与U的关系。至于Q，它是对应于变量x的每一个取值xi

，变量y的实际观察值yi与回归函数值的离差平方和，是由总误差中分离出x对y的线性影响之外的其余因素而产生的误差。在（11.2）式假定下，Q完全是随机项ε引起的，称为残差平方和或剩余平方和。在平方和分解公式中如果U的值大，说明U起主导作用，建立的回归方程回归效果显著。如果Q的值大，说明Q起主导作用，建立的回归方程回归效果不显著。则建立的回归方程无效可以证明：回归直线方程若建立的回归直线方程无效，则b=0认为x与y之间存在线性相关关系。1.首先提出待检假设2.根据假设选取统计量在H。成立的条件下所选统计量3.对于给定的检验水平α，构造小概率事件(4)根据样本观察值计算统计量F的值并与临界值Fα比较；

(5)下结论：如果F>Fα

，则否定假设H0只有存在线性相关关系的变量之间建立回归直线方程才是有意义的。为了检验相关性，有时选用样本相关系数为统计量，并把R的临界值列成相关系数表(附表七)。不过这两种检验方法是一致的。这是由于因此，F的值较大等价于|R|较大，可以用以例1为例，说明相关性检验的步骤：可以用（11.9）与（11.8）式分别计算为了清楚起见，可先列出回归计算表如表11-3：例1以家庭为单位，某种商品年需求量与该商品价格之间的一组调查数据如表11-1所示：Pi(xi)di(yi)1523.5232.32.72.52.42.62.52.8231.53.31.23.51.25174646.215.2966.256.56.765.67.844.593.9610.894.212.25∑252554.9767.2874.68解：设回归直线方程为2512.2597.295.766.2542.251.441.44相关性检验的一般步骤1.提出待检假设2.列出方差计算表（如表11－3）根据表中结果继续计算：3.列出方差分析表方差来源离差平方和自由度F的值F的临界值显著性4.7812.18-7.5311.860.32方差来源回归和余和总和离差平方和U≈11.86Q≈0.32Syy=12.18自由度189F的值F≈296.5F的临界值显著性在显著性一栏内画一个※在显著性一栏内再画一个※4.结论：拒绝假设H0认为b≠0变量x对y有极其显著的线性影响。所求回归方程应为继续计算：§11.3可线性化的回归方程

如果由观察数据画出的散点图或由经验认为两个变量之间不能用线性关系近似描述，但是其中有些回归方程仍可化为线性回归方程，那么只要进