《现代信息分析与预测》-第六章

6．1回归分析法概述所谓回归分析法（regressionanalysis），是在掌握大量观察数据的基础上，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式（称回归方程式）。

在实际中最简单的情形是由两个变量组成的关系。考虑用下列模型表示。但是，由于两个变量之间不存在确定的函数关系，因此必须把随机波动考虑进去，故引入模型如下：其中是随机变量，是普通变量，是随机变量（称为随机误差）。，

6．1．1回归分析与相关分析回归分析法是通过研究两个或两个以上变量之间的相关关系对未来进行预测的一种数学方法

回归分析法主要解决以下两个问题：一是确定几个变量之间是否存在相关关系，如果存在，找出他们之间适当的数学表达式；二是根据一个或几个变量的值，预测或控制另一个或几个变量的值，且要估计这种控制或预测可以达到何种精确度。相关关系包括两种类型：确定关系和不确定关系。用以说明一个或几个变量变动时，另一变量或几个变量平均变动的情况，这种关系式就称为回归方程。用以说明一个或几个变量变动时，另一变量或几个变量平均变动的情况，这种关系式就称为回归方程。

6．1．2回归分析的基本步骤1．根据自变量与因变量的现有数据以及关系，初步设定回归方程；2．求出合理的回归系数；3．进行相关性检验，确定相关系数；4．在符合相关性要求后，即可根据已得的回归方程与具体条件相结合，来确定事物的未来状况，并计算预测值的置信区间。6．1

.3回归分析中的几个常用概念实际值：实际观测到的研究对象特征数据值，用Yi表示。理论值：根据实际值我们可以得到一条倾向线，用数学方法拟合这条曲线，可以得到数学模型，根据这个数学模型计算出来的、与实际值相对应的值，称为理论值，用yi表示。预测值：实际上也是根据数学模型计算出来的理论值，但它是与未来对应的理论值，用Y0表示。6．2一元线性回归分析法回归分析中，当研究的因果关系只涉及因变量和一个自变量时，叫做一元回归分析。引例：为了研究某一化学反应过程中温度对产品得率的影响，测得数据如下：6．2．1一元线性回归模型一般地，当随机变量与普通变量之间有线性关系时，可设，（1）其中为待定系数。设是取自总体的一组样本,而是该样本的观察值，在样本和它的观察值中的是取定的不完全相同的数值，而样本中的在试验前为随机变量，在试验或观测后是具体的数值，一次抽样的结果可以取得对数据，则有（2）其中相互独立。在线性模型中，由假设知（3）回归分析就是根据样本观察值寻求的估计。对于给定值，取

（4）作为的估计，方程（4）称为关于的线性回归方程或经验公式，其图像称为回归直线，称为回归系数。6．2．2最小二乘估计对样本的一组观察值…

，对每个，由线性回归方程（4）可以确定一回归值，这个回归值与实际观察值之差刻画了与回归直线的偏离度。一个自然的想法就是：对所有，若与的偏离越小，则认为直线与所有试验点拟和得越好。令

上式表示所有观察值与回归直线的偏离平方和，刻划了所有观察值与回归直线的偏离度。所谓最小二乘法就是寻求的估计，使利用微分的方法，求关于的偏导数，并令其为零，得整理得称此为正规方程组，解正规方程组得

（5）其中，，若记则

（5）或（6）叫做的最小二乘估计．而为关于的一元经验回归方程。6．2．3最小二乘估计的性质定理1

若为的最小二乘估计，则分别是的无偏估计，且

6．2．4回归方程的显著性检验前面关于线性回归方程的讨论是在线性假设，下进行的。这个线性回归方程是否有实用价值，首先要根据有关专业知识和实践来判断，其次还要根据实际观察得到的数据运用假设检验的方法来判断。由线性回归模型，可知，当时，就认为与之间不存在线性回归关系，故需检验如下假设：．为了检验假设，先分析对样本观察值的差异，它可以用总的偏差平方和来度量，记为，由正规方程组，有==．令，，则有定理2在线性模型假设下，当成立时，与相互独立，且对的检验有三种本质相同的检验方法：

—检验法；—检验法；相关系数检验法．在介绍这些检验方法之前，先给出，，的计算方法．1．检验法由定理1，若则由定理2知，为的无偏估计，=且与相互独立。故取检验统计量，由给定的显著性水平，查表得，根据试验数据计算的值，当时，拒绝，这时回归效应显著；当时，接受，此时回归效果不显著。2．2．检验法由定理2，当为真时，取统计量由给定显著性水平，查表得2．检验法，根据试验数据计算的值，若时，拒绝，表明回归效果显著；若时，接受，此时回归效果不显著。3．相关系数检验法

我们知道，相关系数的大小可以表示两个随机变量线性关系的密切程度。对于线性回归中的变量与，其样本的相关系数为，它反映了普通变量与随机变量之间的线性相关程度，故取检验统计量给定的显著性水平，查相关系数表得根据试验数据计算的值，当时，拒绝，表明回归效果显著；当时，接受，表明回归效果不显著。6．2．5预测问题在回归问题中，若回归方程经检验效果显著，这时回归值与实际值就拟合较好，因而可以利用它对因变量的新观察值进行点预测或区间预测。对于给定的，由回归方程可得到回归值称为在的预测值，的测试值与预测值之差称为预测误差。在实际问题中，预测的真正意义就是在一定的显著性水平下，寻找一个正数，使得实际观察值以的概率落入区间内，即，由定理1知，，又因与相互独立，且所以，，故对给定的显著性水平，求得故得的置信度为的预测区间为

而易见，的预测区间长度为对给定，越靠近样本均值越小，预测区间长度小，效果越好。当很大，并且较接近时，有，则预测区间近似为6．3多元线性回归分析法当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。多元线性回归分析是一元线性回归分析的自然推广形式，两者在参数估计、显著性检验等方面非常相似。

6．3．1多元线性回归模型设影响因变量Y的自变量个数为P，并分别记为所谓多元线性模型是指这些自变量对Y的影响是线性的，即，其中，是与无关的未知参数，称Y为对自变量的线性回归函数。记n组样本分别是，则有其中相互独立且，这个模型称为多元线性回归的数学模型。令Y=

X=

则上述数学模型可用矩阵形式表示为其中是n维随机向量，它的分量相互独立。6．3．2最小二乘估计与一元线性回归类似，我们采用最小二乘法估计参数，引入偏差平方和=最小二乘估计就是求=使得=因为