第六章回归分析

第六章回归分析什么是回归是研究自变量和因变量之间的关系形式的分析方法其目的是根据已知自变量来估计和预测因变量的总平均值6.1回归分析和相关分析相关关系的概念函数关系：反映客观事物之间存在着严格的依存关系。这种关系中，对于某一变量的每一个数值，都有另一个变量的确定的值与之对应，并且这种关系可以用一个数学表达式反映出来。例如：欧姆定律：I=U/R相关关系：反映客观事物之间的非严格、不确定的线性依存关系。其特点是：对应于一个变量的某个取值，另一个变量以一定的概率分布取值。例如身高和体重的关系。相关关系的定义：设有二维随机变量X和Y，若对应于其中任一随机变量的每一（可能的）取值都有另一个随机变量的一个确定的（条件）分布，则称X与Y存在有相关关系。相关关系的特点客观事物之间在数量上确实存在一定的内在联系。表现在一个变量发生数量上的变化，要影响另一个变量也相应地发生数量上的变化客观事物之间的数量依存关系不是确定的，具有一定的随机性。表现在给定自变量一个数值，因变量会有若干个数值和它对应，并且，因变量总是遵循一定规律围绕这些数值的平均数上下波动。其原因是影响因变量发生变化的因素不止一个。(a)直线关系(b)反直线关系(c)正曲线关系(d)反曲线关系(e)较分散的

反直线关系(f)没有关系x与y的一些可能关系的散点图回归分析与相关关系都是研究和测度两个或两个以上变量之间关系的方法。相关分析研究的是两个或两个以上随机变量之间线性依存关系的紧密程度。常用相关系数，复相关系数表示。回归分析是研究某一个随机变量（因变量）与另一个或几个普通变量（自变量）之间的数量变动的关系。回归模型通常是不可逆的。回归分析与相关关系的区别与联系区别：相关分析研究的变量都是随机变量，并且不分自变量和因变量，它们处于对称的地位；回归分析研究的变量要首先明确哪些是自变量，哪些是因变量？并且自变量是确定的普通变量，因变量是随机变量。因此，获得的回归方程是不可逆转的。联系：是研究客观事物之间相互依存关系的两个不可分割的方面。一般先进行相关分析，由相关系数的大小决定是否需要进行回归分析。在相关分析的基础上建立回归模型，以便进行推算和预测。回归分析概述Y对X的回归方程反映了X固定在x值条件下Y的平均值，即Y对X的回归就是Y对X的条件期望函数。该求解过程可称为曲线拟合。三个问题：什么形式的回归方程？最佳的回归方程？特定方程的性质？回归模型的种类根据自变量的多少，分为一元回归模型和多元回归模型根据回归模型的形式线性与否，分为线性和非线性回归模型根据回归模型是否带有虚拟变量，分为普通回归和带虚拟变量的回归模型。根据回归模型是否用滞后的因变量作自变量，分为无自回归现象的回归模型和自回归模型。6.2一元线性回归模型一元线性回归模型OLS估计（ordinaryleastsquare)估计模型的回归系数的方法：最小二乘法中心思想：通过数学模型，配合一条理想的趋势线。这条趋势线必须满足以下要求：（1）原数列的观测值与模型估计值的离差平方和为最小（2）原数列的观测值与模型估计值的离差总和为0OLS估计（ordinaryleastsquare)几个规律求回归方程式的系数往往是通过列表进行的。这里，我们以下表资料为倒，通过求某钢铁厂炼钢精炼时间对含碳量的回归方程，说明回归方程的确定。10.9100炉次含碳量(%)

(x)精炼时间(分)

(y)某钢铁厂十个炉次钢液含碳量和精炼时间10234567892.01.01.21.41.51.61.71.81.9105235130145170175190190220可以看出，x与y之间的关系近似为直线关系。我们可以对其配合一条回归直线。为计算回归方程的系数a、b，我们先对原始数据进行加工。yx2y2xy1001051301451701751901902202350.811.001.441.962.252.562.893.243.614.001000011025169002102528900306253610036100484005522590105156203255280323342418470166023.762943002642炉次x12345678910

0.91.01.21.41.51.61.71.81.92.015.0原始数据加工表所以：故精炼时间关于含碳量的回归方程为：y=

14.9525+120.635x

计算结果表明，这个方程显示着钢水溶液的含碳量每增加0.1%，则精炼时间平均来说大约要延长12.06分。根据回归方程，可以给出自变量的任一数值估计或预测因变量的平均可能值。y=

14.9525+120.6352.2=150.4445(分)

例如，求含碳量2.2%所需的精炼时间：相关系数-离差平方和的分解在一元线性回归模型中，观测值yi的取值大小上下波动，这种波动称为变差。产生变差的原因有两方面：受自变量变动的影响，即x的取值不同；其他因素（包括观测和实践中产生的误差）影响。相关系数-离差平方和的分解剩余变差（残差平方和）由观测或实验中产生的误差以及其他未加控制的因素引起的，反映的是总变差中不能被自变量x解释的部分回归变差（回归平方和）是由自变量x的变动而引起，是总变差中可由自变量x解释的部分相关系数-可决系数R2相关系数R相关系数是可决系数的平方根，它是一元线性回归模型中用来衡量两个变量之间线性相关关系强弱程度的重要指标相关系数R从定义中来看，相关系数的取值范围为-1<=R<=1，相关系数为正值表示两变量之间为正相关；为负值表示两变量之间为负相关。相关系数R的绝对值大小表示相关程度的高低。r=

1(1)

1<r=0(2)r=0(3)r=0(4)0<r<1(5)r=1(6)相关图与相关系数经验关系应当注意，相关系数r只表明x与y之间的线性关系的密切程度和方向。当r很小甚至为0时，只表明x与y之间的线性关系不密切，或不存在线性关系，并不表示x与y之间就没有关系，可能二者之间有非线性关系。如上图(4)所示，x与y之间就存在着曲线关系。回归方程在一定程度上揭示了变量之间的内在联系，但它所揭示的规律性是否显著？只有当相关系数r的绝对值大到一定程度时，用回归直线表示x与y之间的关系，并说明相关系数r显著，配置回归直线才有意义。那么｜r｜究竟大到多大时，x与y之间才存在线性关系，配置回归直线才有意义呢？显著性检验为了给出相关系数的定量刻划，相关系数显著性检验表给出了显著性水平a为0.10,0.05,0.02,0.01,0.001时的临界值。如果相关系数观测值r大于相应的临界值，则认为y与x的线性相关关系是显著的，配置回归直线有意义。否则便认为y与x的线性相关关系不显著。查表时，使用的自由度为n

m

1。其中n为样本容量，m为参与试验的因素个数，在一元回归场合下查表用自由度为n

2。显著性检验1、相关系数检验法：显著性检验2、F检验法：显著性检验3、t检验法：检验a,b是否显著异于0的方法。以b为例，即检验线性关系是否成立。预测区间预测区间是指在一定的显著性水平上，依据数理统计方法计算出来的包含预测目标未来真实值的某一区间范围。预测区间应用举例例6.2.1解题步骤第一步：绘制散点图，观察变量之间的关系，确定回归模型一般形式第二步：建立回归模型（以一元线性回归为例）第三步：计算回归系数，确定模型形式第四步：检验线性相关的显著性：相关系数检验，F检验或t检验第五步：预测：（1）点估计（2）区间估计今日作业P198，2，3，利用EXCEL操作，打印出输出表格，粘贴在作业本上。6.3多元线性回归模型研究某一个因变量与多个自变量之间的相互关系的理论和方法多元线性回归模型OSL估计二元线性回归模型二元线性回归模型二元线性回归模型回归系数的统计特征多元线性回归模型的检验用于进一步分析回归模型所反映的变量之间的关系是否符合实际，引入的影响因素是