回归分析_2009-12-19.doc

回归分析1. 回归分析的提出相关分析关注成对变量的两个数据集之间的关系。然而它不能说明这两个数据集反映的变量是如何关联起来的。具体说来主要是以下两个问题：一是它不能用于从一组数据预测另一组数据；二是它不能精确定位到那些偏离数据整体关系的异常点。如果我们希望解决这些问题，我们就必须转向回归分析和残差的研究。但是，要使回归分析的研究有价值，必须首先确保待研究的变量间有显著的相关关系。2. 回归分析的目的 在两变量的情形下，数据点集可以在平面上以两变量为轴的坐标系中绘出。这种图叫散点图，通常具有线性相关关系的两变量数据点集会聚集成一条近似的细长的带。回归分析的目的就是在点集中找到“最适合”(称之为拟合)的一条直线。这条直线能最好地描述两变量之间的关系。一旦我们找到了这条直线，我们就可以根据某个给定的变量的值来预测与之对应的另一个变量的值。如果线性相关的关系是显著的，则我们的预测值就具有很大的价值。预测值与真实值之间的偏差称之为“残差”。回归线可以应用于多种情形，比如：(1) 对两变量整体关系的一个简单表达；(2) 筛选出与整体关系偏差较大的异常点；(3) 对某些缺失的数据进行预测。 在相关分析中，两变量之间的关系是对称的；而在相关分析中则不然，通常我们会认为一个变量是独立的()，而另一个不是独立的()。3. 残差如果关于两变量的数据集，其相关系数为1，则在散点图中的数据点完全在一条直线上。如果数据点集之间的相关关系不是完美的，则数据不在一条直线上。此时仍然可以确定一条拟合直线，而数据点与其在直线上的预测值之间的偏差为残差。4. 最小二乘准则 要确定一条与数据点集拟合最好的直线，必须确定一个标准，称之为准则。最小二乘准则是在实际中使用最为广泛的一种准则。最小二乘准则的标准是：残差平方和最小。这一准则最早由Legendre和Gauss提出。Legendre曾这样描述关于最小二乘法的思想：“使误差平方和达到最小，在各方程的误差之间建立了一种平衡，从而防止了某一极端误差对决定参数的估计值取得支配地位，而这有助于揭示系统的更接近真实的状态。”在最小二乘准则的下，参数的估计问题(一旦参数确定，直线方程即可确定)就转化为最优化问题，可采用求导法则来解决。5. 实例 某商场统计各月某产品的销售情况，发现数据如下表所示，试用回归模型描述表中数据并预测九月份的销售数量。月份56789销售数量12182129解：假定所求方程为，则5、6、7、8月份的销售数量的预测值(即在直线上的点)为：、。真实值和预测值之间的残差为、。令残差平方和表示为：.为求参数和，只须计算， .因此，拟合直线为，带入得九月份销售数量为33.5。6. 线性回归的效果与统计量 在第1节中已经提过，线性回归是否有效与数据点集是否具有强相关性有关。如果这种强相关性不存在，则线性回归的计算结果不一定有意义。在实际中，我们经常采用统计量对线性回归计算出的结果的价值进行评判。为此，我们先换一种角度来理解残差。 真实数据中的因变量集(如第5节中的销售数量)本身具有波动。这种波动可用数据点与平均值之间偏差的平方和描述(类似于方差的定义)：，.如果将理解为一条与轴平行的直线(如第3节中的红色线所示)，则也可看作残差。比较和，显然的残差要小一些，并且之所以小于的原因是我们有一个好的拟合模型拟合直线。事实上，如果令预测值为，则有. ()上式的含义是：总误差=误差中被模型解释的部分+残差。定义统计量为. 显然，统计量越接近于1，表示模型能解释的总误差越大，因而模型的价值越高。7. 最大似然估计与最小二乘法如果假定误差是正态的，那么可以证明最大似然估计计算出的结果恰为