第二节 回归分析

第二节回归分析1回归分析，是研究变量间统计相依关系的重要方法，旨的恰当数学表达式，以近似表示和描述变量间统计相依关系．在寻求一个变量Y对另一个变量X或对若干变量变量Y对X的统计相依关系……类似的关系通常可以表示为其中e

表示随机误差．由于Y

对X和Y对的统计相依关系含有随机的成分，而随机误差e就表示这种随机成分．我们可以用曲线方程（如）近似地描绘2以是随机变量也可以是非随机的普通变量；变量Y

称做被解释变量或响应变量，假设被解释变量都是随机变量．只有一个回归变量的情形称做一元回归；含两个或两个以上回归变量的情形称做多元回归；当回归函数为线性函数时，称做线性回归，否则称做非线性回归．数；变量X

及称做解释变量或回归变量，可函数和称做回归函3(1)

一元线性回归的变量关系其中a和b是未知常数，称做回归系数；回归变量X可以是随机变量，也可能是可以控制的非随机的普通变量；e表示X和Y的关系中的不确定因素的成分，我们称之为随机误差，假设其期望值为0，即Ee=0．在一般回归模型中，当函数为线性函数时,得一元线性回归的变量Y

和X关系：一、一元线性回归分析1、一元线性回归模型

4

X取为值的条件下，分别独立地对变量Y进行观测，测得．若在数据点线波动，则说明Y和X的关系可以试用形如(9.11)的线性(2)

一元线性回归的数据结构可以表示为：为描绘变量X

和Y

之间存在统计相依关系，在变量线性关系表示.一般，对X和Y的联合观测结果若散点图（图9.1-9.3）上的点都大致围绕着一条直线5其中假定随机误差满足下列条件，观测无系统误差：；等方差性：，即各次观测的精度相同；不相关性：两两不相关。即由这些条件可见，观测值Y1

,Y2

,

,Yn两两不相关，且63

统计推断的基本问题回归分析的基本问题也是估计问题和检验问题．估计问题：估计回归系数和b，以及未知方差．

检验问题：主要是检验回归效果．我们是用一条直线来近似地表示变量X和Y的统计相依关系，即由观测数据建立了X和Y之间的经验公式．根据回归变量X

的给定值预测被解释变量的值，也属于估计问题．7法；方差的估计是均方残差．和b

，随机误差的方差,估计回归系数用最小二乘2、未知参数的估计一元线性回归模型中有三个未知参数：回归系数a

(1)经验回归方程以和表示a

和b

的估计量，以表示的估计量．称为(经验)回归方程；称为的回归值或拟合值．8的回归值．实际观测值与其回归相应地是观测值

值之差称做残差．

(2)回归系数的最小二乘估计估计回归系数，由最小二乘法所得估计称做最小二乘估计．回归系数a和

b的最小二乘估计

和，指使残差平方和9由此，得关于和的线性方程组：

取最小值的估计量．由微积分中求极值必要条件知，和

应满足条件：10其中方程组(9.19)称做正规方程组．可以证明，正规方程组的解就是回归系数

和b

的最小二乘估计（即和使残差平方和达到最小值），并且是无偏估计：11可以证明，方差的无偏估计量是(3)方差的无偏估计易见，经验回归方程（9.14）和（9.15）可以表示为称做均方残差，而称为标准残差12(1)离差平方和的分解4、回归效果的评价

回归效果的评价，基于在统计数据的全部信息中“被回归方程所吸纳的部分”与“剩余部分”的比较，即观测值部分的比较．被回归方程解释的部分所占比重越大，回归其变动中．数据的变动情况可以用离差平方和表示，数据效果就越显著．观测值所能提供的信息包含在被回归方程解释的部分和未被回归方程解释的总的变动可以由总（离差）平方和表示．我们证明13不难理解式中三个离差平方和的意义．总平方和平均值，恰好等于观测值的算术平均值．表示用回归值代替相应的观测值后的“剩余变动”．不难验证，回归值的算术其中分别称做总平方和、回归平方和与残差平方和，其计算公式为反映观测值总的变动；残差平方和，14(2)回归效果的显著性检验检验回归效果基于离差平方和的比较．将回归平方有关统计量的概率分布，在模型中，除了以及等．方差性和两两不相关外，需要假设随机误差服从正态分布.因此，回归平方和就是“回归值的总离差平方和”．于是，越小，即越接近回归效果就越好．和与残差平方和比较，形成统计量F．为导出15现在假设模型满足条件：相互独立且服从同一正态分布统计量F服从