一元线性回归

1、第六章 回归分析引言：回归分析是数理统计学的一个重要组成部分。它的任务是研究变量之间的相互关系，建立变量之间的经验公式，以便达到预测和控制*的目的。函数关系：例如：正方形的边长x，面积值 ；球的半径x，球的体积相关关系：例如：一个人的身高x与体重y的关系模型：（*）其中x是普通变量（非随机），y是随机变量，。x是一维变量时，（*）称为一元回归模型；x是多维变量时，（*）称为多元回归模型。f(x)称为y对x的回归函数，y=f(x) 称为y对x的回归方程。y称为因变量，而x称为自变量。也将x称为解释变量、将y称为被解释变量或响应变量。f (x)为线性函数的情形，称为线性回归。一元线性回归模型是其中

2、、是未知参数，是随机误差，假设。§6.1 一元线性回归本节的学习分四个部分：1建立一元线性回归模型：，；2估计未知参数、和，得到经验回归方程；3检验： ，：4若，将经验回归方程用于预测。一 模型例：从某年龄男孩中任意挑选10名，测量他们的身高和体重得数据：身高x(cm)157167165158155156164160158163体重y(kg)46555246424549474449体重随身高的增长而直线增长的趋势可描述为：.其中，、为常数，为随机变量，且。记身高为的学生体重为 ，（是随机变量），则，（）其中，独立，假定，（），未知。问题的一般提法： ， （1）假定。对应于的个不全相同

3、的值，有个随机变量，有，（）（2）其中，独立，（），、是未知参数。通常称（2）为一元线性回归模型，而（1）称为理论模型。二 参数、的估计1、的最小二乘估计记， ，则 其中，.所以，当 （*）时，达到极小。使达到极小的称为、的最小二乘估计量。即，这时，称为关于的经验回归方程，其图形称为回归直线。由 得 ，有回归直线必通过。记，称为在处的预测值（拟合值或回归值）。2残差平方和所达到的极小值记做，称为残差平方和（或剩余平方和）。则 。这里的由（*）确定。残差平方和的计算：.（注意：上式中的 ，不是样本方差）3、的计算：的分子：，的分母：，所以，例：男生身高和体重的例中，求回归模型中、的最小二乘估计。

4、解：，=， ，=0.8808，。由此， 为男生体重关于身高的回归方程。4、是、的无偏估计：/* ，*/5的估计可以证明：，所以 ，有无偏估计：（教材P169记做）身高体重关系的例中：， ，. . 三回归方程的显著性检验： ，：（一）检验真时，其中，/*利用了与独立，所以，于是，真时，有*/给定显著水平，若，则拒绝。例如：男生身高、体重关系的例中，判断体重对身高的线性回归关系是否显著（）。解：检验 ： ，：，。， ，拒绝，认为对的线性回归关系显著。（二）样本相关系数1.平方和分解将的离差平方和分解：+其中，（）+.其中 .注意到，=2.样本相关系数的定义记称为对的样本相关系数。因为，所以，且与同

5、号。由 ，有 .越接近于1，说明对的相关关系越紧密。3.利用检验 ： ，：真时，给定显著水平，时，拒绝。因为，所以， 解得：可查表（附表17，P273）得到。当时，拒绝，认为.例如：男生身高、体重关系的例中，.检验 ：（对的线性回归关系不显著）。取， 因为 ，所以拒绝，认为对的线性回归关系显著。进一步，因，所以，关于是正相关的。（三）-检验拒绝域： 检验、检验、-检验三者等价。四预测对任一给定的，由经验回归方程得回归值：，其中和是和的最小二乘估计。用作为的估计。预测区间：对给定的可靠性，找，使，或 可以证明：于是，另外可以证明：，及与独立。由此，=（教材P177（6.40）对给定的可靠性，由

6、，得作为的估计，其绝对误差限为（教材P178（6.42）的可靠性为置信区间为 .注：当时，。随着远离，逐渐增大。置信区间控制线形成以为中心的喇叭口形（P178图6.6）：身高体重的例：求身高在时，对应的体重的估计值、可靠性为95%的绝对误差限和置信区间。解：经验回归方程为： ，时，=156.1所以， 的可靠性为95%置信区间为：。一元线性回归小结：1. 模型，2. 数据，（）（1），；（2），；（3）.3. 、最小二乘估计， 经验回归方程：.4. 残差平方和：5. 的估计：回归剩余标准差：6. 样本相关系数： 7. 检验：，：（1）检验：，拒绝域：（2）检验：拒绝域：/*（3）-检验： 拒绝域

7、： */其中 。三种检验等价。8. 预测， ，可靠性为置信区间：.§6.2可以化为一元线性回归的非线性回归问题例：单位：天种别开始走动的时间开始玩耍的时间（1）人36090（2）大猩猩165105（3）猫2121（4）家犬2326（5）挪威鼠1114（6）乌鸫1828（7）混血弥猴1821（8）黑猩猩150105（9）松鼠猴4568（10）花鼠4575（11）白脸猴1846取回归函数（*）测数据为，（*）式两边取对数得，记 ，得。令，得到用于回归的新数据5.8864.55.1064.6543.0453.0453.1353.2582.3982.6392.893.3322.893.0455.0114.6543.8074.223.8074.3172.893.829由一元线性回归方法得，。得与的估计为：， 从而得经验回归方程为：./*曲线回归方程的比较（1）