5.1一元线性回归的参数估计.doc

第五章 回归分析“回归”一词的由来1889年，英国著名统计学家Francils Galton在研究父代与子代身高之间的关系时发现：身材较高的父母，他们的孩子也较高，但这些孩子的平均身高并没有他们父母的平均身高高；身材较矮的父母，他们的孩子也较矮，但这些孩子的平均身高却比他们父母的平均身高高。Galton把这种后代的身高向中间值靠近的趋势称为“回归现象”。后来，人们把由一个变量的变化去推测另一个变量的变化的方法称为“回归方法”。回归分析的基本概念1. 函数关系和统计相关关系在一个实际问题中会遇到多个变量，可将其区分为自变量和因变量. 自变量和因变量之间的关系又可分为两类：函数关系和统计相关关系.函数关系：自变量的取值确定后，因变量的值就完全确定. 如圆的半径与圆的面积就构成函数关系.统计相关关系：自变量的取值确定后，因变量的值并不完全确定；通过大量的统计数据又可发现它们之间确实存在着某种关系，这时称自变量与因变量之间构成统计相关关系. 如（1）商品定价与该商品的销售量；（2）日期与某地的日平均气温；（3）父母身高与儿子成年后的身高；上述自变量与相应因变量之间都构成统计相关关系.2. 回归分析回归分析（Regression Analysis），就是一种研究自变量（是可控变量时）与因变量（随机变量）之间的统计相关关系的统计方法. 从自变量和因变量的一组观测数据出发，寻找一个函数式，将变量之间的统计相关关系近似表达出来，这个能近似表达自变量与因变量之间关系的函数，称为回归函数.3. 回归的分类依照回归函数是线性的还是非线性的，分为线性回归（Linear Regression）和非线性回归（Nonlinear Regression）；依照回归函数是一元函数还是多元函数，又可分为一元回归（Simple Regression）和多元回归（Multiple Regression）.5.1 一元线性回归中的参数估计一元线性回归的数学模型与主要问题(1) 一元回归的数学模型 一元回归模型：设是一元可控变量，是依赖于的随机变量，二者具有相关关系，通常称为自变量或预报变量；为因变量或响应变量.设想的值由两部分组成：一部分是由能够决定的，记为；另一部分是由其它未加考虑的因素（包括随机因素）所产生的影响，看作随机误差，记为，且有理由要求. 故有 （5.1-1）称(5.1-1)式为对的一元回归模型，为回归函数；其中，称为回归方程.一元线性回归模型：若进一步假定回归函数为，且存在，则有 (5.1-2)称(5.1-2)式为对的一元线性回归模型，其中均为未知参数，称为回归系数，而，此时回归方程是线性方程，称为回归直线.一元正态线性回归模型：应用中，为对回归方程的合理性进行检验，还假定，于是模型（5.1-2）化为 (5.1-3)称(5.1-3)式为对的一元正态线性回归模型，此时.为研究与之间的内在关系，在的点上，做次独立试验，得到，于是有点. 画出散点图，如果这个点（很大时）分布在一条直线附近，直观上就可认为与的关系具有(5.1-3)式的模型。将视为的子样值，模型(5.1-3)又化为 (5.1-4)显然此时有，且当时相互独立.由求出回归系数的估计值后得到直线方程，称为经验回归直线.图1，图2（2）一元线性回归的主要问题对未知参数的估计；对参数及回归模型的假设检验；对因变量的预测。对未知参数的估计的最小二乘估计 已知与试验值 ，构造的试验值与理论回归值的离差平方和 （5.1-5）以使取得最小值的为的估计值，称之为最小二乘估计. 为此，令于是有关于的线性方程组 （5.1-6）（5.1-6）式的解是由容量为的子样值得到的，只在这个点处的试验值与理论回归值的离差平方和最小，因此，解不是的真值，只是估计值。故有 （5.1-7）其中,. （5.1-7）式称为正规方程组. 解得 （5.1-8）（5.1-8）式中的称为未知参数的最小二乘估计。于是经验回归直线，即：经验回归直线恒过点.的矩估计，则可用的子样均值去估计其母体均值，即有.但，其中未知，以其最小二乘估计代替，于是的矩估计为 （5.1-9）其中称为残差平方和。将（5.1-8）式中的代入，得 （5.1-10）于是 （5.1-11）估计量的另一组表达式记，则（5.1-8）（5.1-10）（5.1-11）式分别化为 （5.1-8） （5.1-10） （5.1-11）未知参数估计量的分布对于一元正态线性回归模型（5.1-4）有定理5.1.1：. 即（5.1-8）式中的估计量分别是的无偏估计.定理5.1.2：，且分别与相互独立。（说明：二次型中的满足正规方程组（5.1-7），即有2个独立的线性约束条件，故自由度是）。，从而，即矩估计只是的一个渐近无偏估计.为纠偏，令，则，即是的一个无偏估计.定理5.1.3：.（由定理5.1.1、定理5.1.2及分布定义可以证得）定理5.1.4：.子样相关系数及意义为刻画点之间线性关联程度，（1）定义：即可以证得.（2）意义：故越接近1时，越接近0，说明线性回归分析的效果越好；特别，当时，说明观测点全部落在经验回归直线上。例5.1.1 测量上海市13岁男孩的平均体重，得到如下数据：年龄（岁）1.01.52.02.53.0平均体重 (kg)9.7510.8112.0712.8813.74又设, , 且相互独立，.（1）求的最小二乘估计；（2）求残差平方和，标准差的估计，子样相关系数.解：先画散点图X=1.0 1.5 2.0 2.5 3.0;Y=9.75 10.81 12.07 12.88 13.74;plot(X,Y,ro)（1）由于,，. 故于是经验回归直线为.可以将经验回归直线与散点图画在一起.hold ony=7.83+2.01*X;plot(X,y,b-)（2）可见这组数据下的年龄与平均体重的线性关联程度很高。例5.1.2 (P222Ex5.1) 过原点的一元回归的线性模型为，其中之间独立，且. 试由用最小二乘法估计；用矩法估计.解： 回归模型为，故满足，离差平方和为求使成立的，令 其中：，. 的矩估计：，则的矩估计为例5.1.3 (P224Ex5.7) 具有重复试验一元线性回归表述如下:对做次试验，在每一个上对作次试验，其观察值为，而. 一元回归的线性模型为，且相互独立，试求的最小二乘估计。解：，离差平方和为求使，令即亦即简记为解此正规方程组得由下表易求的值，得到经验回归直线.例5.1.4 (P224Ex5.8) 对自变量和因变量都分组的情形，经验回归直线的配置方法如下：对和作次试验，得对试验值，把自变量的试验值分成组，组中值记为，各组以组中值为代表；把因变量是试验值分成组，组中值记为，同样各组以组中值为代表。若有对，.试求的最小二乘估计。解：设，则，离差平方和为求使