《回归分析修改》PPT课件.ppt

第五章回归分析,回归分析一元线性回归,在现实问题中处于同一个过程中的一些变量往往是相互依赖和相互制约的，它们之间的相互关系大致可分为两种：,(1)确定性关系-函数关系,(2)非确定性关系-相关关系：变量之间有一定的依赖关系，但这种关系并不完全确定。,可控变量：可以在某范围内随意地取指定数值-自变量不可控变量:可以观测但不可控制(随机变量)-因变量,回归分析：研究一个随机变量与一个（或几个）可控变量之间相关关系地统计方法。只有一个自变量的回归分析叫做一元回归分析；多于一个自变量的回归分析叫做多元回归分析。,回归分析主要内容:,提供建立有相关关系的变量之间的数学关系式(经验公式)的一般方法;,(2)判别所建立的经验公式是否有效;,(3)利用所得到的经验公式进行预测和控制.,5.1一元线性回归,(一)一元线性回归模型,设与有相关关系,当自变量时,因变量并不取固定的值与其对应.如果要用函数关系近似与的相关关系,很自然想到,应该以作为与相对应的数值.,（51）,其中为常数，则称与之间存在线性相关关系，称（51）为一元正态线性回归模型，简称一元线性模型，其回归函数记为,称为对的线性回归，称为回归常数，称为回归系数。,由（51）得,，可知取,不同数值时，便得到不同的正态变量。,其中,为未知的常数。,由,独立知道,也相互独立，且,称为独立样本,的一个（或一组）样本观测,值，其中,为,取固定值,时，对,进行一次试验所得到的观测值。,利用独立样本及其样本值可得,的估计量及,估计值,和,从而得到回归函数,的估计,称为对的经验回归方程或经验公式。,把样本值,作为平面直角坐标系的个点描出来，构成实验的散点图。,根据散点图，适当地选择一个函数,使得,在一定意义下最好地吻合,于观测结果,常用的是最小,二乘法，即,.,.,.,.,.,.,.,二、未知参数的估计,1.正规方程组、回归系数的点估计,根据最小二乘法求线性回归函数,的估计,就是求使得,取得最小值的,即,根据微分学中的二元函数极值的充分条件,将,分别对,求一阶偏导数并令其为零,经过整理后得到线性方程组,其中,正规方程组,解此方程组即得使,取得最小值的,分别称为,的最小二乘估计值.于是,得到,对,的经验回归方程,注:,用最小二乘法得到的经验回归直线通过已知,个数据点,的几何重心,因为,把估计值中的,分别用,来代替,就得到了参数,的估计量.为了方便,我们引进几个常用的记号,则,参数估计量,回归方程,定理1:在一元线性回归模型中,和,相互,独立.,证明:,即,与,不相关.,但,与,都是独立正态变量,的线性组合,因此,与,的联合分布为正,态分布.对于正态随机向量来说不相关和相互独立是等价的.证毕,定理2:在一元线性回归模型中,的最小二乘估计量的数学期望和方差为,证明:,证毕.,由定理2可看出,当时,取最小值;与成反比.所以,为了提高和的估计精度,最好选择使,并且应比较分散.,注:,的最小二乘估计量与极大似然估计量相等.,2.参数的点估计,当的极大似然估计量已得到后,的估计量可由似然方程,可得的极大似然估计量为,记,即,是的极大似然估计量.,定理3:在一元线性模型中,证明:,而,又,于是有,证毕.,由定理3可得,是的无偏估计.,3.估计量和的分布,定理4:在一元线性模型中,(1),(2),(3),(4),(5),相互独立.,4.未知参数和的区间估计,定理5.在一元线性模型中,证明:,由定理4,得,由定理4的(5)可知,分别相互独立,再由,t分布的定义,即得,证毕,由定理5及t分布的分位数,得,即得的置信区间为,类似,的置信区间为,由,易得的置信区间为,三、线性回归效果的显著性检验,我们在求Y对x的线性回归之前，必须判断Y与x的关系是否满足一元线性回归模型。理论上讲，这要求检验,（1）对x取任一固定值时，Y都服从正态分布，而且方差相同；,（2）x在某一范围取值时，EY是x的线性函数；,（3）在x取各个不同值时，相应的Y是相互独立的。,但要检验这三条不仅需要大量的试验，还要进行大量的计算，实际上很难办到。,（1）x对Y没有显著影响，应丢掉自变量x；,（2）x对Y有显著影响，但不能用线性相关关系来表示；,（3）除x外还有其它不可忽略的变量对Y也有显著影响，从而削弱了x对Y的影响，应考虑多元线性回归。,1.F检验法,考虑,令,计算后可得一元线性模型中的平方和分解公式：,总偏差平方和,回归平方和,残差平方和,总偏差（离差）平方和,回归平方和,因为,剩余平方和（或残差平方和）,平方和分解公式：,（1）由于x对Y的线性相关关系而引起的Y的分散性。,（2）剩余因素引起的Y的分散性。,定理6：,证明：,对于检验,证毕,2.t检验法,由定理5知,3.r检验法,为了检验Y与x是否有线性相关性，也可用统计量,相关系数,进行检验,两边平方得,于是得到,即,这说明Y与x之间不存在线性相关关系。,(2),(3),检验假设,r检验法与F检验实质上是一回事，因为,F检验法与r检验法的拒绝域是相同的。,五、(09)研究发现，钢线中的碳含量,与电阻的效应,研究二者的相关关系，抽取若干数据整理如下：,有关，