叶宏应用概率统计课件

1、概 率 统 计主讲教师 叶宏山东大学数学院第7章 回归分析和方差分析 回归分析是描述数据处理方法的一门应用学科，是统计学者常用的工具，本章对回归分析的基础知识和应用作简单介绍。7.1 一元线性回归变量之间的关系大致可分为两大类:1.确定性的关系:可以用精确的函数关系来表达。例如矩形面积S与边长a,b的关系。2.非确定性的关系:变量之间既互相联系但又不是完全确定的关系，称为相关关系。例如人的身高与体重、农作物产量与降雨量等的关系。 从数量的角度去研究这种非确定性的关系，是数理统计的一个任务. 包括通过观察和试验数据去判断变量之间有无关系，对其关系大小作数量上的估计、推断和预测,等等. 回归分析就

2、是研究相关关系的一种重要的数理统计方法. 只有两个变量的回归分析, 称为一元回归分析; 超过两个变量时称为多元回归分析. 一、一元正态线性回归模型 变量之间成线性关系时, 称为线性回归,变量间不具有线性关系时, 称为非线性回归. 设随机变量Y，对于x的每一个值, Y 均有自己的分布 .若EY 存在，则它一定是x的函数，记为 u(x)，其值可通过样本进行估计，对于x的一组值xi (i=1,n)，作独立试验，对Y 得出n个观测结果yi (i=1,n) ，即有n次独立观察, 得样本观测值： 我们要解决的问题是:如何利用这些样本观测值来估计u(x).当然，首先要推测其形式，一般可以作出散点图，从中可粗

3、略看出 y与x的关系.(x1,y1) , (x2,y2) , , (xn,yn)其中a 和 b是未知常数, 表示其它随机因素的影响.y = a + b x +若y和x之间大体上呈现线性关系, 可假定 通常假定服从正态分布N(0,2), 即其中 为未知参数. 称 y = a + b x +, N(0,2 ) (1)为一元线性回归模型.由(1)得 E(y)=a+bx 称（2）为 y 关于 x 的一元线性回归方程 .用E(y)作为y 的估计 得模型(1)中的变量x , y进行n次独立观察, 得样本观测值：(x1,y1) , , (xn,yn) （3）由此样本得方程组：这里i 是第 i 次观察时的随机

4、误差，它是不可观察的随机变量. (4)式和(5)式结合，给出了样本(x1,y1),(xn,yn) 的概率性质. 它是对理论模型进行统计分析推断的依据. 也常称(4)+(5)为一元线性回归模型.即由于各次观察独立，故有 由于方程(6)的建立依赖于通过观察或试验取得的数据, 故又称其为经验回归方程或经验公式. 回归分析的任务是利用n组独立观察数据(x1,y1),(xn,yn)来估计a和b, 以估计值 和分别代替(2)式中的a和b, 得回归方程问题：如何利用n组独立观察数据来估计a和b？称为未知参数 a,b 的回归系数.二、最小二乘法估计首先举例说明最小二乘法的思想： 假设为了估计某物体的重量, 对

5、它进行了n次称量, 因称量有误差, 故n次称量结果x1, x2,xn有差异, 现在用数 去估计该物体的重量, 则它与上述n次称量结果的偏差的平方和为:估计原则:用这种方法作出的估计叫最小二乘估计. 最小二乘法认为, 一个好的估计 , 应使这个平方和尽可能地小. 寻找一个使上述平方和达到最小的 ，作为这个物体重量的估计值, 这种方法称为最小二乘法. 对(x,y)作n次观察(试验),得到n对数据,要求找一条直线 ,尽可能好地拟合这些数据. yx 由回归方程,当x取值xi时, 应取值a+bxi , 而实际观察到的为yi ,这样就形成了偏差依照最小二乘法的思想，提出目标量Q(a,b)(7)它是所有实测

6、值yi与回归值 的偏差平方和.yx设法求出a , b的估计值 , ,使偏差平方和Q(a,b)达到最小. yx由此得到的回归直线 是在所有直线中偏差平方和Q(a,b)最小的一条直线. 令： 通常可采用微积分中求极值的办法, 求出使Q(a,b)达到最小的 , .得 称上式为正规方程组.由于改写正规方程组得因为xi 不全相同，故系数行列式不为0，即由此解得方程组有唯一解(8) 其中 其中 也可用下面的等价式子: 可以证明,用最小二乘法求出的估计 分别是 a, b 的无偏估计, 即 它们都是 y1,y2, ,yn的线性函数,而且在所有y1, y2 , ,yn的线性函数中, 最小二乘估计的方差最小.(2

7、) 回归方程是否有意义? 即自变量 x 的变化是否真的对因变量 y 有影响? 因此有必要对回归效果作出检验.(3) 如果方程真有意义，用它预测 y 时，预测值与真值的偏差能否估计？下面讨论这这些问题。由于 是从观察值得到的回归方程，它会随观察结果的不同而改变，并且它只反映了由 x 的变化引起的 y 的变化，并没有包含误差项.另外，能否给出未知参数 的估计，由此引出以下问题:(1) 的点估计是什么?三、 的点估计称 为 xi 处的残差称为残差平方和. 反映了除 x 外其它因素对 y 的影响, 这些因素没有反映在自变量x中, 它们可作为随机因素看待. 可以证明因此是 的无偏估计.即 四.线性假设的显著性检验(T 检验法)检验问题成立时取检验统计量给定显著性水平 的拒绝域为 五.线性回归的方差分析(F 检验法)平方和分解公式这里第三项为0，第二项为残差平方和