6回归分析教程课件

1、第六章 回 归 分 析 教学目的和要求： 通过本章内容的教学，使学生掌握一元线性回归方程的求法、回归方程的方差分析与显著性检验方法；了解一元非线性回归方程的求解思路及回归曲线方程的效果与精度；了解多元线性回归方程的求法和显著性检验与精度。 主要内容： 1.回归分析的基本概念：概念、回归分析的主要内容。 2.一元线性回归：一元线性回归方程的求法、回归方程的方差分析与显著性检验、重复试验情况、回归直线的简便求法。 3.一元非线性回归：回归曲线类型的选取和检验、化非线性回归为线性回归、回归曲线方程的效果与精度。 4.多元线性回归：二元线性回归方程的求法、多元线性回归、多元线性回归的显著性检验与精度。

2、 6.1基本概念 变量间的关系可分为函数关系和相关关系。 变量间的函数关系 1、是一一对应的确定关系2、设有两个变量x和y，变量y随变量x一起变化，并完全依赖于x，当变量x为某个数值时，y依确定的关系取相应的值，则称y是x的函数，记为y=f(x,y)，其中x称为自变量，称y为因变量如以速度v作匀速运动的物体，走过的距离s与时间t之间，有如下的函数关系 s=vt 变量间的相关关系 1、变量间关系不能用函数关系精确表达3、当变量x取某个数值时，变量y的值可能有几个2、一个变量的取值不能由另一个变量唯一确定如人的身高( )与体重( )之间的关系 什么是回归分析？3、因素分析，如从对共同影响一个变量的

3、许多变量（因素）中，找出重要因素和次要因素一种处理变量间相关关系的数理统计方法。它主要解决以下几个问题1、从一组样本数据出发，确定变量之间的数学关系式 2、对这些关系式的可信程度进行各种统计检验7 回归模型的类型回归模型一元回归线性 回归非线性 回归线性 回归非线性 回归多元回归一个自变量两个及两个以上自变量6.2 一元线性回归6.2.1 一元线性回归方程一元线性回归模型概念1、当只涉及一个自变量时称为一元回归，若因变量y与自变量x之间为线性关系时称为一元线性回归3、描述因变量y如何依赖于自变量x和误差项的方程称为回归模型。2、对于具有线性关系的两个变量，可以用一个线性方程来表示它们之间的关系

4、由实验获得两个变量x和y的一组样本数据， ，构造如下一元线性回归模型 一元线性回归模型概念 模型中，y是x的线性函数部分加上误差项线性部分反映了由于x的变化而引起y的变化 误差项i是随机变量 反映了除x和y之间的线性关系之外的随机因素对y的影响0和称为模型的参数1、误差项i是一个期望值为的随机变量，即。对于一个给定的值，的期望值为2、变量是可以精确测量或严格控制的变量3、误差项是一个服从正态分布的随机变量，且相互独立。即独立性意味着对于一个特定的值，它所对应的与其它值所对应的不相关对于一个特定的值，它所对应的值与其它值所对应的不相关一元线性回归模型基本假定 b0和b是未知的，必须利用样本数据去

5、估计它们 设b0和b分别是参数0和的最小二乘估计，于是就得到了一元线性回归方程b0和b 回归方程的回归系数回归方程回归系数b0和b的求解假定测得值yt精度相等，则b0和b的计算公式计算式如 （6-7）（6-13）6.2.2 回归方程的稳定性回归方程的稳定性是指回归值 的波动大小，用 的标准差 来表示最小二乘估计量的精度b0与b的协方差于是测量数据y的残余标准差因此6.2.3 回归方程的方差分析要解决的问题对N个观测值与其算术平均值之差的平方和进行分解，将N个观测值的影响因素从数量上区别开，以便能用F检验法对回归方程进行显著性检验。 测量值 之间的差异(变差)来源于两个方面1.由于自变量x取值的

6、不同造成的 2.除x以外的其它因素(如x对y的非线性影响、测量误差等)的影响 N个观测值之间的变差，用观测值与其均值的离差平方和来表示，称为总的离差平方和。总的离差平方和第t个测量值测量值的平均值 自变量 x 取值不同造成因变量 y 的变化 除x以外的其它因素因素的影响等于0估计值U 回归平方和Q 剩余平方和S（S的自由度）- N-1U（U的自由度）- 1Q（Q的自由度）- N-2测量点数- N：6.2.4 回归方程显著性检验要解决的问题所求的回归方程是否基本上符合y与x之间的客观规律。采用F检验法一个回归方程是否显著，也就是y与x的线性关系是否密切。显著性 - （统计量） FF分布U大Q小（

7、比值大）：F大 - y 与x 的线性关系密切 对于一元线性回归随机误差的分布形式- Fa (U, vQ )F大于Fa ( v1, v2 )的概率为a显著水平：a 0.01、 a 0.05、 a 0.1F =F0.01 (U, vQ )高度显著F0.05 (U, vQ ) =F F0.01 (U, vQ )显著（0.05水平上）F F0.1 (U, vQ )不显著F0.1 (U, vQ ) =F F0.05 (U, vQ )显著（0.1水平上）6.2.5 方差残余方差当x固定时，衡量y随机波动大小的一个估计量当回归方程稳定性较好时，可作为应用回归方程时的精度参数。方差分析表6.2.6 重复试验情

8、况问题： 在上述意义下的回归方程显著，并不一定表明这个回归方程拟合得很好原因： Q中除包含试验误差外，还包含了x和y线性关系以外得其它未加控制得因素得影响。办法： 为了检验一个回归方程拟合得好坏，需进行重复试验。从而获得误差平方和QE和失拟平方和QL，然后进行F检验。N个试验点，每个试验点都重复m次试验例63 结论如果F1检验结果不显著，说明非线性误差（相对于试验误差）很小。于是，把QL与QE合并，对U进行F检验，即如果F2检验结果显著，说明一元回归方程拟合很好如果F1检验结果显著，说明非线性误差（相对于试验误差）是不可忽略的。此时用QE对U进行F检验，即结果显著，再用Q进行第二次F检验结果也

9、显著。说明试验误差和残差都很小。重复试验的用途：可将误差平方和与失拟平方和从残差平方和中分离出来；进一步可将系统误差与随机误差分离出来。6.2.7 回归直线的简便求法一、分组法（平均值法）二、图解法（紧绳法）6.3 一元非线性回归步骤确定函数类型；把曲线回归转为为直线回归或多项式回归，确定未知参数6.3.1 回归曲线函数类型的选取1. 直接判断法根据专业知识，从理论上推导或根据以往的经验，确定出两个变量之间的函数类型2. 观察法将观测数据作图，将其与典型曲线比较，确定其属于何种曲线类型6.3.2 回归曲线函数类型的检验1. 直线检验法适用条件： 当函数类型中所含参数不多，如只有一个或两个时步骤

10、：将所选的回归曲线 f(x，y，a，b)0 写成 Z1A十BZ2Z1和Z2是只含一个变量(x或y)的函数A和B是a和b的函数选几对相距较远的x、y值，求出相对应的Z1和Z2的值； 以Z1和Z2为变量画图，若所得图形为一直线，则证明原先所选定的回归曲线类型是合适的。2. 表差法适用条件： 若一组试验数据可用一多项式表示，式中含有常数项多于两个时，以决定多项式次数或检验次数。步骤： 用试验数据画图 自图上根据定差x，列出xi,yi各对应值 根据x和y的读出值作出差值 根据表6-10确定的标准进行判断例 检验表6-11所示观测数据可用ya+bex表示。6.3.3 化曲线回归为直线回归问题条件 可用直线检验法或一阶表差法检验的曲线回归方程。 Z1A十BZ2将函数化为：例6.3.4 回归曲线方程的效果与精度残差为：相关指数6.4 多元线性回归一、多元线性回归方程假如因变量y与另外M个自变量xi的内在关系是线性的，测得N组观测数据M+1个待估计参数N个独立，服从正态分布N(0,)的随机变量M个可精确测量或控制的变量设bi为i的最小二乘估计，则回归方程为：相应的回归方程为：二、多元线性回归方程的显著性与精度三、每个自变量在回归方程中所起的作用偏回归平方和：取消一个自变量xi后回归平方和减小的数值Pi=U-U回归系数C或L-1中的元素分析步骤：1) 凡是偏回归平方和