概率论与数理统计_回归分析.doc

第11章 回归分析 设为普通变量，为随机变量。如果当变化时，随着的变化大体上按某种趋势变化，则称与之间存在相关关系，即例如，某地人均收入与某种商品的消费量之间的关系；森林中树木的断面直径与高度之间的关系；某种商品的价格与销售量之间的关系；施用氮肥、磷肥、钾肥数量，与某种农作物产量之间的关系。 在生产实践和科学研究中，常常有这样的问题：由实验或测量得到变量间的一批离散样点，要求由此建立变量之间的近似函数关系或得到样点之外的数据。我们确定的函数要求在某种距离意义下的误差达到最小（通常用最小二乘法，即考虑使各数据点误差平方和最小）。由一个（或几个）普通变量来估计或预测某个随机变量的取值时，所建立的数学模型及所进行的统计分析称为回归分析。11.1 一元线性回归 假设有一批关于与的离散样点集中在一条直线附近，说明与之间呈线性相关关系，即称为一元线性回归模型。一、模型中的参数估计1、的估计首先引进记号按最小二乘法可得到 称为关于的一元线性回归方程。2、的估计 例1、为研究某一化学反应过程中温度对产品得率的影响，测得数据如下。 ( )100 110 120 130 140 150 160 170 180 190 ( % ) 45 51 54 61 66 70 74 78 85 89求出关于的一元线性回归方程。解：先画出散点图如下计算出 所求的回归方程是。二、线性假设的显著性检验即检验如下假设： ：方法1：检验法采用如下检验统计量： ，其中的对一个小概率，若，则接受，即认为线性假设成立，所建立的线性回归方程正确。例2、用检验法检验例1中的回归效果是否显著（？解： ，从而， 查表得，由于，说明回归效果是显著的。方法2：检验法采用如下检验统计量： ，其中，对一个小概率，若，则接受，即认为线性假设成立，所建立的线性回归方程正确。例3、用检验法检验例1中的回归效果是否显著（？解：， ，说明回归效果是显著的。三、利用回归方程进行预测所谓预测，就是利用建立的回归方程，对给定的值，去确定的值。1、点预测当时，的预测值是2、区间预测当时，的置信度为的预测区间是：例4、求例1中温度 时，产品得率的预测值和置信度为95%的预测区间。解：预测值为预测区间为11.2 非线性回归化为线性回归 在实际问题中，有些随机变量与普通变量之间不存在线性相关关系，而是存在非线性相关关系，这时便要建立非线性回归模型。在许多情况下，通过适当的变量转换，可将其转化为线性回归问题。 具体做法如下：1、将样本数据，在直角坐标系中画出散点图；2、根据离散样点的形状，推测与之间是何种非线性函数关系；3、通过适当的变量转换，将其转化为线性函数关系；4、用线性回归的方法建立回归方程、检验显著性、预测等；5、返回到原来的函数关系，得到要求的非线性回归方程、预测值。下面是一些常见的可线性化的曲线：（1）双曲线： （2）幂函数： （3）对数函数：（4）指数函数： （5）正弦曲线： （6）S型曲线：以为例，我们只要作变换，就可化为线性函数。例5、电容器充电后，电压达到100伏，然后开始放电，测得时刻（秒）时电压（伏）如下表。（秒） 0 1 2 3 4 5 6 7 8 9 10（伏）100 75 55 40 30 20 15 10 10 5 5（1）建立电压关于放电时间的回归方程；（2）检验回归方程的显著性（；（3）当时，给出的置信度为95%的预测区间。解：（1）先画出散点图如下 由于离散样点落在曲线附近，可通过变量转换，化成线性函数。原始数据作变换后，按线性回归算法来实现： ， ，从而。所求的回归方程是。（2）用检验法 查表得，由于，说明回归效果是显著的。（3）当时，的置信度为95%的预测区间是亦即当时，的置信度为95%的预测区间是11.3 多元线性回归如果随机变量与固定变量之间有显著的线性相关关系，即称为元线性回归模型。一、模型中的参数估计1、的估计设通过实验或历史资料得到观测数据。令由最小二乘估计，得称为变量关于变量的线性回归方程。2、的估计同样还可以得到的估计量为这里。二、回归模型的显著性检验1、检验回归模型的显著性 即检验假设 令 检验统计量 对一个小概率，若，则认为所建的回归方程有意义。2、各自变量的显著性检验，剔除变量计算即检验假设 检验统计量 这里是矩阵中相应位置的元素。对一个小概率，若，则应保留变量，否则应剔除变量。剔除变量时，从最小的开始，直到不显著的变量全部剔除为止。设，则剔除，重新建立回归方程如下：其中 三、 利用回归方程进行预报当时，对进行预测。1、点预测 2、区间预测 的置信度为的置信区间，其中例6、某公司在各地销售一种化妆品，观测15个城市在某月内对该化妆品的销售量及适合使用该化妆品的人数和人均收入。数据见下表：城市销售量（箱）适用人数（千人）人均收入（元）116227424502120180325432233753802413120528385678623476169265378278198300881923302450911619521371055532560112524304020122323724427131442362660141031572088152123702605要求通过以上数据建立预测模型，当已知任一个城市的适用人数和人均收入时，能够预测在这个城市的销售量。解：现在用上面的回归模型来解决前面提出的问题：得到，所求回归方程是。又求得，从而故认为所建的回归方程有意义。又可求出说明对均有显著的线性影响，均不能剔除。下面给出预测方法：例如当某城市的数据时，有 又 可以95%的把握认为这种化妆品在该城市的销售量在，即在130到140箱之间。11.4 一元多项式回归若离散样点的形状表明既不能用线性函数来拟合，又不能用可线性化的非线性函数来拟合的话，从理论上讲，用一个多项式函数来拟合总是可行的。即其中为散点图的峰谷数+1；1、建立回归模型时，令，从而化成多元线性回归：用多元线性回归的方法建立回归方程、检验显著性、预测等，再返回到原来的函数关系，得到要求的非线性回归方程、预测值。2、当较高时（大于6），用多项式回归会降低精度，因此应采用样条多项式回归。在实际应用中，最常用的是二次和三次多项式函数。下面通过一个例子来说明。例3、某种产品在生产过程中的废品率与它所含的某种物质量有关，现将试验所得16组数据记录列于下表。34 36 37 38 39 39 39 40 1.30 1.00 0.7