数理统计CH7回归分析1.pptVIP

山西农业大学,应用数理统计 第7章,1,第七章 回归分析 regression analysis,山西农业大学,应用数理统计 第7章,2,7.1 变量间的关系 7.2 一元线性回归 7.3 多元线性回归 7.4 回归注意事项,本章内容,7 回归分析,山西农业大学,应用数理统计 第7章,3,7.2.3 回归预测 Response Estimate by Linear Regression Model,7.2 一元线性回归,山西农业大学,应用数理统计 第7章,4,7.2.3 回归预测,(1)预测问题,当回归方程检验显著并有较大的决定系数时可将其用于回归预测,给定x，求y的估计值和置信区间称作回归预测,山西农业大学,应用数理统计 第7章,5,7.2.3 回归预测,(2)响应y的点预测,点预测公式,山西农业大学,应用数理统计 第7章,6,7.2.3 回归预测,(3)点预测的期望和方差,山西农业大学,应用数理统计 第7章,7,7.2.3 回归预测,(4)响应统计量分布,响应预测的分布,响应预测差的分布,引用独立性,响应模型,山西农业大学,应用数理统计 第7章,8,7.2.3 回归预测,(5)响应的区间预测,t 统计量,山西农业大学,应用数理统计 第7章,9,7.2.3 回归预测,(5)响应的区间预测,响应区间估计,响应预测差的置信区间和置信度,山西农业大学,应用数理统计 第7章,10,7.2.3 回归预测,(5)响应的区间预测,响应区间估计,响应的置信区间和置信度,山西农业大学,应用数理统计 第7章,11,7.2.3 回归预测,(6)回归预测案例,响应的点预测和区间预测,山西农业大学,应用数理统计 第7章,12,7.2.3 回归预测,(6)回归预测案例,响应的点预测和区间预测,y0的点预测和区间预测,山西农业大学,应用数理统计 第7章,13,7.2.3 回归预测,(6)回归预测案例,试验范围内响应预测,x0=2:0.2:6.4,山西农业大学,应用数理统计 第7章,14,7.2.3 回归预测,(6)回归预测案例,禁止试验范围外对响应进行预测,x0=0:0.5:25,山西农业大学,应用数理统计 第7章,15,7.2 一元线性回归,7.2.4 可线性化非线性回归 Linear Regression by Transformed Nonlinear Models,山西农业大学,应用数理统计 第7章,16,7.2.4 可线性化非线性回归,(1)问题的提出,变量y与x不线性相关但可能非线性相关,山西农业大学,应用数理统计 第7章,17,试验观测本是非线性相关，虽然也能拟合一条直线(线性回归)，但对变量间关系的描述是错误的，用于预测将会导致有害的结论。因此，对于具有非线性相关趋势的试验观测，应在其散点图的点云“中间”拟合一条曲线(非线性回归)，该曲线方程的参数应使残差平方和达最小，即曲线与试验观测点的总距离为最小,用最小二乘法解决问题。,7.2.4 可线性化非线性回归,(1)问题的提出,变量y与x是非线性相关做线性回归无意义,山西农业大学,应用数理统计 第7章,18,非线性回归模型有两种，一种是可线性化模型，另一种是不可线性化模型。可线性化模型，指可变换为线性模型的非线性模型，能借用线性回归进行分析。不可线性化模型，则需借助优化方法进行回归分析，称作本质非线性回归。本节讨论可线性化模型的线性回归方法。,7.2.4 可线性化非线性回归,(1)问题的提出,可线性化模型 不可线性化模型,山西农业大学,应用数理统计 第7章,19,步骤1：写出非线性模型(示例),步骤2：对非线性模型做线性变换(线性化),7.2.4 可线性化非线性回归,(2)非线性模型线性回归步骤,为区分计，原变量用大写，它的变换用小写,山西农业大学,应用数理统计 第7章,20,步骤3：样本数据做相同变换,7.2.4 可线性化非线性回归,(2)非线性模型线性回归步骤,步骤4：利用线性变换后的样本数据做线性回归,回归参数估计,山西农业大学,应用数理统计 第7章,21,7.2.4 可线性化非线性回归,(2)非线性模型线性回归步骤,步骤5：写出线性回归方程,步骤6：线性回归方程还原为非线性回归方程,山西农业大学,应用数理统计 第7章,22,The ANOVA Table,7.2.4 可线性化非线性回归,(2)非线性模型线性回归步骤,步骤7：利用线性变换后的样本数据进行方差分析，检验回归显著性,山西农业大学,应用数理统计 第7章,23,7.2.4 可线性化非线性回归,(3)可线性化非线性回归案例,案例：出钢时，钢水对耐火材料的侵蚀使钢包容积不断增加。成对测定了钢包使用次数(X)和容积增大量(Y)数据，试求描述响应变量Y与自变量X关系的经验公式(回归方程)。,山西农业大学,应用数理统计 第7章,24,7.2.4 可线性化非线性回归,(4)案例双曲线回归,根据试验观测散点图的特征选双曲线模型,线性化变换,山西农业大学,应用数理统计 第7章,25,7.2.4 可线性化非线性回归,(4)案例双曲线回归,试验观测的线性化变换,山西农业大学,应用数理统计 第7章,26,7.2.4 可线性化非线性回归,(4)案例双曲线回归,线性回归数据计算,山西农业大学,应用数理统计 第7章,27,SSx=0.58433-0.37785=0.20648, n=15 SP=0.27265-2.38071.5469/15=0.02714 b=SP/SSx=0.02714/0.20648=0.13144 a=1.5469/15-b2.3807/15=0.08227 SST=SSy=0.16333-0.15953=0.00380 SSR=SP2/SSx=0.027142/0.20648=0.00357 SSE=SST-SSR=0.0038-0.00357=0.00023,7.2.4 可线性化非线性回归,(4)案例双曲线回归,线性回归估计和平方和计算,山西农业大学,应用数理统计 第7章,28,R2=SSR/SST=0.00357/0.0038=0.9395,方差分析表,7.2.4 可线性化非线性回归,(4)案例双曲线回归,回归方程和显著性检验,山西农业大学,应用数理统计 第7章,29,R2=SSR/SST=0.00357/0.0038=0.9395,方差分析表,7.2.4 可线性化非线性回归,(4)案例双曲线回归,回归方程和显著性检验,山西农业大学,应用数理统计 第7章,30,7.2.4 可线性化非线性回归,(4)案例双曲线回归,双曲线回归的拟合效果,山西农业大学,应用数理统计 第7章,31,7.2.4 可线性化非线性回归,(5)案例指数回归,根据试验观测散点图特征选指数曲线模型,线性化变换,山西农业大学,应用数理统计 第7章,32,7.2.4 可线性化非线性回归,(5)案例指数回归,试验观测的线性化变换,山西农业大学,应用数理统计 第7章,33,7.2.4 可线性化非线性回归,(5)案例指数回归,线性回归数据计算,山西农业大学,应用数理统计 第7章,34,SSx=0.58433-0.37785=0.20648 SP=5.20223-2.380734.2226/15=-0.22935 b=SP/SSx=-0.22935/0.20648=-1.11076 a=34.2226/15+1.110762.3807/15=2.4578 SST=SSy=78.34477-78.07909=0.26568 SSR=SP2/SSx=(-0.22935)2/0.20648=0.25475 SSE=SST-SSR=0.26568-0.25475=0.01093,7.2.4 可线性化非线性回归,(5)案例指数回归,线性回归估计和平方和计算,山西农业大学,应用数理统计 第7章,35,方差分析表,R2=SSR/SST=0.25457/0.26568=0.9582,7.2.4 可线性化非线性回归,回归方程和显著性检验,(5)案例指数回归,山西农业大学,应用数理统计 第7章,36,方差分析表,R2=SSR/SST=0.25457/0.26568=0.9582,7.2.4 可线性化非线性回归,回归方程和显著性检验,(5)案例指数回归,山西农业大学,应用数理统计 第7章,37,7.2.4 可线性化非线性回归,(5)案例指数回归,指数曲线回归的拟合效果,山西农业大学,应用数理统计 第7章,38,同一案例可采用不同非线性模型回归，这就带来一个问题，究竟哪个模型更适合作回归函数的估计？根据最小二乘法原理，选模型线性化后决定系数最大的哪个模型较合理。本案例采用指数模型比采用双曲线模型拟合效果更好，由此可见，选择合适的回归模型是非线性回归的一项重要技能。,双曲线模型 R2=0.9395 指数模型 R2=0.9582,7.2.4 可线性化非线性回归,(6)模型对比,山西农业大学,应用数理统计 第7章,39,若根据试验观测的变化特征选择多个非线性模型进行非线性回归，一个合理的做法是，选决定系数最大或回归残差平方和最小的模型作为最终的结果。其中，决定系数是数据变换后线性模型的决定系数，回归残差平方和是原响应变量Y 的观测值与预测值之差的平方和，两种方法等价。,7.2.4 可线性化非线性回归,(6)模型对比,决定系数和回归残差平方和,山西农业大学,应用数理统计 第7章,40,7.2.4 可线性化非线性回归,(6)模型对比,决定系数较大则残差平方和较小,山西农业大学,应用数理统计 第7章,41,7.2.4 可线性化非线性回归,(6)模型对比,双曲线回归对比指数曲线回归,山西农业大学,应用数理统计 第7章,42,7 回归分析,7.3 多元线性回归 Multiple Linear Regression,山西农业大学,应用数理统计 第7章,43,7.3 多元线性回归,(1)案例和问题,Hald水泥问题观测数据,Hald水泥问题：观测水泥凝固过程中不同组分样品的热量释放，获得样本数据。定义表示组分含量和释放热量的变量如下： X1=3CaOAl2O3(%) X2=3CaOSiO2(%) X3=4CaOAl2O3Fe2O3(%) X4=2CaOSiO2 (%) Y=释放的热量(cal/g),山西农业大学,应用数理统计 第7章,44,7.3 多元线性回归,(1)案例和问题,Hald水泥问题观测数据,Hald水泥问题：假定样品释放的热量与组分含量是线性相关关系，即： Y= +1X1+2X2+3X3+4X4+e 试做回归分析。,山西农业大学,应用数理统计 第7章,45,响应变量Y与自变量X1,X2,Xm及随机偏差e的线性相关关系表为下面的线性模型：,7.3 多元线性回归,(2)线性回归模型,Y-响应变量 Xj-自变量 j-回归系数,j变量编号,山西农业大学,应用数理统计 第7章,46,第i次试验的响应变量值记作Yi，自变量值记作Xi1,Xi2,Xim，随机偏差值记作ei，则变量间的相关关系可表为下面的模型：,7.3 多元线性回归,(2)线性回归模型,Y-响应变量 Xj-自变量 j-回归系数,i观测编号 j变量编号,山西农业大学,应用数理统计 第7章,47,7.3 多元线性回归,(2)线性回归模型,山西农业大学,应用数理统计 第7章,48,7.3 多元线性回归,(2)线性回归模型,山西农业大学,应用数理统计 第7章,49,7.3 多元线性回归,(3)参数估计,求使残差平方和达最小的回归参数：,回归参数的 最小二乘估计,山西农业大学,应用数理统计 第7章,50,7.3 多元线性回归,(4)统计假设,线性模型假设 回归参数假设,检验模型的假设,检验参数的假设,山西农业大学,应用数理统计 第7章,51,(5)平方和计算,7.3 多元线性回归,平方和计算是完成显著性检验的关键技术,矫正数是平方和计算需要的一个数据,为平方和计算准备一个数据：,山西农业大学,应用数理统计 第7章,52,(5)平方和计算,7.3 多元线性回归,Model SS:,Corrected Total SS:,山西农业大学,应用数理统计 第7章,53,Error SS:,(5)平方和计算,7.3 多元线性回归,误差均方,山西农业大学,应用数理统计 第7章,54,(6)回归模型检验,7.3 多元线性回归,山西农业大学,应用数理统计 第7章,55,模型检验方差分析表,7.3 多元线性回归,(6)回归模型检验,山西农业大学,应用数理统计 第7章,56,(7)回归参数检验,7.3 多元线性回归,山西农业大学,应用数理统计 第7章,57,7.3 多元线性回归,(8)Hald水泥问题回归分析,山西农业大学,应用数理统计 第7章,58,7.3 多元线性回归,(8)Hald水泥问题回归分析,山西农业大学,应用数理统计 第7章,59,7.3 多元线性回归,(8)Hald水泥问题回归分析,Hald水泥问题模型检验方差分析表,回归模型 显著性检验,山西农业大学,应用数理统计 第7章,60,7.3 多元线性回归,(8)Hald水泥问题回归分析,Hald水泥问题模型检验方差分析表,回归模型 显著性检验,山西农业大学,应用数理统计 第7章,61,7.3 多元线性回归,(8)Hald水泥问题回归分析,Hald水泥问题参数估计和检验,回归参数 显著性检验,山西农业大学,应用数理统计 第7章,62,模型检验的方差分析结果表明，线性模型零假设在0.0001水平上被拒绝，且决定系数达0.9824，说明响应变量与自变量间存在很强的线性关系，响应观测值与回归预测值之间的残差较小。因此，回归模型拟合良好并具有较高的预测精度。,7.3 多元线性回归,(8)Hald水泥问题回归分析,山西农业大学,应用数理统计 第7章,63,回归参数的t检验结果表明，回归系数零假设在0.05水平上均被接受，即回归系数都不显著，这与响应变量与自变量间存在很强线性关系的结论矛盾，说明自变量之间存在较强的线性相关。因此，需要选用其它回归方法来改进回归分析的结果。,7.3 多元线性回归,(8)Hald水泥问题回归分析,山西农业大学,应用数理统计 第7章,64,7 回归分析,7.4 回归注意事项 Taking Notice to Something,山西农业大学,应用数理统计 第7章,65,在实际中应用回归方程应谨慎： (1)禁止回归方程外推； (2)试验实施和应用场合的非处理因素(条件)应大致相当； (3)禁止回归方程逆向使用； (4)x和y均为随机变量时，只有部分回归公式仍适用。,7.4 回归注意事项,(1)回归方程的应用,山西农业大学,应用数理统计 第7章,66,7.4 回归注意事项,自变量x增加或减少1个单位则y平均增加或减少1个单位的说法应谨慎！,(2)回归系数的应用,山西农业大学,应用数理统计 第7章,67,回归方程是在一定的自变量观测范围内建立的，在自变量观测范围之外使用回归方程，称作回归的外推；如果在自变量观测范围之内使用，就叫做内插。内插使用上一般没什么问题，但外推使用有可能存在很大的偏差，故一般不主张对回归方程做外推使用，没把握就不要使用。,7.4 回归注意事项,(3)禁止回归方程外推,山西农业大学,应用数理统计 第7章,68,7.4 回归注意事项,(3)禁止回归方程外推,用x从4到16的试验观测得一条决定系数达0.9508的回归直线，由此预测x=24 处的响应 y 会导致很大偏差，而且y与x为线性关系的结论也是错误的。,山西农业大学,应用数理统计 第7章,69,7.4 回归注意事项,(3)禁止回归方程外推,用x从2到16的试验观测得到一条决定系数0.9582的指数回归曲线，由此做出y与x是指数关系的结论较恰当。,山西农业大学,应用数理统计 第7章,70,禁止超越x 的试验范围解释回归系数，超范围解释可能造成与实际的严重偏离。例如，产量y的平均值大致随施肥量x的增加呈线性增长。但超出一定范围，如施肥量过大，则进一步增加施肥量不仅不能促进增产，反而可能产生肥害导致减产。,7.4 回归注意事项,合理解释回归系数,(3)禁止回归方程外推,山西农