数理统计教学课件-第三节多元回归分析.ppt

第三节多元线性回归,一.多元线性回归模型回归参数的估计回归方程的显著性检验回归系数的显著性检验多元线性回归的预测,多元线性回归模型,多元线性回归模型（概念要点）,一个因变量与两个及两个以上自变量之间的回归描述因变量y如何依赖于自变量x1，x2，xp和误差项的方程称为多元线性回归模型涉及p个自变量的多元线性回归模型可表示为,b0，b1，b2，bp是参数是被称为误差项的随机变量y是x1,，x2，xp的线性函数加上误差项说明了包含在y里面但不能被p个自变量的线性关系所解释的变异性,多元线性回归模型（概念要点）,对于n组实际观察数据(yi;xi1,，xi2，xip)，(i=1,2,n)，多元线性回归模型可表示为,多元线性回归模型（基本假定）,自变量x1，x2，xp是确定性变量，不是随机变量随机误差项的期望值为0，且方差2都相同误差项是一个服从正态分布的随机变量，即N(0,2)，且相互独立,多元线性回归方程（概念要点）,描述y的平均值或期望值如何依赖于x1，x1，xp的方程称为多元线性回归方程多元线性回归方程的形式为E(y)=0+1x1+2x2+pxp,b1，b2，bp称为偏回归系数bi表示假定其他变量不变，当xi每变动一个单位时，y的平均平均变动值,多元线性回归方方程的直观解释,多元线性回归的估计(经验)方程,总体回归参数是未知的，利用样本数据去估计,用样本统计量代替回归方程中的未知参数即得到估计的回归方程,是估计值是y的估计值,参数的最小二乘估计,参数的最小二乘法（要点）,根据最小二乘法的要求，可得求解各回归参数的标准方程如下,使因变量的观察值与估计值之间的离差平方和达到最小来求得。即,回归方程的显著性检验,多重样本决定系数（多重判定系数R2）,回归平方和占总离差平方和的比例,反映回归直线的拟合程度取值范围在0,1之间R21，说明回归方程拟合的越好；R20，说明回归方程拟合的越差等于多重相关系数的平方，即R2=(R)2,修正的多重样本决定系数（修正的多重判定系数R2）,由于增加自变量将影响到因变量中被估计的回归方程所解释的变异性的数量，为避免高估这一影响，需要用自变量的数目去修正R2的值用n表示观察值的数目，p表示自变量的数目，修正的多元判定系数的计算公式可表示为,回归方程的显著性检验（线性关系的检验）,检验因变量与所有的自变量和之间的是否存在一个显著的线性关系，也被称为总体的显著性检验检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系,回归方程的显著性检验（步骤）,提出假设H0：12p=0线性关系不显著H1：1，2，p至少有一个不等于0,2.计算检验统计量F,3.确定显著性水平和分子自由度p、分母自由度n-p-1找出临界值F4.作出决策：若FF，拒绝H0；若Ft=0.3646，；t2=4.7962t=2.3646；两个回归系数均显著,一个含有四个变量的回归,第三节可化为线性回归的曲线回归,基本概念非线性模型及其线性化方法,非线性回归,1.因变量y与x之间不是线性关系2.可通过变量代换转换成线性关系用最小二乘法求出参数的估计值并非所有的非线性模型都可以化为线性模型,几种常见的非线性模型,指数函数,线性化方法两端取对数得：lny=ln+x令：y=lny，则有y=ln+x,基本形式：,图像,几种常见的非线性模型,幂函数,线性化方法两端取对数得：lgy=lg+lgx令：y=lgy，x=lgx，则y=lg+x,基本形式：,图像,几种常见的非线性模型,双曲线函数,线性化方法令：y=1/y，x=1/x,则有y=+x,基本形式：,图像,几种常见的非线性模型,对数函数,线性化方法x=lgx,则有y=+x,基本形式：,图像,几种常见的非线性模型,S型曲线,线性化方法令：y=1/y，x=e-x,则有y=+x,基本形式：,图像,非线性回归（实例）,【例】为研究生产率与废品率之间的关系，记录数据如下表。试拟合适当的模型。,非线性回归（实例）,生产率与废品率的散点图,非线性回归（实例）,用线性模型：y=01x+，有y=2.671+0.0018x用指数模型：y=x，有y=4.05(1.0002)x比较直线的残差平方和5.3371指数模型的残差平方和6.11。直线模型略好于指数模型,本章