概率论 第八章 回归分析ppt精选课件

.,第八章回归分析,.,8.1回归分析,一、回归分析：如果变量Y和X之间有一定的联系，且在大量的试验中，Y和X之间的不确定关系能呈现出明显的规律性，研究Y和X之间的近似的函数关系的一种方法就是回归分析,例如：,1、某商品的需求量与价格,3、人的体重与身高,4、货币储蓄量与利率,2、某商品的供给量与价格,8.1.1回归分析的概念,.,二、回归模型：回归分析中，变量Y和X之间的不确定关系不能用一个精确的函数关系表示出来，是因为有随机因素的影响，仿照函数中的称呼，把X对Y的影响用f(X)表示，随机因素对Y的影响用记作e,将Y的值分成两部分：Y=f(X)+e(1)式(1)称为回归模型,1、e为随机误差：一般要求其均值为0，即Ee=0,2、Y为因变量：因有随机误差的影响，所以总是随机的,3、X为自变量：有时是随机的，如从总体中随机抽取一个个体，测其Y和X值，这时所以Y和X都是随机变量；有时是非随机的，如货币储蓄量与利率，利率可人为给定。本章中，如无特别声明，一律设X为非随机变量。,.,三、回归方程：回归模型Y=f(X)+e中，当X为非随机变量时，f(X)也是非随机变量，而Ee=0,于是有EY=f(X)，所以可以用f(X)作为Y的近似。当X为随机变量时，求Y对X的条件期望，也有E(Y|X)=f(X)记y=f(x)则称y=f(x)为Y对X的回归方程,1、f(x)称为回归函数,2、随机误差e的方差De是回归模型的重要参数，De的大小反映了f(X)对Y的近似程度：,因为EY-f(X)2=De=2,所以2的大小反映了f(X)对Y的近似程度,Ee=0，并假定De=2,.,四、多元回归模型：1、一元回归模型：回归模型Y=f(X)+e中，只含一个自变量X，称为一元回归模型2、多元回归模型：如果自变量有多个：X1，X2，,Xp，(p2)这时Y=f(X1，X2，,Xp)+e，其中Ee=0则称为多元回归模型,注：线性回归模型是在应用上最重要且在理论上发展最完善的回归模型,.,注：1o一元线性回归分析的过程是指依据对变量X与Y进行n次独立观察得到的样本（X1,Y1),(X2,Y2),(Xp,Yp),推断出其一元线性回归模型,并对其回归模型进行检验的过程2o在应用上一元线性回归模型是利用其数据形式.,8.1.2一元线性回归,1、理论模型：是指回归模型Y=f(X)+e中的f(X)为线性函数，即有Y=0+1X+eEe=0，0De=2其中0，1为未知参数.0称为常数项；1称为回归系数，确切地说，是Y对X的回归系数,一、一元线性回归模型：,.,2、一元线性回归模型的数据形式：对变量X与Y进行n次独立观察得到的样本（X1,Y1),(X2,Y2),(Xp,Yp),则理论模型具体化为Yi=0+1Xi+eii=1,2,nEei=0，Dei=2i=1,2,n其中e1,e2,en互相独立,注：依据对变量X与Y进行n次独立观察得到的样本（X1,Y1),(X2,Y2),(Xp,Yp),推断出其一元线性回归模型,实际上就是对0,1进行估计,.,注：依据对变量X与Y进行n次独立观察得到的样本（X1,Y1),(X2,Y2),(Xn,Yn),对0,1进行估计时，还须注意X与Y间线性关系的强弱,(a)(b)中X与Y间线性关系强,(c)(d)中X与Y间线性关系弱,.,3、对样本（X1,Y1),(X2,Y2),(Xn,Yn)有以下记号,.,二、0与1的点估计最小二乘估计,1、最小二乘估计原则：对变量X与Y进行n次独立观察得到的样本（X1,Y1),(X2,Y2),(Xn,Yn),则模型具体化为Yi=0+1Xi+eii=1,2,n,(1)设0与1的点估计分别为，则回归直线为,(2)在x=Xi处，Y的预测值为Y的观察值为Yi预测值与观察值的偏差为,(4)使偏差的平方和达到最小时求出的估计与就是最小二乘估计,.,2、求最小二乘估计的方法,(1)偏差的平方和为,(2)利用多元函数求极值的方法，得,(3)所求回归直线为,整理后得,于是得0与1最小二乘估计,.,3、求最小二乘估计的步骤,(1)依所知数据求出,(2)所求回归直线为,以及,.,4、举例,例为研究家庭食品支出Y与收入X的关系，随机抽取了10户家庭作为样本，数据如下：,所求回归直线为,以及,试建立Y与X的一元线性回归方程。,解,.,5、0与1的最小二乘估计的性质,(1)和分别是0和1的无偏估计,证：,.,(2)与不相关,得到,又因,所以,证：,.,(3)与的方差分别是,证：,.,三误差方差的估计,结论：,称为残差,称为残差平方和,为误差方差的无偏估计,证：,.,四、线性回归的显著性检验,考虑Y与X是否存在象形相关关系Y=0+1X+e若回归系数1为零，则Y不依赖于X,它们之间不存在线性相关关系。若1不为零，Y与X之间存在线性相关关系。问题转化为对假设H0:0=0作显著性检验。,线性回归的R检验法（相关系数检验法）：,为X与Y的相关系数rx,y的性质很好的估计，,可用R来检验X与Y的线性相关性。,给定检验水平，选取统计量,假设H0:0=0的拒绝域为：,当eN(0,2),且e1，e2，en相互独立时，当假设H0:0=0成立时，FF(1,n-2),.,8.1.3多元线性回归1、多元线性回归模型：如果因变量Y与自变量：X1，X2，,Xp，(p2)之间存在线性关系，则回归模型为：Y=0+1X1+2X2+pXp+e，其中Ee=0,0De=2则称为多元回归模型,对变量X1,X2,Xp,Y进行n次独立观察得到的样本（Xi1,Xi2,Xip,;Yi)i=1,2,n则理论模型具体化为Yi=0+1Xi1+pXip+eii=1,2,nEei=0，Dei=2i=1,2,n其中e1,e2,en互相独立，与e同分布。,.,记,则数据模型为Y=X+eEe=0，Cov(e,e)=2I其中0为n维零向量，I为n阶单位矩阵。,矩阵X称为设计矩阵。假定X是列满秩的，即r(X)=p+1,此时矩阵XTX是可逆的。,.,2、参数0，1，p的最小二乘估计,利用最小二乘法估计参数0，1，p，即求,达到最小时的0，1，p，记为,.,整理得正规方程组,矩阵形式为,则即为的最小二乘估计。,Y对X1，X2，,Xp的经验线性回归方程为：,可证明为的无偏估计。,.,3误差方差的估计,结论：,称为残差,称为残差平方和,为误差方差的无偏估计,当e1，e2，en相互独立，且都服从N(0,2),时，有,.,4、线性回归显著性检验,H0:0=1=p=0,在求出经验回归方程后，还要对Y与X1,X2,Xp的线性相关关系进行显著性检验。,判断Y与X1,X2,Xp之间线性相关关系是否显著等价于检验,设e1，e2，en相互独立，且都服从