第09章线性回归计算

.,回归分析适合研究哪类问题?回归方程的显著性检验适合什么情况?回归系数的显著性检验适合什么情况?,.,9.1回归分析的基本概念,9.1.1因变量(Y)与自变量(X)之间的关系,根据因变量与自变量之间的关系不同，可以分为两种类型：,函数关系,统计关系,.,9.1.1因变量(Y)与自变量(X)之间的关系,1.函数关系,即对两个变量X，Y来说，当X值确定后，Y值按照一定的规律唯一确定，即形成一种精确的关系。,例如:微积分学中所研究的一般变量之间的函数关系就属于此种类型。,.,9.1.1因变量(Y)与自变量(X)之间的关系,2.统计关系,即当X值确定后，Y值不是唯一确定的，但大量统计资料表明，这些变量之间还是存在着某种客观的联系。,例如：图9.1在直角坐标平面上，标出了10个观测点的坐标位置，他们表示以家庭为单位，某种商品年需求量与该商品价格之间的10对调查数据。,.,9.1.2回归分析,图9-1,.,9.1.2回归分析,回归分析(RegressionAnalysis),就是应用统计方法，对大量的观测数据进行整理、分析和研究，从而得出反映事物内部规律性的一些结论(数学模型)。,.,9.2一元线性回归模型,9.2.1统计关系的特征,统计关系特征,观测点散布在统计关系直线的周围，此种情况说明Y的变化除了受自变量X影响以外，还受其他因素的影响。,因此试图建立这样一个回归模型，通过对此模型所作的一些假设，可以体现出上述统计关系所刻划的特征。,因变量Y随自变量X有规律的变化，而统计关系直线描述了这一变化的趋势。,.,9.2.2一元线性回归模型假设,根据统计关系特征，可以进行下述假设：,假设,(2)这些Y的概率分布的均值，有规律的随X变化而变化,(1)对于自变量的每一水平X，存在着Y的一个概率分布；,.,9.2.3一元线性回归模型,Y与X具有统计关系而且是线性,建立回归模型,Yi=0+1Xi+i(i=1,2,n),其中，(Xi,Yi)表示(X,Y)的第i个观测值，0,1为参数，0+1Xi为反映统计关系直线的分量，i为反映在统计关系直线周围散布的随机分量iN(0,2)。,.,9.2.3一元线性回归模型,对于任意Xi值有：,Yi服从正态分布,E(Yi)=0+1Xi；,各Yi间相互独立YiN(0+1Xi,2)。,.,9.2.3一元线性回归模型,图9-2,.,9.2.4一元线性回归方程,最小二乘法,Y与X之间为线性关系,选出一条最能反映Y与X之间关系规律的直线,.,9.2.4一元线性回归方程,Yi=0+1Xi+i0和1均未知,根据样本数据对0和1进行估计,0和1的估计值为b0和b1,建立一元线性回归方程,.,9.2.4一元线性回归方程,一般而言，所求的b0和b1应能使每个样本观测点(Xi,Yi)与回归直线之间的偏差尽可能小，即使观察值与拟合值的误差平方和Q达到最小。,图9-4回归方程原理图,.,9.2.4一元线性回归方程,令,Q达到最小值b0和b1称为最小二乘估计量,微积分中极值的必要条件,令偏导数为0,解方程,.,9.2.4一元线性回归方程,(9-5),(9-6),.,9.2.5最小二乘估计量b0,b1的特性,b0,b1的特性,线性性无偏性,.,9.2.5最小二乘估计量b0,b1的特性,(1)线性特性,由（9-5）得,令,则,表明b1是Yi的线性组合,.,9.2.5最小二乘估计量b0,b1的特性,同理，可得,b0是Yi线性组合,.,9.2.5最小二乘估计量b0,b1的特性,(2)无偏性,可以证明b0和b1分别是0和1的无偏估计（过程比较繁琐，参照第五章内容有兴趣大家自己证明。）,.,9.3总平方和分解,9.3.1总平方和分解,.,9.3.1总平方和分解,图9-5总平方和分解图,.,9.3.1总平方和分解,总离差平方和,它表示没有X的影响，单纯考察数据中Y的变动情况。,.,9.3.1总平方和分解,回归平方和,表示各的变动程度，该变动是由于回归直线中各Xi的变动所引起的，并且通过X对Y的线性影响表现出来。,.,9.3.1总平方和分解,误差平方和,表示各Yi围绕所拟合的回归直线的变动程度,SSTO=SSR+SSE,.,9.3.1总平方和分解,SSE=SSTO-SSR,.,9.3.2自由度的分解,SSTO,自由度T为n-1,SSE,0和1用了两个正规方程,自由度E为n-2,SSR,自由度R为1,.,9.3.2自由度的分解,自由度的分解可以表示为,n-1=1+（n-2）,T=R+E,.,9.3.3回归均方与误差均方,(9-10),(9-11),回归均方,误差均方,.,9.4样本确定系数与样本相关系数,9.4.1样本确定系数,(9-12),注:Y的总变差中能被X解释的那部分所占的比率,.,9.4.1样本确定系数,r2的取值范围,样本的全部观察值都落在所拟和的回归直线上SSE=0，,r2=1,当X与Y无关，Y的变差完全由于随机因素引起，此时，SSR=0,r2=0,.,9.4.2样本相关系数,样本相关系数,注:r与b1的分母均为正，分子相同,故r与b1有相同的符号。,.,9.4.2样本相关系数,不同r值所表示的相关程度,.,9.4.2样本相关系数,r的取值情况,情况一,图9-6,.,9.4.2样本相关系数,情况二,图9-7,.,9.4.2样本相关系数,情况三,图9-8,.,9.4.2样本相关系数,情况四,图9-9,.,9.5一元线性回归显著性检验,在回归函数E(Y)=0+1X中，如果1=0，则对于X的一切水平E(Y)=0，说明Y的变化与X的变化无关，因而，我们不能通过X去预测Y。所以，对模型Yi=0+1Xi+i检验1=0是否成立，等价于检验Y与X之间是否存在线性关系。,.,9.5.1b1的抽样分布,为了检验1=0是否成立，需要构造一个合适的统计量，因此，首先讨论b1的抽样分布。,.,9.5.1b1的抽样分布,b1是观测值Yi的线性组合,Yi服从正态分布且相互独立,b1也服从正态分布,.,9.5.1b1的抽样分布,以下可以证明,b1的方差,.,9.5.1b1的抽样分布,证明：,因为,且Yi相互独立，其中,所以，b1服从,.,9.5.2F检验,在一元线性回归中，为了检验Y对于X线性关系的统计显著性，对1进行F检验,1）提出假设：H0：1=0，H1：10。,2）构造并计算统计量：,3）查F分布临界值表，得临界值,4）比较：接受H0，认为Y与X不存在一元线性关系。,.,9.5.2F检验,若F,拒绝H0，认为Y与X存在一元线性关系。,表9-1方差分析表,.,9.5.3t检验,1）提出假设,H0:H1:,2）构造并计算统计量,步骤：,3）查t分布临界值表,得临界值,.,9.5.3t检验,4）比较,若，接受H0,若，拒绝H0,.,9.5.4利用样本相关系数进行统计检验,步骤：,1）提出假设,H0:=0H1:,2）计算简单相关系数r,3）查相关系数临界值表,得临界值,是总体Y与X的线性相关系数,.,9.5.4利用样本相关系数进行统计检验,4）比较,若，接受H0,若，拒绝H0,.,例题,某市欲对货运总量与工业总产值的数量关系进行研究，以便通过工业总产值预测货运总量。现将2001-2010年的数据，列入下表：画出相应的统计图，根据这些数据建立相应回归方程。计算说明工业总产值与货运总量之间是否线性相关及相关程度。对所求得的回归方程进行线性显著性检验。=0.05对计算得出的回归系数进行检验。当工业总产值为500亿元，置信度为1-=0.95时，预测货运总量Y0的双侧置信区间。,.,课堂练习,某厂要建立产量与单位成本数量关系模型，现收集了2000-2011年产量与单位成本的资料，如下表：根据这些资料说明产量与单位成本的数量关系。对所求得的回归方程进行线性显著性检验。=0.05对计算得出的回归系数进行检验。假设2012年的计划产量为2800件，预测单位成本的95%的置信区间。,.,9.6模型适合性分析,在对一元线性回归模型的适合性进行分析时,由于误差项是不可观测或测量的,需借助残差的图像,来考察模型是否存在以下情况：异方差性和自相关性。,.,9.6.1误差项的异方差性检验,若不具有常数方差,称模型存在异方差性。此时,残差如下图所示，数据点呈现发散或收敛趋势。在此种情况下,最小二乘法失效,因此需按照一定方法对数据进行变换,在计量经济学课程中,对此有详细讲述。,.,9.6.1误差项的异方差性检验,误差项具有异方差性的残差图,图9-10,.,9.6.2误差项的自相性关检验,如果观测值是来自一个时间序列的