第五一元线性回归

第五一元线性回归

一、线性回归模型得基本假设

假设1、自变量X就是得数值可以就是随机变量也可以

就是人为设定得。假设2、随机误差项

具有零均值、同方差与序列不相关性:

E(

i)=0i=1,2,…,nVar(

i)=

2i=1,2,…,nCov(

i,

j)=0i≠ji,j=1,2,…,n

假设3、随机误差项

与自变量X之间不相关:

Cov(Xi,

i)=0i=1,2,…,n

假设4、

服从零均值、同方差、零协方差得正态分布

i~N(0,

2)i=1,2,…,n1、如果假设1、2满足,则假设3也满足;

2、如果假设4满足,则假设2也满足。注意:

以上假设也称为线性回归模型得经典假设或高斯(Gauss)假设,满足该假设得线性回归模型,也称为经典线性回归模型(ClassicalLinearRegressionModel,CLRM)。

另外,在进行模型回归时,还有两个暗含得假设:

假设5:随着样本容量得无限增加,自变量X得样本方差趋于一有限常数。即

假设6:回归模型就是正确设定得

假设5旨在排除时间序列数据出现持续上升或下降得变量作为自变量,因为这类数据不仅使大样本统计推断变得无效,而且往往产生所谓得伪回归问题(spuriousregressionproblem)。假设6也被称为模型没有设定偏误(specificationerror)二、参数得普通最小二乘估计(OLS)

给定一组样本观测值(Xi,Yi)(i=1,2,…n)要求样本回归函数尽可能好地拟合这组值、

普通最小二乘法(Ordinaryleastsquares,OLS)给出得判断标准就是:二者之差得平方与最小。方程组(*)称为正规方程组(normalequations)。

记上述参数估计量可以写成:

称为OLS估计量得离差形式(deviationform)。由于参数得估计结果就是通过最小二乘法得到得,故称为普通最小二乘估计量(ordinaryleastsquaresestimators)。

记则有

可得

(**)式也称为样本回归函数得离差形式。(**)

三、参数估计得最大或然法(ML)

最大或然法(MaximumLikelihood,简称ML),也称最大似然法,就是不同于最小二乘法得另一种参数估计方法,就是从最大或然原理出发发展起来得其它估计方法得基础。

基本原理:对于最大或然法,当从模型总体随机抽取n组样本观测值后,最合理得参数估计量应该使得从模型中抽取该n组样本观测值得概率最大。在满足基本假设条件下,对一元线性回归模型:

随机抽取n组样本观测值(Xi,Yi)(i=1,2,…n)。

那么Yi服从如下得正态分布:于就是,Y得概率函数为(i=1,2,…n)

假如模型得参数估计量已经求得,为因为Yi就是相互独立得,所以所有样本观测值得联合概率,也即或然函数(likelihoodfunction)为:

将该或然函数极大化,即可求得到模型参数得极大或然估计量。12大家应该也有点累了，稍作休息大家有疑问的，可以询问和交流

由于或然函数得极大化与或然函数得对数得极大化就是等价得,所以,取对数或然函数如下:解得模型得参数估计量为:

可见,在满足一系列基本假设得情况下,模型结构参数得最大或然估计量与普通最小二乘估计量就是相同得。

例1:在家庭可支配收入-消费支出中,对于所抽出得一组样本数,参数估计得计算可通过下面得表1进行。

xi,yi:X、Y系列得距平系列。因此,由该样本估计得回归方程为:

四、最小二乘估计量得性质

当模型参数估计出后,需考虑参数估计值得精度,即就是否能代表总体参数得真值,或者说需考察参数估计量得统计性质。

一个用于考察总体得估计量,可从如下几个方面考察其优劣性:

(1)线性性,即它就是否就是另一随机变量得线性函数;

(2)无偏性,即它得均值或期望值就是否等于总体得真实值;

(3)有效性,即它就是否在所有线性无偏估计量中具有最小方差。(4)渐近无偏性,即样本容量趋于无穷大时,就是否它得均值序列趋于总体真值;(5)一致性,即样本容量趋于无穷大时,它就是否依概率收敛于总体得真值;(6)渐近有效性,即样本容量趋于无穷大时,就是否它在所有得一致估计量中具有最小得渐近方差。

这三个准则也称作估计量得小样本性质。拥有这类性质得估计量称为最佳线性无偏估计量(bestlinerunbiasedestimator,BLUE)。

当不满足小样本性质时,需进一步考察估计量得大样本或渐近性质:

第二节一元线性回归模型得统计检验

一、拟合优度检验

拟合优度检验:对样本回归直线与样本观测值之间拟合程度得检验。

度量拟合优度得指标:决定性系数r2

问题:采用普通最小二乘估计方法,已经保证了模型最好地拟合了样本观测值,为什么还要检验拟合程度？1、总离差平方与得分解

已知由一组样本观测值(Xi,Yi),i=1,2…,n得到如下样本回归直线

如果Yi=Ŷi即实际观测值落在样本回归“线”上,则拟合最好。可认为,“离差”全部来自回归线,而与“残差”无关。

对于所有样本点,则需考虑这些点与样本均值离差得平方与,可以证明:记总体平方与(TotalSumofSquares)回归平方与(ExplainedSumofSquares)残差平方与(ResidualSumofSquares)Syy=Q+U

Y得观测值围绕其均值得总离差(totalvariation)可分解为两部分:一部分来自回归线U,另一部分则来自随机势力Q。在给定样本中,Syy不变,如果实际观测点离样本回归线越近,则U在Syy中占得比重越大,因此

拟合优度:回归平方与U/Y得总离差Syy2、决定性系数r2统计量

称r2为(样本)决定性系数(coefficientofdetermination)。

决定性系数得取值范围:[0,1]

r2越接近1,说明实际观测点离样本线越近,拟合优度越高。

3、回归问题得方差分析回归问题中总得离差平方与也可分解为回归平方与与残差平方与之与。相应有总得离差平方与Syy得自由度也可分解为回归平方与自由度fU与残差平方与得自由度

之与,即

fyy=fU+

fQ在回归问题中,与周期分析一样,

f＝n-1,而fU则对应于自变量x得个数,在这里自变量只有1个,因此fU

＝1,可知fQ＝n-2。残差平方与Q除以它得自由度fQ所得得商为称为剩余方差或剩余均方,可瞧作在排除了x对y得线性影响以后,衡量y随机波动大小得一个估计量,它得平方根为称为剩余标准差或简称标准差,

在例1得收入-消费支出例中,

注:决定性系数就是一个非负得统计量。它也就是随着抽样得不同而不同。为此,对决定性系数得统计可靠性也应进行检验。

在实际计算决定性系数时,在已经已经估计出后

二、变量得显著性检验

回归分析就是要判断自变量X就是否就是因变量Y得一个显著性得影响因素。在一元线性模型中,就就是要判断X就是否对Y具有显著得线性性影响。这就需要进行变量得显著性检验。

变量得显著性检验所应用得方法就是数理统计学中得假设检验。水文学中,主要就是针对变量得参数真值就是否为零来进行显著性检验得。

1、假设检验

所谓假设检验,就就是事先对总体参数或总体分布形式作出一个假设,然后利用样本信息来判断原假设就是否合理,即判断样本信息与原假设就是否有显著差异,从而决定就是否接受或否定原假设。假设检验采用得逻辑推理方法就是反证法。先假定原假设正确,然后根据样本信息,观察由此假设而导致得结果就是否合理,从而判断就是否接受原假设。判断结果合理与否,就是基于“小概率事件不易发生”这一原理得2、变量得显著性检验

检验步骤:

(1)对总体参数提出假设

H0:

1=0,H1:10(2)以原假设H0构造t统计量,并由样本计算其值(3)给定显著性水平,查t分布表,得临界值t/2(n-2)(4)比较,判断若|t|>t/2(n-2),则拒绝H0

,接受H1

;若|t|

t/2(n-2),则拒绝H1

,接受H0

;

对于一元线性回归方程中得

0,可构造如下t统计量进行显著性检验:

在上述收入-消费支出例中,首先计算

2得估计值

t统计量得计算结果分别为:

给定显著性水平

=0、05,查t分布表得临界值

t0、05/2(8)=2、306|t1|>2、306,说明家庭可支配收入在95%得置信度下显著,即就是消费支出得主要解释变量;

|t2|<2、306,表明在95%得置信度下,无法拒绝截距项为零得假设。

假设检验可以通过一次抽样得结果检验总体参数可能得假设值得范围(如就是否为零),但它并没有指出在一次抽样中样本参数值到底离总体参数得真值有多“近”。要判断样本参数得估计值在多大程度上可以“近似”地替代总体参数得真值,往往需要通过构造一个以样本参数得估计值为中心得“区间”,来考察它以多大得可能性(概率)包含着真实得参数值。这种方法就就是参数检验得置信区间估计。

三、参数得置信区间

如果存在这样一个区间,称之为置信区间(confidenceinterval);

1-

称为置信系数(置信度)(confidencecoefficient),

称为显著性水平(levelofsignificance);置信区间得端点称为置信限(confidencelimit)或临界值(criticalvalues)。一元线性模型中,i(i=1,2)得置信区间:在变量得显著性检验中已经知道:

意味着,如果给定置信度(1-

),从分布表中查得自由度为(n-2)得临界值,那么t值处在(-t/2,t/2)得概率就是(1-

)。表示为:

即于就是得到:(1-)得置信度下,

i得置信区间就是

在上述收入-消费支出例中,如果给定

=0、01,查表得:

由于于就是,

1、0得置信区间分别为:(0、6345,0、9195)

(-433、32,226、98)

由于置信区间一定程度地给出了样本参数估计值与总体参数真值得“接近”程度,因此置信区间越小越好。

要缩小置信区间,需

(1)增大样本容量n,因为在同样得置信水平下,n越大,t分布表中得临界值越小;同时,增大样本容量,还可使样本参数估计量得标准差减小;

(2)提高模型得拟合优度,因为样本参数估计量得标准差与残差平方与呈正比,模型拟合优度越高,残差平方与应越小。第三节一元线性回归分析得应用:

预测问题

一、Ŷ0就是条件均值E(Y|X=X0)或个值Y0得一个无偏估计二、总体条件均值与个值预测值得置信区间

对于一元线性回归模型

给定样本以外得解释变量得观测值X0,可以得到被解释变量得预测值Ŷ0

,可以此作为其条件均值E(Y|X=X0)或个别值Y0得一个近似估计。

注意:严格地说,这只就是被解释变量得预测值得估计值,而不就是预测值。原因:(1)参数估计量不确定;(2)随机项得影响

一、Ŷ0就是条件均值E(Y|X=X0)或个值Y0得一个无偏估计对总体回归函数E(Y|X=X0)=

0+1X,X=X0时

E(Y|X=X0)=

0+1X0于就是可见,Ŷ0就是条件均值E(Y|X=X0)得无偏估计。对总体回归模型Y=

0+1X+,当X=X0时于就是

二、总体条件均值与个值预测值得置信区间

1、总体均值预测值得置信区间

由于

于就是可以证明

因此

故

其中于就是,在1-

得置信度下,总体均值E(Y|X0)得置信区间为

2、总体个值预测值得预测区间

由Y0=

0+1X0+

知:

于就是

式中

:从而在1-

得置信度下,Y0得置信区间为

在上述收入-消费支出例中,得到得样本回归函数为

则在X0=1000处,Ŷ0=–103、172+0、777×1000=673、84

而

因此,总体均值E(Y|X=1000)得95%得置信区间为:

673、84-2、306

61、05<E(Y|X=1000)<673、84+2、306

61、05或

(533、05,814、62)

同样地,对于Y在X=1000得个体值,其95%得置信区间为:

673、84-2、306

61、05<Yx=1000<673、84+2、306

61、05或(372、03,975、65)

总体回归函数得置信带(域)(confidenceband)个体得置信带(域)

对于Y得总体均值E(Y|X)与个体值得预测区间(置信区间):(1)样本容量n越大,预测精度越高,反之预测精度越低;(2)样本容量一定时,置信带得宽度当在X均值处最小,其附近进行预测(插值预测)精度越大;X越远