多元线性回归模型的矩阵表示课件_第1页
多元线性回归模型的矩阵表示课件_第2页
多元线性回归模型的矩阵表示课件_第3页
多元线性回归模型的矩阵表示课件_第4页
多元线性回归模型的矩阵表示课件_第5页
已阅读5页,还剩85页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第四章多元线性回归分析1第四章多元线性回归分析1本章主要内容第一节多元线性回归模型第二节参数估计第三节回归拟合度评价和决定系数第四节统计推断和预测2本章主要内容第一节多元线性回归模型2第一节多元线性回归模型一、模型的建立二、模型的假设3第一节多元线性回归模型一、模型的建立3一、模型的建立多元线性回归模型就是研究多因素关系,有多个解释变量的线性回归模型。一般形式是:

其中Y是被解释变量,是K个认为对Y有显著影响的解释变量(K2),是K+1个待定参数,是计量经济分析首先要估计的对象,是随机误差项。4一、模型的建立多元线性回归模型就是研究多因素关系,有多个解释多元线性回归模型的建立也需要有理论和现实的根据。多元线性回归模型中包括哪些变量、因素,哪个指标是被解释变量,有几个解释变量或哪几个指标作为解释变量,既要考虑理论分析和研究目的的需要,也应该根据所研究问题的具体情况、相关经济理论,以及以往研究经验等确定。5多元线性回归模型的建立也需要有理论和现实的根据。5虽然一个经济指标受到其他几个经济指标线性影响在现实经济中是存在的,但更多的情况下多变量关系往往是非线性的,需要经过数学变换才能转化为多元线性回归模型的标准形式。例:

6虽然一个经济指标受到其他几个经济指标线性影响在现实经济中是存二、模型的假设(1)、变量和之间存在多元线性随机函数关系;(2)、对任意都成立;(3)、,与无关;(4)、误差项不相关,当时,(5)、解释变量都是确定性的而非随机变量,且解释变量之间不存在线性关系;(6)、误差项服从正态分布。7二、模型的假设(1)、变量和之间存在多对假设的进一步分析上述六条假设中(2)、(3)、(4)和(6)与两变量模型相同。第(1)条是关于模型基本变量关系的。第(5)条不仅针对的解释变量数目增加了,而且多了一个要求解释变量之间没有线性关系的假设,这是多元线性回归模型的重要特点。8对假设的进一步分析上述六条假设中(2)、(3)、(4)和(6多元线性回归模型的矩阵表示9多元线性回归模型的矩阵表示9第二节参数估计一、最小二乘估计二、投资函数模型参数估计三、参数估计的性质和方差估计10第二节参数估计10一、最小二乘估计参数估计也是多元线性回归模型的基本步骤。最小二乘法也是多元线性回归的基本方法。对于多元线性回归模型11一、最小二乘估计参数估计也是多元线性回归模型的基本步骤。1得到样本回归方程:回归残差平方和当对的一阶偏导数都等于0,得到正规方程组:其中12得到样本回归方程:12该正规方程组有K+1个方程,未知数也是K+1个。只要满足模型假设(5),解释变量之间不存在严格线性关系,就可以解出的唯一一组解。该解就是的最小二乘估计。13该正规方程组有K+1个方程,未知数也是K+1个。只要满足模型特别地,对于两个解释变量的线性回归模型:样本回归方程是:可推导出参数最小二乘估计的公式如下:

14特别地,对于两个解释变量的线性回归模型:14最小二乘估计的向量、矩阵形式向量表示回归方程的向量表示回归残差向量残差平方和15最小二乘估计的向量、矩阵形式向量表示15当对的一阶偏导数都等于016当对的一阶偏导数都等于016二、投资函数模型参数估计作为例子,我们估计[例4-1]的投资函数多元线性回归模型的参数。假设已获得该地区1968-1983年期间实际投资和实际GNP数据。17二、投资函数模型参数估计作为例子,我们估计[例4-1]的投资表4.1某地区投资和GNP数据

年份实际投资实际GNP年份实际投资实际GNP19680.1611.05819760.1951.29819690.1721.08819770.2311.37019700.1581.08619780.2571.43919710.1731.12219790.2591.47919720.1951.18619800.2251.47419730.2171.25419810.2411.50319740.1991.24619820.2041.47519750.1631.23219830.2101.50018表4.1某地区投资和GNP数据年份实际投资实际GNP年份投资函数EViews回归输出结果

DependentVariable:YMethod:LeastSquaresDate:07/13/04Time:19:44Sample:19681983Includedobservations:16VariableCoefficientStd.Errort-StatisticProb.C-0.4864630.053836-9.0359360.0000X1-0.0165930.001819-9.1226060.0000X20.6391170.05289612.082620.0000R-squared0.958362Meandependentvar0.203750AdjustedR-squared0.951957S.D.dependentvar0.033061S.E.ofregression0.007246Akaikeinfocriterion-6.849241Sumsquaredresid0.000683Schwarzcriterion-6.704381Loglikelihood57.79393F-statistic149.6088Durbin-Watsonstat1.313453Prob(F-statistic)0.00000019投资函数EViews回归输出结果DependentVar三、参数估计的性质和方差估计只要变量关系符合多元回归模型的假设,多元回归分析参数的最小二乘估计量也有优良的性质,也是BLUE估计和一致估计。因此在模型假设成立的前提下,最小二乘估计也是多元线性回归分析基本的参数估计方法,并能为相关统计推断和预测分析提供基础。20三、参数估计的性质和方差估计只要变量关系符合多元回归模型的假要进一步对多元线性回归模型进行统计推断和检验,同样需要先估计参数估计量的方差。据最小二乘估计公式和模型假设,可以导出两个解释变量的多元回归模型各个参数的最小二乘估计量的方差。21要进一步对多元线性回归模型进行统计推断和检验,同样需要先估计2222上述参数估计量方差中的是模型误差项的方差,一般可以用多元线性回归最小二乘估计的残差序列:加以估计,公式是:

=23上述参数估计量方差中的是模型误差项的方差,一般可第三节回归拟合度评价和决定系数分析两变量线性回归决定系数公式可以发现,该决定系数只与被解释变量的观测值以及回归残差有关,而与解释变量无直接关系。

多元模型解释变量的数目有多有少,该决定系数是解释变量数目的增函数,意味着不管增加的解释变量是否真是影响被解释变量的重要因素,都会提高决定系数的数值,解释变量个数越多,决定系数一定会越大。

24第三节回归拟合度评价和决定系数分析两变量线性回归决定系数公克服决定系数上述缺陷的方法,是对决定系数进行适当的调整,采用如下“调整的决定系数”:

=25克服决定系数上述缺陷的方法,是对决定系数进行适当的调整,采用根据上述公式可以看出,当n较大和K

较小时,和R差别不大,但当n并不是很大而K又较大时,两者的差别是比较明显的。用这个调整的决定系数作为评价多元线性回归拟合度的评价标准,可以基本消除由于解释变量数目差异造成的影响。根据上述公式计算决定系数,需要先根据回归直线计算的理论值,然后计算回归残差序列,再结合样本数据进行计算。

26根据上述公式可以看出,当n较大和K较小时,和R差第四节统计推断和预测一、参数估计量的标准化二、统计推断和检验三、预测27第四节统计推断和预测一、参数估计量的标准化27一、参数估计量的标准化在满足模型假设的情况下,多元线性回归模型参数的最小二乘估计量是线性无偏估计。参数估计量服从以参数真实值为中心的正态分布:可以通过下列变换转化为标准正态分布的统计量:

=N[0,1]28一、参数估计量的标准化在满足模型假设的情况下,多元线性回归模用无偏估计代替误差项方差,代入得到的统计量服从自由度为n-K-1的t分布,记为=t(n-K-1)这个t分布统计量是对多元线性回归参数估计量进行统计推断和检验的基础。29用无偏估计代替误差项方差,代入二、统计推断和检验(一)单个参数的置信区间(二)参数显著性检验(三)模型总体显著性检验30二、统计推断和检验(一)单个参数的置信区间30(一)单个参数的置信区间对给定的或要求的置信度,下式应该成立:

||=

因此参数置信度为的置信区间(或称区间估计)为:[-,+]31(一)单个参数的置信区间对给定的或要求的置信度,下式应该成立投资函数模型参数的区间估计

首先根据EViews给出的回归分析结果,知道的点估计=0.639117,的方差即=0.052896。再通过查表得到自由度为,显著性水平=0.05的双侧t分布临界值把这些数值及代入区间估计公式,可得:32投资函数模型参数的区间估计首先根据EViews给出的(二)参数的显著性检验可以对多元线性回归模型的各个参数进行显著性检验,或取特定值的假设检验。模型参数显著性检验就是对相应参数检验原假设:=0。如果=0成立,那么意味着不能排除模型中第k个假设变量是不重要的。根据要求的置信度(95%或99%),查t分布表得到自由度为n-K-1的t分布统计量的双侧分布临界值。33(二)参数的显著性检验可以对多元线性回归模型的各个参数进行显如果假设是真实的,那么95%或99%应该成立:

==(n-K-1)如果t统计量数值不满足上述不等式,意味着可以拒绝原假设,不能认为第k个解释变量是不重要的,称模型的第k个解释变量通过了显著性检验。

34如果假设是真实的,那么95%或99%应该成立:34除了上述参数非0的显著性检验以外,也可以检验多元回归模型各个参数取非0的其他特定值的可能性。检验的原理与显著性检验基本相同,只要把参数的真实值换成要检验是否成立的数值即可。35除了上述参数非0的显著性检验以外,也可以检验多元回归模型各个(三)模型总体显著性检验多元线性回归模型每个参数的显著性与模型总体的显著性并不一定一致。因此还可以进行模型总体显著性,也就是全体解释变量总体对被解释变量是否存在明显影响的检验,称为“回归显著性检验”。回归显著性检验的基本方法,是检验模型常数项以外所有参数同时为0的假设,即检验原假设为:=0。36(三)模型总体显著性检验多元线性回归模型每个参数的显著性与模为了方便起见,实践中一般都利用成立时模型的决定系数应为0的事实,通过检验决定系数的显著性间接检验回归显著性。决定系数的显著性则利用下列F分布统计量进行检验:F=F(K,n-K-1)给定显著性水平(对应置信度1-),查F分布临界值表,得到临界值F(K,n-K-1),若F统计量大于F回归是显著的,否则是不显著的。37为了方便起见,实践中一般都利用成立时模型的决定系数应三、预测预测也是多元线性回归分析的目的和进一步检验模型的方法,也包括点预测和区间预测两方面。

点预测就是求对应解释变量观测值的被解释变量值的估计。得到回归直线以后,只要把代入回归直线,得到:

就是一个点预测。38三、预测预测也是多元线性回归分析的目的和进一步检验模型的方法即使模型代表的经济规律在预测时刻是严格成立的,预测与实际发生的一般也不会完全一样,因为预测和实际值之间存在预测误差。但在模型假设成立的前提下,上述基于最小二乘参数估计的预测是一个“线性无偏预测”,而且是具有最小方差的线性无偏预测,也称为“最优预测”。

是观测值的线性组合,以为数学期望,且服从正态分布。

39即使模型代表的经济规律在预测时刻是严格成立的,预测与实利用点预测的上述性质,我们可以构造比点预测更有意义的区间预测:[se(),+se()]40利用点预测的上述性质,我们可以构造比点预测更有意义的区间预测(例)利用投资函数模型进行预测

假设1984年的GNP为1.52万亿元,要求预测该年该地区的总投资。由于1984年相当于模型中的,1.52万亿相当于。把这两个解释变量的数值代入回归直线,可得到第1984年实际GNP为1.52万亿时,实际投资水平的点预测:=≈0.203

41(例)利用投资函数模型进行预测假设1984年的GNP为1.用EViews软件进行预测时,需要先把工作文件的样本范围扩大(changeworkfilerange)至包括1984年,然后在数据库中加以编辑(edit),输入1984年的解释变量数值(17,1.52)。进行回归以后,在回归结果窗口直接点击菜单“forcast”,并在对话框中选择预测样本区间为1968-1984,为了得到预测的标准差序列,在对话框中将其命名为SEYF。结果可输出如下的预测图形:42用EViews软件进行预测时,需要先把工作文件的样本范围扩大投资函数预测图形

43投资函数预测图形43注意在回归样本区间范围内的预测实际上就是拟合,主要作用是检验模型。对应1984年的最后一个预测值(YF)0.202918和预测标准差(SEYF)0.008896是我们真正关注的预测。44注意在回归样本区间范围内的预测实际上就是拟合,主要作用是检验在点预测和预测标准差的基础上,很容易进一步构造区间预测了。仍然采用95%的置信度,t分布临界值仍然是。将上述点预测和预测标准差代入区间预测的公式,得到的95%置信度的区间预测为[0.184,0.222]。45在点预测和预测标准差的基础上,很容易进一步构造区间预测了。仍第四章多元线性回归分析46第四章多元线性回归分析1本章主要内容第一节多元线性回归模型第二节参数估计第三节回归拟合度评价和决定系数第四节统计推断和预测47本章主要内容第一节多元线性回归模型2第一节多元线性回归模型一、模型的建立二、模型的假设48第一节多元线性回归模型一、模型的建立3一、模型的建立多元线性回归模型就是研究多因素关系,有多个解释变量的线性回归模型。一般形式是:

其中Y是被解释变量,是K个认为对Y有显著影响的解释变量(K2),是K+1个待定参数,是计量经济分析首先要估计的对象,是随机误差项。49一、模型的建立多元线性回归模型就是研究多因素关系,有多个解释多元线性回归模型的建立也需要有理论和现实的根据。多元线性回归模型中包括哪些变量、因素,哪个指标是被解释变量,有几个解释变量或哪几个指标作为解释变量,既要考虑理论分析和研究目的的需要,也应该根据所研究问题的具体情况、相关经济理论,以及以往研究经验等确定。50多元线性回归模型的建立也需要有理论和现实的根据。5虽然一个经济指标受到其他几个经济指标线性影响在现实经济中是存在的,但更多的情况下多变量关系往往是非线性的,需要经过数学变换才能转化为多元线性回归模型的标准形式。例:

51虽然一个经济指标受到其他几个经济指标线性影响在现实经济中是存二、模型的假设(1)、变量和之间存在多元线性随机函数关系;(2)、对任意都成立;(3)、,与无关;(4)、误差项不相关,当时,(5)、解释变量都是确定性的而非随机变量,且解释变量之间不存在线性关系;(6)、误差项服从正态分布。52二、模型的假设(1)、变量和之间存在多对假设的进一步分析上述六条假设中(2)、(3)、(4)和(6)与两变量模型相同。第(1)条是关于模型基本变量关系的。第(5)条不仅针对的解释变量数目增加了,而且多了一个要求解释变量之间没有线性关系的假设,这是多元线性回归模型的重要特点。53对假设的进一步分析上述六条假设中(2)、(3)、(4)和(6多元线性回归模型的矩阵表示54多元线性回归模型的矩阵表示9第二节参数估计一、最小二乘估计二、投资函数模型参数估计三、参数估计的性质和方差估计55第二节参数估计10一、最小二乘估计参数估计也是多元线性回归模型的基本步骤。最小二乘法也是多元线性回归的基本方法。对于多元线性回归模型56一、最小二乘估计参数估计也是多元线性回归模型的基本步骤。1得到样本回归方程:回归残差平方和当对的一阶偏导数都等于0,得到正规方程组:其中57得到样本回归方程:12该正规方程组有K+1个方程,未知数也是K+1个。只要满足模型假设(5),解释变量之间不存在严格线性关系,就可以解出的唯一一组解。该解就是的最小二乘估计。58该正规方程组有K+1个方程,未知数也是K+1个。只要满足模型特别地,对于两个解释变量的线性回归模型:样本回归方程是:可推导出参数最小二乘估计的公式如下:

59特别地,对于两个解释变量的线性回归模型:14最小二乘估计的向量、矩阵形式向量表示回归方程的向量表示回归残差向量残差平方和60最小二乘估计的向量、矩阵形式向量表示15当对的一阶偏导数都等于061当对的一阶偏导数都等于016二、投资函数模型参数估计作为例子,我们估计[例4-1]的投资函数多元线性回归模型的参数。假设已获得该地区1968-1983年期间实际投资和实际GNP数据。62二、投资函数模型参数估计作为例子,我们估计[例4-1]的投资表4.1某地区投资和GNP数据

年份实际投资实际GNP年份实际投资实际GNP19680.1611.05819760.1951.29819690.1721.08819770.2311.37019700.1581.08619780.2571.43919710.1731.12219790.2591.47919720.1951.18619800.2251.47419730.2171.25419810.2411.50319740.1991.24619820.2041.47519750.1631.23219830.2101.50063表4.1某地区投资和GNP数据年份实际投资实际GNP年份投资函数EViews回归输出结果

DependentVariable:YMethod:LeastSquaresDate:07/13/04Time:19:44Sample:19681983Includedobservations:16VariableCoefficientStd.Errort-StatisticProb.C-0.4864630.053836-9.0359360.0000X1-0.0165930.001819-9.1226060.0000X20.6391170.05289612.082620.0000R-squared0.958362Meandependentvar0.203750AdjustedR-squared0.951957S.D.dependentvar0.033061S.E.ofregression0.007246Akaikeinfocriterion-6.849241Sumsquaredresid0.000683Schwarzcriterion-6.704381Loglikelihood57.79393F-statistic149.6088Durbin-Watsonstat1.313453Prob(F-statistic)0.00000064投资函数EViews回归输出结果DependentVar三、参数估计的性质和方差估计只要变量关系符合多元回归模型的假设,多元回归分析参数的最小二乘估计量也有优良的性质,也是BLUE估计和一致估计。因此在模型假设成立的前提下,最小二乘估计也是多元线性回归分析基本的参数估计方法,并能为相关统计推断和预测分析提供基础。65三、参数估计的性质和方差估计只要变量关系符合多元回归模型的假要进一步对多元线性回归模型进行统计推断和检验,同样需要先估计参数估计量的方差。据最小二乘估计公式和模型假设,可以导出两个解释变量的多元回归模型各个参数的最小二乘估计量的方差。66要进一步对多元线性回归模型进行统计推断和检验,同样需要先估计6722上述参数估计量方差中的是模型误差项的方差,一般可以用多元线性回归最小二乘估计的残差序列:加以估计,公式是:

=68上述参数估计量方差中的是模型误差项的方差,一般可第三节回归拟合度评价和决定系数分析两变量线性回归决定系数公式可以发现,该决定系数只与被解释变量的观测值以及回归残差有关,而与解释变量无直接关系。

多元模型解释变量的数目有多有少,该决定系数是解释变量数目的增函数,意味着不管增加的解释变量是否真是影响被解释变量的重要因素,都会提高决定系数的数值,解释变量个数越多,决定系数一定会越大。

69第三节回归拟合度评价和决定系数分析两变量线性回归决定系数公克服决定系数上述缺陷的方法,是对决定系数进行适当的调整,采用如下“调整的决定系数”:

=70克服决定系数上述缺陷的方法,是对决定系数进行适当的调整,采用根据上述公式可以看出,当n较大和K

较小时,和R差别不大,但当n并不是很大而K又较大时,两者的差别是比较明显的。用这个调整的决定系数作为评价多元线性回归拟合度的评价标准,可以基本消除由于解释变量数目差异造成的影响。根据上述公式计算决定系数,需要先根据回归直线计算的理论值,然后计算回归残差序列,再结合样本数据进行计算。

71根据上述公式可以看出,当n较大和K较小时,和R差第四节统计推断和预测一、参数估计量的标准化二、统计推断和检验三、预测72第四节统计推断和预测一、参数估计量的标准化27一、参数估计量的标准化在满足模型假设的情况下,多元线性回归模型参数的最小二乘估计量是线性无偏估计。参数估计量服从以参数真实值为中心的正态分布:可以通过下列变换转化为标准正态分布的统计量:

=N[0,1]73一、参数估计量的标准化在满足模型假设的情况下,多元线性回归模用无偏估计代替误差项方差,代入得到的统计量服从自由度为n-K-1的t分布,记为=t(n-K-1)这个t分布统计量是对多元线性回归参数估计量进行统计推断和检验的基础。74用无偏估计代替误差项方差,代入二、统计推断和检验(一)单个参数的置信区间(二)参数显著性检验(三)模型总体显著性检验75二、统计推断和检验(一)单个参数的置信区间30(一)单个参数的置信区间对给定的或要求的置信度,下式应该成立:

||=

因此参数置信度为的置信区间(或称区间估计)为:[-,+]76(一)单个参数的置信区间对给定的或要求的置信度,下式应该成立投资函数模型参数的区间估计

首先根据EViews给出的回归分析结果,知道的点估计=0.639117,的方差即=0.052896。再通过查表得到自由度为,显著性水平=0.05的双侧t分布临界值把这些数值及代入区间估计公式,可得:77投资函数模型参数的区间估计首先根据EViews给出的(二)参数的显著性检验可以对多元线性回归模型的各个参数进行显著性检验,或取特定值的假设检验。模型参数显著性检验就是对相应参数检验原假设:=0。如果=0成立,那么意味着不能排除模型中第k个假设变量是不重要的。根据要求的置信度(95%或99%),查t分布表得到自由度为n-K-1的t分布统计量的双侧分布临界值。78(二)参数的显著性检验可以对多元线性回归模型的各个参数进行显如果假设是真实的,那么95%或99%应该成立:

==(n-K-1)如果t统计量数值不满足上述不等式,意味着可以拒绝原假设,不能认为第k个解释变量是不重要的,称模型的第k个解释变量通过了显著性检验。

79如果假设是真实的,那么95%或99%应该成立:34除了上述参数非0的显著性检验以外,也可以检验多元回归模型各个参数取非0的其他特定值的可能性。检验的原理与显著性检验基本相同,只要把参数的真实值换成要检验是否成立的数值即可。80除了上述参数非0的显著性检验以外,也可以检验多元回归模型各个(三)模型总体显著性检验多元线性回归模型每个参数的显著性与模型总体的显著性并不一定一致。因此还可以进行模型总体显著性,也就是全体解释变量总体对被解释变量是否存在明显影响的检验,称为“回归显著性检验”。回归显著性检验的基本方法,是检验模型常数项以外所有参数同时为0的假设,即检验原假设为:=0。81(三)模型总体显著性检验多元线性回归模型每个参数的显著性与模为了方便起见,实践中一般都利用成立时模型的决定系数应为0的事实,通过检验决定系数的显著性间接检验回归显著性。决定系数的显著性则利用下列F分布统计量进行检验:F=F(K,n-K-1)给定

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论