统计建模多元回归分析PPT学习教案

1、会计学1统计建模多元回归分析统计建模多元回归分析变量之间的相互关系大致可分为两类变量之间的相互关系大致可分为两类:(1)(1)确定关系确定关系-函数关系函数关系. .(2)(2)不确定关系不确定关系-相关关系相关关系. . 在许多实际问题中在许多实际问题中 , ,由于生产或试验由于生产或试验过程不可避免存在着误差的影响过程不可避免存在着误差的影响, ,使得变量使得变量之间的关系具有某种程度的之间的关系具有某种程度的不确定性不确定性, ,并且并且不能用函数表示不能用函数表示, ,这些变量其实是随机变量这些变量其实是随机变量或至少其中有一个是随机变量或至少其中有一个是随机变量. .第1页/共25页

2、 为确定随机变量与随机变量为确定随机变量与随机变量(或非随机或非随机变量变量 ) 之间的相依关系之间的相依关系,需采用统计分析方法需采用统计分析方法总结出隐藏在随机性后面的统计规律性总结出隐藏在随机性后面的统计规律性(统计统计模型模型).这类统计规律称为这类统计规律称为回归关系回归关系. 有关回归关系的计算方法和理论统称有关回归关系的计算方法和理论统称回回归分析归分析(regeression analysis). 回归分析的目的是寻求一个随机变量回归分析的目的是寻求一个随机变量Y(因变量因变量)对一组随机变量对一组随机变量X1, X2,Xp(自变自变量量 )的统计依赖关系的统计依赖关系.二、回

3、归分析的目的二、回归分析的目的第2页/共25页 一般来说一般来说, ,可通过直观的方法可通过直观的方法( (如散点如散点图图) )进行粗略判断进行粗略判断. .如只有一个自变量如只有一个自变量, ,则称则称为为一元回归分析一元回归分析; ;如自变量个数多于一个如自变量个数多于一个 , ,则称为则称为多元回归分析多元回归分析. .三、变量的确定及要求三、变量的确定及要求 将一个需要预测的变量作为将一个需要预测的变量作为因变量因变量 ,它的取值是可观测的但不可控制的它的取值是可观测的但不可控制的 ;将将被认为对因变量的取值被认为对因变量的取值具有显著影响具有显著影响的哪的哪些变量作为些变量作为自变

4、量自变量.第3页/共25页 通常情况下通常情况下,自变量的取值能得以控自变量的取值能得以控制制,称为可控变量称为可控变量. 例如，我们希望通过一些例如，我们希望通过一些易测易测的的指标指标去去预测正常儿童的心象面积预测正常儿童的心象面积 , 由于心象面积是由于心象面积是一个一个不易检测不易检测的的指标指标，是一个需要预测的变，是一个需要预测的变量量,根据专业知识根据专业知识 ，认为性别、年龄、身高，认为性别、年龄、身高、体重、胸围可能对心象面积都有影响。、体重、胸围可能对心象面积都有影响。因变量（因变量（Y）-心象面积心象面积; 自变量自变量-性别性别(X1)、年龄、年龄(X2 )、身、身高高

5、(X3 )、体重、体重(X4 )、胸围、胸围(X5)。第4页/共25页 四、回归分析的基本原四、回归分析的基本原理理 回归分析的实质是根据隐含统计规律性回归分析的实质是根据隐含统计规律性的观测值的观测值, ,求出因变量对自变量的具体表达求出因变量对自变量的具体表达式式 y = f ( x1,x2,xp ). 一般一般, ,自变量自变量X1,X2,Xp是是可控变量可控变量, ,控制它们取特殊值控制它们取特殊值x1,x2,xp时时, ,对不同个对不同个体体, ,Y的取值依然不同的取值依然不同( (随机性随机性),),Y依然是随依然是随机变量机变量, ,记为记为Y( ( x1,x2,xp ).第5页

6、/共25页 Y虽然不能完全确定虽然不能完全确定( (随机变量随机变量),),但却有但却有一个确定的一个确定的条件分布条件分布p(p(Yx1,x2,xp),),从而从而有一个确定有一个确定条件均值条件均值 E(E(Yx1,x2,xp),),它它是是x1,x2,xp的函数的函数. . 是否可用是否可用y=E(=E(Yx1,x2,xp) )作为作为Y对对X1,X2,Xp的回归方程的回归方程? ?第6页/共25页 定义定义1 1 ( (均方误差均方误差) )设设( ( Y, ,X1, X2,Xp ) )具有联合分布且二阶矩存在具有联合分布且二阶矩存在, ,f( (X1,X2,Xp) )是随机变量是随机

7、变量X1,X2,Xp的函的函数数, ,则称则称EY- f (X1,X2,Xp)2为f( ( X1 , X2 , , Xp ) )对对Y的的均方误差均方误差( (mean square error).).第7页/共25页 均方误差从平均意义上反映了函数均方误差从平均意义上反映了函数f( (X1,X2,Xp ) )与随机变量随机变量Y之间差别的大之间差别的大小小 , ,它可作为回归函数好坏的判断标准它可作为回归函数好坏的判断标准 . .如果某个函数与如果某个函数与Y的均方误差最小的均方误差最小, ,我们有我们有理由认为在均方误差最小标准下将它作为理由认为在均方误差最小标准下将它作为回归函数进行预报

8、是最好的回归函数进行预报是最好的. .第8页/共25页E Y- -f( (X1,X2,Xp)2 2 定义定义2 2 在定义在定义1 1的条件下的条件下 , , 函数函数E( (YX1,X2,Xp) )是所有是所有X1,X2,Xp的的函数中均方误差最小的函数函数中均方误差最小的函数, ,即对任意给即对任意给定的函数定的函数f( (X1,X2,Xp),),总有总有E Y-E(-E(YX1,X2,Xp ) )2 2成立成立. .第9页/共25页 定义定义2 2揭示用揭示用E( (Yx1,x2,xp) )去预去预报报Y在在均方误差最小均方误差最小标准下是最好的标准下是最好的, ,因因此此, ,y =

9、= E( (Yx1,x2,xp ) )就是我们寻找的回归函数就是我们寻找的回归函数.在在( (Y, ,X1,X2,Xp ) )的联合分布为的联合分布为多元正多元正态分布态分布时时, , E( (Yx1, x2,xp ) )为为x1,x2,xp的线性函数的线性函数, ,此时的回归函数为此时的回归函数为y= =a0+a1x1+a2x2+ap xp我们称它为我们称它为多元线性回归方程多元线性回归方程.第10页/共25页五、多元线性回归模型五、多元线性回归模型 设设p个自变量个自变量X1 , X2 , , Xp 的取值的取值为为x1 , x2 , , xp 时，随机时，随机Y变量满足变量满足其中其中a

10、0 ，a1，a2，, ap ，2均为未知常数均为未知常数， a0 ,a1 , a2 , , ap ,称为称为“偏回归系数偏回归系数” ;2称为随机误差的称为随机误差的方差方差。称上式为称上式为p元正态线性回归模型元正态线性回归模型. .), 0(222110NexaxaxaaYpp第11页/共25页对对p元线性回归模型我们要解决如下问题元线性回归模型我们要解决如下问题: : 1.根据样本观测值去估计未知参数根据样本观测值去估计未知参数a0 ,a1 , a2 , , ap ,2 , 从而建立从而建立Y与与X1,X2,Xp 间间的关系式的关系式(回归方程回归方程);2.对回归方程的回归效果进行统计

11、检验对回归方程的回归效果进行统计检验; 3. 检验各变量检验各变量X1,X2,Xp分别对指标分别对指标(Y)是否有显著影响是否有显著影响.按最小二乘估计的原理估计未知参数.第12页/共25页 实际问题实际问题: :已知已知29例儿童的血红蛋白例儿童的血红蛋白（h emoglo,g）与钙与钙（Ca,g）、）、镁镁（Mg, g）、）、铁铁（Fe, g）、）、锰锰(Mn,g)、铜铜(Cu,g)的含量的含量如表如表,试建立一个钙、镁、铁、锰、铜预测血红试建立一个钙、镁、铁、锰、铜预测血红蛋白的数学模型蛋白的数学模型。1 54.89 30.86 448.70 .012 1.010 13.50 2 72.

12、49 42.61 467.30 .008 1.640 13.00 3 53.81 52.86 425.61 .004 1.220 13.75 编号编号 钙钙 镁镁 铁铁 锰锰 铜铜 血红蛋白血红蛋白29 47.31 28.55 294.70 .005 .838 7.00第13页/共25页多元线性回归多元线性回归数学模型数学模型 1. 单击单击 “开始开始” “程序程序” SPSS for windows SPSS10.0 for windows type in data OK 单击单击 “ Variable View ” ( ( 在第一列输入钙在第一列输入钙 、镁、镁 、铁、铁 、锰、锰 、铜

13、、铜 、血红蛋白、血红蛋白 ；单击；单击 “ Data View”。SPSS软件的实现与结果分软件的实现与结果分析析第14页/共25页2. SPSSSPSS输入输入数据数据格式格式: 29行行6列列第15页/共25页第16页/共25页2. 程序选项程序选项 Analyze Regression Linear 第17页/共25页引入回归分析的因变量引入回归分析的因变量: : 引入回归分析的自变量引入回归分析的自变量 : :血红蛋白血红蛋白 .钙、镁、铁、锰、铜钙、镁、铁、锰、铜 .第18页/共25页在多元回归方法在多元回归方法（Method）中选：强迫引入法中选：强迫引入法（Enter）单击单击

14、 Statistics ； 选项如下选项如下图图 ；单击单击 Continue Plots 第19页/共25页点击点击 Plots 获得分析资料的正态性检验图形获得分析资料的正态性检验图形。单击单击 Continue OK 。第20页/共25页2. 2. 方差分析表方差分析表1. 1. 模型摘要模型摘要主要结果主要结果M Mo od de el l S Su um mm ma ar ry yb b.900a.810.768Model1RR SquareAdjusted RSquarePredictors: (Constant), 铜（CU）, 铁（FE）, 锰（MN）, 钙（CA）, 镁（MG

15、）a. Dependent Variable: 血红蛋白b. A AN NO OV VA Ab b107.721521.54419.552.000a25.343231.102133.06428RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), 铜（CU）, 铁（FE）, 锰（MN）, 钙（CA）, 镁（MG）a. Dependent Variable: 血红蛋白b. 第21页/共25页C Co oe ef ff fi ic ci ie en nt ts sa a1.3801.55

16、0.890.383-6.93E-02.028-.304-2.500.0202.823E-02.053.079.533.5992.794E-02.004.8216.730.000-16.57216.415-.106-1.010.3231.7151.143.2051.501.147(Constant)钙（CA）镁（MG）铁（FE）锰（MN）铜（CU）Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 血红蛋白a. 3. 3. 回归系数表回归系数表 结论结论:

17、: 回归效果检验对应的统计量回归效果检验对应的统计量 F = 19.552 , P .000 ,认为利用钙、镁、铁、锰、铜预测血红蛋白有实际意义。认为利用钙、镁、铁、锰、铜预测血红蛋白有实际意义。第22页/共25页预测血红蛋白的数学模型预测血红蛋白的数学模型: :54321715. 1578.16028. 0028. 0069. 038. 1XXXXXYR2=0.810, 较大较大, , 认为回归方程有意义认为回归方程有意义. .V Va ar ri ia ab bl le es s E En nt te er re ed d/ /R Re em mo ov ve ed db b铜, 铁, 锰,钙, 镁a.EnterModel1VariablesEnteredVariablesRemovedMethodAll requested variables entered.a. Dependent Variable: 血红蛋白b. 从偏回归（回归系数）效果检验来看，镁从偏回归（回归系数）效果检验来看，镁、锰、