多元回归补充

多元回归补充第1页，课件共40页，创作于2023年2月多元线性回归分析：研究因变量（被解释变量）与两个或两个以上自变量（解释变量）之间的回归问题，称为多元回归分析。多元线性回归分析的定义线性回归自变量个数大于等于2多元线性回归第2页，课件共40页，创作于2023年2月10.1多元线性回归模型b0为常数项,b1,…,bk为偏回归系数，表示在其它自变量保持不变时，增加或减少一个单位时Y的平均变化量，u是去除m个自变量对Y影响后的随机误差（残差）。多元线性回归的基本理论第3页，课件共40页，创作于2023年2月10.1多元线性回归模型将n个观察数据代入上述模型，则问题转化为：多元线性回归的基本理论(10-1)第4页，课件共40页，创作于2023年2月10.1多元线性回归模型多元线性回归的基本理论写为矩阵形式：(10-2)第5页，课件共40页，创作于2023年2月10.1多元线性回归模型多元线性回归的基本理论即：(10-3)其中，Y,u是n维向量，b是k维向量，x是m×k矩阵第6页，课件共40页，创作于2023年2月10.1多元线性回归模型多元线性回归的基本理论基本假定：①②第7页，课件共40页，创作于2023年2月10.1多元线性回归模型多元线性回归的基本理论③④第8页，课件共40页，创作于2023年2月10.2参数的最小二乘估计采用最小二乘估计回归系数b令：取最小值第9页，课件共40页，创作于2023年2月10.2参数的最小二乘估计Q在最小值处偏导数为0，得：（10-4）采用最小二乘估计回归系数b第10页，课件共40页，创作于2023年2月10.2参数的最小二乘估计采用最小二乘估计回归系数b（10-5）整理得：求解该联立方程组即可得第11页，课件共40页，创作于2023年2月第12页，课件共40页，创作于2023年2月10.3回归方程的显著性检验假设求得的回归方程为：10.3.1总离差平方和分解第13页，课件共40页，创作于2023年2月10.3.1总离差平方和分解同一元回归，可得：并且：（10-6）第14页，课件共40页，创作于2023年2月10.3.1总离差平方和分解总离差平方和：即是：回归平方和：残差平方和：第15页，课件共40页，创作于2023年2月10.3.2样本决定系数对回归方程“拟合优度”

的检验样本决定系数Ｒ２，又称复决定系数，或多重决定系数。定义：样本决定系数Ｒ２第16页，课件共40页，创作于2023年2月10.3.2样本决定系数对回归方程“拟合优度”

的检验样本容量增大(n↑)R2也随之增大(R2↑)R2的大小很难说明问题Ｒ２存在的问题第17页，课件共40页，创作于2023年2月10.3.2样本决定系数对回归方程“拟合优度”

的检验R2的改进当n为小样本，解释变量数很大时，上式可能为负数，这时取其值为0。R2与均反映在给定样本下，回归方程与样本观测值拟合优度，但不能据此进行总体模型的推断。Ｒ２改进第18页，课件共40页，创作于2023年2月10.3.3回归方程的显著性检验第19页，课件共40页，创作于2023年2月10.3.3回归方程的显著性检验检验的目的：检验Y与解释变量x1，x2，……xk之间的线性关系是否显著。检验的目的第20页，课件共40页，创作于2023年2月10.3.3回归方程的显著性检验检验的步骤第一步，提出假设：原假设：H0：b1=b2=……bk=0备择假设：H1：bi不全为0（i=1，２，…，k）第21页，课件共40页，创作于2023年2月10.3.3回归方程的显著性检验检验的步骤第二步，计算统计量：或：（10-8）第22页，课件共40页，创作于2023年2月10.3.3回归方程的显著性检验第三步，查表，得：检验的步骤第23页，课件共40页，创作于2023年2月10.3.3回归方程的显著性检验检验的步骤第四步，做检验：拒绝H0，回归方程显著接受H0，回归方程不显著检验法则第24页，课件共40页，创作于2023年2月10.4回归系数的显著性检验回归方程显著，并不意味着每个解释变量对因变量Y的影响都重要,因此需要进行检验：回归系数检验的必要性回归方程显著每个回归系数都显著第25页，课件共40页，创作于2023年2月10.4回归系数的显著性检验回归系数检验的步骤第一步，提出假设：原假设：H0：bi=0(i=1，2，……k)备择假设：H1：bi≠0(i=1，2，……k)第26页，课件共40页，创作于2023年2月10.4回归系数的显著性检验回归系数检验的步骤第二步，构造并计算统计量：第27页，课件共40页，创作于2023年2月10.4回归系数的显著性检验回归系数检验的步骤第三步，查表得：第28页，课件共40页，创作于2023年2月10.4回归系数的显著性检验回归系数检验的步骤第四步，做检验：接受H0

检验法则拒绝H0

第29页，课件共40页，创作于2023年2月回归分析自变量选择的四种方法:向前选择法向后剔除法逐步回归法强迫进入法第30页，课件共40页，创作于2023年2月1.

前进法，回归方程中的自变量从无到有、从少到多逐个引入回归方程。此法已基本淘汰。后退法，先将全部自变量选入方程，然后逐步剔除无统计学意义的自变量。

剔除自变量的方法是在方程中选一个偏回归平方和最小的变量，作F检验决定它是否剔除，若无统计学意义则将其剔除，然后对剩余的自变量建立新的回归方程。重复这一过程，直至方程中所有的自变量都不能剔除为止。理论上最好，建议使用采用此法。逐步回归法，逐步回归法是在前述两种方法的基础上，进行双向筛选的一种方法。该方法本质上是前进法。

第31页，课件共40页，创作于2023年2月强迫进入法根据事先的对变量之间关系的理论假设，将研究变量按一定顺序投入到回归方程中，而不管其显著还是不显著。这种方法常用于路径分析中。后面的内容会讲到这点。第32页，课件共40页，创作于2023年2月第33页，课件共40页，创作于2023年2月消除多重共线性：剔除某个造成共线性的自变量，重建回归方程；合并自变量；采用逐步回归方法。

多重共线性是由于一个自变量与其它所有或某些自变量间的相关太高，以致它可以由其它自变量来线性表示。多重共线性会导致估计值不准确，估计误差增大，甚至无法计算。自变量的多重共线性第34页，课件共40页，创作于2023年2月多重共线性的识别指标第35页，课件共40页，创作于2023年2月虚变量的回归方程建立方法如果自变量是离散型变量，那么就要使该自变量变成多个虚变量，虚变量的个数等于自变量水平数减1。如果自变量有两个水平，如性别，那么我们只需要建立一个虚变量，用1表示男（女），用0表示女生。如果自变量是三个水平，如家庭状况，它包括单亲家庭组、双亲家庭组和他人照顾组三个水平，我们只需要建立两个虚变量就可以。如下图。第36页，课件共40页，创作于2023年2月注意虚变量的取值一般只是1和0两个。第37页，课件共40页，创作于2023年2月第38页，课件共40页，创作于2023年2月多元回归分析步骤根据理论假设，建立回归方程式：在SPSS中就是分别选择因变量和自变量。考察是否存在离散型变量，如果存在，要转化为虚变量。检验自变量是否存在多重共线性：在SPSS是点击statistics对话框中的Collinearitydiagnostics。检验指标有：Tolerance、VIF和CI。选择回归分析的方法：一般采用Stepwise方法和Enter法。前者还要在Option对话框中选择进入和删除的标准（一般采用默认标准）。估计回归系数和标准化回归系数：点击statistics对话框中的Estimates。第39页，课件共40页，创作于2023年2月检验回归方程的有效性：点击statistics对话框中的Modelfit。比较不同模型有效性的