多元线性回归模型

.,多元线性回归模型,.,主要内容,多元线性回归模型的一般形式参数估计（OLS估计）假设检验预测,.,一.多元线性回归模型,问题的提出解析形式矩阵形式,.,问题的提出,现实生活中引起被解释变量变化的因素并非仅只一个解释变量，可能有很多个解释变量。例如，产出往往受各种投入要素资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投入的影响等。所以在一元线性模型的基础上，提出多元线性模型解释变量个数2,.,对人均国民生产总值（Y）的影响因素（X）有：人口变动因素、固定资产数、货币供给量、物价指数、国内国际市场供求关系等对汽车需求量（Y）的影响因素（X）有：收入水平、汽车价格、汽油价格等,社会经济现象的复杂性！,.,多元线性回归模型表示方法,多元回归模型:含两个以上解释变量的回归模型多元线性回归模型:一个应变量与多个解释变量之间设定的是线性关系多元线性回归模型一般形式为：,.,多元线性回归模型的假设,解释变量Xi是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。随机误差项具有0均值和同方差随机误差项不存在序列相关关系随机误差项与解释变量之间不相关随机误差项服从0均值、同方差的正态分布,.,多元模型的解析表达式,.,多元模型的矩阵表达式,.,矩阵形式,.,二.参数估计(OLS),参数值估计参数估计量的性质偏回归系数的含义正规方程样本容量问题,.,2.1参数值估计(OLS),.,得到下列方程组,求参数估计值的实质是求一个k+1元方程组,.,正规方程,变成矩阵形式,.,正规方程,矩阵形式,.,最小二乘法的矩阵表示,.,2.2最小二乘估计量的性质,（1）线性（估计量都是被解释变量观测值的线性组合）（2）无偏性（估计量的数学期望=被估计的真值）（3）有效性（估计量的方差是所有线性无偏估计中最小的）,.,OLS估计量的性质（续）,.,线性,.,无偏性,.,有效性,.,2.2OLS回归线的性质,完全同一元情形：,.,注解：k与k+1,凡是按解释变量的个数为k的，那么共有k+1个参数要估计。而按参数个数为k的，则实际有k-1个解释变量。总之两者相差1而已！要小心所用的k是什么意思！所以如果本来是用解释变量个数的k表示的要转换成参数个数的k则用k-1代换原来的k就可以了！,.,2.3偏回归系数的意义,多元回归模型中的回归系数称为偏回归系数某解释变量前回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动,.,2.4多元回归模型参数估计中的样本容量问题,样本是一个重要的实际问题，模型依赖于实际样本。获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。最小样本容量：满足基本要求的样本容量,.,最小样本容量nk+1,(XX)-1存在|XX|0XX为k+1阶的满秩阵R(AB)min(R(A),R(B)R(X)k+1因此，必须有nk+1,.,满足基本要求的样本容量,一般经验认为：n30或者n3(k+1)才能满足模型估计的基本要求。n3(k+1)时，t分布才稳定，检验才较为有效,.,三多元线性回归模型的检验,本节主要介绍：3.1拟合优度检验（判定系数及其校正）3.2回归参数的显著性检验（t检验）3.3回归方程的显著性检验（F检验）3.4拟合优度、t检验、F检验的关系,.,3.1.1拟合优度检验总平方和、自由度的分解,目的：构造一个不含单位，可以相互比较，而且能直观判断拟合优劣的指标。类似于一元情形，先将多元线性回归作如下平方和分解：,.,对以上自由度的分解的说明,.,3.1.2判定系数,判定系数的定义：意义：判定系数越大，自变量对因变量的解释程度越高，自变量引起的变动占总变动的百分比高。观察点在回归直线附近越密集。取值范围：0-1,.,3.1.3校正判定系数,为什么要校正？判定系数随解释变量个数的增加而增大。易造成错觉：要模型拟合得越好，就应增加解释变量。然而增加解释变量会降低自由度，减少可用的样本数。并且有时增加解释变量是不必要的。导致解释变量个数不同模型之间对比困难。判定系数只涉及平方和，没有考虑自由度。校正思路：引进自由度校正所计算的平方和。,.,校正判定系数（续）,.,3.2回归方程的显著性检验,.,3.2回归方程的显著性检验,检验的目的：检验Y与解释变量x1，x2，xk之间的线性关系是否显著。,检验的目的,.,3.2回归方程的显著性检验,检验的步骤,第一步，提出假设：,原假设：H0：b1=b2=bk=0,备择假设：H1：bi不全为0（i=1，k）,.,3.2回归方程的显著性检验,检验的步骤,第二步，计算统计量：,或：,（10-8）,.,3.2回归方程的显著性检验,第三步，查表，得：,检验的步骤,.,3.2回归方程的显著性检验,检验的步骤,第四步，做检验：,拒绝H0，回归方程显著,接受H0，回归方程不显著,检验法则,.,3.3回归系数的显著性检验,回归方程显著，并不意味着每个解释变量对因变量Y的影响都重要,因此需要进行检验：,回归系数检验的必要性,回归方程显著,每个回归系数都显著,.,3.3回归系数的显著性检验,回归系数检验的步骤,第一步，提出假设：,原假设：H0：bi=0(i=1，2，k),备择假设：H1：bi0(i=1，2，k),.,3.3回归系数的显著性检验,回归系数检验的步骤,第二步，构造并计算统计量：,.,3.3回归系数的显著性检验,回归系数检验的步骤,第三步，查表得：,.,3.3回归系数的显著性检验,回归系数检验的步骤,第四步，做检验：,接受H0,检验法则,拒绝H0,.,3.3回归系数的显著性检验,关于模型的异方差、自相关、多重共线性问题的检验，请参考计量经济学有关教材。,.,3.4多元线性回归模型的预测,.,四逐步回归分析,多元线性回归建立的回归方程包含了所有的自变量，但在实际问题中，可能有这样的情况：参加回归方程的P个自变量中，有些自变量单独看对因变量Y有作用（相关程度密切），但P个自变量又可能是相互影响的，在作回归时，它们对因变量所起的作用有可能被其他自变量代替，而使得这些自变量在回归方程中变得无足轻重。这时把这些自变量留在回归方程中，不但增加计算上的麻烦，而且不能保证有好的回归效果。为了克服这些缺点，提出了多元逐步回。,.,多元逐步回归要求回归方程中包含所有对因变量作用显著的自变量，而不包含作用不显著的自变量，从而建立最优回归方程。,.,.,1、强行进入法（Enter）:预先选定的自变量全部进入回归模型，这是系统默认方式。2、消去法（Remove）:根据设定的条件剔除部分自变量。,逐步筛选变量的方法：,.,3、向前引入法（Forward）:自变量由少到多一个一个引入回归方程，将与因变量的相关系数最大的第一个自变量选入方程并进行检验，如果F值Fa，拒绝H0；将其余的变量中与因变量的相关系数最大的第二个自变量选入方程，当F值Fa，拒绝H0；如此下去，不断引入新的自变量，直到不能拒绝H0，再没有变量被引入为止。,.,4、向后剔除法（Backward）:自变量由多到少一个一个从回归方程中剔除，首先，对预先选定自变量全部进行回归，然后把对因变量影响不显著的自变量从方程中剔除并进行检验，如果F值Fa，接受H0，一个一个剔除对因变量不显著的自变量，直到再不能剔除为止。,.,5、逐步引入剔除法（Stepwise）:向前引入法与向后剔除法的结合。,.,操作（一）,1,2,.,SPSS软件包逐步回归操作（二）,点击逐步回归,.,操作（三）,结果变量Y,多个自变量,点击逐步回归,.,操作（四）,回归系数估计,回归系数可信区间,模型拟合,.,操作（五）,正态概率图,直方图,.,操作（六）,.,（一）SPSS软件包逐步回归筛选自变量,.,（二）SPSS软件包逐步回归相关系数及检验,.,（三）SPSS软件包逐步回归残差分析,.,（四）SPSS软件包逐步回归回归系数及检验,.,（五）SPSS软件包逐步回归残差直方图,.,（六）SPSS软件包逐步回归未进入方程的变