第四章 多元线性回归分析.ppt

1、1,第四章 多元线性回归分析,2,第四章 多元线性回归分析,第一节 多元线性回归模型 第二节 最小二乘参数估计 第三节 回归拟合度评价和决定系数 第四节 统计推断和预测,3,第一节 多元线性回归模型,一、模型的建立 二、多元线性回归模型的向量、矩阵表 示法 三、模型的假设,4,一、模型的建立,模型形式 偏回归系数：控制其它解释量不变的条件下，第 个解释变量的单位变动对应变量平均值的影响。 例,5,二、多元线性回归模型的向量、矩阵表示法,6,三、模型的假设,变量 和 之间存在多元线性随机函数关系 对任意 都成立 与 无关 当 时， 解释变量都是确定性的而非随机变量，而且解释变量之间不存在完全的线

2、性关系 服从正态分布,7,第二节 最小二乘参数估计,一、最小二乘法和正规方程组 二、最小二乘估计的向量、矩阵形式,8,一、最小二乘法和正规方程组,样本回归方程 回归残差平方和 当 对 的一阶偏导数都等于0，得到正规方程组 那么,9,10,二、最小二乘估计的向量、矩阵形式,向量表示 回归方程的向量表示 回归残差向量 残差平方和,11,求B,12,对于三变量线性回归模型,13,最小二乘估计的性质,一、线性性 二、无偏性 三、最小二乘估计量的方差和最小方差性,14,一、线性性,各个参数的最小二乘估计量,因为,是非随机取固定值的矩阵，所以B是Y的线性函数,15,二、无偏性,证明：,16,三、最小二乘估

3、计量的方差和最小方差性,最小二乘估计量的方差,17,三、最小二乘估计量的方差和最小方差性,最小方差性：证明,18,三、最小二乘估计量的方差和最小方差性,因为 所以,19,对于三变量线性回归模型方差估计,20,回归残差和误差方差的估计,多元线性回归分析的残差序列 向量表示,21,回归残差和误差方差的估计,残差平方和的数学期望 误差项方差的无偏估计： 残差的标准差,22,误差方差估计,对于三变量回归模型，误差方差的估计：,对于有（K+1）个待定参数回归模型误差方差的估计：,23,样本容量问题, 最小样本容量 所谓“最小样本容量”，即从最小二乘原理和最大似然原理出发，欲得到参数估计量，不管其质量如何

4、，所要求的样本容量的下限。 样本最小容量必须不少于模型中待定参数的个数,即 n k+1 因为，无多重共线性要求：秩(X)=k+1,24,2、满足基本要求的样本容量,从统计检验的角度： n30 时，Z检验才能应用； n-k8时, t分布较为稳定 一般经验认为: 当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。 模型的良好性质只有在大样本下才能得到理论上的证明,25,第三节 回归拟合度评价和决定系数,两变量回归决定系数的公式,多重可决系数：在多元回归模型中，由各个解释变量联合解释了的Y的离差，在Y的总离差中占的比重。,26,多重可决系数可以表示为：,可以证明多重可决系数是模型中解释

5、变量个数的不减函数，这给对比不同模型的多重可决系数带来缺陷，所以需要修正。,27,调整的可决系数,思想：可决系数只涉及到离差，没有考虑自由度。如果用自由度去校正所计算的离差，可纠正解释变量个数不同引起的对比困难。 调整的决定系数：,28,总离差TSS,自由度为n-1,回归平方和ESS=,自由度为k,残差平方和RSS,自由度为n-k-1,所以调整的可决系数为：,29,第四节 统计推断和预测,一、参数估计量的分布和标准化 二、统计推断和检验 三、预测,30,基本思想, 是随机变量，必须确定其分布性质才可能进行区间估计和假设检验 是服从正态分布的随机变量, 决定了 也是服从正态分布的随机变量 是 的

6、线性函数，决定 也是服从正态分布的随机变量,31,一、参数估计量的分布和标准化,参数估计量服从以下的正态分布： 或表示为 转化为标准正态分布的统计量,32,因 是未知的，可用 代替 去估计参数 的标 准误差: 当为大样本时，用估计的参数标准误差对 作标准化变换，所得Z统计量仍可视为服从正态分布 当为小样本时，用估计的参数标准误差对 作标准化变换，所得的t统计量服从t分布：,33,二、统计推断和检验,（一）单个参数的显著性和置信区间 （二）参数的显著性检验 （三）回归显著性检验,34,（一）单个参数的显著性和置信区间,给定置信度要求，下面的不等式应该成立： 显著性检验：令 为0，根据t 统计量水

7、平进行判断。 因此参数 置信度为 的置信区间（或称区间估计）为：,35,（二）模型的联合显著性检验,多元回归模型每个参数的显著性与模型总体的显著性并不一定一致，也就是全体解释变量总体对被解释变量是否存在明显影响的检验，称为回归显著性检验。 回归显著性检验的基本方法，是检验模型常数项以外所有参数同时为0的假设。 原假设：,36,回归显著性检验方法,对方程总体显著性检验需要在方差分析的基础上进行F检验。 1、方差分析 在讨论可决系数时已经分析了总离差TSS的分解及自由度：TSSESS+RSS Y的样本方差为：总离差/自由度 即,显然，Y的方差也可以分解为两部分，可用方差分析表分解,37,方差分析表

8、,38,F检验,原假设,备选假设：,不全为0,建立F统计量（可以证明）：,给定显著性水平 ，查F分布表中自由度为K和n-K-1的临界值 ，并通过样本观测值计算F值,39,F检验,如果计算的F值大于F的临界值 ， （小概率），则拒绝原假设，说明回归模型有显著意义，即所有的解释变量联合起来对Y有显著影响。 如果计算的F值小于F的临界值 ， 则接受原假设，说明回归模型没有显著意义，即所有解释变量联合起来对Y没有显著影响。,40,可决系数的显著性检验,由方差分析可以看出，F检验与可决系数有密切联系，二者都建立在对应变量离差分解的基础上。F统计量的值也可通过可决系数计算：,结论：对方程联合显著性检验的F

9、检验，实际上也是对 的显著性检验。,41,四、预测,点预测 区间预测 t统计量,42,四、预测,置信度为 的区间预测,43,案例分析,中国税收增长的分析 提出问题：改革开放以来，随着经济体制改革的深化和经济的快速增长，中国的财政收支状况发生了很大变化，为了研究影响中国税收收入增长的主要原因，分析中央和地方税收收入的增长规律，预测中国税收未来的增长趋势，需要建立计量经济模型。,44,理论分析：影响中国税收收入增长的主要因素可能有： （1）从宏观经济看，经济整体增长是税收增长的基本源泉。 （2）社会经济的发展和社会保障等都对公共财政提出要求，公共财政的需求对当年的税收收入可能会有一定的影响。 （3）物价水平。中国的税制结构以流转税为主，以现行价格计算的GDP和经营者的收入水平都与物价水平有关。 （4）税收政策因素,45,建立模型,分析：以各项税收收入作为被解释变量 以GDP表示经济整体增长水平 以财政支出表示对公共财政的需求 以商品零售价格指数表示物价水平 税收政策因素较难用数量表示，就暂时不予考虑 模型设定为：,46,数据来源： 中国统计年鉴 其中： Y各项税收收入（亿元） X1国内生产总值（亿元） X2财政支出（亿元） X3商品零售价格指数（）,47,