多元线性回归模型

1、多元线性回归模型 第三章第三章 多元线性回归模型多元线性回归模型 多元线性回归模型 主要内容 n多元线性回归模型的一般形式 n参数估计（ OLS估计） n假设检验 n预测 多元线性回归模型 一. 多元线性回归模型 n问题的提出 n解析形式 n矩阵形式 多元线性回归模型 问题的提出 n现实生活中引起被解释变量变化的因素并非仅 只一个解释变量，可能有很多个解释变量。 n例如，产出往往受各种投入要素资本、劳 动、技术等的影响；销售额往往受价格和公司 对广告费的投入的影响等。 n所以在一元线性模型的基础上，提出多元线性 模型解释变量个数 2 多元线性回归模型 多元线性回归模型的假设 n解释变量 Xi

2、是确定性变量，不是随机变量；解释变量 之间互不相关，即无多重共线性。 n随机误差项具有0均值和同方差 n随机误差项不存在序列相关关系 n随机误差项与解释变量之间不相关 n随机误差项服从0均值、同方差的正态分布 uXbXbXbbY kk 22110 多元线性回归模型 多元模型的解析表达式 ikikiii kiiii kk uXbXbXbbY niXXXYn uXbXbXbbY 22110 21 22110 , 2 , 1),( 得： 个样本观测值 nknknnn kk kk uXbXbXbbY uXbXbXbbY uXbXbXbbY 22110 2222212102 1121211101 多元线

3、性回归模型 u u u b b b b X X X X X X X X X Y Y Y n k kn k k nnn 2 1 2 1 0 2 1 2 22 21 1 12 11 2 1 1 1 1 多元模型的矩阵表达式 UXBY 多元线性回归模型 u u u b b b b X X X X X X X X X Y Y Y n k kn k k nnn UB XY UXBY 2 1 2 1 0 2 1 2 22 21 1 12 11 2 1 1 1 1 矩阵形式 多元线性回归模型 二. 参数估计(OLS) n参数值估计 n参数估计量的性质 n偏回归系数的含义 n正规方程 n样本容量问题 多元线性

4、回归模型 1.参数值估计(OLS) n i n i n i i X b X bb Y yyQ ki k ii iie 1 2 1 2 1 2 1 10 0 0 0 0 2 1 0 k b Q b Q b Q b Q 多元线性回归模型 0 0 0 0 1 10 21 10 2 11 10 1 1 10 XX b X bb xY XX b X bb XY XX b X bb XY X b X bb Y kiki k ikii iki k iii iki k iii ki k ii 得到下列方程组 求参数估计值的实质是求一个k+1元方程组 多元线性回归模型 正规方程正规方程 变成矩阵形式 iki k

5、i kkiikiiki iiikikii i i ikikii YXXbXXbXXbXb YXXXbXXbXbXb YXbXbXbbn 2 22110 11122 2 1 110 22110 iki ii i k ki kiikiiki ikiii i i kiii YX YX Y b b b b XXXXXX XXXXXX XXXn 1 2 1 0 2 21 112 2 1 1 21 多元线性回归模型 正规方程正规方程 矩阵形式 YXXXB YXBXX 1 )( 2 21 112 2 1 1 21 ki kiikiiki ikiii i i kiii XXXXXX XXXXXX XXXn X

6、X k b b b b B 2 1 0 iki ii i YX YX Y YX 1 多元线性回归模型 最小二乘法的矩阵表示 1 0 0 2 ) ( ) )( ( ) () ( ), 0( 2 1 1 2 1 2 2 kn ee YXXXB BXXYX B Q BXXBYXBYY YXBBXYBXXBYXBBXYYY BXYXBYQ BXYBXYee BXYYYEyyQ NUUXBYBXY n i ii n i ie ？为什么 多元线性回归模型 2.1最小二乘估计量的性质 n（1）线性（估计量都是被解释变量观测值的线性组合） n（2）无偏性（估计量的数学期望=被估计的真值） n（3）有效性（估计

7、量的方差是所有线性无偏估计中最 小的） ）无偏估计（ 是最佳线性估计式结论：在古典假定下， BLUE OLS 多元线性回归模型 OLS估计量的性质（续） 正态）的线性函数是 正态，又的线性函数是正态（ 个元素。 中对角线上第）是（其中， 在古典假定下， j jii jjjjj jjj Y uYu jccVar kjVarN Y, XX,)( ,.,2 , 1),(,()4( 12 多元线性回归模型 线性 YXXXB )( 1 多元线性回归模型 无偏性 B NXEXXB NXXXXBXXXE NXBXXXE YXXXEBE )()( )()( )()( )() ( 1 11 1 1 多元线性回归

8、模型 有效性 )( )()( )()()( )()( )()()()( )()( ) )( ( ) ) ( )( ( () ( ) ) ()( 1 2 11 11 11 11 11 )1()1( 2 XX XXXXXXNNE XXXNNEXXX XXXNNXXXE BNXBXXXBNXBXXXE BYXXXBYXXXE BBBBE BEBBEBEBCov xExExCov kk 回忆： 多元线性回归模型 2.2 OLS回归线的性质 n完全同一元情形： 不相关与残差）解释变量（ 不相关；与残差）应变量估计值（ 的均值为剩余项（残差） 的均值的均值等于实际观测值估计值 ）回归线过样本均值（ ii

9、i i i i i ki k ii eX eY e YY XXXY 5 4 0)3( )2( . 1 3 3 2 21 多元线性回归模型 2.3 随机扰动项方差的估计 个），待估参数有（比较：一元情形： 为待估参数个数。为样本容量，其中 估计：扰动项的方差 2 2 2 2 2 2 2 n e kn kn e i i 多元线性回归模型 注解：k与k+1 n凡是按解释变量的个数为k的，那么共有k+1 个参数要估计。而按参数个数为k的，则实 际有k-1个解释变量。总之两者相差1而已！ 要小心所用的k是什么意思！ n所以如果本来是用解释变量个数的k表示的 要转换成参数个数的k则用k-1代换原来的k就

10、可以了！ 多元线性回归模型 3.偏回归系数的意义 n多元回归模型中的回归系数称为偏回归系数 n某解释变量前回归系数的含义是，在其他解释 变量保持不变的条件下，该变量变化一个单位， 被解释变量将平均发生偏回归系数大小的变动 多元线性回归模型 4.正规方程 n由最小二乘法得到的用以估计回归系数的线性 方程组，称为正规方程 iki ki kkiikiiki iiikikii i i ikikii YXXbXXbXXbXb YXXXbXXbXbXb YXbXbXbbn 2 22110 11122 2 1 110 22110 YXBXX 多元线性回归模型 正规方程的结构 nY 被解释变量观测值 n x

11、1 nX 解释变量观测值（含虚拟变量n x (k+1) ） nXX 设计矩阵（实对称(k+1) x (k+1)矩阵 ） nXY 正规方程右端 n x 1 n 回归系数矩阵（ (k+1) x 1 ） n 高斯乘数矩阵， 设计矩阵的逆 n 残差向量（ n x 1 ） n 被解释变量的拟合（预测）向量 n x 1 B 1 )( X X U Y 多元线性回归模型 5.多元回归模型参数估计中的样本容量问题 n样本是一个重要的实际问题，模型依赖于实际 样本。 n获取样本需要成本，企图通过样本容量的确定 减轻收集数据的困难。 n最小样本容量：满足基本要求的样本容量 多元线性回归模型 最小样本容量 n k+1

12、 n(XX)-1存在| XX | 0 XX 为k+1阶的满秩阵 nR(AB) min(R(A),R(B) nR(X) k+1 n因此，必须有nk+1 YXXXB 1 )( 多元线性回归模型 满足基本要求的样本容量 n一般经验认为： n 30或者n 3(k+1)才能满足模型估计的基本 要求。 n 3(k+1)时，t分布才稳定，检验才较为有效 多元线性回归模型 第三节 多元线性回归模型的 检验 n本节主要介绍： n3.1 拟合优度检验（判定系数及其校正） n3.2 回归参数的显著性检验（t检验） n3.3 回归方程的显著性检验（F检验） n3.4 拟合优度、t检验、F检验的关系 多元线性回归模型

13、3.1.1 拟合优度检验 总平方和、自由度的分解 n目的：构造一个不含单位，可以相互比较， 而且能直观判断拟合优劣的指标。 n类似于一元情形，先将多元线性回归作如下 平方和分解： 1-k k -n 1-n )()( )( 222 自由度： 回归平方和残差平方和总离差平方和 ESSRSSTSS YYYYYY iiii 多元线性回归模型 对以上自由度的分解的说明 1)() 1( , 0,.,0,., 221 1, 1 2 1 2 1 22 2 ).( kknnRSSTSSESS knn k ee kiki RSS nY n YTSS df df Y XX Y Y Y dfY Y E R i k i

14、i k ii T i i 知再由： 所以，约束个对 个方程方程求出，共有由而 所以一个方程的约束受 多元线性回归模型 3.1.2 判定系数 n判定系数的定义： n意义：判定系数越大，自变量对因变量的解释 程度越高，自变量引起的变动占总变动的百分 比高。观察点在回归直线附近越密集。 n取值范围：0-1 TSS RSS TSS ESS TSS ESS TSS RSS ESSRSSTSS R 1 1 2 2 R 多元线性回归模型 3.1.3 校正判定系数 n为什么要校正？ n判定系数随解释变量个数的增加而增大。易 造成错觉：要模型拟合得越好，就应增加解 释变量。然而增加解释变量会降低自由度， 减少可

15、用的样本数。并且有时增加解释变量 是不必要的。 n导致解释变量个数不同模型之间对比困难。 n判定系数只涉及平方和，没有考虑自由度。 n校正思路： 引进自由度校正所计算的平方和。 2 R 多元线性回归模型 校正判定系数 （续） 0 ; 1 , 0 )3( . ,1k )2( 1 11 ) 1 ( ) 1/( )/( 1 22 2 2 2 2 2 2 定取值可能为负，这时规 但是，）非负（取值在判定系数 得慢些！未校正的判定系数增加 也就是说校正的比两者的差距将越来越大 且随着解释变量的增加时， ）（ 的判定系数的关系：校正判定系数和未校正 RR R RR kn n RR nTSS knRSS R

16、 2 R 多元线性回归模型 3.2 回归参数的显著性检验 t检验 的假设检验。统计量来进行回归系数以下可用 得统计量 代替，未知。用标准化。一般有将 列的元素。行第的第）为（其中 布，由前面知道：先要找出回归系数的分 t knt c c cN jj jj j jj jjjj )( t jjXX ),( 2 2 1 2 多元线性回归模型 以下给出t-检验的具体过程 备择假设。反之则反。 拒绝原假设，接受判断：若 ，查表，得临界值给出显著水平 根据样本计算 提出假设： ),(| t | )4( )( )3( 0 t )2( ,.,2 , 1j 0 :H 0 :H ) 1 ( 2/ 2/ jjjj

17、j1j0 knt knt ccc k jjjjjj 多元线性回归模型 3.3 回归方程的显著性检验 （F检验） n 回归系数的t检验，检验了各个解释 变量Xj单独对应变量Y是否显著；我们还 需要检验：所有解释变量联合在一起， 是否对应变量Y也显著？ n这即是下面所要进行的F-检验。 多元线性回归模型 3.3.1 方差分析表 以下用表格的形式列出平方和、自由度、方差 平方和 来源 平方和自由度均方和 源于回归K-1 源于残差n-k 总平方和n-1 2 )( YYTSSi 2 )( i i YYRSS 2 )( YYESSi) 1/( kESS ) 1/( nTSS )/(knRSS 多元线性回归

18、模型 3.3.2 F检验（单侧检验） 。反之则反。接受备择假设 拒绝原假设，判断：若 ，查表，得给出显著性水平 计算统计量）选择、（根据样本）（ 不全为 , ), 1()4( );, 1() 3( ), 1( )/( ) 1/( 2 0,.,:H 0.: ) 1 ( 321 320 knkFF knkF knkF knRSS kESS F H k k 多元线性回归模型 3.4 各种检验之间的关系 n3.4.1 经济意义检验和其他检验的关系联系： 判断一个回归模型是否正确，首先要看模 型是否具有合理的经济意义，其次才是统计检 验。 多元线性回归模型 3.4.2 拟合优度和F检验的关系 （1）都是对回归方程的显著性检验； （2）都是把总平方和分解，以构成统计量 进行检验； （3）两者同增同减，具有一致性。 Fkkn n R R k kn F ) 1( 1 1R , 11 2 2 2 关系在数