多元线回归模型ppt课件

1、第三章第三章多元线性回归模型多元线性回归模型主要内容n多元线性回归模型的普通方式 n参数估计 OLS估计n假设检验n预测一. 多元线性回归模型n问题的提出n解析方式n矩阵方式问题的提出n现实生活中引起被解释变量变化的要素并非仅只一个解释变量，能够有很多个解释变量。n例如，产出往往受各种投入要素资本、劳动、技术等的影响；销售额往往受价钱和公司对广告费的投入的影响等。n所以在一元线性模型的根底上，提出多元线性模型解释变量个数 2多元线性回归模型的假设n解释变量 Xi 是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。n随机误差项具有0均值和同方差n随机误差项不存在序列相关关系n随机

2、误差项与解释变量之间不相关n随机误差项服从0均值、同方差的正态分布uXbXbXbbYkk22110多元模型的解析表达式ikikiiikiiiikkuXbXbXbbYniXXXYnuXbXbXbbY221102122110, 2 , 1),(得：个样本观测值nknknnnkkkkuXbXbXbbYuXbXbXbbYuXbXbXbbY2211022222121021121211101uuubbbbXXXXXXXXXYYYnkknkknnn2121021222211121121111多元模型的矩阵表达式UXBYuuubbbbXXXXXXXXXYYYnkknkknnnUBXYUXBY212102122

3、2211121121111矩阵方式二. 参数估计(OLS)n参数值估计n参数估计量的性质n偏回归系数的含义n正规方程n样本容量问题1.参数值估计(OLS)nininiiXbXbbYyyQkikiiiie1212121100000210kbQbQbQbQ00001102110211101110XXbXbbxYXXbXbbXYXXbXbbXYXbXbbYkikikikiiikikiiiikikiiikikii得到以下方程组求参数估计值的本质是求一个k+1元方程组正规方程正规方程变成矩阵方式ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbY

4、XbXbXbbn222110111222111022110ikiiiikkikiikiikiikiiiiikiiiYXYXYbbbbXXXXXXXXXXXXXXXn121022111221121正规方程正规方程矩阵方式YXXXBYXBXX1)(22111221121kikiikiikiikiiiiikiiiXXXXXXXXXXXXXXXnXXkbbbbB210ikiiiiYXYXYYX1最小二乘法的矩阵表示1002)()()()(), 0(2112122kneeYXXXBBXXYXBQBXXBYXBYYYXBBXYBXXBYXBBXYYYBXYXBYQBXYBXYeeBXYYYEyyQNUUX

5、BYBXYniiiniie？为什么2.1最小二乘估计量的性质n1线性估计量都是被解释变量观测值的线性组合n2无偏性估计量的数学期望=被估计的真值n3有效性估计量的方差是一切线性无偏估计中最小的）无偏估计（是最佳线性估计式结论：在古典假定下，BLUEOLSOLS估计量的性质续正态）的线性函数是正态，又的线性函数是正态（个元素。中对角线上第）是（其中，在古典假定下，jjiijjjjjjjjYuYujccVarkjVarNY, XX,)(,.,2 , 1),(,()4(12线性YXXXB)(1无偏性BNXEXXBNXXXXBXXXENXBXXXEYXXXEBE)()()()()()()()(1111

6、1有效性)()()()()()()()()()()()()()()() )()()() )()(121111111111)1()1(2XXXXXXXXNNEXXXNNEXXXXXXNNXXXEBNXBXXXBNXBXXXEBYXXXBYXXXEBBBBEBEBBEBEBCovxExExCovkk回忆：2.2 OLS回归线的性质n完全同一元情形：不相关与残差）解释变量（不相关；与残差）应变量估计值（的均值为剩余项（残差）的均值的均值等于实际观测值估计值）回归线过样本均值（iiiiiiikikiieXeYeYYXXXY540)3()2(.1332212.3 随机扰动项方差的估计个），待估参数有（比

7、较：一元情形：为待估参数个数。为样本容量，其中估计：扰动项的方差2222222neknkneii注解：k与k+1n凡是按解释变量的个数为k的，那么共有k+1个参数要估计。而按参数个数为k的，那么实践有k-1个解释变量。总之两者相差1而已！要小心所用的k是什么意思！n所以假设本来是用解释变量个数的k表示的要转换成参数个数的k那么用k-1代换原来的k就可以了！3.偏回归系数的意义n多元回归模型中的回归系数称为偏回归系数n某解释变量前回归系数的含义是，在其他解释变量坚持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动4.正规方程n由最小二乘法得到的用以估计回归系数的线性方程

8、组，称为正规方程ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbYXbXbXbbn222110111222111022110YXBXX正规方程的构造nY 被解释变量观测值 n x 1nX 解释变量观测值含虚拟变量n x (k+1) nXX 设计矩阵实对称(k+1) x (k+1)矩阵 nXY 正规方程右端 n x 1n 回归系数矩阵 (k+1) x 1 n 高斯乘数矩阵， 设计矩阵的逆n 残差向量 n x 1 n 被解释变量的拟合预测向量 n x 1B1)(XXUY5.多元回归模型参数估计中的样本容量问题n样本是一个重要的实践问题，模

9、型依赖于实践样本。n获取样本需求本钱，企图经过样本容量确实定减轻搜集数据的困难。n最小样本容量：满足根本要求的样本容量最小样本容量 n k+1n(XX)-1存在| XX | 0 XX 为k+1阶的满秩阵nR(AB) min(R(A),R(B)nR(X) k+1n因此，必需有nk+1YXXXB1)(满足根本要求的样本容量n普通阅历以为：nn 30或者n 3(k+1)才干满足模型估计的根本要求。nn 3(k+1)时，t分布才稳定，检验才较为有效第三节 多元线性回归模型的检验n本节主要引见：n3.1 拟合优度检验断定系数及其校正n3.2 回归参数的显著性检验t检验n3.3 回归方程的显著性检验F检验

10、n3.4 拟合优度、t检验、F检验的关系3.1.1 拟合优度检验 总平方和、自在度的分解n目的：构造一个不含单位，可以相互比较，而且能直观判别拟合优劣的目的。n类似于一元情形，先将多元线性回归作如下平方和分解：1-k k -n 1-n )()( )(222自由度：回归平方和残差平方和总离差平方和ESSRSSTSSYYYYYYiiii对以上自在度的分解的阐明1)() 1(,0,.,0,.,2211,12121222).(kknnRSSTSSESSknnkeekikiRSSnYnYTSSdfdfYXXYYYdfYYERikiikiiTii知再由：所以，约束个对个方程方程求出，共有由而所以一个方程的

11、约束受3.1.2 断定系数n断定系数的定义：n意义：断定系数越大，自变量对因变量的解释程度越高，自变量引起的变动占总变动的百分比高。察看点在回归直线附近越密集。n取值范围：0-1TSSRSSTSSESSTSSESSTSSRSSESSRSSTSSR1122R3.1.3 校正断定系数n为什么要校正？n断定系数随解释变量个数的添加而增大。易呵斥错觉：要模型拟合得越好，就应添加解释变量。然而添加解释变量会降低自在度，减少可用的样本数。并且有时添加解释变量是不用要的。n导致解释变量个数不同模型之间对比困难。n断定系数只涉及平方和，没有思索自在度。n校正思绪：n 引进自在度校正所计算的平方和。2R校正断定

12、系数 续0; 1 , 0 )3(.,1k )2(111 ) 1 () 1/()/(122222222定取值可能为负，这时规但是，）非负（取值在判定系数得慢些！未校正的判定系数增加也就是说校正的比两者的差距将越来越大且随着解释变量的增加时，）（的判定系数的关系：校正判定系数和未校正RRRRRknnRRnTSSknRSSR2R3.2 回归参数的显著性检验 t检验的假设检验。统计量来进行回归系数以下可用得统计量代替，未知。用标准化。一般有将列的元素。行第的第）为（其中布，由前面知道：先要找出回归系数的分tkntcccNjjjjjjjjjjj)( tjjXX ),( 2212以下给出t-检验的详细过程

13、备择假设。反之则反。拒绝原假设，接受判断：若，查表，得临界值给出显著水平根据样本计算提出假设：),(| t | )4()( )3(0t )2(,.,2 , 1j 0 :H 0 :H ) 1 (2/2/jjjjj1j0kntkntccckjjjjjj3.3 回归方程的显著性检验 F检验n 回归系数的t检验，检验了各个解释变量Xj单独对应变量Y能否显著；我们还需求检验：一切解释变量结合在一同，能否对应变量Y也显著？n这即是下面所要进展的F-检验。3.3.1 方差分析表以下用表格的方式列出平方和、自在度、方差平方和来源平方和自由度均方和源于回归K-1源于残差n-k总平方和n-12)(YYTSSi2)

14、(iiYYRSS2)(YYESSi) 1/( kESS) 1/( nTSS)/(knRSS3.3.2 F检验单侧检验。反之则反。接受备择假设拒绝原假设，判断：若，查表，得给出显著性水平计算统计量）选择、（根据样本）（不全为,), 1()4();, 1() 3(), 1()/() 1/( 20,.,:H 0.: ) 1 (321320knkFFknkFknkFknRSSkESSFHkk3.4 各种检验之间的关系n3.4.1 经济意义检验和其他检验的关系联络：n 判别一个回归模型能否正确，首先要看模型能否具有合理的经济意义，其次才是统计检验。3.4.2 拟合优度和F检验的关系1都是对回归方程的显著

15、性检验；2都是把总平方和分解，以构成统计量进展检验；3两者同增同减，具有一致性。FkknnRRkknF) 1(11R ,11222关系在数量上，它们有如下拟合优度和F检验的关系续n区别：n1F检验中运用的统计量有准确的分布，而拟合优度检验没有；n2对能否经过检验，断定系数校正断定系数只能给出一个模糊的推测；而F检验可以在给定显著程度下，给出统计上的严厉结论；3.4.2 F检验和t检验的关系n在一元的情形，两者是一致的，等价的。对单个解释变量显著性进展t检验，也就检验了解释变量的整体显著性F检验；并且可以证明：Ft2 n所以在一元情形，只需求进展一种检验n多元中，不存在以上关系。回归模型假设检验的步骤n查看拟合