第3章多元线性计量模型的参数估计30

1、2022-3-71 1、多元线性模型的解析表达式、多元线性模型的解析表达式2 2、最小二乘估计、最小二乘估计3 3、最小二乘估计量的性质、最小二乘估计量的性质4 4、样本容量、样本容量2022-3-71 1、多元线性模型的解析表达式、多元线性模型的解析表达式uxxxykk.22110nixxxykiiii,.,2 , 121，数据：uxxxyuxxxyuxxxynknknnnkkkk.2211022222121021121211101nieyyxxxyiiikikiii,.,2 , 1,.221102022-3-7矩阵形式表示矩阵形式表示UXBYuuuxxxxxxxxxyyynkknkknnn

2、.1.11.2121021222211121121uxxxyuxxxyuxxxynknknnnkkkk.22110222221210211212111012022-3-7矩阵形式表示矩阵形式表示YYeBXYkknkknnnxxxxxxxxxyyy.1.11.21021222211121121nieyyxxxyiiikikiii,.,2 , 1,.221102022-3-7 2 2、最最小小二二乘乘估估计计0.000.210121212110QQQQxxyyyQknininiikikiiiieYXXXB1)(：所解出的参数估计值为组可以证明：由这些方程2022-3-7 2 2、最最小小二二乘乘估

3、估计计1.1.11.111.)(22211101212222111211212222111211211kneeeBYXXXYYXXXByyyyyyyxyxyxxxxxxxxxxxxxxxxxxyyynnkikiiiiknkknnknkknnn2022-3-7 3 3、最小二乘估计量的性质、最小二乘估计量的性质线性性（估计量都是被解释变量观测值的线性线性性（估计量都是被解释变量观测值的线性组合）组合）无偏性（估计量的数学期望无偏性（估计量的数学期望= =被估计的真值）被估计的真值）有效性（估计量的方差是所有线性无偏估计中有效性（估计量的方差是所有线性无偏估计中最小的）最小的）一致性（样本容量无穷

4、大时满足无偏性和有效一致性（样本容量无穷大时满足无偏性和有效性）性）2022-3-7（1 1）线性性）线性性估计量都是被解释变量观测值的线性组合估计量都是被解释变量观测值的线性组合即即YXXXB)(1 xxyxyxyxnniii221102022-3-7（2 2）无偏性）无偏性BUXEXXBUXXXXBXXXEUXBXXXEYXXXEBE)()()()()()()()(111112022-3-7（3 3）有效性）有效性最小方差在所有无偏估计中示的马尔可夫定理，如此表根据高斯回忆：)() )()()() )()(122)1()1(XXBEBBEBEBCovxExExCovkk2022-3-7（4

5、 4）一致性）一致性 参数估计量在小样本下不完全具有无偏性和有效性，参数估计量在小样本下不完全具有无偏性和有效性，但是随着样本容量增大，即当但是随着样本容量增大，即当n n趋于无穷大趋于无穷大时，参数估时，参数估计量趋于参数真值计量趋于参数真值渐进无偏性，方差趋于所有线渐进无偏性，方差趋于所有线性无偏估计中的最小性无偏估计中的最小渐近有效性，则称该估计量渐近有效性，则称该估计量具有一致性。具有一致性。 有有 一致性是一种大样本属性。一致性是一种大样本属性。 0)()(BVarPBBEPLimLimnn2022-3-7 4 4、样本容量、样本容量样本是一个重要的实际问题。模型依赖于实际样本是一个

6、重要的实际问题。模型依赖于实际样本。获取样本需要成本，企图通过样本容量样本。获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。的确定减轻收集数据的困难。 （1 1）最小样本容量）最小样本容量 （2 2）满足基本要求的样本容量）满足基本要求的样本容量2022-3-7（1 1）最小样本容量）最小样本容量 n=k+1n=k+1 因此，必须有因此，必须有nk+1nk+1 事实上，最小的样本容量是事实上，最小的样本容量是k+2k+2，当然，用这，当然，用这样小的样本数量估计模型，其准确性值得怀疑。样小的样本数量估计模型，其准确性值得怀疑。1)(21kneeYXXXB2022-3-7（2 2）满

7、足基本要求的样本容量）满足基本要求的样本容量一般经验认为：一般经验认为： n=30n=30或者或者n=3(k+1)n=3(k+1)才能满足模型估计的基本要才能满足模型估计的基本要求。只有求。只有 n=30n=30时，时，u u检验（标准正态）成立。检验（标准正态）成立。n=3(k+1)n=3(k+1)时，时，t t分布才稳定，检验才较为有效。分布才稳定，检验才较为有效。当样本容量接近最小样本容量时应引入非样本信当样本容量接近最小样本容量时应引入非样本信息。采用贝叶斯（息。采用贝叶斯（BayesBayes）方法。）方法。存在滞后变量的样本容量问题。存在滞后变量的样本容量问题。2022-3-7模型

8、统计检验的实质模型统计检验的实质 模型统计检验不涉及模型的经济内涵；模型统计检验不涉及模型的经济内涵； 旨在检验模型是否满足数学理论与方法上的要旨在检验模型是否满足数学理论与方法上的要求求统计差异显著性；统计差异显著性； 拟合优度检验（拟合优度检验（R R2 2）、方程显著性检验（）、方程显著性检验（F F）和变量显著性检验（和变量显著性检验（T T）通称称为模型的统计通称称为模型的统计检验；检验； 统计检验的结果表明模型是否能代表数据，或统计检验的结果表明模型是否能代表数据，或者说观察到的事实是否支持模型。者说观察到的事实是否支持模型。2022-3-7 一、拟合优度检验一、拟合优度检验-30

9、-20-100102030010203040Y3FX20304050607080010203040YX 检验模型对样本的拟合程度检验模型对样本的拟合程度称为称为拟合优度拟合优度。 方法：构造一个表征拟合程方法：构造一个表征拟合程度的指标，根据一定准则进度的指标，根据一定准则进行判断。行判断。 例如左边两个问题，它们都例如左边两个问题，它们都满足满足LSLS，但拟合程度明显不，但拟合程度明显不同。同。2022-3-71 1、总平方和、总平方和= =回归平方和回归平方和+ +残差平方和残差平方和的变动。释变量因素的变化的引起被解反映了除自变量外其他残差平方和残的变动；的变化引起被解释变量即由解释变

10、量偏离平均值的程度，亦反映了回归直线估计值回归平方和回述了总体变动；平均值的总体程度，描反映了被解释变量偏离总平方和总YSYSSyyyyyyiii2222022-3-7残有何联系？回、总、残差平方和残回归平方和回总平方和总SSSSSSyyyyyyiii222xy10),(iiyxiyiy iixy102022-3-71 1、总平方和、总平方和= =回归平方和回归平方和+ +残差平方和残差平方和yyyyyyyyyyyyyyiiiiiiiiiiS22222总0; 00 xeeyyyyjiiiii可以证明：残回总SSSyyyyyyiiii2222022-3-7拟合优度拟合优度r r2 2 解释变量引

11、起的变动占总变动的百分比解释变量引起的变动占总变动的百分比 取值在取值在0 01 1之间，越大拟合越好之间，越大拟合越好可能通过检验。一般要求此时拟合最差回时，当有观测点样本回归超平面通过所时，当总残总回3 . 02 . 085. 0, 0011122222222rryyryyrriiiyySyyyySSSSiiii2022-3-7增加解释变量，增加解释变量，S S回至少是不减的回至少是不减的拟合精度的错觉。变量个数，会提高模型由此给人一种增加解释回至少是不减的。因此，增加解释变量，模型的解释能力增强。增加解释变量，将会使S2022-3-7 2 2、调整的拟合优度、调整的拟合优度-R-R2 2

12、 用残差平方和与总平方和各自的自由度进行调用残差平方和与总平方和各自的自由度进行调整。以防止企图通过增加解释变量个数来提高整。以防止企图通过增加解释变量个数来提高拟合优度的错误倾向。拟合优度的错误倾向。11)1 (1111111122222knnknnSSnSknSrRssRTr总残总残2022-3-7 引入调整拟合优度的作用引入调整拟合优度的作用添加解释变量，则2r增加。调整可决系数2R考虑了自由度，其并不简单地随着解释变量个数的增加而增大，当变量个数增加到一定程度时，它将开始下降，如图所示。 2r 1K 变量个数 2R 1K 变量个数2022-3-7 3 3、赤池信息准则与施瓦茨准则、赤池

13、信息准则与施瓦茨准则 为了比较解释变量的个数对回归模型拟合优度的影响为了比较解释变量的个数对回归模型拟合优度的影响, ,还采还采用赤池信息准则用赤池信息准则(Akaike Information Criterion,AIC)(Akaike Information Criterion,AIC)与与施瓦茨准则施瓦茨准则(Schwarz Criterion,SC),(Schwarz Criterion,SC),一般地一般地, ,如果增加解如果增加解释变量释变量, ,能够使得能够使得AICAIC值或值或SCSC值减少值减少, ,才可以在模型中增加解才可以在模型中增加解释变量。释变量。nnkneeSCn

14、kneeAIClnln) 1(2ln2022-3-7变量选择x1x1、x2 x1、x2、x4x1、x2、x4、x5拟合优度0.870.930.930.93调整拟合优度0.860.920.910.90AIC16.9616.4716.5616.71SC17.0516.6016.7416.93Y-Y-粮食产量；粮食产量；X1X1化肥施用量；化肥施用量；x2x2粮食播种面积；粮食播种面积；X4-X4-农业机械投入；农业机械投入；x5-x5-农业劳动力投入农业劳动力投入2022-3-7二、方程显著性检验（二、方程显著性检验（F F检验）检验）1 1、假设检验、假设检验 根据样本提供的信息，承担给定的风根

15、据样本提供的信息，承担给定的风险下，对未知总体分布的某些方面作出险下，对未知总体分布的某些方面作出合理的判断，称为统计假设检验，简称合理的判断，称为统计假设检验，简称假设检验。假设检验。2022-3-7弃真错误：0.05 请作判断：请作判断：现有两盒，分别为现有两盒，分别为A和和B，其中，其中A盒放有盒放有95个个白球白球5个黑球，个黑球，B盒中放有盒中放有95个黑球个黑球5个白球，从中任取一盒，个白球，从中任取一盒，假设为假设为A盒，从中任取一球，球为黑色，对盒子重新作出判盒，从中任取一球，球为黑色，对盒子重新作出判断，是哪一盒子？断，是哪一盒子？95个黑球个黑球5个白球个白球95个白球个白

16、球5个黑球个黑球2022-3-7假设检验的原理假设检验的原理1、提出二择一的假设、提出二择一的假设: H0（往往与目的相反）与（往往与目的相反）与HA（往往是欲得到（往往是欲得到的结论）；的结论）；2、给定显著水平、给定显著水平 （小概率）；（小概率）；3、在、在H0成立下，收集数据，构造检验统计量成立下，收集数据，构造检验统计量（如（如t、F），且已知统计量的分布，能计算出取各），且已知统计量的分布，能计算出取各种值的概率；种值的概率；4、查表得小概率发生的临界值、查表得小概率发生的临界值（如（如t 、F ）；）；2022-3-7假设检验的原理假设检验的原理5、将样本值和、将样本值和H0代入

17、检验统计量进行计算；代入检验统计量进行计算；6、将计算结果与临界值比较、将计算结果与临界值比较，若大于临界值，小，若大于临界值，小概率事件发生，概率事件发生，根据小概率原理，在一次试验根据小概率原理，在一次试验中小概率事件是不会发生的。现在，居然发生中小概率事件是不会发生的。现在，居然发生了。错在哪里？了。错在哪里？7、原来是假设、原来是假设H0错了，错了，因为一切都是在因为一切都是在H0成立成立下推证的，于是拒绝下推证的，于是拒绝H0。否则，不拒绝。否则，不拒绝H0（注（注意没有使用意没有使用“接受接受”）。）。2022-3-7大海捞针大海捞针反证法反证法 一棵针掉进了大海里一棵针掉进了大海

18、里: : H H0 0：海底只有一棵针：海底只有一棵针 H HA A：海底不只一棵针：海底不只一棵针 显著水平显著水平 =0.01=0.01（小概率事件发生的概率）（小概率事件发生的概率） 进行抽样（试验）进行抽样（试验）到海底捞针到海底捞针 现在，一次潜水（抽样试验）就捞上一棵针，这掉下现在，一次潜水（抽样试验）就捞上一棵针，这掉下的一棵针居然被我们捞上来，不可能发生的事件发生的一棵针居然被我们捞上来，不可能发生的事件发生了，于是拒绝了，于是拒绝H H0 0，认为大海里不只一个针。，认为大海里不只一个针。“只有一棵只有一棵针针”，在一次抽样试验中是捞不上来的。，在一次抽样试验中是捞不上来的。

19、2022-3-7弃真错误弃真错误 1 1、H H0 0：海底只有一棵针。但一次试验捞了上来。因为：海底只有一棵针。但一次试验捞了上来。因为小概率事件发生，必须拒绝（小概率事件发生，必须拒绝（H H0 0）。然而此时此地海底）。然而此时此地海底真的只有一棵针，结论说不只一棵针，错了！真的只有一棵针，结论说不只一棵针，错了！犯犯“弃真弃真”错误了。错误了。只有拒绝只有拒绝H H0 0时才会犯弃真错误；时才会犯弃真错误； 2 2、此时犯了弃真的错误，、此时犯了弃真的错误，但是犯弃真错误的可能性，但是犯弃真错误的可能性，事先已经控制事先已经控制只有显著水平只有显著水平 （小概率）那么大。小概率）那么大

20、。 3 3、所以拒绝不仅是坚决的，、所以拒绝不仅是坚决的，而且犯弃真错误的概率而且犯弃真错误的概率（冒险率（冒险率风险是事先控制的）也很小风险是事先控制的）也很小= = 。所得结论的所得结论的可靠性可靠性 = 1-= 1- 4 4、所以，人们提出的、所以，人们提出的H H0 0通常是无效的（通常是无效的（nullnull）。）。2022-3-7 各种常用分布之间的联系各种常用分布之间的联系），（ 10,2NXYXNY标准正态分布图像标准正态分布图像 nniX212标准正态分布的和2022-3-7/2-/2 ntnX2分布标准正态分布除以卡方T-分布图像分布图像2022-3-7F0dfdfFdf

21、df212212,卡方分布除以卡方分布F-分布图像分布图像2022-3-7 2 2、方程显著性的、方程显著性的F F检验检验 依据假设检验的原理和步骤，把模依据假设检验的原理和步骤，把模型作为一个整体进行假设检验，检验型作为一个整体进行假设检验，检验模型中被解释变量与解释变量之间的模型中被解释变量与解释变量之间的线性关系线性关系是否显著的成立。是否显著的成立。2022-3-7F F检验统计量的构造检验统计量的构造线性关系成立。至少其中一个不为线性关系不成立；0:0,.,0, 0:.21021021HHAkkiiiuixkxxyi) 1,() 1() 1()(2222222knkFknyykyy

22、FknyySkyySiiiiiiyyii残回分布，有一组样本的平方和服从服从正态分布，由于检验不显著。称否则，接受检验显著，并称拒绝若FFknkFHHF,) 1,(002022-3-7 例例1 1F F检验检验n=25，k=3的如下模型：检验。便可通过即只要，时，只要实际上，当分布表得临界值：查），（），自由度（取显著性水平FFFnFFFknkWDtFRxxxy,1010,1005. 087. 4)21, 3(07. 3)21, 3(213105. 041. 1.9 . 1 ; 4 . 1 ; 0 . 8; 4 .1251;94. 05212. 00184. 04243. 0415. 001.

23、 005. 023212022-3-7 F F检验的步骤检验的步骤 （1 1）提出假设）提出假设H H0 0: : 1 1 = = 2 2 = = 3 3 = = = k k=0=0 （2 2）构造统计检验量。）构造统计检验量。 即即 （3 3）根据显著性水平）根据显著性水平 ，确定临界值，确定临界值F F 。 （4 4）将计算出的）将计算出的F F与临界值与临界值F F 比较。比较。 （5 5）下结论：若）下结论：若FF临界值临界值F F ，则拒绝，则拒绝H H0,0,，称，称F F检验显著；检验显著；若若F=Ft /2，拒绝，拒绝H0；否则不拒绝否则不拒绝H0。t的绝对值越大，自变量对因的

24、绝对值越大，自变量对因变量的作用越显著。变量的作用越显著。2022-3-7 例例2-T2-T检验检验n=25，k=3的如下模型：检验。便可通过，即只要时，只要实际上，当分布表得临界值查取显著性水平tttntttWDtFRxxxy, 33,1005. 0831. 2)21(08. 2)21(:05. 041. 1.9 . 1 ; 4 . 1 ; 0 . 8; 4 .1251;94. 05212. 00184. 04243. 0415. 0025. 0005. 0025. 023212022-3-7回归模型假设检验的步骤回归模型假设检验的步骤（1 1）查看拟合优度，进行）查看拟合优度，进行F F检

25、验。检验。从整体上判断回归方程从整体上判断回归方程是否成立，如果是否成立，如果F F检验通不过，无须进行下一步；否则进检验通不过，无须进行下一步；否则进行下一步；行下一步；（2 2）查看各个变量的）查看各个变量的t t值及其相应的概率，进行值及其相应的概率，进行t t检验。检验。如如果相应果相应t t值大于给定的显著水平，该自变量的系数显著地值大于给定的显著水平，该自变量的系数显著地不为不为0 0，该自变量对因变量作用显著；否则系数与，该自变量对因变量作用显著；否则系数与0 0无显无显著差异（本质上著差异（本质上=0=0），该自变量对因变量无显著的作用，），该自变量对因变量无显著的作用，应从方

26、程中删去，重新估计方程；应从方程中删去，重新估计方程；（3 3）但是，一次只能将最不显著（相应概率最大）的删除。）但是，一次只能将最不显著（相应概率最大）的删除。每次删除一个，直至全部显著。每次删除一个，直至全部显著。2022-3-7四、参数估计量的置信区间四、参数估计量的置信区间 用样本提供的信息，根据估计量用样本提供的信息，根据估计量( (统计量统计量) )公式，可以公式，可以给出未知参数的估计值或被解释变量的预测值，这种给出未知参数的估计值或被解释变量的预测值，这种估计称为估计称为点估计点估计。点估计并没有给出做出进行这类判。点估计并没有给出做出进行这类判断的可靠程度和误差范围。断的可靠程度和误差范围。 区间估计区间估计则是以一定的可靠程度（精确