第二章概率统计基础.doc

第二章 概率统计基础计量经济学，即使在实用和简明的形式下，对数据统计学的基本原理的清晰理解都是必不可少的。数理统计学是计量经济学的基础，它为计量经济学的研究提供了唯一而有效的方法，从某种意义上来说，计量经济学就是使数理统计学在建立经济模型中得以应用的一门学科。数量统计学的逻辑结构如下：(1) 总体和样本引入随机变量来描述总体（2）对总体的描述：随机变量的数字特征 数学期望 描述总体的一般水平 方 差 描述总体的离散程度（3）对样本的描述：样本分布的数学特征 样本平均数，描述样本的一般水平， 样本方差，描述样本的离散程度实际上，和是和的无偏估计量。（4）总体与样本的连接：随机变量的分布（5）如何通过样本数据和样本分布特征来估计总体的数字特征，即和，以及总体中数据生成过程的各种参数。a. 估计量的特征：无偏性，有效性，一致性等。b. 估计的方法： 矩法 点估计 最大似然估计法 最小二乘估计法估计方法 估计期望 单个总体 估计方差 区间估计 估计其它参数 两个总体 c.对估计量的检验：假设检验 一个正态总体 的假设检验 对总体分布的检验 两个正态总体假设检验 的假设检验 总体分布 的假设检验 对各种系数、参数估计值的检验第一节 总体、样本和随机函数四个重要的定义： 总体：研究对象的全体称为总体，组成总体的的每个基本单位称为个体。有限总体和无限总体。 样本：总体中随机抽出若干个体而组成的集体，称样本，样本中所含个体的个数，称样本容量。 随机变量：根据概率的不同而取不同数值的变量，叫做随机变量。离散型随机变量和连续型随机变量。 我们经常对表示总体特征的数量指标感兴趣，如一批灯泡的平均寿命。就总体的某一数量特征而言，每个个体的取值不一定完全相同，但它是按照一定规律分布的。符合随机变量的定义，可以将之看成一个随机变量。 所谓总体就是一个随机变量，而所谓样本就是n个（样本容量是n）相互独立且与总体有相同分布的随机变量。每一次具体抽样所得的数据，就是n元随机变量的一个观察值（样本值），记为。 总体可以表示为一个随机变量，并具有自己的分布。而样本就是n个相互独立且与总体有相同分布的随机变量。可见，通过分布可以把样本与总体联系起来，换句话来说，总体分布是样本和总体的连接点。 统计量： 设（）为一个样本，则称（）为统计量。如：一、 随机变量的分布 （一）离散型随机变量的分布 以表格来表示： 的概率分布情况也可以用数学等式（概率函数）来表达： 显然： 例1：用随机变量描述掷一颗骰子的试验。 解：分布表如下表所示： 123456概率函数为 （二）随机变量的分布函数 若是一个随机变量（可以是离散的，也可以是非离散的），对任何实数，令,称为随机变量的分布函数。 对于任意，有：=，可见，只要知道分布函数，就可以知道在任一区间取值的概率，它完整地描述了随机变量的变化情况。 性质： （1）对一切 （2）为不减函数 （3） 例2：求例1中的分布函数解：分布函数与概率函数满足下列关系（三）连续型随机变量的分布 对于任何实数,如果随机变量的分布函数可以写成，其中，则称为连续型随机变量，称为的概率分布密度函数，常写作。 性质：（1）；（2） 例3：若有密度函数 ，则称服从区间上的均匀分布，试求。解： 分布函数、概率函数、密度函数三者的关系分布函数既适用于离散型变量，也适用于连续型变量，是描述各种随机变量的最一般的共同形式。但由于不直观，所以很少使用。对于离散型随机变量，概率函数简单而直观地说明了随机变量取某个值的概率；对于连续型变量，密度函数直观地表示了在附近取值的概率大小，比分布函数要直观。二、二元随机变量定义：如果二元随机变量所有可能的取值为有限个或可列个，并且以确定的概率取各个不同的数值，则称为二元离散型随机变量。 可以用表格表示如下： 也可以用数学表达式来说明： 显然，定义：如果存在一个非负函数，使得二元随机变量的分布函数，对于任意的实数都有： 则称是二元连续型随机变量，称的联合分布密度。 的性质：（1）0 （2）对于任意实数，有三、独立性事件的独立性如果事件A发生的可能性不受事件B发生与否的影响，即，称事件A对于事件B独立。显然，若A对于B独立，则B对于A也一定独立。我们称事件A与B相互独立。A与B独立的充要条件是随机变量的独立性对于任何实数，如果二元随机变量的联合分布函数等于和的边缘分布函数的乘积，即=，则称随机变量和相互独立。第二节 对总体的描述随机变量的数字特征 分布是对随机变量的一种最完全的描述，但求出总体分布不是一件容易的事情。在许多情况下，我们不需要全面考察随机变量的变化情况，只需要了解它的一些综合指标就够了。所谓数学特征，就是用数字来表示的随机变量的一些重要综合指标。一、 数学期望 假定一个随机变量X有个不同的可能取值，而是它们相应的被取到的概率，则随机变量X的数学期望为 性质：1如果为常数，则2如果X和Y是两个随机变量，则3如果X和Y分别是两个独立的随机变量，则设连续型随机变量X有分布密度，若积分绝对收敛，则为X的数学期望。二、方差 定义：如果随机变量X的数学期望E（X）存在，称E（X）X为随机变量X的离差。随机变量离差平方的数学期望，叫做随机变量的方差。 离差和方差的区别与联系：都反映了随机变量对期望值的偏离程度，但方差消除了正负号的影响，从而能够更好地反映方差的总的影响。性质： 1. 2. X为随机变量，则 3X为随机变量，为常数，则 三、矩 设X和Y是随机变量，若存在，则称它为X的阶原点矩，简称阶矩。 若存在，则称它为X的阶中心矩。 显然，期望是X的一阶原点矩，方差是X的二阶中心矩。四、协方差和相关系数 两个或两个以上的随机变量的关系可以通过数字特征，主要是协方差和相关系数加以描述。 设随机变量的均值和方差都存在，则协方差为： 相关系数为： 第三节 对样本的描述样本分布的数字特征一、 样本分布函数如果把随机变量的分布看作某个总体的分布，的分布函数就是一个总体分布函数。设为总体的一个样本观察值，把它们按大小排列为令称之为样本分布函数。 二、样本平均数 对于样本，称为样本平均数。三、样本方差 对于样本，称为样本方差，称为样本标准差。同时，第四节 随机变量的分布总体和样本的连接点一、几种重要的分布计量经济学的学习要求把注意力集中在各个分布的关系上，而不是某个分布的具体函数表达式上面。 正态分布： 正态分布是最常见的连续型概率分布，它是t 分布、F分布和分布的基础，在概率统计和计量经济分析中都非常有用。 正态分布是取值于的连续分布，分布密度函数是，其中和分别是数学期望和方差，可见，正态分布函数完全由数学期望和方差决定，所以正态分布记为。 服从正态分布的随机变量还有这样的性质：正态分布随机变量的线性组合仍然服从正态分布。当=0， =1时的正态分布，称为标准正态分布，记作，其中= 如果，而，那么分布： 标准正态分布随机变量的平方所服从的分布是分布，标准正态分布随机变量的平方和，也服从分布，求和项数被称为分布的自由度。自由度为k的分布用来表示。 分布随机变量的取值范围是，且自由度越大，形状越接近于正态分布。数学期望为k，方差为2k。 t 分布：从标准正态分布和分布可以引出t分布。设，则随机变量服从t 分布。记作，是期望为零的对称分布，它的概率密度函数和标准正态分布函数很相似。F分布：F分布是分布的商。设，且相互独立，则： t分布随机变量的平方服从分子自由度为1，分母自由度为t分布自由度的F分布。二、分布是样本与总体的连接点 所谓总体就是一个随机变量，所谓样本就是个相互独立且与总体有相同分布的随机变量，即一个元随机变量。总体与样本之间的联系在于具有相同的分布，这就需要通过一系列定理来通过样本的特征来估计和代替总体的特征（这是我们研究的根本任务和方向）铺平道路。 定理：设是取自正态总体的的样本，则：， 定理：设是取自正态总体的的样本，和分别是样本均值和标准差，则 定理：设和分别是正态总体和的样本，则 ，其中，分别为两个样本各自的方差。第五节 通过样本，估计总体（一）估计量的特征 所谓估计量的特性，就是指当估计量满足了这些特性时，我们说该估计量是一个相对较好、较合理的估计量。可见，估计量的特征实际上是衡量一个估计量好坏的标准。这里，主要研究4个这样的特性。一、 无偏性 根据样本推得的估计值和真值可能不同。然而，一个比较好的估计量要求样本估计量的数值在真值周围摆动，没有系统误差。 定义：如果成立，我们称为参数的无偏估计，亦称具有无偏性。 例：试证样本平均数和样本方差分别是总体期望和总体方差的无偏估计量。 证明略。二、有效性 总体的某一个参数的无偏估计量往往不只一个，而且无偏性只是表明所有可能取的值按概率平均等于，它取的值大部分可能与相差很大。为保证的取值能集中于的附近，必须要求的方差越小越好。 定义：设和都是的无偏估计，若对任意的样本容量，都有的方差小于的方差，则称比有效。在所有的无偏估计量中，如果是其中方差最小的，则称是的有效估计量。 例：比较总体期望值的两个无偏估计量和的有效性。 略。三、最小均方误（MSE） 实际上，均方误等于的方差和的偏离平方之和。四、一致性 定义：当样本容量不断增大时，估计量以参数真实值为极限，这里的极限是概率极限。 即，若是的估计，其中是用于估计的样本的容量，满足对于任意的， 注意：1、作为评价估计量的好坏标准，计量经济学家在无偏性和一致性二者中更偏重于选择一致性。 2、根据大数定理，当样本容量变得越来越大时，从样本中获得的总体估计就有相当的稳定性，即其方差变得很小。因而，可以认为，一个有偏的一致性估计量在大样本下，同时具有“有效性”和“无偏性”。显然，它要比一个方差很大的无偏估计量优越得多。 通过样本，估计总体 （二）估计方法 估计总体参数的方法通常有两种，一是点估法，一是区间估计法。一、 点估法 所谓点估法就是给出估计参数一个特定的值。常见的点估法有矩法、最大似然法、最小二乘法。1.矩法 具体做法是以样本矩作为相应的总体矩的估计量，以样本矩的函数作为相应的总体矩函数的估计量。最常见的应用是用样本平均数估计总体期望，即认为。例：若样本取自均匀分布问是多少（在矩估计下）？2.最大似然估计法最大似然的概念是与这一事实紧密联系的。即不同的统计总体会产生出不同的样本，对一某一特定的样本，在我们这些不了解产生它的母体究竟为何物的观察者眼中，它来自一些形式母体的可能性要比来自另一些的可能性大，即一些母体比另一些母体更容易产生出我们所观察到的样本。举例来说，假定我们抽取到了一个样本，现在我们知道它来自一正态总体，这个正态总体的方差我们是了解的，但我们却不知它们的期望是多少，如图所示。很显然，我们愿意承认A为真实的母体，因为A比B更可能产生出我们获得的样本观察值。在某种“意义”上，是样本“替”我们“选择”了总体A。 假定现在要根据从总体中抽取到的样本，对总体分布中的未知数进行估计。最大似然法是选择这样的估计量作为的估计值，使观察结果即样本出现的可能性最大。对于离散型随机变量，我们就是要选择使最大；对于连续型变量，我们就是要选择使最大。 用数学语言来对上述思想进行叙述。 设是连续型随机变量，它的分布函数是，分布密度是，其中为未知参数。由于样本的独立性，则样本的联合分布密度函数为：。由于是一个常数，所以L可以看作是参数的函数。我们把L称为样本的似然函数。又设是离散型随机变量，有概率函数，则似然函数 定义：如果在处达到最大值，称是的最大似然估计。 例：已知服从正态分布，为的一组样本观察值，用最大似然估计法估计的值。 解法略。二、区间估计 根据估计量的分布，在一定的可靠程度下，指出被估计的总体参数所在的可能数值范围内。这就是参数的区间估计问题。 （一）对总体期望的区间估计 1.方差已知，对进行区间估计 （1）总体分布未知。 这种情况比较少见，直接给出用契比雪夫不等式推导出的公式即可：从总体中抽取样本，令，则在已知的情况下，估计所得的置信区间可由下式确定：。可以得出，平均每100次抽样（每次抽出个样本）计算得出的100个置信区间中，至少有个区间包含。显然，也会遇到某个区间不包含的情况，但这种情况出现的可能性很小，不超过。例：某灯泡厂某天生产了一大批试验，从中抽取了10个进行寿命试验，得数据如下，如果已知该天生产的灯泡寿命的方差是8，试找出灯泡平均寿命的置信区间（） 解略。 （2）正态总体 设样本来自正态总体，则，可以得出：因此，的置信度为的置信区间是。例：在上例中，若灯泡寿命服从正态分布，试重新估计灯泡寿命的范围。（）（3）一般总体大样本下的区间估计中心极限定理表明：在很宽的条件下，不是正态总体的一般总体，当样本容量很大时，也有渐近地服从正态分布。因此，就可以运用来对进行区间估计。2.方差未知，对进行区间估计 （1）大样本下，方差未知对对进行区间估计 根据大数定理和中心极限定理，可以用来代替，仍然根据来进行区间估计。（2）小样本下，方差未知的正态总体进行区间估计设小样本来自正态总体，由于未知，只能构造新的统计量。由于总体，可知T服从具有个自由度的分布。给于给事实上的检验水平，可以得出的置信区间（二）对总体方差的区间估计 的无偏估计是，由定理可知：故有： 可以得到方差的一个置信水平为的置信区间进而得到标准差的置信水平为置信区间例：假定初生婴儿的体重服从正态分布。随机抽取12名新生婴儿，测得其体重分别为3 100、2 520、3 000、3 600、3 160、3 560、3 320、2 880、2 600、3 400、2 540，试以95%的置信度估计新生婴儿的平均体重；（单位：克）对新生婴儿体重的方差进行区间估计（ ）。 略。 通过样本，估计总体（三）假设检验 对总体的分布函数形式或分布中某些未知参数作出某种假设，然后抽取样本，构造适当的统计量，对假设的正确性进行判断的过程，称为假设检验。假设检验在计量模型中的显著性检验中具有重要的意义。一、 假设检验的基本思想与小概率原理假设检验的方法非常多，但基本思想都是相同的，都采用带有概率性质的反证法。为了检验一个假设是否成立，我们一般先假设这个“假设”是成立的，看由此会产生什么后果，如果导致一个不合理的现象出象，就说明原