数理统计Ⅱ第一章.ppt

1、,理学院：郑石秋 2012年9月,应用数理统计学,1.1、导言,1.4、统计量的及其分布（抽样分布 ）,1）标准正态分布,2）(卡方)分布,3）t分布,4）F分布,1.2、总体和样本,1.3、直方图和经验分布函数,第一章 数理统计的基本概念,什么是数理统计？ 它的主要研究对象和任务是什么？ 数理统计的特点是什么？,数理统计学是一门应用性很强的学科. 它的研究对象和主要任务是怎样以有效的方式收集、 整理和分析带有随机性的数据，以便对所考察的问题作出推断和预测，直至为采取一定的决策和行动提供依据和建议.,数理统计的特点是应用面广，分支较多.数理统计首先就是因为生物学、遗传学和农业科学研究的需要而兴

2、起的，在近一个世纪的发展中，数理统计几乎不同程度地渗透到所有人类活动的领域。,在农业方面，方差分析已经是农业试验的常规手段；在工业生产中, 正交试验设计方法在新产品、新工艺、新材料的开发研究过程中得到广泛应用；在医学中，显著性检验是说明一些药物和治疗手段疗效的典型方法；在国防尖端武器的研制中，精度分析主要也是用数理统计的方法；,到了十九世纪末二十世纪初，随着近代数学和概率论的发展，才真正诞生了数理统计学这门学科.,从历史的典籍中，人们不难发现许多关于钱粮、户口、地震、水灾等等的记载，说明人们很早就开始了统计的工作 . 但是当时的统计，只是对有关事实的简单记录和整理，而没有在一定理论的指导下，作

3、出超越这些数据范围之外的推断.,学习统计无须把过多时间化在计算上，可以更有效地把时间用在基本概念、方法原理的正确理解上. 国内外著名的统计软件包： SAS，SPSS，STAT等，都可以让你快速、简便地进行数据处理和分析.,由于学时有限，课程的的这部分内容重点在于介绍数理统计的一些重要概念和典型的统计方法，它们是实际中最常用的知识.,计算机的诞生与发展，为数据处理提供了强有力的技术支持，数理统计与计算机的结合是必然的发展趋势.,数理统计不同于一般的资料统计，它更侧重于应用随机现象本身的规律性进行资料的收集、整理和分析.,由于大量随机现象必然呈现出它的规律性，因而从理论上讲，只要对随机现象进行足够

4、多次观察，被研究的随机现象的规律性一定能清楚地呈现出来.,但客观上只允许我们对随机现象进行次数不多的观察试验，也就是说, 我们获得的只是局部观察资料.,数理统计的任务就是研究怎样有效地收集、整理、分析所获得的有限的资料，对所研究的问题, 尽可能地作出精确而可靠的结论.,在数理统计中，不是对所研究的对象全体(称为总体)进行观察，而是抽取其中的部分(称为样本)进行观察获得数据（抽样），并通过这些数据对总体进行推断.,数理统计简介,数理统计,我们已经学习过概率论的基本内容，下面我们介绍数理统计，它以概率论为理论基础，运用概率论的基本知识，对被研究的随机现象进行多次观察或试验，研究怎样有效地收集、整理

5、和分析受到随机影响的数据，以便对研究对象的客观规律性作出统计推断或预测，直至为采取决策提供合理的可靠依据。 本章介绍总体、随机样本和统计量等基本概念，并着重介绍几个常用统计量及抽样分布。,1.2.1 总体,将研究对象的某项数量指标的值的全体称为总体，,总体中的每个元素称为个体。,总体依其包含的个体总数分为有限总体和无限总体。,当有限总体所包含的个体的总数很大时，可以近似地将它看成是无限总体。,1 .2 总体和样本,例1. 某工厂生产的灯泡的寿命的全体是一个总体，每个灯泡的寿命是一个个体；某天某厂生产的一批钢筋强度的全体是一个总体，每一根钢筋的强度是一个个体。这两个总体都是有限总体；而若是此工厂

6、生产的所有钢筋的强度所组成的总体就是一个无限总体。,例2. ：要研究某大学学生的学习情况，则该校的全体学生构成问题的总体。每一个学生则是该总体的一个个体。,总体随研究的范围而定，如在例2中，如你研究则总体就大多了:它包含全国所有在学的大学生.总体如何定,取决于研究目的,也受人力物力时间等因素的限制.对于大多数实际问题,总体中的个体是一些实在的人或物,而问题中所注意的,并不在于这些人或物本身,而在于所关心的某种指标.例如一个学生有身高体重姓氏笔划籍贯出身.等特征,当我们研究学生学习成绩时,对这些都不关心,而只注意其考分如何.在例1.中,我们只注意元件的寿命如何.,这样,也可以把我们感兴趣的那个指

7、标值就作为该个体(例如,大学生A得90分,即以90这个数代替A),而总体就由一些数所组成.,单是这样还不行.这里有两个问题:一是总体中这样一大堆杂乱无章的数没有赋予什么数学或概率的性质,因而无法使用有力的概率论工具去研究它;二是各种总体变得没有区别.例如,大学生的学习成绩也是一堆数,一大批元件的寿命也是一堆数,大家都一样了.,解决这些问题的途径,就涉及总体这个概念的核心总体的概率分布.例如, 电子元件寿命分布为指数分布, 学生的学习成绩可以假定为服从正态分布.总体分布不同,分析的方法也就不同,赋有一定概率分布的总体就称为统计总体.因此,经过以上几步的分析,我们就得出在数理统计学中“总体”,这个

8、基本概念的要旨,总体就是一个概率分布.当总体分布为指数分布时,称为指数分布总体;当总体分布为正态分布时,称为正态分布总体或简称正态总体,等等.,两个总体,即使其所含个体的性质根本不同,只要有同一的概率分布,则在数理统计学上就视为是同类总体.例如人的寿命也可以服从指数分布,它与元件寿命的分布一样,处理二者的统计问题的方法也一样,即可视为同一类总体.,对以上所说的要作一点说明:上面虽然我们假定了元件寿命服从指数分布,但并没有指定其中参数之值.既然未知,原则上可取0到内任何值,故更正确地应当说:总体分布是一个概率分布族(在此为指数分布族)的一员.,这分布族包含一个参数称为单参数分布族.在例2中，总体

9、分布正态分布N( , 2 ),包含两个参数 ,和2 ( 可取任何实数值而2 只能取大于0的值),是一个两参数分布族.另外,在有些情况下,我们只是假定总体有一定的概率分布而并不明确知道其数学形式.如在例1中,也可以只承认寿命有一定的概率分布函数F(x),F(0)=0(因寿命总大于0),其他别无所知.这时,总体分布不能通过若干个未知参数表达出来,这种情况称为非参数总体.,对非参数总体,虽不知其数学形式,但统计问题照样可以提出来.例如估计平均寿命的问题,不假定元件寿命分布为指数分布也有意义,且使用 去估计平均寿命看来仍是一个合理的方法.自然,由于分布的形式未知,进一步的讨论困难就更大,这些在以后会逐

10、步指明.上面所讲的总体概念,在很大程度上要归功于数理统计学最主要的奠基者,伟大的英国统计学家R.A.费歇尔.他引进了“无限总体”,这个概念现实问题中,当所考察的个体是由一些看得见、摸得着的对象所构成时(如例2),总体总是有限的.,有限总体相应的分布只能是离散的,其具体形式将与个体总数有关且缺乏一个简洁的数学形式,这会使有力的概率方法无法使用.引进无限总体的概念,在概率论上相当于用一个连续分布去逼近离散分布.当总体所含个体极多时,这种逼近所带来的误差,从应用的观点看已可以忽略不计.更好的是,事实证明:几种常见且在概率论上较易处理的分布,如指数分布和正态分布等,尤其是正态分布,对许多实用问题的总体

11、分布给出了足够好的近似,而围绕着这些分布建立了深入而有效的统计方法.,最后,关于总体这个概念还需要说明一个问题.从一个例子入手,设有一个物体,其真实的重量a未知,要通过多次量测的结果去估计它.请问在这个问题中总体是什么?,若不假思索,可能回答说:因为与所研究的问题有关的对象,就只这个物体,故这个物体,或者其重量a,就构成总体,这个回答不对.其所以不对,一则因为a未知.即使a已知(这时自然不存在估计它的问题,但测量其重量仍有意义,例如,可能是为了考察天平的准确程度如何),这个回答仍不对,因为你既然通过量测,那么,你所研究的问题,实质上是“通过量测结果去估计a之值其精度如何”.这样,每一个可能的量

12、测结果都是一个个体,而总体是由“一切可能的量测结果”组成.这只是一个想像中存在的集合,因为不可能去进行无限次量测,把所有可能的量测结果一一列出来.这与我们前面几个例子中那种看得见摸得着的总体不同:这里的总体只是在想像中存在,它的个体是通过试验“制造”,出来的每秤一次,就制造出一个量测值.这种情况在实际应用中非常之多.,给这种总体规定分布也一样.拿本例来说,只须说一句“量测结果服从某某分布(如正态分布)”,就行.如果不绕这么一个圈子,而直接说:量测结果是随机的,它服从某某分布,可能读者会感到更易接受.上述分析是为了突出统计总体这个概念的这种抽象形式,以体现这个概念的普遍性.在某些统计学著作中,也

13、常把总体称为“母体”.,以后，我们提到的总体和个体时，一般都是指具体对象的数量指标，而不是笼统地指具体对象。,1.2.2 样本 样本是按一定的规定从总体中抽出的一部分个体.所谓“按一定的规定”,就是指总体中的每一个个体有同等的被抽出的机会,以及在这个基础上设立的某种附加条件.由于我们的兴趣不在于个体本身而在于其某一特征指标值,所得样本表现为若干个数据X1, X2,X n,n称为“样本大小”,或“样本容量”,“样本量”。样本X1, X2,X n中的每一个Xi也称为样本.,有时,为区别这种情况,把X1,.,Xn的全体称为一“组”,样本,而Xi称为其中的第i个样本.,在一个具体问题中,样本X1, X

14、2,X n是一些具体的数据.而在理论的研究上,则要把它看成为一些随机变量.因为抽到哪一些个体是随机的,因而其指标值,即X1, X2,X n,也是随机的.设想样本是一个一个地抽出来.第一次抽时,是从整个总体中抽一个.因而X1 的分布也就与总体分布相同.如果这一个不放回去,到第二次抽时,总体中已少了一个个体,其分布有了变化,因此X2的分布会与X1的分布略有差别.但是,如果总体中所包含的个体极多,或如理论上设想的,总体中包含无限多个体,则抽掉一个或几个,对总体的分布影响极少或毫无影响.这时,X1,.,Xn独立且有相同的分布,其公共分布即总体分布.这是在应用上最常见的情形,也是理论上研究得最深入的情形

15、,本节主要考虑这种情况.在数理统计学上,称这种情况为: X1,.,Xn是从某总体中抽出的独立随机样本,或简称为从某总体中抽出的样本.当总体中所含个体数不太大时,情况就不同.,一般，我们都是从总体中抽取一部分个体进行观 察，然后根据所得数据来推断总体的性质。被抽出 的部分个体，叫做总体的一个样本。,定义 设 X 是具有分布函数 F 的随机变量，若,是具有同一分布函数 F 的,相互独立的随机变量，则称,为从分布函数 F （或总体 F 、或总体 X ）,得到的容量为 n 的简单随机样本，简称样本，,称为 X 的 n 个独立的观察值。,事实上我们抽样后得到的资料都是具体的、确定的值. 如我们从某班大学

16、生中抽取10人测量身高，得到10个数，它们是样本取到的值而不是样本. 我们只能观察到随机变量取的值而见不到随机变量.,总体、样本、样本值的关系,统计是从手中已有的资料-样本值，去推断总体的情况-总体分布F(x)的性质.,总体分布决定了样本取值的概率规律，也就是样本取到样本值的规律，因而可以由样本值去推断总体.,样本是联系二者的桥梁,又若 X 具有概率密度 f ，则,联合概率密度为,若总体 X 是离散型随机变量，来自总体 X 的样本,的联合分布律为：,例3 设总体 X 服从指数为 的泊松分布，求容量 为 9 的样本的联合概率分布。,解： 因总体 X 的概率分布为,故样本的联合分布为：,例4 设总

17、体 ，求容量为 n 的,样本的联合概率密度函数。,解： X 的概率密度函数为,故样本 的联合概率密度函数为：,1.2.3参数和参数空间,正如前面所述，在数理统计问题的分布一般来说是未知的，需要通过样本来推断。但如果对总体绝对地一无所知，那么所能做出的推断的可信度一般也极为有限。,在很多情况下，往往是知道总体分布的形式。而不知道的仅仅是分布中的参数。,这种情况在实际中是大量的。因为总体的分布形式往往可以通过具体的应用背景或以往的经验加以确定。,例5 考虑如何由样本X1, X2,X n的实际背景确定统计模型，即总体X的分布：,（1）样本记录随机抽取n件产品的正品、废品情况。,（2）样本表示同一批n

18、个电子元件的寿命（小时）。,（3）样本表示同一批n件产品某一尺寸（mm）。,分析 通过分析或经验，容易知道,（1） X服从两点分布，其概率分布为,所需确定的是参数,（2） X通常服从指数分布，其密度函数为,所需确定的是参数,（3） X通常服从正态分布 ，其密度函数为,所需确定的是参数 其中,参数空间,对于每个总体，我们称其分布中参数一切可能取值的集合为参数空间，记为,如在例5中,其中,今后对于统计推断，如果总体的分布形式已知，仅对参数进行推断，我们就称之为参数推断（估计，检验），否则则称之为非参数推断（估计，检验）。,1.3.1 直方图,设X1, X2,，Xn是总体X的一个样本,又设总体具有概

19、率密度f，如何用样本来推断f ? 注意到现在的样本是一组实数，因此一个直观的办法是将实轴划分为若干小区间，记下诸观察值落在每个小区间中的个数，根据大数定律中频率近似概率的原理，从这些个数来推断总体在每一小区间上的密度。具体做法如下：,1 .3 直方图和经验分布函数,若总体分布未知，要用样本对总体分布进行非参数推断，常用的方法是直方图和经验分布函数,取 略大于,注意每个小区间中都要有若干个观察值，而且观察值不要落在分点上。,频率。,即得直方图,实际上,我们就是用直方图对应的分段函数,来近似总体的密度函数f(x).这样做为什么合理?我们引进“唱票随机变量”对每个小区间 定义,则Xi是独立同分布的两

20、点分布:,我们有,下面通过例题介绍直方图,例6 下面列出了84个伊特拉斯坎(Etruscan)人男子的头颅的最大宽度，试检验这些数据是否来自正态总体（取=0.1）,解：为了粗略了解这些数据的分布情况，我们先根据所给数据画出直方图，下面就来介绍直方图,上述数据的最小值、最大值分别为126，158，即所有数据落在区间126，158上，现在取区间124.5，159.5，它能覆盖区间126，158，将区间124.5，159.5等分为7个区间，小区间的长度记为，=(159.5-124.5)/7=5 称为组距。小区间的端点称为组限。数出落在每个小区间内的数据的频数 ，算出频率,结果见下表,现在自左至右依次

21、在各个小区间上作以,为高的小矩形,如上图（如诸小区间的长度不等，记第i个小区间的长度为i,则对第i个小区间作高为,的矩形）这样的图形称为直方图，显然这种小矩形的面积就等于数据落在该小区间的频率 由于当n,很大时，频率接近于概率，因而一般来说，每个小区间上的小矩形的面积接近于概率密度曲线之下该小区间之上的曲边梯形的面积。于是一般来说，直方图的外廓曲线接近于总体X的概率密度曲线,从本例的直方图看，它有一个峰，中间高，两头低，比较对称。看起来样本很像来自正态总体。现在作2拟合检验，检验假设,H0：X的概率密度为,1.3.2 样本的分布函数(经验分布函数),由于总体X的分布函数F(x)未知，设有它的样

22、本,我们同样可以从样本出发找到一个,已知量来近似它，这就是经验分布函数,它的构造方法是这样的，将n个样本值按大小排成,的顺序，记,为不大于x的样本值出现的,频率，则,称,为样本的分布函数，它等于n次独立重复,试验中，事件,出现的频率。它具有分布函数,的一切性质。,.,在此观察值处的跃度为,经验分布函数的性质,格里汶科定理,设总体分布函数为,样本的分布函数为,则,即当n+时，,以概率1关于x均匀收敛于,。它表面，当n很大时，可以用,近似,代替,格里汶科资料,Boris Vladimirovich Gnedenko,Born: 1 Jan 1912 in Simbirsk (now Ulyanov

23、skaya), RussiaDied: 27 Dec 1995 in Moscow, Russia,样本是总体的代表和反映，它提供关于总体的一些信息，是进行统计推断的依据。当我们从总体 X 获得一个样本X1，X2，Xn后，在应用时，往往不是直接使用样本观察值的原始数据进行统计推断，而是要对样本进行加工、整理和提炼，以达到尽可能压低随机干扰，集中有用信息。常用的方法是针对所关心的问题，构造出不包含未知参数的样本的某种函数，利用这些样本的函数对总体 X 进行统计推断。样本的这种函数称为统计量。,1 .4 统计量及其分布,例7 从某地区随机抽取50户农民，调查其年收入情,况，得到下列数据（每户人均元

24、）：,924 800 916 704 870 1040 824 690 574 490,972 988 1266 684 764 940 408 804 610 852,602 754 788 962 704 712 854 888 768 848,882 1192 820 878 614 846 746 828 792 872,696 644 926 808 1010 728 742 850 864 738,试对该地区农民收入的水平和贫富悬殊程度做个大致分析。,显然如果不进行加工，面对这一堆“杂乱无章”的数据，很难得出什么印象，但是只要对这些数据稍事加工，便能作出大致分析。,如记各农户的年收

25、入数为X1, X2,，X50，则考虑,这样，我们可以由 得到该地区农民人均收入水平属中等，从 可以得出该地区农民贫富悬殊不大的结论,的函数，若,是一统计量。,的样本值，则称,的观察值。,是来自总体 X 的一个样本，,是这一样本的观察值。定义：,样本平均值,样本方差,几个常用的统计量,它反映了总体均值 的信息,它反映了总体方差 的信息,样本标准差,样本 k 阶（原点）矩,样本 k 阶中心矩,它反映了总体K阶矩 的信息,它反映了总体K阶 中心矩的信息,它们的观察值分别为：,这些观察值仍分别称为样本均值、样本方差、样本标准差、样本 k 阶矩、样本 k 阶中心矩。,重要结论：若总体 X 的k 阶原点矩

26、,存在，则当 n 时，有,其中 g 为连续函数。,因为 独立且与 X 同分布，,故 独立且与 Xk 同分布，故有,从而由辛钦定理知,这是下一章所介绍的矩估计法的理论根据。,设(X1 ,Y1),(X2 ,Y2),(Xn ,Yn)为二维总体(X ,Y)的样本，则下列各量为统计量：,样本协方差,样本相关系数,其中,其观察值,样本方差与修正样本方差的关系：,注,1 当n较大时，,2 当n较小时，,修正样本方差,顺序统计量,将X1 , X2,Xn 中观察值按从小到大排序,称为一组顺序统计量， 称为第k个顺序统计量,其中特别称,称为最小顺序统计量,称为最大顺序统计量,2、 次序统计量的分布,例,解,样本中

27、位数,样本极差,例 设X1 , X2,Xn是来自总体N(,2)的样本，其中,2为未知参数，则X1是统计量， X1/ 不是统计量， 也不是统计量。,设是任意给定的样本空间中的区域，则观察值X1 , X2,Xn落在中的频数 n ，频率 都是统计量，,因此对于固定的 x，经验分布函数F(x)也是统计量。,前面说到过样本是一些具体数据之外，还可以视为一组独立同分布的随机变量，因此样本的二重性也就决定了样本的已知函数统计量的二重性，即统计量同时又是一个随机变量，因此统计量就应该有它的概率分布，统计量的分布称为抽样分布 。在使用统计量进行统计推断时，常常需要知道它的分布，当总体的分布函数已知时，抽样分布是

28、确定的，然而要求出统计量的精确分布，一般是比较困难的。本章介绍来自正态分布总体的几个常见的统计量的分布。,统计量既然是依赖于样本的，而后者又是随机变量，故统计量也是随机变量，因而就有一定的分布，这个分布叫做统计量的“抽样分布” .,抽样分布就是通常的随机变量函数的分布. 只是强调这一分布是由一个统计量所产生的. 研究统计量的性质和评价一个统计推断的优良性，完全取决于其抽样分布的性质.,抽样分布,精确抽样分布,渐近分布,（小样本问题中使用）,（大样本问题中使用),统计三大分布,t 分布,分布,F分布,它们的定义、基本性质在后面的学习中经常用到，要牢记！,1.4.2. 分布的定义及性质,2分布是海

29、尔墨特(Hermert)和 皮尔逊(K.Person)分别于1875和1900年导出的。它是由正态分布派生出来的一个分布， K.皮尔逊(k.Pearson,1857- 1933),英国著名统计学家， 1879年毕业于剑桥大学，1901年，他与高尔顿、韦尔登创办的生物统计学杂志biometrika, 使数理统计有了自己的阵地。他发展了一系列频率曲线，将复相关和回归理论扩展到许多领域，并为大样本理论奠定了基础。皮尔逊的最大贡献是在1900年发表的一篇文章中引进的拟合优度的卡方检验。不少人把这视为近代统计学的开端。,1.定义,样本，则称统计量,服从自由度为n 的,此处自由度是指(2.1)式右端包含的

30、独立变量的个数。,1.4.2. 分布的定义及性质,2. 分布的可加性定理：,设 ，并且,独立，则有,一般地,则,证明 不妨设k=2,其余情形可由归纳法推得,考虑一组独立同分布于N(0,1)的随机变量,而Y1与Y2相互独立，,与 独立,故它们各自的和相应同分布，即Y=Y1+Y2与,定理1.2 又若 ，则有,3. 分布的基本性质,分布的概率密度为,p(x) 的图形如下图所示,其中 是函数在 n/2 处的值。,这个结论我们不难计算，下面当总体XN(0,1)加以验证。,证明（1）由于总体XN(0,1)，所以样本XiN(0,1),i =1,2,n,因此,i =1,2,n,所以,（2）用归纳法 , 当n=

31、1时，X的分布函数,两边对x求导，并注意到 有,由可加性知此时X与Y+Z同分布，由归纳假设与,随机变量和的密度公式可知，对于x 0,注意到积分,而贝塔函数,故有,4. 分位点,设X为一随机变量，F为其分布函数，对于给定,的实数x, F(x)=PX x给出了事件X x的概率。,在数理统计中，我们常常要考虑上述问题的逆问题,就是若已给定分布函数F(x)的值，亦即已给定事件X x的概率，要确定x取什么值。,对于连续型随机变量，实际上就是求F的反函数,准确地说有如下定义,则称 为F(x)的分位点（数）,一块阴影面积,对于给定的正数 ,0 1 , 称满足条件,分布的分位点,的点 为 分布的 分位点，如,

32、下图所示,对于不同的 ，n ，上 分位点的值已制成表格，可以查用。,练习：分别查出当 n=16 , 40 时 ， =0.99 , 0.975 , 0.75 , 0.25 , 0.01 的 值.,表中只给到了 n=45 为止 ,费歇曾证明，当 n 充分大时，近似得有,其中 是标准正态分布的上 分位点，利用（2 .7）式，可求出当 n 45 时， 分布的上 分位点的近似值。,（2 .7),例如 求,这里,根据（2.7）式，有,t 分布,t分布是 高塞特(W.S.Gosset)于1908年在一篇以“学生”（student）为笔名的论文中首先提到的，因此又称为学生氏分布。,高塞特（W、S、Cosset

33、，1876-1937）美国人，t分布的发现者，年轻时在美国牛津大学学习数学与化学，1899年在一家酿酒厂任酿酒技师，从事实验和数据分析工作。 这项工作中进行的小样本实验的结果使他怀疑存在一个不属于正态分布曲线的其它分布,经过研究，终于得到新的密度曲线,并与1908年以笔名“student”发表此次结果。故后人称次分布为“学生氏分布”或“t分布”。Cosset的t分布打开了人们的思路,开创了小样本方法的研究。,t 分布,1.定义 设 X N（0，1），,并且 X ，Y 相互独立，则称随机变量,服从自由度为 n 的 t 分布。记为,t 分布又称为学生氏（Student）分布。,t 分布的概率密度为,利用 函数的性质，可以证明,即当 n 充分大时，t 分布接近于 N（0，1）。 t 分布是对称分布，即其概率密度函数 f(t) 的图形对称于 t = 0 . 见下图。,2.t 分布的 分位点：对于给定的 ，0 1，,称满足条件：,的点 为 分布的 分位点。,由t 分布的上 分位点的定义及 f(t) 图形的对称性知,t 分布的上 分位点可自附表4查得，当 n 45 时，就用正