概率论与数理统计基础

1、精品文档第 1 章 概率论与数理统计基础 1.1 概率论基础一、随机事件与概率1. 随机事件简称事件自然界中的事件可分为必然事件、不可能事件和随机事件三种： 必然事件（u）：指在一定条件下必然发生的事件，如“1atm 下 水加热至 100时沸腾”是必然事件。2 不可能事件（v）：指在一定条件下不发生的事件，如“1atm 下 水加热至 50时沸腾”是不可能事件。3 随机事件（ a 、b）：指一定条件下，可能发生，也可能不 发生的事件。2. 概率与频率对每一次试验而言，随机事件是否发生是带有偶然性的。但在 大量重复试验下，并把这些试验结果综合在一起，就可以看出支配 这些偶然性的某种必然规律性来。实

2、践证明，随机事件发生的可能 性大小是它本身所固有的属性，不随人们的主观意愿而转移，并且 这种属性可以通过大量试验来认识。为便于研究，我们将随机事件 a 发生的可能性的大小用一个数 值 p 来表示，并把这个数值 p 叫做事件 a 的概率。记作：p（a）p为了确定事件 a 的概率 p，首先必须说明频率的概念。 设 a 为某试验可能出现的随机事件，在同样条件下，该试验重复做 n 次，事件 a 出现了 m 次（0mn），则称 m 为 a 在这 n 次试 验中出现的频数，称 m/n 为 a 在这 n 次试验中出现的频率。（见书上 表 1-1）频率 m/n 本身不是常数，它与试验次数 n 有关，随着试验次

3、数 n 的增加，频率总是在某一常数附近摆动，而且 n 愈大，频率与这.精品文档个常数的偏差往往愈小，这种性质叫做频率的稳定性。这个常数是 客观存在的，与所做的若干次具体试验无关，它反映了事件本身所 蕴含的规律性，反映了事件出现的可能性大小。因此，这个常数（p）就是事件 a 的概率。即事件 a 的概率就是 事件 a 发生的频率的稳定值（p）。p（a）p抛掷硬币试验试验者投掷次数 n出现正面次数 m 出现正面频率 m/n蒲丰404020480.5069皮尔逊皮尔逊12000240006019120120.50160.5005维尼30000149940.49983. 概率的基本性质 0p（a）1 p

4、(u)=1p(v)=0即任何事件的概率都介于 0 和 1 之间 即必然事件的概率为 1即不可能事件的概率为 0二、随机变量及其概率分布1. 随机变量的概念有些随机事件有 数量标识 ，如射击时命中的环数，掷一枚骰子所 出现的点数等等。但也有些随机事件无数量标识，如掷一枚硬币时， 试验结果为“正面朝上”或“反面朝上”，而不是数量。这会使我们 感到不太方便，能否用量来代替事？这就促使我们引入随机变量的概 念。事实上，很多事都和量有关。例如，掷硬币时“正面朝上”或“反 面朝上”这两件事，我们可以分别记为“0”或“1”。经这样规定后， 随机事件就可以用一个数来表示了。试验结果能用一个数(希腊字母，读“克

5、西”)来表示，这个数 随试验结果不同而变化，我们称为随机变量。.精品文档随机变量与一般实变量不同，它是随机的，即它的取值有一定的 概率。掷硬币试验时，随机变量的取值为 0 或 1。随机变量分为离散型和非离散型两类。离散型随机变量取值为有 限个或无限可列个。非离散型随机变量的取值不能一一列举出来，情 况比较复杂，其中最重要的，在实际中最常见的是连续型随机变量。 2. 随机变量的概率分布（1） 离散型随机变量掌握离散型随机变量的变化规律，除了要了解它的取值以外，更 重要的是还要了解它取各可能值的概率是多少。例如，要检验一批产品的质量，从中任意抽取 5 件，仅仅知道次 品数的可能取值（0，1，2，3

6、，4，5）还不够，还应当知道“次品 数为 0”的概率有多大，“次品数为 1”的概率有多大，“次品 数为 5”的概率有多大，只有这样才能对产品中的次品情况有一个较 全面的了解。设离散型随机变量的所有可能取值为 x ，x ，x ，0 1 k取各个可能值的概率为p(x )p(x ) (k=0,1,2) （1-1）k k则称式（11）为离散型随机变量的概率分布或分布律（也称概率 函数），若将其用表格形式表示，则为 x0x1 xk （1-2）pp(x ) p(x ) p(x ) 0 1 k若用图形表示，则如课本上的图 1-1 所示。.xb精品文档由概率的基本性质可知，概率分布具有以下性质： （i） 0p

7、(x )1 (k=0,1,2)k（ii） k =0p( x )k1这两条性质可以作为检验一张表能否成为一个离散型随机变量 的分布律的条件。（2） 连续型随机变量的分布密度离散型随机变量的概率分布的变化规律可以用分布律来描述，但 是这种方法不适用于连续型随机变量，因为后者的取值无法一一列举 出来，因此不能用分布律的形式来描述。对这类随机变量的概率分布 规律的描述通常是以研究“随机变量在某个区间上取值的概率”来实 现的。为此，我们引入概率分布密度函数的概念。定义：若随机变量的分布函数 f（x）恰好是某个非负函数 p（x） 在（-，x）上的积分，即f(x) -p( x )dx则称为连续型随机变量，称

8、 p（x）为的概率分布密度函数（简 称为分布密度或密度函数）。称的分布为连续型分布。分布密度函数 p（x）具有以下性质：（i） p（x）0（ii）+-p( x )dx =1这两条性质可以作为判断一个函数是否可以作为一个连续型随 机变量的分布密度的条件。（iii） p （ab）= ap( x)dx =f(b)- f(a)显然，一旦知道了分布密度 p（x），即可求出在任何实数区间 （a，b上取值的概率， 即（ab ）这件事的概率等于分布密度 函数 p（x）从 a 到 b 的积分。注意，对连续型随机变量，任一点的 概率均为零，因为 p（x）在任一点上的积分为零。因此，概率为零 的事件未必不发生，而概

9、率为 1 的事件未必发生！.k精品文档（iv） 在 p（x）的连续点处，有 f(x)p(x)。 概率分布密度函数 p（x）的图形如图 12 所示。3. 随机变量的分布函数若是一个随机变量，x 是任意实数，函数f（x）p(x)称为随机变量的概率分布函数，简称分布函数。 对离散型随机变量，分布函数为f（x）p（x） x x如图 1-3 所示。p ( x )k，(k=0,1,2,;-x+)对连续型随机变量，p(x)为其分布密度，则分布函数为f（x）p（x）xp( x )dx（x+）-如图 1-4 所示。.2精品文档连续型随机变量的分布函数的几何意义是，分布函数等于位于 x 左方的分布密度曲线下的面积

10、。根据定义，随机变量的分布函数 f（x）具有以下性质： （i） f(x)是一个非减函数，即若 x x 则必有 f(x ) f(x )1 2， 1 2（ii） 0f（x）1（iii） f(-)lim f ( x)0, f(+)lim f ( x)1x -（iv） 对任意实数 a 和 b（ab），有x +p(ab)p(b）-p(a）f(b) f(a)三、正态分布（gauss 高斯分布）1. 正态分布的定义随机变量的分布形式有多种，但最重要，最常用的是所谓的正态 分布。自然界中许多随机变量的分布均服从正态分布。此外，还有许 多随机变量近似服从正态分布 。正态分布的数学表达式首先由高斯 （gauss）

11、给出，所以也叫高斯分布。设随机变量的分布密度函数为p(x）1s 2pe-( x -m) 2s2（-x0，则称服从参数为和 s2的正态分布，记作 n（， s2）。为方便起见，常把随机变量服从参数为和s2的正态分布简记为 n（， s2）。 .2-精品文档正态分布的分布函数为f（x）1s 2px-e-( t -m) 2s2dt（-x+）特别的，当0 和 s 1 时称服从标准正态分布，记作n(0，1)。此时，其分布密度函数用 j（x）表示，即j（x）12 px 2e 2(-x+)相应地，分布函数用（x）表示，即（x）12 px-e-t 22dt(-x+)正态分布是一种十分重要的分布，在实际上也是最常见

12、的一种 分布，如产品的质量指标、人的身高、体重及测量的误差等一般认为 是服从正态分布的。（面相、手相、算命等传统民间文化，实质上就是把人的一生的 命运按概率分布函数进行计算和推测！可是，这些分布密度函数 - 经验公式的适用条件是什么？）2. 正态分布密度函数的特点.1精品文档（i） p(x）0；（ii）+p(t ) dt =1；-（iii） p(x)的图形对称于 x；（iv） 当 x 时 p(x) 0 ；（v）在 x处，p(x）有极大值 。s 2p和 s是正态分布的两个重要参数 ,决定着正态分布密度曲线的位置和形状。决定位置， s 3.正态分布的概率计算决定形状。标准正态分布函数(x）12 p

13、x-e-t 22dt在实际工作中广泛应用，但它难以直接进行积分运算，通常是查表，参见书后的附表 1。 若n(0，1)，对任意 ab，有p（ab）12 pbae-t 22dt(b)(a)(b）和(a）可从附表 1 中查得。 若n(， s2)，对任意，有p（ a）f(b-m a-m ) -f( )s s.k mnimkni精品文档四、随机变量的数字特征（数学期望、方差）我们知道，随机变量的分布函数（或分布密度、分布律）能很好 地描述随机变量的统计特征，但对于一个实际的问题要找出一个随机 变量的分布函数（或分布密度、分布律）不是一件很容易的事；另外， 在实际上有时也并不要求出随机变量的分布函数，而只

14、要知道随机变 量的某些特征就可以了。它能部分地描述分布函数的特征。反映随机 变量的分布情形的某些特征数字，我们称为随机变量的数字特征。最 常用且最重要的两种数字特征是数学期望和方差。1数学期望（均值）（1）数学期望的概念例：设对某食品的水分进行了 n 次测量，其中有 m 次测得结果为1x ，有 m 次测得结果为 x ，有 m 次测得结果为 x ，则测定结果 1 2 2 k k的平均值为x1= (nx m +x m +x m )= x i 1 1 2 2 k ki =1其中 n=m +m +m m ，m 为 x 出现的频数， i 1 2 k i ii =1率。为 x 出现的频 i因此， 所求平均

15、值为得到的诸量值以其出现的频率为权的加权平 均。由于频率具有偶然性，所以我们用频率的稳定值概率代替频 率，就消除了偶然性，从本质上反映了随机变量的平均值。习惯上， 我们把这个平均值称为随机变量的数学期望或均值。数学期望的意 思是通过大量观察，可以期望这个随机变量取这个值。下面分别讨论 离散型和连续型两种随机变量的数学期望的定义及其性质。 （2）离散型随机变量的数学期望定义：设为离散型随机变量，其分布率为x1x2 xkpp1p2 pk如果级数 x pii绝对收敛，则称级数 x pii为随机变量的数学期望i =1 i =1 （或均值）并记作 e（），即.+2精品文档e（） i =1x pii显然，

16、对于分布已经确定的随机变量来说，随机变量的数学期望是一个常数。如果级数 x pii发散，则称的期望不存在。i =1数学期望是算术平均值概念的拓广，说得明确些，就是概率意义 下的平均，因而也称数学期望为均值。（3） 连续型随机变量的数学期望定义：设连续型随机变量的分布密度为 p （x ），若广义积分+-xp ( x ) dx绝对收敛，则e（） -称为连续型随机变量的数学期望。xp( x ) dx例：设n（， s2），求 e（）解：e（） -xp ( x ) dx x-1s 2pe-( x -m) 2s2dx正态分布 n（， s2）中的参数就是的数学期望。（4） 数学期望的性质（i） 若 c 为常

17、数，则 e（c）c（i） 若为一随机变量，c 为常数，则e（c）c e()， e（c）e（）c（iii） 若 和 为两个同类随机变量(同为离散型或连续型随机1 2变量)则e（ + ）e（ ）+e（ ）1 2 1 2（iv） 若和为相互独立的随机变量，则e（）e（）e（）2.方差（1）方差的概念随机变量的数学期望 e（）反映了随机变量取值的平均水平，.+精品文档但在许多实际中，只知道的数学期望是不够的，还要知道的取值 偏离期望的程度。为此，引进方差的概念。定义：设为一随机变量，如果其数学期望 e（）存在，则称 -e（）为随机变量的的离差。离差的平方的数学期望称为随机 变量的方差，记作d（），即d

18、（）e-e（）2显然，对任意随机变量有 d（）0。-e（）2是随机变量的函数，是一个新的随机变量，它的期望表示这个新的随机变量取值 的平均情况。 d（）大，则与 e（）的偏差也大，离散程度越 大。故 d（）定义域很好地反映了方差是描述随机变量与 e（） 的偏离情况，也便于数学上的分析。方差的算术平方根 d(x)称为的标准差或均方差，记作 s（）d(x).与数学期望一样，对有确定分布的随机变量来说，方差也是一个常量。（2）离散型随机变量的方差设离散型随机变量的分布律为 x1x2 xkpp1p2 pk则 d（）e-e（）2 x -e（）2kk =1（3）连续型随机变量的方差若为连续型随机变量，p（

19、x）为分布密度，则p（x ）kd（）e-e（）2 x-e（）2-p（x）dx方差 d（）表示取值对 e（）的偏离程度，即取值的发散程 度，d（）越大，表示取值越发散，反之，表示取值越集中在 e（）的附近。例：设n（， s 2），求 d（）.+2精品文档解：e（）d（）e-e（）2 -x-e（）2 p（x）dx -( x -m)21s 2pe-( x -m) 2s2dx s2即 d（） s2 （4）方差的性质（i）c=常数， d（c）0（ii）d（c）c2d（）d（c+）d（）（iii）和相互独立 d（+）d（）+d（） （iv）d（）e（2）- e（）2.精品文档1.2 统计量及其分布一基本概

20、念1、总体与样本（1）总体与个体在数理统计学中，我们把研究对象的全体称为总体，把构成总体 的每一个个别对象称为个体。我们可以把一个总体看作某一随机变量 全部取值的集合。如果一个总体服从正态分布，即 n（， 总体。（2）样本与样本容量2），则称为正态从总体中抽取一部分个体叫做总体的一个样本，样本中个体的数 目叫做样本容量。从总体中随机地抽取 n 个个体（ 、 ），则（ 、 1 2 n 1 2 ）为总体的一个样本。样本中个体数目 n 为样本容量。由于（ 、 n 1 ）是从总体中随机抽取的，所以 、 分别为 n 2 n 1 2 n个随机变量。在一次实际抽取之后，样本（ 、 ）得到一1 2 n组具体的

21、数值（ x 、x x ），称为样本（ 、 ）值，即1 2 n 1 2 n样本（ 、 ）的一个观察值。1 2 n（3）简单随机样本样本通常只占总体的很小部分，因此，可以认为每次抽取一个个 体之后，总体的分布并不会发生改变。这说明， 样本（ 、 1 2 ）都是与总体同分布的；其次，如果样本的抽取是随机进行的， n并不掺杂人的主观倾向造成的偏差，那么每个个体被抽到的机会都是 均等的（即 、 相互独立）。符合上述 2 个条件的抽样方1 2 n法称为简单随机抽样，所获得的样本成为简单随机样本。显然简单随 机样本具有 2 个性质：代表性；独立性2、统计量当我们得到了总体的一个样本（ 、 ）时，为了推1 2

22、 n得总体的一些性质，往往需要对所取得样本做一些运算，即构成样本.ii精品文档的某种函数，这种函数称为统计量。因为样本是随机变量，所以作为 样本的函数的统计量也是一个随机变量。在数理统计中，常用的统计量是样本均值、样本方差和极差，它 们都是样本的数字特征。若（ 、 ）为总体的一个 样本，如果样本的函数 f 1 2 n（ 、 ）不包含其它未知参数，则称 f（ 、 ） 1 2 n 1 2 n为总体的一个统计量。又若（x ，x ，x ）为样本（ 、 1 2 n 1 2 ）的一组观测值，则函数值nf（x 、x x ）为统计量 f（ 、 ）的一个观测值。 1 2 n 1 2 n设从总体中随机抽取一个容量

23、为 n 的样本，样本值为 x 、x 1 2x 则称n，1 nx = xni =1为样本均值，称s21 n= ( x -x ) n -1i =12为样本方差（s 称为样本均方差或样本标准差），称rmax（x 、x x ）min（x 、x x ）1 2 n 1 2 n为样本极差。样本均值是描述数据的平均状态或集中位置的，样本方差是描述 数据的波动情况或离散程度的，极差则是表示数据离散程度的最简单 方法。二统计量的分布1.样本均值（ x）的分布设（ 、 ）为来自正态总体 n（， s 2 1 2 n）的一个样本，样本均值为 x =1 nni =1xi，则可证明xn（， s 2/n）.2e精品文档u x

24、-ms2nn（0，1）这说明样本均值 x 的取值比总体的取值更紧密地集中在总体 均值的周围，集中的程度与样本容量 n 的大小有关。2.c2分布若（ 、 ）为来自正态总体 n（， s 2 ）的一个 1 2 n容量为 n 的样本，又若s2为已知，可以证明，由样本方差 s2构造的统计量(n1)s / s2是自由度为 n-1 的 c2变量，即(n1)s2/s 2服从自由度为 n-1 的 c2分布，记作c2=(n1)s2/s2 c2（n1）其中 s 2 =1 nn -1i =1(x -x)2 i随机变量的分布密度 p ( x ) =n -1n -12 21n -1g( )2xn -1 x-1 -2 2(

25、 x 0)0 ( x 0) 3. t 分布.w设（ 、 ）为来自正态总体n（， s 2 1 2 n可以证明统计量精品文档 ）的样本，t x-ms / n服从自由度为 n1 的 t 分布，记作t x-ms / nt（n1）随机变量 t 的分布密度为pn -1( x) =ng( )2 ( n -1)pg(n -12)x 2(1 + )n -1-n2( -x 0)0 ( x 0) f =n -1, f =n -11 1 2 2特别地,若 s21=s22则有s 2f = 1s 22f(n -1,n -1)1 2f 变量用于两个正态总体方差异同的检验。.精品文档.)qq)q)q精品文档1.3 参数估计数

26、理统计的基本任务是以样本为依据来推断总体的统计规律性。 在实际工作中，我们会遇到两个方面的问题：1. 通过实践或理论上的推导，大体上掌握了总体的分布类型， 但其中的分布参数未知，因而需要根据样本对参数进行估计；2. 有些实际问题不要求掌握总体的分布，只需知道总体的数 学期望和方差等数字特征。这都需要我们去探讨如何根据样本的数据 对总体的未知参数作出科学的估计，这就是参数估计问题。参数估计通常有两种方法，即点估计（以样本的某一函数的某一 函数值作为总体中未知参数的估计值）和区间估计（将总体的数字特 征按照一定的概率确定在某一范围之内）。一、参数的点估计1、问题的提出：前面讨论统计量时，提到样本均

27、值和样本方差的概念。那么是否 可用样本均值和样本方差去估计总体均值和总体方差呢？ 理论上可 证明：当样本容量 n 无限增大时，样本均值和总体均值之比及样本方 差和总体方差之比皆无限趋近于 1。因此，可以用样本均值和样本方 差去估计总体均值和总体方差。点估计是在样本上进行的，设 f(x,)为总体的分布函数，其中 x 为变量，为参数，( 、 、 )是来自总体的一个样本，1 2 n现用样本函数 ( 、 、 )去估计，我们称 为参数的一1 2 n个点估计量，而称为待估参数。若（x 、x 、.、x ）为一个样本1 2 n值，代入估计量 中，就得到的具体数据，这个数据称为参数的 估计值。由于统计量是随机变

28、量，对于不同的样本值，待估参数的估计 值 也不同。我们总是希望统计量能够尽可能准确的表达参数的真 值。为了这个目的，我们规定了一些评价估计值优劣的标准，来衡量 包括点估计在内的估计方法的优劣。2、估计量的评价（1）估计的无偏性：.)qq) )qqxxnn1xxxnn -1) ) )q qq q) )q q1nxnnn =精品文档估计值 与参数真值可能不同，但我们有理由要求 应该围绕 着待估参数摆动，即应有 e( )。符合这个条件的估计量 称 为参数的无偏估计量。例 1-5证明样本均值 是总体数学期望 e()的无偏估计量证：e( )e（1ni =1xi）1ni =1e (xi) ne(x n)e

29、()即样本均值 的数学期望 e( )等于总体的数学期望 e()，根 据定义，所以 是总体数学期望 e()的无偏估计量。例1-6证明 s21 nn -1i =1(xi-x)2是 d()的无偏估计量；s*21ni =1(xi-x)2不是 d()的无偏估计量。证明过程见 p2627。e(s2)d（），e(s*2) d（）。 n所以：用 s2 比用 s*2 估计总体方差更好些。（2）估计的有效性无偏性是估计量好坏的评价标准之一。但是一个总体参数的无偏 估计量并不是唯一的，换言之，同一个总体参数可能有两个或者两个 以上的无偏估计量。如果要比较同一参数的两个无偏估计量的好坏， 自然应该在样本容量相同的条件

30、下，看哪一个估计量摆动更小，这就 是有效性的概念。设 和 是同一参数的无偏估计量，如果 d( ) d( )，就 1 2 1 2说 比 更有效。1 2例1-7 比较正态总体均值 e()的两个估计量 x xni =1i和 a =x1的有效性。解：因为 d( )d（1nx )=ii =11n 2i =1d (xi)=1 s 2s 2n 2 n又因 d( a)=d( x )= s1所以 d( x )d( a )。 即 x 较 a有效。2.) )qq) )qq) )q qs 2x-m精品文档换言之，容量大的样本均值作为总体均值的估计量更为有效。二参数的区间估计参数的点估计是利用样本来构造统计量，再把样本

31、值代入估计量 求出估计值来实现的。但是由于样本的随机性，这样的估计值不见得 就是待估参数的真值。那么，它们的近似程度如何？误差的范围有多 大？可信的程度如何？这样一些在参数估计中应确切说明的问题在 点估计中是难以回答的。因此，我们希望能够根据样本给出待估参数 的一个范围，使它能够以较大的概率包含待估参数的真值，这就是对 未知参数的区间估计。区间估计是要根据样本来确定一个区间（ ,12），使参数落在这个区间内的概率等于一个给定的数 1-，即 p( )1-1 2。其中 ( ， ) 称为的置信区间， 1-称为此区间的置信水平1 2或置信度，称为信度。是事先给定的小于 1 的正数(通常取 0.05 或

32、 0.01)，是对参数的估计失准的概率。下面对正态总体的数学期望和方差作区间估计。1、正态总体数学期望（均值）的区间估计（1）已知 s 2，求的置信区间设总体n(, s2 )，且 s2 已知，( 、 、 )是来自正1 2 n态总体的一个样本，则由式(1-3)和(1-4)可知：xn(， )，nu n(0，1)s / n根据正态分布的性质，对给定的信度，查标准正态分布的上侧分位数 u 表，可得 ua，使得：2p(|u| u )=1-， a2即 p（x-ms/ nua2)=1-.x-m2精品文档p（ x-ua2snx+ua2sn）1-所以的置信区间为（ x-ua2sn， x+ua2sn）.讨 论：1

33、）当样本容量 n 越大时，ua2sn越小，计算到的置信区间越小，估计效果越好。因此，为提高区间估计精度，可以增大样本容量。 2）用上述方法进行区间估计，先决条件是总体必须服从正态分布，而且 s2为已知。如果不是正态分布，但样本容量n 充分大时，x近似服从正态分布xn(,s 2/n)，u 近似服从 n(0,1)，故对于大样（n30）， s / n不管总体是否正态，都可以对总体均值进行区间估计。（2）未知 s 2 ，求的置信区间在实际问题中，往往只知道总体服从正态分布，而数学期望和 方差 s2 均为未知，在这种情况下求期望的置信区间，可 用样本方差s 代替总体方差 s2，用 s2 所构造的 t 变量代替 u 变量来进行。设样本 ( , ) 来自正态总体 n( , s2 ) ，则可知 t 1 2 nx-ms / nt( n -1)对于给定的信度，自由度 fn1，查 t 分布表可得临界值ta，2使得p(|t|ta, f2)1，即p（x-ms / n t ）=1 a, f2p(x-ta2, fsnx+ta2, fsn)=1于是得到的置信区间为：(x-ta2, fsn， x+ta2, fsn).（n -1) s 2( n -