概率论中几种具有可加性的分布及其关系讲解

1、目录 摘要1 关键词1 Abstract 1 Key words 1 引言1 1 几种常见的具有可加性的分布1 1.1 二项分布 2 1.2 泊松分布（ Possion 分布） 3 1.3 正态分布 4 1.4 伽玛分布 6 1.5 柯西分布 7 1.6 卡方分布 7 2 具有可加性的概率分布间的关系 8 2.1 二项分布的泊松近似 8 2.2 二项分布的正态近似 9 2.3 正态分布与泊松分布间的关系 10 2.4 正态分布与柯西分布、卡方分布及卡方分布与伽玛分布的关系 11 3 小结12 参考文献12 致谢13 概率论中几种具有可加性的分布及其关系 概率论中几种具有可加性的分布及其关系 摘

2、要 概率论与数理统计中概率分布的可加性是一个十分重要的内容 . 所谓分布的可加性指的是同一 类分布的独立随机变量和的分布仍属于此类分布. 结合其特点， 这里给出了概率论中几种具有可加性 的分布：二项分布，泊松分布，正态分布，柯西分布，卡方分布以及伽玛分布 . 文章讨论了各类分布 的性质及其可加性的证明，这里给出了证明分布可加性的两种方法，即利用卷积公式和随机变量的 特征函数 .除此之外，文章就可加性分布之间的各种关系，如二项分布的泊松近似，棣莫佛 - 拉普拉 斯中心极限定理等，进行了不同层次的讨论 . 关键词 概率分布 可加性 相互独立 特征函数 Several Kinds of Probab

3、ility Dstribution and its Relationship with Additive Abstract Probability and mathematical statistics in the probability distribution of additivity is a very important content.The distribution of the so-called additivity refers to the distribution of the same kind of independent random variables and

4、 distribution are still belong to this kind of distribution.Combined with its characteristics, here given several has additivity distribution in probability theory: the binomial distribution, poisson distribution and normal distribution and cauchy distribution, chi-square distribution and gamma dist

5、ribution.Article discusses the nature of all kinds of distribution and its proof of additivity, additive of proof distribution are also given two methods, namely using convolution formula and characteristic function of a random variable. In addition, this paper the relationships between the additive

6、 property distribution, such as the binomial distribution of poisson approximation, Di mo - Laplaces central limit theorem, and so on, has carried on the different levels of discussion. Key Words probability distribution additivity property mutual independence characteristic function 引言 概率论与数理统计是研究大

7、量随机现象的统计规律性的学科，在概率论与数 理统计中，有时候我们需要求一些随机变量的和的分布，在这些情形中，有一种求和类 型比较特殊，即有限个相互独立且同分布的随机变量的和的分布类型不变，这一求和过 程称为概率分布的 “可加性” .概率分布中随机变量的可加性是一个相当重要的概念， 本 文给出了概率论中常见的六种具有可加性的分布， 包括二项分布， 泊松分布， 正态分布， 伽玛分布， 柯西分布和卡方分布 .文章最后讨论了几项分布之间的关系， 如二项分布的泊 松近似，正态近似等等 . 1 几种常见的具有可加性的分布 在讨论概率分布的可加性之前，我们先来看一下卷积公式和随机变量的特征函数 首先来看卷积

8、公式 1 ： 离散场合的卷积公式 设离散型随机变量 , 彼此独立，且它们的分布列分别 是 P( k) ak ,k 0,1 ,n 和 P( k) bk,k 0,1, ,n.则 的概率分布列可表示 kk P( k) P( i)P( k i)aibk i ,k 0,1,2 . i 0 i 0 (2) 连续场合的卷积公式 设连续型随机变量 , 彼此独立，且它们的密度函数分 别是 f (x), f (y) ，则它们的和的密度函数如下 f (z) f f f (x) f (z x)dx. 其证明如下： 的分布函数是 F (z) f( z) f (x)f ( y)dxdy xyz f (y)dy f (x)

9、dx F (z x) f (x)dx. 其中 F (x)为 的分布函数，对上式两端进行求导，则可得到 的密度函数： f (z) f f f (x) f (z x)dx.即证. 在概率分布可加性的证明中，除了卷积公式，我们常用的证明方法还有利用随机变 量的特征函数 . 下面我们来讨论一下这几种具有可加性的分布及其可加性证明的过程中卷积公式 和特征函数的应用 . 1.1 二项分布 1.1.1 二项分布 B(n,p) 的概念 如果记 为n次伯努利试验中成功 (记为事件 A)的次数，则 的可能取值为 0，1， 2， n.记 p为事件 A 发生的概率，则 p(A) p, p( A) 1 p,记为 q.即

10、q 1 p. 因 n 次伯努利试验的基本结果可以记作 ?=(w1,w2，?n)，wi 或为 A 或为 A,这样 的w共有 2n个，这 n2个样本点 w组成了样本空间 . 下求 的分布列，即求事件 k 的概率 .若某个样本点 ?=(w1,w2，?n) k ， 意 味 着 w1,w2 ， ?n 中 有 k 个 A ， n k 个 A ， 由 独 立 性 即 可 得:P( ) pk(1 p)n k. 而事件 =k 中这样的 w 共有个，所以 的分布列为 k n P( k)=p k(1-p)n k，k 0,1, n. k 此分布即称为二项分布，记作 B(n,p) .且我们易验证其和恒为 1. .也就是

11、 概率论中几种具有可加性的分布及其关系 n=1时，二项分布 B(n, p)称为两点分布，有时也称之为 0 1分布. 二项分布的图像具有以下特点： 二项分布的图像形状取决于 n和 p 的大小，随着 p 的增加，分布图高峰逐渐右移 . 当 p 0.5 时，图像是对称的 . 1.1.2 二项分布的可加性 定理 1.1.1 设 B(n,p), B(m, p), 而且 , 相互独立，记 , 则有 B(n m, p). 证明 因 ,所以易知 可以取 0,1,2 n m等n m 1个值. 根据卷积公式 (1) ，事件 k 的概率可以表示为 k P( k) P( i)P( k i) i0 k i0 n i n

12、 i pi (1 p)n i i pk (1 p) k nmk i0 m k i mk i p (1 p) k n. . i k i k 又因 i0 m ki nm 所以 P( k) k nm pk (1 p)n m k,k 0,1, n m. 也就是说， B(n m, p). 即证！ 1.2 泊松分布 ( Possion 分布 ) 与二项分布一样，泊松分布也是一种离散分布，许多随机现象，特别是社会现象与 物理学中的一些随机现象都服从于泊松分布 . 泊松分布可作为描述大量试验中稀有事件 出现次数的概率分布的数学模型 . 1.2.1 泊松分布的概率分布列 泊松分布的概率分布如下所示： k P(

13、k) e ,k 0,1,2 ，其中 大于 0，记作 P( ). k! k1 对于泊松分布而言，它的参数 即是期望又是它的方差： k E( ) k e e e e k 0 k! k 1 (k 1)! 又因， k E( 2 )k2 e k e k 0 k! k 1 (k 1)! k = (k 1) 1 e k 1 (k 1)! 2 = 2e k2 (k 2)! e k1 k1 (k 1)! 故 的方差为 Var( ) E( ) (E( )2 = 2 2 1.2.2 泊松分布的可加性 定 理 1.2.1 设 随 机 变 量 1 P( 1), 2 P( 2) ， 且 1, 2 相 互 独 立 ， 则

14、1 2 P( 1 2). kk 证明 此处 P( 1 k) 1 e 1,P( 2 k) 2 e 2 ,k 0,1,2, 1 k! 2 k! 根据卷积公式 (1) ，有 ki k2 i e 2 ki P( 1 2 k)1e 1 1 2 i 0 i! (k i)! e ( 1 2) k k! i k i 12 k! i 0 i!(k i)! 1 2 ( 1 2) e ( 1 2),k 0,1, . k! 所以 ( 1 2) P( 1 2). 即证！ 同样我们可以利用特征函数对其进行证明，此处不再赘述 1.3 正态分布 1.3.1 正态分布的定义 6 定义 1.3 对于已经给定的两个常数 和 0，定

15、义函数 (1) 1 (x )2/ 2 2 p , (x) e (x ) /2 2 它含有两个参数 和 . 显然的， p , (x)取正值 . 1 F , (x)12 我们称密度函数为 p , (x) 的分布为正态分布，记作 N( , 2) ，它的分布函数记为 (t )2 x2 e 2 2 dt 正态分布的密度函数的图像是一条钟形曲线，中间高两边低，而且关于 x 对称， 在此处 p , (x) 取最大值 1 .我们称 为该正态分布的中心， 在 x 附近取值的可能 性比较大，在 x处有2 拐点 . 若将 固定，改变 的取值，则 越大，曲线峰顶越低，图像较为平坦； 越小， 曲线封顶越高，图像较为陡峭

16、 . 因此正态密度函数的尺度由 确定，故称 为尺度参数 . 同样的，将 固定，而去改变 的值，会发现图像沿 x 轴平移而并不改变形状，也 就说明该函数的位置由 决定，故称其为位置参数 . 当 0, 1 时的正态分布称为标准正态分布，记作 N (0,1) . 它的密度函数记为 (u) ，分布函数记为 (u). 则有 12 (u) 1 e u /2,u ( , ) u t 2/2 (u)e t /2dt,u ( , ) 概率论中几种具有可加性的分布及其关系 2 1.3.2 一般正态分布的标准化 对于正态分布族 N( , 因被积函数 h(x) xe x /2为奇函数，故上述积分值为 0，也就是说 E

17、(X) 0. 而对于一般正态变量 YN( , 2) ，如果满足 Y X ，由数学期望的线性性质则可 得到 E(Y) 0 . 所以我们可以知道正态分布 N( , 2 )的数学期望即为其参数 . 因为 ); ( , ), 0 , 标准正态分布 N(0,1) 只是其中一个成员 .其实在应用中很少有随机变量恰好服从标准正 态分布，可是一般正态分布均可以利用线性变换转变成标准正态分布. 所以一切与正态 变量有关的事件的概率均可通过标准正态分布分布求取 . 定理 1.3.1 如果随机变量 Y N( , )，则X (Y )/ N(0,1) ，其中X为标准正 态变量 . 证明 记Y与X 的分布函数分别为 FY

18、(y)和FX(x)，易知 FX (x) P(X x) P x P(Y x) FY (x). 1 2 /2 2e 即证. 2 x2e x /2dx 1 2 x2 /2 xd( e x /2) Var(X) E(X 2) (E(X)2 1 2 1 2 1 2 x2 /2 xe | e x2 /2dx e x /2dx1 2 1. 2 因为正态分布函数严格递增而且处处可导，所以如果记 Y和X 的密度函数分别是 pY(y) 和 pX (x) ，会有 pX (x) d FY (x) pY (x) dx Y 由此即得， X Y N (0,1). 对于标准正态随机变量 X N(0,1), X 的数学期望为

19、x /2dx, 1 E(X) 12xe 且YX , 由方差的性质 Var (Y ) Var( x) 2. 也就是说，正态分布的方差即是其另一个参数2. 1.3.3 正态分布的可加性 定理 1.3.2 设随机变量而且 X和Y彼此独立，且 X N( 1, 12),YN( 2, 22 ),则有 X Y N( 1 2, 12 22). 证明 知 X , Y服从于正态分布，且它们的密度函数分别是 12t222t2 X exp(i 1t 1 ), Y exp(i 2t 2 ). 22 又因 X,Y 彼此独立，所以 X Y(t) X (t) Y(t) exp i( 1 2)t ( 1 2 )t . 这正是数

20、学期望为 1 2, 方差为 12 22的正态分布的特征函数，即证！ 我们同样可以使用连续场合的卷积公式进行证明，详见文献 5 ，此处不再赘述 . 1.4 伽玛分布 在讨论伽玛分布之前，我们先来看一下伽玛函数： 我们称 ( ) x 1e xdx ( 0) 为伽玛函数， 为其参数 . 它的性质如下： (1) 1, (1); ( 1) ( ). 取自然数 n 的时候，有 (n 1) n (n) n!. 1.4.1 伽玛分布的定义 定义 1.4 如果随机变量 X 的密度函数为 x 1e x,x 0; p(x) ( ) 0,x 0, 就称作 X 服从伽玛分布，记为 X Ga( , ), 且 , 的值均大

21、于 0. 为伽玛分布的 形状参数， 为其尺度参数 .当01时， p(x)为严格单调递减的函数，在 x 0处取 得奇异点； 当 1时， p(x) 亦严格单调减，且 x 0时有 p(0) ; 当 12 时， p(x) 为单峰函数，先上凸然后下凸； 当 2时，先下凸再上凸，最后下凸 . 而且随着 的增大， p(x)逐渐接近于正态 分布的密度函数 . 1.4.2 伽玛分布的可加性 定理 1.4.1 设随机变 量 X Ga( 1, ),Y Ga( 2, ), 且 X 和 Y 彼此 独立，则 X Y Ga( 1 2, ). 证明 知 X(t) (1 it ) 1, Y(t) (1 it) 2, 且 X 与

22、 Y 彼此独立，所以 X Y(t) X(t) Y(t) (1 it ) ( 1 2), 此即为 Ga( 1 2)的特征函数，根据惟一性定理则可知 X Y Ga( 1 2, ).结论得证！ 概率论中几种具有可加性的分布及其关系 如正态分布，对于伽玛分布，我们同样可以利用连续场合的卷积公式对其可加性进 行证明，详见文献 5; 1.5 柯西分布 4 1.5.1 柯西分布的密度函数 柯西分布是几个常见的连续分布之一 . 它的密度函数为 1 p(x, , ) 2 2 ,x ( , ). (x ) 1, 0 时的柯西分布密度函数称为标准柯西分布密度函数，即 11 1x 为方便起见，往后我们分别记这两类密度

23、函数为 p( , ) 和 p(0,1). 对于柯西分布的数学期望和方差，因 1 2 x p(x, , )dx x p(x) 2 ,x ( , ). 2 dx . (x )2 所以 x p(x, , )dx 不收敛，故柯西分布的数学期望与方差均不存在 1.5.2 柯西分布的可加性 定理 1.5.1 设随机变量 X p( 1, 1),Yp( 2, 2),且 X,Y 彼此独立，则有 X Y p( 12, 12). 证明 因 X,Y 均服从于柯西分布，且 X,Y 的特征函数分别是 X(t) ei 1t 1t , Y(t) ei 2t 2t. 又因 X,Y 彼此独立，所以 X Y(t) X(t) Y(t

24、) ei( 1 2)t ( 1 2)t. 这 恰 好 就 是 参 数 为 1 2 , 1 2 的 柯 西 分 布 的 特 征 函 数 ， 所 以 X Y p( 1 2, 1 2).即证！ 1.6 卡方分布( 2 分布) 1.6.1 卡方分布( 2 分布)的定义及密度函数 2 2 (n). 定 义 1.6 7 设 X1,X2, Xn 独 立同分 布与 标准正态分 布分布 N (0,1), 则 称 2 X12 X22Xn2 所服从的分布为自由度为 n 的卡方分布，记为 卡方分布的密度函数为 1 n p(x) 22 (n2) 0,x 0. x n 1 e 2 x2 ,x 0; 1.6.2 卡方分布可

25、加性 卡方分布密度函数的图像是一个只取非负值的偏态图像 . 它的图像随着自由度的增 加而逐渐趋于对称，当自由度 n 时，其图像趋于正态分布的图像 . 这也从另一个侧 面告诉我们，卡方分布是由其自由度决定的，不同的自由度对应了不同的卡方分布 . 由 1.6.1 ，我们可以知道卡方分布即伽玛分布的一个特例，所以由伽玛分布的可加 性我们易知卡方分布亦满足可加性定理，即 定理 1.6.1 5 设 12 2(m), 22 (n),且 12, 22 彼此独立，则有 2 2 2 12 22 2(m n). 证明 由卡方分布的定义，设 2 2 2 2 2 2 2 2 12 X12 X22Xm2, 22 Xm1

26、2 Xm 22Xm n2, 且 Xi N (0,1), i 1,2, ,m n, Xi,Xj 彼此独立 .则有， 2 2 2 2 2 2 2 2 1 2 X1 X2Xm Xm 1 Xm 2Xm n , 从从卡方分布的定义，因此 1222 2(m n). 即证！ 2 具有可加性的概率分布间的关系 2.1 二项分布的泊松近似 4 当 n 的取值很大时，二项分布 B（n, p） 的计算是令人头疼的 . 这里介绍了泊松分布的 一个十分有用的特性，我们可利用泊松分布作为二项分布的一种特殊近似，即二项分布 的泊松近似 . 下面我们来看泊松定理，当 n取值较大，而 p 取值偏小的情况下使用泊松 定理，可大大

27、减小二项分布的计算量 . 定理 2.1 8 （ Possion定理） 在n重伯努利试验中，记事件 A在每次试验中发生的 概率为 pn ,它与试验发生的次数 n有关，若当n 0时，有npn,即 lim npn ,则对任 意给定的 k （ k为非负整数），有 n k n k lim nlimpn （1 pn）e n k k! 证明 设 n npn ,则有 pnn , 所以 n k n k n(n 1)(n 2) (n k 1) n k n pn (1 p) ( ) (1 ) k! n n k 1 2 k 1 n n n k (1)(1)(1 )n (1n )n k nnnk!n (11)(12)(

28、1k 1)n (1n )n(1 nnnk!n lim n ,则对于给定的 k 值，有 lim nkk;且 nk n ) k. n 由已知有， 所以有 1 2 k 1 lim (1 )(1 ) (1 ) 1 ； n n n ( n ) lim (1 n )n lim (1 n ) n nnnn nk lim (1 n ) k 1. nn e; pnk(1 pn)n k k e k! 即证！ lim nk 因 Possion 定理的条件之一为 lim npn , 所以在二项分布的计算中， 若 n 值很大， p 的值却很小，且 np 的大小适中时（一般认为当 n 100, p 0.1, 且 np 1

29、0时），二 概率论中几种具有可加性的分布及其关系 项分布 B(n, p) 可以使用参数为 的泊松分布来做近似，即有 n pnk(1 pn)n k e np,k 0,1,2 , k k! 此即为二项分布 B(n, p) 的泊松近似， 而且 n的值应尽可能的大， 这样计算结果才能更精 确. 二项分布 B(n, p) 的泊松近似经常被用于稀有事件 (即每次试验中事件发生的概率很 小)的研究中，大量实例表明，一般情况下概率 p 0.1时，泊松近似非常好用，甚至 n 的取值不必很大 . 2.2 二项分布的正态近似 x 1 t 2/2 xe t /2dt(x). 2 证明 因随机变量 X 服从二项分布 B

30、(n,p) ，所以 X 可看做是 n个相互独立的且服 n 即 XXi, 而且 i1 定理 2.2 7 (棣莫佛 - 拉普拉斯( De Moivre Laplace )极限定理) 设随机变量 X B(n, p)(0 p 1,n 0,1,2, )，则对任意的实数 x ，有 X np nlim P np 1 p 从于同一参数 p的两点分布的随机变量 X1,X2, ,Xn 的和， E(Xi) p,Var ( Xi ) p(1 p),i 1,2, 根据 Lindeberg Levy 中心极限定理，有 n Xi np lim P i 1 n np(1 p) 2 e t /2dt(x). 定理得证！ De

31、Moivre Laplace 中心极限定理说明， n相当大时，服从二项分布 B(n,p) 的随 机变量 X 的概率的计算服从正态分布 N ( np, np(1 p) 的随机变量的计算 .也就是说，二 pk(1 p)n k ，在 n 比较大的时候 k 项分布可以用正态分布来近似计算 .比如 P(X k) 的计算量时十分大的 . 根据 De Moivre Laplace 中心极限定理，因 X np 近似服 np(1 np) 从于标准正态分布，或者说是 X 近似服从于 N(np,np(1 p) 分布，也就是说 P(X k) n k n k pk (1 p)n k (x np)2 2np(1 p) 2

32、 np(1 p) e 对于 P(a X b)pk(1 p)n k,有 a k b k P(a1 X a2) P( a1 np X np 1 2 np(1 p) np(1 p) np(1 p) ( a2 np ) ( a1 np ) np(1 p) np(1 p) np(1 p) k np np(1 p) a2 np ) () 我们只需查一下标准正态分布表， 就可以求出我们需要的相当精确的值 .但是，当 p 较大或者较小时近似效果可能差一些，利用公式时 p的值最好满足 0.1 p 0.9 .另外，因二项分布是离散分布， 正态分布是连续分布， 所以在我们实际的应用中， 为减小误差， 常常使用 a2

33、 0.5 npa1 0.5 np P(a1 X a2 ) ( 2 ) ( 1 ) np(1 p) np(1 p) 来替换 ( ) 式. 2.3 正态分布与泊松分布之间的关系 由上面的定理 2.1 和定理 2.2 我们可以知道，二项分布 B(n, p)可以用泊松分布来做 近似，同样也可以用正态分布来近似 . 所以，从某个方面来说，泊松分布与正态分布也 具有某种近似的关系，首先我们来看特征函数的连续性定理 . t2 x e 2 dt. 定理 2.3.1 11 分布函数列 Fn(x) 弱收敛于分布函数 F (x)的充分必要条件是它的 相应的特征函数列 n(t) 收敛于 F (x)的特征函数 (t).

34、 定理 2.3.2 11 设随机变量 X P( ),则有 limP X X x 2 证明 知 X 服从泊松分布，则 X 的特征函数为 (t) e (e 1). it t2 X e 1 i t 所以 X 的特征函数是 (t) e . 对于任何一个 t, 我们有 e1 it t 1 , 2! 所以有 t ei t2 1 i t 2 因此对于任意的点列 n ,有 lim n(t) e 2 . n n n t2 又知e 2 是标准正态分布 N(0,1)的特征函数，因此由连续性定理可以得到， Xn x lim P n 1 xe t22dt. 2 n X 我们来看泊松分布的正态逼近 . 定理 2.3.3

35、8 对于任意的 a1 a2,有 ke1 a lim k k!2 a1 其证明见文献 8. 由前可知， B(n, p) 的正态近似与泊松近似的条件是不同的，当 p 的取值特别小时， 哪怕 n 的值不是太大，用泊松分布来近似二项分布也是可以的 .但在这种情况下，用正 态近似却是不合理的 .我们可以想象，若p值很小，但n的值也不是太大， 则np的值 由 n的任意性，所以有 lim P x 1 xe 2 dt成立. 2 x2/2 e x / 2dx,其中 a1,a2 概率论中几种具有可加性的分布及其关系 肯定不会很大，而由定理 2.3.1 ，我们可知，此时正态分布就不可能很好的进行泊松近 似. 2.4 正态分布与柯西分布、卡方分布及卡方分布与伽玛分布之间的关系 首先来看正态分布与柯西分布的关系 . 定 理 2.4.1 设 X N (0,1),Y N (0,1). 且 X 与 Y 独立同分布，记 Z X /Y , 则 Z N(0,1). 证明 易知