概率论备要与随机数

1、概率论备要与随机数报告人：*2011年11月28日内容提要:1随机事件,随机事件的概率,随机变量,随机变量的分布函数,随机变量的期望和方差,随机变量的矩母函数和特征函数,随机向量,随机变量的独立性2极限定理3随机数4Gauss系一 概率论备要(一)概率公理系统一次随机试验可能出现的一个结果，称为一个基本事件，或样本点，记为。全体基本事件的集合记为，称为必然事件，或样本空间。对的某些子集组成的类F,如果它满足下列条件：(1) (2) (3) 则称为一个事件体，或代数。中的集合称为随机事件。直观上可以理解为可以描述其概率的事情。它实际上包含了所有我们“感兴趣”的集合。概率理论就是在这个基础上展开的

2、。由的定义可以推出: 中元素的有限交,任两个元素的差,对称差,交均在中。在上定义的非负集函数,称为概率，如果满足下列条件：（1）（2），只要，就有，其中示没有基本事件的空集。值得注意的是，当样本空间与事件体都确定以后，Kolmogorov公理系统仍旧容纳不止一个取概率运算。也就是说在同一个样本空间与同一个事件体上，可以存在不同的取概率运算。下面举一个著名的贝郎特(Bertrand)奇论来说明。问题是:在半径为1的圆内随机地取一条弦,问其长超过的概率等于多少?解法1 任何弦交圆周两点,不失一般性,先固定其中一点于圆周上,以此点为顶点作一等边三角形,只有落入此三角形内的弦才满足要求,这种弦的另一端

3、跑过的弧长为整个圆周的1/3,故概率为1/3.如图(a)解法2 弦长只跟它与圆心的距离有关,而与方向无关,因此可以假定它垂直于某一直径.当且仅当它与圆心的距离小于1/2时,其长才大于,因此所求概率为1/2.如图（b）解法3 弦被其中点唯一确定, 当且仅当其中点属于半径为1/2的同心圆内时,弦长才大于,此小圆面积为大圆面积的1/4,所以概率为1/4.如图（c）同一问题有三种不同的答案,细究其原因,发现是在取弦时采用了不同的等可能假设.解法1假定端点在圆周上均匀分布,解法2假设弦的中点在直径上均匀分布,解法3认为弦的中点在圆内均匀分布.这三种答案是针对三种不同的随机试验,对于各自的随机试验而言,它

4、们都是正确的。概率空间：给定样本空间及上的一个域,以及上面提到的上的集函数(概率)，则称三元组为概率空间。此时称为可测空间。Borel集与Borel函数样本空间的子集族F，满足：非空则称F是一个域。由测度论知识可以知道，对样本空间的任意子集族F，都存在包含F的最小域。R中包含所有开区间的最小域，称为Borel集,记为B。值得一提的是，B和包含所有形如的最小域是一样的。中包含所有开矩形的最小域，称为d维Borel集，记为。由实变函数知识，Borel集中的元素都是Lebesgue可测的，但，他们之间相差一个Lebesgue零测集。可测空间到可测空间的可测映射，即满足的函数：，称为Borel可测函数

5、，简称Borel函数。（二）随机变量一个随机地取实数值的量称为随机变量，如果对于任意实数，样本点的集合都是一个随机事件。用测度论的观点来看，随机变量就是概率空间到可测空间的一个可测映射。可见随机变量的定义依赖于给定的事件体。实值函数就是随机变量的分布函数。前面已经举例说明一个可测空间可以定义不同的概率，下面举例说明一个概率空间也可以定义无穷多个随机变量,而且可以不相关。设，对任意，定义。对每一个正整数n，定义映射：，容易验证是随机变量，而且是线性无关的。随机过程：设为概率空间，为实的参数集（可以是离散的，也可以是连续的），定义在和上的二元函数：,如果对任意固定的,是上的随机变量，则称为该概率空

6、间上的随机过程。一般而言，根据随机变量取值的类型，把随机变量分为离散型随机变量和连续型随机变量。对于前者，常用概率函数来描述，对于实值函数，随机变量的期望为：。对于后者，常用分布密度描述，对Borel可测函数，随机变量的期望为：。期望实际上就是一种平均，它是刻画随机变量的一个重要指标。在概率论中具有相当重要的角色。下面的例子说明了期望的不足：（圣.彼得堡悖论）传说在圣.彼得堡街头曾流行过一种赌博，参见者实现垫付一笔钱，比如100个卢布，然后开始连续掷一枚均匀的硬币，直至首次出现人像朝上。若记首次出现人像朝上时投掷次数为n,则赌博者可得到个卢布，这时的决策问题是：参见赌博和不参加赌博哪个结果更合

7、算？用变量X表示某人参与赌博的净回报，即,则可以计算出,也就是说赢的期望为无穷大，但赢的概率却很小。正是所谓的”辜负了期望”。可见仅有期望，对于随机变量的刻画是不够的。方差定义为：,可见，方差实际上也是一种期望，是用来刻画随机变量波动程度的量。下面介绍概率论中两个重要的函数：矩母函数和特征函数。矩母函数定义为，当然前提是存在且有限。它包含了任意阶矩的信息，进一步地，的分布也可由矩母函数唯一确定。离散的情形很好理解，对于连续的情况，矩母函数的可以看成密度函数的“拉普拉斯变换”，做“拉普拉斯逆变换”可得密度函数，这里用“”号是因为存在一点非本质的细节差别。实际上矩母函数就是拉普拉斯在19世纪引进的

8、，它是概率论中第一个被系统地应用的变换法，对后来在概率论中引进其他更有用的变换-如马上要介绍的特征函数-有启发作用。矩母函数还有一个非常重要的性质就是独立随机变量和的母函数等于各自母函数的乘积。在概率论发展史上具有重大意义的是特征函数的引进。随机变量的特征函数定义为：特征函数克服了矩母函数有可能不存在的不足，对每一个随机变量，都存在一个唯一的特征函数与之对应，这是由Lebesgue控制收敛定理所保证。反过来，对每一个特征函数，如果是绝对可积的，则存在唯一的密度函数与之对应，这里的唯一性是在忽略一个Lebesgue零测集意义下的唯一性。实际上特征函数可以看成密度函数的Fourier变换，上面介绍

9、的对应关系可以用Fourier变换和Fourier逆变换的观点来看。和矩母函数一样，独立随机变量和的特征函数等于各自特征函数的乘积，正是这个性质，在证明中心极限定理时显示出了非凡的威力。（三）随机向量直观的看，随机变量放在一起就是随机向量。这里有一个前提，就是这些随机变量有相同的概率空间。考虑d维随机向量，其分布函数为,其期望是,协方差矩阵是: ,称为随机变量与的协方差, 是相关系数。需要指出的是，若两个随机变量成正相关，即为1，但这两个随机变量变换后的随机变量却可能有很弱的相关性，即。比如。就的线性相关性就低。类似的可以定义的距母函数:特征函数。随机变量的独立性：随机变量组称为独立，如果它们

10、满足条件：。两个随机变量独立，则它们是不相关的，反之不成立。概率论中有一个重要的不等式，即Chebyshev不等式：，它在证明弱大数定理时起到关键作用。（四） 极限定理极限定理通常包括大数定律和中心极限定理。大数定律:若是随机变量列,如果存在一个常数列,对,有,则称随机变量概率为1地收敛，也称为几乎处处收敛强大数定律：Bore大数定律:Bernoullli试验Kolmogorov大数定律：相互独立随机变量序列满足列服从大数定律或大数法则。均方收敛：弱大数定律:Bernoulli大数定律：Bernoullli试验Chebyshev大数定律：两两不相关随机变量列，每一随机变量有有限方差，且方差有公

11、共上界Khintchine大数定律：独立同分布随机变量列，且有有限的期望Markov大数定律：依概率收敛：中心极限定理：为标准正态随机变量棣莫弗-拉普拉斯中心极限定理：是独立同分布的Bernoullli试验,林德贝格-莱维中心极限定理:独立同分布随机变量序列,期望方差均存在而且有限依分布收敛：二 随机数与随机模拟生成随机数有两大类方法，逆函数方法和Von-Neumann取舍原则。（一） 生成随机数的逆函数方法若随机变量X的分布函数为或密度函数，则X的一个样本值称为F-随机数或f-随机数。特别的若,则X的样本值就是均匀随机数。命题：若分布函数严格单调，是一个均匀随机数，则是一个F-随机数。证明：

12、设U是0,1上的均匀随机变量，那么故逆函数方法的关键一步是生成均匀随机数，而后面讲到的Von-Neumann取舍原则也是以均匀随机数为基础，因此下面简要谈谈均匀随机数的生成方法。产生均匀随机数的方法很多，这里只介绍几种用计算机产生随机数的方法。物理方法。在计算机上安装一台物理随机数发生器，把具有随机性质的物理过程变换为随机数，这样就可以得到随机性和均匀性都很好的真正随机数。但此方法有一些缺点，其中最重要的是我们不能产生与原来完全相同的随机数，对计算结果不能进行复算检查；加上物理随机数发生器的稳定性经常需进行检查和维修。因此大大降低了这种方法的使用价值。北师大校物理系李晓文副教授与马里兰大学同事

13、合作，最近在物理随机数发生器设计方面取得了突破性进展。她们设计了一个多通道、互相独立的、高速物理随机数发生器，利用超发光二极管放大自发辐射的宽频光学噪声，通过两个透过率互不重叠的光学滤波器分出两路信号，每个通道的比特率可以达到10G/s。利用这种并行随机比特的方法同时产生多个比特，极大地提高了随机数发生器的产生速率及升级能力。李晓文等第一次证明，从单个光噪声源，不需外部光学放大及增益，即可同时得到多个独立的比特流。这是迄今为止第一个并行输出的物理真随机数系统，向基于芯片的超快并行物理随机数发生器迈出了重要一步。另外，通过使用更多的滤波器，并行输出的通道数目最多可以达到20个，累计比特率可以达到

14、200G/s。数学方法，这样产生的随机数并不是真正的随机数，故称伪随机数，但由于它占用内存少，速度快又便于复算，因此这是目前使用最广，发展最快的一类方法。这里介绍其中两种的设计思想。线性同余发生器：就是所得（伪）随机数，之所以选择上面的参数，是出于以下考虑：让序列达到满周期；产生的随机数，均值接近，方差接近；一阶自相关系数接近0。反馈位移寄存器法大量使用过程发现，线性同余法产生均匀随机数作为维随机向量时相关性大，其次是线性同余法得到的均匀随机数列的周期与计算机的字长有关。在整数的尾数字长为L的计算机上，不可能得到周期的均匀随机数列。反馈位移寄存器法产生均匀随机数的方法是：给定初值，迭代产生0-

15、1序列，截取序列中连续的L位构成一个L位二进制整数，即：令即得均匀随机数列。之所以叫做反馈位移寄存器，是因为这种算法在计算机上实现时，在寄存器里面用了大量的移位运算。（二） 生成随机数的Von-Neumann原则给定分布密度，用逆函数法往往需要很大的计算量，而取舍原则提供了生成f-随机数的简捷方法。做法是：取一个参考分布密度函数，满足：-随机数容易生成与的取值范围差不多（不必相同），且存在C,使得命题：设随机变量Y具有密度函数，而随机变量,且与Y独立，则证明： 这样,取舍原则的具体做法是:独立的生成一个-随机数和均匀随机数若，则就是一个-随机数。重复进行可得-随机数列。假设一个-随机数在取舍原

16、则中“被选用”的概率为：所以C越小，取舍的效率越高。可见，为了得到一个-随机数，平均需要C个-随机数。三 Gauss分布与Gauss过程（一）方差有限的随机变量全体组成的Hilbert空间概率空间上有方差（存在且有限）的全体随机变量的集合记为，它是Euclid空间，即它是线性空间。但是无穷维的。定义内积：,则在这个内积意义下成为完备的内积空间，即Hilbert空间。这个空间的收敛就是均方收敛。即：(二)高斯分布定义：如果存在m个独立的标准正态随机变量，以及常数与，使得：，其中则称d维随机向量服从d维Gauss分布，也称作高斯随机向量。的期望向量和协方差矩阵分别是：服从d维Gauss分布记为。当

17、可逆时的Gauss分布，称为d维正态分布。正态分布就是不退化的高斯分布，只有当可逆时才存在分布密度，不可逆时可能只分布在一个低维超平面上。比如：,则只分布在一条直线上。由定义可以看出，高斯随机向量的任意多个分量也是高斯随机向量或者高斯随机变量。除此而外，高斯分布还有以下性质：高斯随机向量的依概率极限也是高斯随机向量。即服从高斯分布，若（指所有分量都依概率收敛），则服从高斯分布。对于高斯随机向量而言，依概率收敛与均方收敛是等价的。高斯随机向量对依分布收敛的封闭性，即，且（等价的，对应的特征函数收敛），则，且服从d维Gauss分布对任意实数，线性组合服从一维Gauss分布（是常数，或者是正态分布）。的特征函数形如，其中是实对称半正定矩阵。的矩母函数形如。 (三)与Gauss系与Gauss过程相关的基本概念Gauss系:随机变量族称为Gauss系,如果对任意及任意，随机向量服从Gauss分布。高斯过程：若指标集,则称为高斯过程。例如，Wiener过程就是Gauss过程。Gauss过程的概率特性完全由其均值函数和协方差函数所决定