2022年随机过程的历史1

1、随机过程的历史随机过程整个学科的理论基础是由柯尔莫哥洛夫和杜布奠定的。这一学科最早源于对物理学的研究，如吉布斯、玻尔兹曼、庞加莱等人对统计力学的研究，及后来爱因斯坦、维纳、莱维等人对布朗运动的开创性工作。1907 年前后，马尔可夫研究了一系列有特定相依性的随机变量，后人称之为马尔可夫链。1923 年维纳给出布朗运动的数学定义，直到今日这一过程仍是重要的研究课题。随机过程一般理论的研究通常认为开始于20 世纪 30 年代。1931 年，柯尔莫哥洛夫发表了概率论的解析方法 ，1934 年辛饮发表了 平稳过程的相关理论 ，这两篇著作奠定了马尔可夫过程与平稳过程的理论基础。1953 年，杜布出版了名著

2、随机过程论，系统且严格地叙述了随机过程基本理论。概率论和随机过程有悠久的历史，它的起源与博弈问题有关。16 世纪，意大利的一些学者开始研究掷骰子等赌博中的一些简单问题，例如比较掷两个骰子出现总点数为9或 10 的可能性大小。 17 世纪中叶， 法国数学家帕斯卡、费马及荷兰数学家惠更斯基于排列组合的方法研究了一些较复杂的赌博问题，他们解决了“合理分配赌注问题”（即“得分问题”）、“输光问题”等等。其方法不是直接计算赌徒赢局的概率，而是计算期望的赢值，从而导致了现今称之为数学期望的概念（由惠更斯明确提出）。使概率论成为数学的一个分支的真正奠基人则是瑞士数学家雅各布第一伯努利, 若n表示前n 次独立

3、重复试验中事件a 出现的次数 , 从而 n/n 为事件 a 出现的频率，则当n时，0)(pnpn式中 为任一正实数。这一结果发表于他死后8 年(1713) 出版的遗著推测术中。这里所说的事件的概率, 应理解为事件发生的机会的一个测度, 即公理化概率测度( 详见后) 。 1716 年前后 ,棣莫弗对21p情形 , 用他导出的关于n! 的渐近公式 ( 即所谓斯特林公式 ) 进一步证明了：渐近地服从正态分布（德国数学家c.f.高斯于 1809 年研究测量误差理论时重新导出正态分布，所以也称为高斯分布）。棣莫弗的这一结果后来被法国数学家 p.-s.拉普拉斯推广到一般的p(0p1) 的情形，后世称之为棣

4、莫弗- 拉普拉斯极限定理,精品学习资料 可选择p d f - - - - - - - - - - - - - - 第 1 页，共 8 页 - - - - - - - - -精品学习资料 可选择p d f - - - - - - - - - - - - - - 第 1 页，共 8 页 - - - - - - - - -1 这是概率论中第二个基本极限定理（见中心极限定理）的原始形式。拉普拉斯对概率论的发展贡献很大。他在系统总结前人工作的基础上，写出了概率的分析理论(1812年出版 , 后又再版6 次)。在这一著作中，他首次明确规定了概率的古典定义（通常称为古典概率，见概率） ，并在概率论中引入了更

5、有力的分析工具，如差分方程、母函数等，从而实现了概率论由单纯的组合计算到分析方法的过渡，将概率论推向一个新的发展阶段。拉普拉斯非常重视概率论的实际应用, 对人口统计学尤其感兴趣。继拉普拉斯以后,概率论的中心研究课题是推广和改进伯努利大数律及棣莫弗拉普拉斯极限定理。在这方面，俄国数学家切比雪夫迈出了决定性的一步，1866 年他用他所创立的切比雪夫不等式建立了有关独立随机变量序列的大数律。次年，又建立了有关各阶绝对矩一致有界的独立随机变量序列的中心极限定理；但其证明不严格，后来由马尔可夫于1898 年补证。1901 年 . . 李亚普诺夫利用特征函数方法，对一类相当广泛的独立随机变量序列，证明了中

6、心极限定理。他还利用这一定理第一次科学地解释了为什么实际中遇到的许多随机变量近似服从正态分布。继李亚普诺夫之后，辛钦、柯尔莫哥洛夫、莱维及费勒等人在随机变量序列的极限理论方面作出了重要贡献。到20 世纪 30 年代，有关独立随机变量序列的极限理论已臻完备。在此期间, 由于实际问题的需要, 特别是受物理学的刺激，人们开始研究随机过程。1905 年爱因斯坦和斯莫卢霍夫斯基各自独立地研究了布朗运动。他们用不同的概率模型求得了运动质点的转移密度。但直到1923 年，维纳才利用三角级数首次给出了布朗运动的严格数学定义，并证明了布朗运动轨道的连续性。1907 年马尔可夫在研究相依随机变量序列时，提出了现今

7、称之为马尔可夫链的概念；而马尔可夫过程的理论基础则由柯尔莫哥洛夫在1931 年所奠定。稍后一些时候，辛钦研究了平稳过程的相关理论 (1934) 。所有这些关于随机过程的研究，都是基于分析方法，即将概率问题化为微分方程或泛函分析等问题来解决。从1938 年开始，莱维系统深入地研究了布朗运动，取得了一系列重要成果，他充分利用概率的直觉性，将逻辑与直觉结合起来，倡导了研究随机过程的一种新方法，即概率方法。这种方法的特点是着眼于随机过程的轨道性质。莱维对概率论的另一重要贡献是建立了独立增量过程的一般理论。他的著作随机过程与布朗运动(1948) 至今仍是随机过程理论的一本经典著作。现代概率论的另外两个代

8、表人物是：杜布和伊藤清，前者创立了鞅论，后者创立了布朗运动的随机积分理精品学习资料 可选择p d f - - - - - - - - - - - - - - 第 2 页，共 8 页 - - - - - - - - -精品学习资料 可选择p d f - - - - - - - - - - - - - - 第 2 页，共 8 页 - - - - - - - - -2 论。在概率发展史中特别值得一提的是柯尔莫哥洛夫在1933 年建立了概率论的公理化体系。概率论公理化体系的建立早在拉普拉斯给出概率的古典定义之前，人们就提出了几何概率的概念，这是研究有无穷多个可能结果的随机现象问题的，著名的布丰（曾译蒲

9、丰）投针问题(1777) 就是几何概率的一个早期例子。19 世纪，几何概率逐步发展起来。但到 19 世纪末，出现了一些自相矛盾的结果。以著名的贝特朗悖论为例：在圆内任作一弦，求其长超过圆内接正三角形边长的概率。此问题可以有三种不同的解答：由于对称性，可预先指定弦的方向。作垂直于此方向的直径，只有交直径于1/4 点与 3/4 点间的弦， 其长才大于内接正三角形边长。设所有交点是等可能的，则所求概率为 1/2 ； 由于对称性， 可预先固定弦的一端。 仅当弦与过此端点的切线的交角在60120之间 ,其长才合乎要求。设所有方向是等可能的，则所求概率为1/3 ；弦被其中点位置惟一确定。只有当弦的中点落在

10、半径缩小了一半的同心圆内，其长才合乎要求。设中点位置都是等可能的， 则所求概率为1/4 。这个问题之所以有不同解答, 是因为当一随机试验有无穷多个可能结果时，有时很难客观地规定“等可能”这一概念。这反映了几何概率的逻辑基础是不够严密的。几何概率这类问题说明了拉普拉斯关于概率的古典定义带有很大的局限性。当严密的概率公理化系统建立后，几何概率才能健康地发展且有广泛的应用。虽然到了19 世纪下半叶， 概率论在统计物理学中的应用及概率论的自身发展已突破了概率的古典定义，但关于概率的一般定义则始终未能明确化和严格化。这种情况既严重阻碍了概率论的进一步发展和应用，又落后于当时数学的其他分支的公理化潮流。1

11、900年 ,希尔伯特在世界数学家大会上公开提出了建立概率论公理化体系的问题, 最先从事这方面研究的是庞加莱、波莱尔及伯恩斯坦。关于概率论与测度论有联系这一重要思想就出自波莱尔。 伯恩斯坦于1917 年构造了概率论的第一个公理化体系。20 年代以后， 相继出现了 j.m.凯恩斯及r.von米泽斯等人的工作。凯恩斯主张把任何命题都看作是事件。例如, “明天将下雨”，“土星上有生命”, “某出土文物是某年代的产品”, 等等。他把一事件的概率看作是人们根据经验对该事件的可信程度，而与随机试验没有直接联系，精品学习资料 可选择p d f - - - - - - - - - - - - - - 第 3 页

12、，共 8 页 - - - - - - - - -精品学习资料 可选择p d f - - - - - - - - - - - - - - 第 3 页，共 8 页 - - - - - - - - -3 因此，通常称为主观概率。从凯恩斯起，对主观概率提出了几种公理体系，但没有一种堪称权威。也许，主观概率的最大影响不在概率论领域自身，而在数理统计学中近年来出现的贝叶斯统计学派。和主观概率学派相对立的是以米泽斯为代表的概率的频率理论学派。米泽斯把一事件的概率定义为该事件在独立重复随机试验中出现的频率的极限，并把此极限的存在性作为他的第一条公理。他的第二条公理是，对随机选取的子试验序列，事件出现的频率的极

13、限也存在并且极限值相等。严格说来，这第二条公理没有确切的数学含义。因此，这种所谓公理化在数学上是不可取的。此外，像某个事件在一独立重复试验序列中出现无穷多次这一事件的概率，在米泽斯理论中是无法定义的。这种频率法的理论依据是强大数律，它具有较强的直观性，易为实际工作者和物理学家所接受。但随着科学的进步，它又已逐渐被绝大多数物理学家所抛弃。20 世纪初完成的勒贝格测度（见测度论）和勒贝格积分理论以及随后发展起来的抽象测度和积分理论，为概率论公理体系的确立奠定了理论基础。人们通过对概率论的两个最基本的概念即事件与概率的长期研究，发现事件的运算与集合的运算完全类似，概率与测度有相同的性质。到了30 年

14、代，随着大数律研究的深入，概率论与测度论的联系愈来愈明显。例如强、弱大数律中的收敛性( 见概率论中的收敛) 与测度论中的几乎处处收敛及依测度收敛完全类似。在这种背景下，柯尔莫哥洛夫于1933 年在他的概率论基础一书中第一次给出了概率的测度论式的定义和一套严密的公理体系。这一公理体系着眼于规定事件及事件概率的最基本的性质和关系，并用这些规定来表明概率的运算法则。它们是从客观实际中抽象出来的，既概括了概率的古典定义、几何定义及频率定义的基本特性，又避免了各自的局限性和含混之处。这一公理体系一经提出，便迅速获得举世的公认。它的出现，是概率论发展史上的一个里程碑，为现代概率论的蓬勃发展打下了坚实的基础

15、。由于科学技术中许多实际问题的推动以及概率论逻辑基础的建立，概率论从20 世纪30 年代以来得到了迅速的发展。目前其主要研究内容大致可分为极限理论，独立增量过程，马尔可夫过程，平稳过程和时间序列，鞅和随机微分方程，点过程等。此外，包括组合概率（用组合数学方法精品学习资料 可选择p d f - - - - - - - - - - - - - - 第 4 页，共 8 页 - - - - - - - - -精品学习资料 可选择p d f - - - - - - - - - - - - - - 第 4 页，共 8 页 - - - - - - - - -4 解决只涉及有限个基本事件的概率问题）、几何概率

16、等在内的一些属于古典范畴的问题，至今仍有人在继续研究，并有新的发展。限理论是研究与随机变量序列或随机过程序列的收敛性有关的问题的理论。20 世纪30 年代以后，有关随机变量序列的极限理论（主要是中心极限定理）的研究，是将独立序列情形的结果推广到鞅差序列和更一般的弱相依序列等情形，以及研究收敛速度问题。近年来，由于统计力学的需要，人们开始研究强相依随机变量序列的非中心极限定理。自 1951 年唐斯克提出不变原理后，有关随机过程序列的弱收敛的研究成了极限理论的一个中心课题。普罗霍洛夫及斯科罗霍德在这方面作出了最主要的贡献。1964 年斯特拉森的工作出现后，引起了有关随机过程序列的强收敛的研究，这就

17、是强不变原理。近年来，鞅论方法已渗透到这一领域, 使许多经典结果的证明得到简化和统一处理, 并且还导致一些新的结果。人们最早知道的独立增量过程是在物理现象中观察到的布朗运动和泊松过程，一般的独立增量过程的研究，归功于莱维，它在20 世纪 40 年代已臻成熟。在这些研究中，包含了许多重要的方法和概念，概率论的许多近代研究课题都直接或间接地受其启发与影响。在实际中遇到的很多随机现象有如下的共同特性：它的未来的演变，在已知它目前状态的条件下与以往的状况无关。描述这种随时间推进的随机现象的演变模型就是马尔可夫过程。20 世纪 50 年代以前， 研究马尔可夫过程的主要工具是微分方程和半群理论（即分析方法

18、）；1936 年前后就开始探讨马尔可夫过程的轨道性质，直到把微分方程和半群理论的分析方法同研究轨道性质的概率方法结合运用，才使这方面的研究工作进一步深化，并形成了对轨道分析必不可少的强马尔可夫性概念。1942 年，伊藤清用他创立的随机积分和随机微分方程理论来研究一类特殊而重要的马尔可夫过程扩散过程，开辟了研究马尔可夫过程的又一重要途径。近年来，鞅论方法也已渗透到马尔可夫过程的研究中，它与随机微分方程结合在一起，已成为目前处理多维扩散过程的工具。此外，马尔可夫过程与分析学中的位势论有密切的联系。对马尔可夫过程的研究，推动了位势理论的发展，并为研究偏微分方程提供了概率论的方法。最近十多年发展起来的

19、吉布斯随机场和精品学习资料 可选择p d f - - - - - - - - - - - - - - 第 5 页，共 8 页 - - - - - - - - -精品学习资料 可选择p d f - - - - - - - - - - - - - - 第 5 页，共 8 页 - - - - - - - - -5 无穷粒子随机系统，是由于统计物理的需要而提出的。许多自然的和生产过程中的随机现象表现出某种平稳性。一种平稳性是过程在任意一些时刻上的联合概率分布随时间推移不变，这种平稳性称为严平稳性。严平稳过程的研究与遍历理论有密切的联系。如果上述对概率分布的要求放宽为仅对二阶相关矩的要求，即过程在任意两

20、时刻上的协方差随时间推移不变，则称这种平稳性为宽平稳性。关于宽平稳过程的研究，辛钦、柯尔莫哥洛夫和维纳等人运用傅里叶分析和泛函分析的工具，在 40 年代已经找出了过程的相关函数及过程本身的谱分解式，并且较完满地解决了有应用意义的预测问题。许多应用问题还要求根据观测数据去建立这些数据所来自的随机过程的模型。为此产生了时间序列分析这一课题，提出了宽平稳序列的自回归滑动平均(arma) 模型以及一些非线性模型。鞅是另一类重要的随机过程。从20 世纪 30 年代起，莱维等人就开始研究鞅序列，把它作为独立随机变量序列的部分和的推广。40 年代到 50 年代初， 杜布对鞅进行了系统的研究，得到有名的鞅不等

21、式、停止定理和收敛定理等重要结果。1962 年， p.a. 迈耶解决了杜布提出的连续时间的上鞅分解为鞅及增过程之差的问题。在解决这个问题的过程中，出现了很多新鲜而深刻的概念，使鞅和随机过程一般理论的内容大大丰富起来。鞅的研究丰富了概率论的内容，并引起人们用它所提供的新方法新概念对概率论中许多经典的内容重新审议，把以往认为是复杂的东西纳入鞅论的框架而加以简化。此外，利用上鞅的分解定理，可以把伊藤清的对布朗运动的随机积分推广到对一般鞅乃至半鞅的随机积分；因而，更一般的随机微分方程的研究也随之发展。随机微分方程理论不仅可以用来研究马尔可夫过程，它还是解决滤波问题的必要工具。最近出现的流形上的随机微分

22、方程又和微分几何及分析力学的研究发生了密切的联系。鞅论还对本学科以外的位势理论、调和分析及复变函数论等提供了有用的工具。点过程是从所谓计数过程发展出来的，它们的特点是，可用落在不相重叠的集合上的随机点数目的联合概率分布来刻画整个过程的概率规律。最基本的计数过程是泊松过程， 1943 年，帕尔姆将它作为最简单的输入流应用于研究电话业务问题；1955 年，辛钦又以严密的数学观点作了整理和发展。在 60 年代以前，点过程的研究主要限于泊松过程及其推广的过程。以后，由于大量精品学习资料 可选择p d f - - - - - - - - - - - - - - 第 6 页，共 8 页 - - - - -

23、 - - - -精品学习资料 可选择p d f - - - - - - - - - - - - - - 第 6 页，共 8 页 - - - - - - - - -6 实际问题的需要以及随机测度论和现代鞅论的推动，进一步把实轴上的点过程（即计数过程）推广到一般的可分完备度量空间上，在内容和方法上都有根本性的进展。概率论的发展史说明了理论与实际之间的密切关系。许多研究方向的提出，归根到底是有其实际背景的。反过来，当这些方向被深入研究后，又可指导实践，进一步扩大和深化应用范围。概率论作为数理统计学的理论基础是尽人皆知的。下面简略介绍一下概率论本身在各方面的应用情况。在物理学方面，高能电子或核子穿过吸

24、收体时，产生级联（或倍增）现象, 在研究电了- 光子级联过程的起伏问题时，要用到随机过程，常以泊松过程、弗瑞过程或波伊亚过程作为实际级联的近似，有时还要用到更新过程（见点过程）的概念。当核子穿到吸收体的某一深度时，则可用扩散方程来计算核子的概率分布。物理学中的放射性衰变，粒子计数器，原子核照相乳胶中的径迹理论和原子核反应堆中的问题等的研究，都要用到泊松过程和更新理论。湍流理论以及天文学中的星云密度起伏、辐射传递等研究要用到随机场的理论。探讨太阳黑子的规律及其预测时，时间序列方法非常有用。化学反应动力学中，研究化学反应的时变率及影响这些时变率的因素问题, 自动催化反应，单分子反应, 双分子反应及一些连锁反应的动力学模型等，都要以生灭过程（见马尔可夫过程）来描述。随机过程理论所提供的方法对于生物数学具有很大的重要性，许多研究工作者以此来构造生物现象的模型。研究群体的增长问题时，提出了生灭型随机模型，两性增长模型，群体间竞争与生尅模