2.随机过程概要及概率基础

1、1 应用随机过程应用随机过程 Applied stochastic processesApplied stochastic processes 序言序言 2 天大教材天大教材 随机过程基础（修订版）随机过程基础（修订版） 作者作者: : 宋占杰王家生王勇宋占杰王家生王勇 出版社出版社: : 天津大学出版社（天津大学出版社（2011)2011) 定价定价: : 1919元元, , 本校书店打折本校书店打折 特点特点: : 少学时研究生教材少学时研究生教材 3 天大教学指导书天大教学指导书 随机过程学习指导及习题解析随机过程学习指导及习题解析 作者作者: :王勇程广涛宋占杰王勇程广涛宋占杰 出版社

2、出版社: : 天津大学出版社（天津大学出版社（2013)2013) 定价定价: : 1515元元, , 本校书店打折本校书店打折 特点特点: : 少学时研究生教材配套解答少学时研究生教材配套解答 4 考试要求考试要求 学术论文学术论文4040分，联系专业和导师协商，分，联系专业和导师协商， 选取选取SCISCI杂志论文，最好杂志论文，最好1 1、2 2区，译成中文，区，译成中文， 近年以内。近年以内。( (硕士硕士SCISCI即可）即可） 考勤考勤1010分，缺课分，缺课1 1次不扣，一次以上次不扣，一次以上 每次扣每次扣2 2分，扣完为止，不倒扣。分，扣完为止，不倒扣。 迟到迟到2 2次算次

3、算1 1次。次。 闭卷考试闭卷考试5050分，选自之后习题。分，选自之后习题。 5 概概率率论论 probability theory 数数理理统统计计 Mathematical statistics 随随机机过过程程 s st to oc ch ha as st ti ic c p pr ro oc ce es ss s 随随机机数数学学 s st to oc ch ha as st ti ic c m ma at th he em ma at ti ic cs s 二、随机数学发展概述 随机现象随机现象 内在规律内在规律 偶然性偶然性 必然性必然性 6 3 随机过程 Brown运动运动:

4、1827 年，年，Brown在显微镜下发现花在显微镜下发现花 粉的无规则运动粉的无规则运动, 将此奇怪现象公诸于世将此奇怪现象公诸于世, 无人能解无人能解 释原因释原因. 1900年，法国数学家年，法国数学家Bachelier给出给出 一维一维 Brown运动粗略模型运动粗略模型, 其博士论文为投机的理论其博士论文为投机的理论 ，研究证券价格的涨落，开创近代金融数学的先河，研究证券价格的涨落，开创近代金融数学的先河， 但他的结果几十年之后才得到认可但他的结果几十年之后才得到认可. 1905年年,Einstein 首次进行量化分析首次进行量化分析, 认为花粉运认为花粉运 动源自分子无规则热运动动

5、源自分子无规则热运动, 每秒碰撞每秒碰撞 次次. Wiener 1918年发表系列论文年发表系列论文, 成功解决这一问成功解决这一问 题题, 故称故称WienerEinstein过程过程. 2119 1010 7 Markov过程过程(18561922): 十九世纪末用十九世纪末用 矩阵研究矩阵研究 马氏链马氏链, 开始随机过程理论开始随机过程理论. Erlang 因研究电话问题得到了因研究电话问题得到了Poisson过程过程 , 创立创立 了排队论了排队论. Feller研究了生灭过程研究了生灭过程. 平稳过程平稳过程: 从辛欣研究大数定律开始，从辛欣研究大数定律开始，1934年完成年完成.

6、 鞅论鞅论: 莱维（莱维（Levy. Paul Pierre, 1886-1971） 19301955年创立年创立. 杜悖杜悖( J. Doob )研究停时研究停时. 随机积分随机积分: 伊藤清伊藤清(1915日日), 87年获年获Wolf奖奖,97 年有人年有人 因因 研究研究Ito微分方程的解而获诺贝尔经济奖微分方程的解而获诺贝尔经济奖. 最优停时最优停时: 1名秘书名秘书, 100人应征人应征, 如何选如何选? Gilbert 和和 Mosteller1966年证明年证明37%规则规则, 前前37个不要个不要, 第第38个后开始超过前面就定下来个后开始超过前面就定下来, 选中最优率为选中

7、最优率为 1/e=0.367879. 而随机取这一结果仅而随机取这一结果仅1%. 8 三、初步概率论 离离 散散 的的 连连 续续 的的 其其 它它 期期 望望 、 方方 差差 、 矩矩 X X （ 随随 机机 向向 量量 ） 协协 方方 差差 、 相相 关关 系系 数数 可可 数数 个个独独 立立 、 极极 限限 定定 理理 不不 可可 数数随随 机机 过过 程程 9 四、随机过程定义及分类 1、定义、定义 定义域定义域 值域值域 T (E,B) (,F F,B) E：状态空间状态空间, 相空间相空间, E 中元素叫状态中元素叫状态.一般为一般为 实数或复数实数或复数. B为为Borel可测

8、集全体可测集全体 T,txt T,tt,x 10 2、分类分类 按定义域、值域分：按定义域、值域分： （1）T及及E都可列都可列 （2）T可列，可列， E非可列非可列 （3）T及及E都非可列都非可列 （4）T非可列，非可列， E可列可列 其中其中T可列，即（可列，即（1）、（）、（2）为随机序列（时）为随机序列（时 间序列）间序列）. 其中其中E可列可列, 即（即（1）、（）、（4）为可列过程）为可列过程, E为为 有限集时为有限过程有限集时为有限过程. 11 按概率关系分按概率关系分 （1） Markov过程过程 独立增量过程独立增量过程 Poisson过程过程 Wiener过程过程 （2）

9、正态过程）正态过程,二项过程二项过程,负二项过程负二项过程 （3）平稳过程）平稳过程,宽平稳过程宽平稳过程(白噪声白噪声) （4）鞅）鞅 我国王梓坤为概率第一人我国王梓坤为概率第一人. 12 应用随机过程应用随机过程 Applied stochastic processesApplied stochastic processes 第一章第一章 概率论的基本知识概率论的基本知识 13 第一章 1.1. 概率空间概率空间 一、随机试验：一、随机试验： 可重复性（同一条件）可重复性（同一条件） 结果多个（不唯一）结果多个（不唯一） 试验前未知试验前未知 二、样本空间二、样本空间：随机事件随机事件A

10、为为的子集的子集. ：样本点样本点 =全体全体 三、定义域、事件域（三、定义域、事件域（代数）代数） 1、 2、 3、 见下面见下面 F FAFA 14 3、 可列并封闭可列并封闭 可测空间可测空间 ：信息全体：信息全体 四、值域、事件概率 1、 (非负性非负性) 2、 (规范性规范性) 3、 ， ， (可列可加性可列可加性) FAFA i ii 1 ) )( (F F , ,.,i,j21 10 P(A) 1) P( ji AA ji 11i i i i APAP 15 五、五、 称概率空间，广义称概率空间，广义 测度不保证非负测度不保证非负, 不保证为不保证为1. 六、六、 性质性质 1、

11、 单调不减单调不减 2、 对立事件和为对立事件和为1 3、 ， ， 有限可加性有限可加性 4、 无限次可加无限次可加 ) )( (P,F F, , FPEPFE EPEP 1 ji EE ji n i i n i i EPEP 11 11i i i i EPEP 16 七、选取方法七、选取方法 有穷有穷 为为 子集全体子集全体 可列可列 为为 子集全体子集全体 不可列不可列 为为Lebesgue可测可测 八、极限事件八、极限事件 1、递增事件列：、递增事件列： ， ， 2、递减事件列：、递减事件列： ， ， F F F F F F 1 nn EE 1 n 1 nn EE 1 n 1 lim n

12、 nn n EE n i n n EE 1 lim 17 九、P的连续性（P与lim可交换顺序） 证明：证明： ji nnnnn FF EEEEF EEEEF EEEEF EF 11 23233 12122 11 ).lim()(lim n n n n EPEP 18 可列可加可列可加 正项级数收敛正项级数收敛 (不超过不超过1) 考虑部分和数列考虑部分和数列 等价替换等价替换(后半部分后半部分 用用 对偶律对偶律) n n n i i n n i i n i i i i i i EP FP FP FP FPEP lim lim lim 1 1 1 11 19 n n 1 n n 1 11 (

13、1,2),011 P X0 P X1(1) (limsup(0)1. 1(), (limsup(1)1. 1(). nnn nn n n n n XnP XP X nn PXX PX X 设（），（）， 故（调和级数发散）； 同时，一般项趋于 ， 这样无穷多个出现的 概率是 未必是必然事件 同时 无穷多个不出现的概率也是 未必是必然事件 十、调和级数实例十、调和级数实例. 20 十一、统计物理模型十一、统计物理模型 解一（解一（Maxwell-Boltzman) 质点可分辨，处于每个状态的质点个数任意。质点可分辨，处于每个状态的质点个数任意。 i n i i g !n P i ii n 1gn

14、 C 1 P i i n g C 1 P 解三（解三（Fermi-Dirac) 质点不可分辨，每个状态只有一个质点。质点不可分辨，每个状态只有一个质点。 适于电子、中子、适于电子、中子、 质子等质子等Fermi子。子。 解二（Bose-Einstein) 质点不可分辨，处于每个状态的质点个数任意。 适于光子、介子、核 子等Bose子。 21 1.2 随机变量 随机变量随机变量X分布函数分布函数: 满足：满足： () 单调不减；单调不减； () 右连续；右连续； () ； () ； xfxF xXPxF 0 F 1 F .)(: , ;)(: ,),( 为可测集可测，是指：讲 学基础实变函数应用

15、数这里指的是可测集 实数概率空间 axfDxLebesgue FaXaPF 22 一、存在性一、存在性 命题：设命题：设 是单调不减，是单调不减， 右连续的函数，且有右连续的函数，且有 ， ，则必存在概率空间及其上的一，则必存在概率空间及其上的一 个随机变量个随机变量 ，使，使 。 证明：证明： （略）（略） R,xxF 0 -F xFxF 离散的：离散的： 连续的：连续的： xy yXPxF dttfxF x 1)(F 23 二、命题二、命题 已给已给n n元函数元函数 ，满足：，满足： ( () 对任一对任一 是单调不减的，是单调不减的， () 对任一对任一 是右连续的，是右连续的， ()

16、 n ,x,xF 1 n ,x,xF 1i x n ,x,xF 1i x ni xx,x,xF ,F niiX X , 2 , 1 , 0, , 1 111 24 () 设设 ，则，则 则必存在概率空间则必存在概率空间 及其上及其上 的随机向量的随机向量 ，使，使 的分布函数的分布函数 niyx ii , 2 , 1, nii n n ji ij n i in yxyFF xxFFFyyF , 0,1, 1 1 1 1 其中 ) )( (P,F F, , nn xxFxxF, 11 25 注意注意: ()不能由不能由( ()、 ()、 ()推出推出 反例：定义反例：定义 满足满足( ()、 (

17、)、 ()，但是对，但是对 0 , 0 0 , 1 , 21 21 21 xx xx xxF 21,x xF ) 1, 1 (),(,) 1, 1(),( 2121 yyxx 10111 1, 11, 11 , 11 , 1 FFFF 26 三、三、 ( (联合分布唯一确定边沿密度联合分布唯一确定边沿密度, ,反之不成立反之不成立.).) 此例两个密度函数显然不同，密度函数非零区域相同此例两个密度函数显然不同，密度函数非零区域相同. . 边缘密度如下边缘密度如下: : 反反之之 , 0 1,0 , , yxyx yxf 反反之之 , 0 1,0 , 2 1 2 1 , yxyx yxg 27

18、X X边缘密度边缘密度: : 利用密度函数的轮换对称性利用密度函数的轮换对称性, ,可得可得Y Y边源密度也相同边源密度也相同 均为均为1/2 + 1/2 + y y . . ( 10, 2 1 2 1 2 1 , 10, 2 1 ), 1 0 1 0 xx dyyxdyyxg xx dyyxdyyxf 28 四、事件独立：四、事件独立：)()()(BPAPABP n n个事件独立，个事件独立， 个表达式。个表达式。 12 n n 随机变量独立：随机变量独立： 独立，要求独立，要求 联合密度为边缘密度之积，即：联合密度为边缘密度之积，即： 命题命题1.2.51.2.5至至1.2.71.2.7知

19、道结果就行知道结果就行. . n XXX, 21 nXXn xFxFxxF n 11 1 , 其中，其中， n ji x jX xxFxF i j ,lim 1 29 五、五、 随机变量随机变量 相互独立相互独立 n XXX, 21 六、若随机变量六、若随机变量 相互独立，相互独立， 为为 可测函数，可测函数， ，则，则 也相互独立也相互独立. . n XXX, 21 i f Borelni, 2 , 1 nn XfXfXf,)(, 2211 . )(),( , 2 , 1, 1 2211 n i iinn i AXPAXAXAXP niBA 对任意 30 例例: :已知已知n n阶正定对称矩

20、阵阶正定对称矩阵B B， nn xxxaaa, 11 是是n n维随机变量的密度。式中维随机变量的密度。式中 表示表示B B的行列式的值，的行列式的值， 表示矩阵表示矩阵C C的转置矩阵，的转置矩阵， 表示矩阵表示矩阵B B的逆矩阵。下面的逆矩阵。下面 证明证明 axBaxBxf n 1 2 1 22 1 exp 2 1 B C 1 B 1 dxxf n R 因为因为B B对称正定，故存在正交阵对称正定，故存在正交阵T T，使：使： 31 n d d d DTTB 00 00 00 2 1 其中其中 是是B B的特征值且的特征值且 。 i d 0 i d 作变换作变换 , ,右乘右乘T, ,T

21、, ,可得可得 因为因为 ， Taxy ITT yTax 1 T y x . 1n ddDTTTDTDTTTTTBTB 32 n i i i d y yTTBy yTBTyyTyTBaxBax 1 2 1 11 1 11 1) 2 exp( 2 1 2 i i i i dy d y d 果：注意到高数及概率中结 33 所以所以 1 2 exp 2 1 2 exp 2 1 2 1 1 1 2 1 2 i i i n i i n n i i i n n R dy d y d dydy d y dd dxxfn 是是n n维正态分布的密度函数维正态分布的密度函数. . xf 例例: :事件事件A A

22、的示性函数的示性函数: : A A I A , 0 , 1 34 1.3 随机变量的数字特征 一、数学期望（一、数学期望（mean, mathematical expectation)mean, mathematical expectation) )()( 1 xxXxPxdF xXPx dxxxf xdFxEX X i ii X 连续型（绝对可积条件下）连续型（绝对可积条件下） 离散型（绝对收敛条件下）离散型（绝对收敛条件下） 抽象积分：抽象积分： dxPEX 35 二、随机变量函数的期望二、随机变量函数的期望 dPxhxdFxhXEhYE XhY X 三、矩（三、矩（momentmomen

23、t） 1 1、普通普通k k阶矩阶矩 2 2、k k阶绝对矩阶绝对矩 3 3、k k阶中心矩阶中心矩 xdFxXE X kk xdFxXE X kk xdFEXxEXXE X kk 物理上，一阶矩是重心，二阶矩是转动惯量。物理上，一阶矩是重心，二阶矩是转动惯量。 36 四、方差（二阶中心矩，四、方差（二阶中心矩，variancevariance） 2 2 2 2 2 2 2 2 2 EXEXEXEXEXEX EXXEXXEEXXEDX 方差表示稳定性：方差大，风险大；方差小，风险小。方差表示稳定性：方差大，风险大；方差小，风险小。 五、五、n n维随机向量维随机向量 是是n n维随机向量，分布

24、函数为维随机向量，分布函数为 ， 为为n n维维BorelBorel函数，则：函数，则： n XX, 1 n xxF, 1 n xxg, 1 nnn xxdFxxgXXEg, 111 37 六、协方差（二阶混合中心矩，六、协方差（二阶混合中心矩，covariancecovariance） jkkjkj kkjjkj bEXEXXXE EXXEXXEXXCov , 随机向量，协方差阵随机向量，协方差阵： nn jk bB 七、相关系数（七、相关系数（correlation coefficientcorrelation coefficient） 2121221112 21 2211 2211 12

25、 12 , DXDXXXCovbbb DXDX EXXEXXE bb b r 注：注：HolderHolder不等式，实变函数或应用数学基础。不等式，实变函数或应用数学基础。 1 11 11 qp dxxgdxxffgdx q E q p EE p 38 八、相关系数的性质八、相关系数的性质 1 1、 2 2、 独立独立 3 3、 以概率以概率1 1线性相关线性相关 注：由注：由 得不到得不到 独立。独立。 下有反例下有反例. . 1 12 r 21 , XX0 12 r 11 1212 baXXPr 0 12 r 21 , XX 39 1,1 2 1, 0 1 1 10 : 10 1 1 )

26、,( 2 1 1 22 22 2 2 x x x xdy x f(x,y)dyxf y x y x x,yf yxfX,Y x x X 解一 的联合密度例： 40 0 01 2 )( 1 , y-1 2 1 , 0 1 ,dx 1 1 , 0 ),( 1 1 2 2 1 1 2 2 EY dxxxdxxxfEX y y y y dxyxfyf X y y Y 同理， 41)()(),( ,0 ),()(),( 00 1 0 1 )(),cov( 1 1 x1 x1 1 2 2 22 yfxfyxf YXr yfxfyxf dxdyyx yx dxdyxy EYEXXYEYX YX YX yx

27、独立应有： 并不独立。，但即 但是， 奇函数）、（单独关于 42 解二：解二： ) 2 1 () 2 1 () 2 1 , 2 1 ( 4 2 ) 2 1 ( 4 2 ) 2 1 ( 0) 2 1 , 2 1 ( YPXPYXP YP XP YXP 43 r r r r x r r x r r x r r r XE xdFx xdFx xdF x xdFXP Markov XE XP rXErX )( 1 )( 1 )()()( )()( 0,: 证： 不等式则有： 阶绝对矩存在，的例 44 2 )( : 2 DX EXXP Chebyshev EXXXr 不等式即得 ，换为，将令 1)(:( 成成立立wCwP)(wC 九、以概率九、以概率1 1成立（几乎处处成立成立