应用随机过程 课件全套 方杰 第1-7章 预备知识、离散时间马氏链-布朗运动

第一章

预备知识应用随机过程中国人民大学出版社应用随机过程第一章

预备知识中国人民大学出版社1

/

65本章内容12事件与概率样本和样本空间事件与概率概率空间概率的基本性质随机变量和随机向量随机变量分布函数5随机向量随机变量之和的性质随机变量的数字特征期望方差矩母函数随机变量的收敛性随机过程的概念应用随机过程第一章

预备知识中国人民大学出版社2

/

65事件与概率样本和样本空间样本和样本空间举例：通常把按照一定想法去做的事件称为试验（experiment），把试验的可能结果称为样本点（samplepoint），样本点的集合称为样本空间（samplespace）。通常将样本空间记为

Ω，样本点记为

ω。一个均匀的骰子（dice）有六个面，每次抛出这个骰子，会得到相应的点数（比如：3）。这里“抛骰子”就是一个事件，也就是“试验”；在抛出骰子后得到的“点数”3

就是“样本点”ω

=

3；而骰子的可能点数为1,

2,

3,

.

.

.

,

6，因此对应的样本空间就是

Ω

=

{1,

2,

3,

.

.

.

,

6}。应用随机过程第一章

预备知识中国人民大学出版社3

/

65事件与概率事件与概率事件与概率事件（event）是样本空间

Ω

的子集，且满足三个条件：Ω

是事件；若

A

是事件，则

Ac

是事件；∞li=1i i若

A

是事件，则 A

是事件。骰子的例子如果“抛出的点数为

3”是事件

A，则其对立事件

Ac

就是“抛出的点数不为

3”；另外，“抛一次骰子”是事件，则“抛无数次骰子”组成的所有事件的并集也是事件。应用随机过程第一章

预备知识中国人民大学出版社4

/

65事件与概率事件与概率事件对于事件

A，如果使用

P(A)

表示事件发生的概率，则

P(A)

满足以下条件：非负性：P(A)

≥0；完备性：P(Ω)

=

1；可列可加性：对于互不相容的事件

A1,

A2,

.

.

.，有：/ \∞ ∞

、i=1

i=1i iP A = P(A

)应用随机过程第一章

预备知识中国人民大学出版社5

/

65事件与概率概率空间概率空间举例：对于样本空间

Ω

和概率

P，用

F

表示全体事件时，称三位一体的(Ω,

F,

P)

为概率空间（probability

space）。F

称作

σ-代数（sigma-algebra），相当于样本空间

Ω

的子集的集合。假设样本空间

Ω

=

{1,

2,

3}，则

F

可表示为：F

=

J∅,

{1},

{2},

{3},

{1,

2},

{1,

3},

{2,

3},

Ωl应用随机过程第一章

预备知识中国人民大学出版社6

/

65事件与概率概率空间σ-代数对于

σ-代数

F，其中的元素满足以下条件：ici若

A

∈

F，则

A

∈

F；说明：若Ai,Aj∈F,∀i,j，则Ai∩Aj∈

F；若

Ai,

Aj

∈

F,

∀i,

j，则

Ai

∪

Aj

∈

F。简言之，对

σ-代数

F

中的元素取并集、交集和补集，结果均在

F中。（σ-代数对并、交、补运算均封闭。）应用随机过程第一章

预备知识中国人民大学出版社7

/

65事件与概率概率的基本性质概率的基本性质对于事件

Ai,

i

=

1,

2,

.

.

.

,

n，其发生的概率具有如下性质：P(∅)=

0；当且仅当

A1,

A2,

.

.

.

,

An

互不相容时，下式的等号成立：/ \n n

、P Ai ≤ P(Ai)i=1 i=1如果

A2

⊂

A1，则

P(A1)

−

P(A2)

=

P(A1

−

A2)

≥

0；P(A1

∪

A2)

=

P(A1)

+

P(A2)

−

P(A1A2)；条件概率公式：当

P(A1)

>

0

时，2 1P(A|A)

=1

2P(A

A

)P(A1)应用随机过程第一章

预备知识中国人民大学出版社8

/

65事件与概率概率的基本性质乘法公式乘法公式可看作条件概率公式的直接推论，其表达式如下：P(B1B2

·

·

·

Bn)

=

P(B1)P(B2|B1)

·

·

·

P(Bn|B1B2

·

·

·

Bn−1)当

P(A)

>

0

时，P(B1B2

·

·

·

Bn|A)

=

P(B1|A)P(B2|B1A)

·

·

·

P(Bn|B1B2

·

·

·

Bn−1A)应用随机过程第一章

预备知识中国人民大学出版社9

/

65事件与概率概率的基本性质全概率公式n

i=11 2 n i若事件

A

,

A

,

.

.

.

,

A

互不相容，则当 A

=

Ω

时，有：n n、 、i i iP(B)

= P(BA

)

= P(B|A)P(A

)i=1 i=1当

P(A)

>

0

时，有：n、i=1P(B|A)

=

P(Bii|AA)P(A

|A)应用随机过程第一章

预备知识中国人民大学出版社10

/

65事件与概率概率的基本性质全概率公式

(cont.)全概率公式的意义在于，当直接计算

P(B)

较为困难时，可以通过求小事件的概率，然后相加，从而求得事件

B

的概率。而将事件

B

进行分割的时候，则是先找到样本空间

Ω

的某个划分（partition）{A1,

A2,

.

.

.

,

An}，进而得到相对应的事件

B

的分解，即：B

=

BA1

+

BA2

+

·

·

·

+

BAn利用条件概率的计算公式，可得：P(B)

=

P(BA1)

+

P(BA2)

+

·

·

·

+

P(BAn)=

P(B|A1)P(A1)

+

P(B|A2)P(A2)

+

·

·

·

+

P(B|An)P(An)n、i=1i i= P(B|A)P(A

)应用随机过程第一章

预备知识中国人民大学出版社11

/

65事件与概率概率的基本性质贝叶斯公式若

A1,

A2,

.

.

.

,

An

为一系列互不相容的事件，并且n

iA

=

Ω, P(Ai)>0,

∀ii=1则对任一事件

B，有：iP(A|B)

=

P(B|A

)i

iP(A

) n、k=1k kP(B|A)P(A

),i

=

1,

2,

.

.

.

,

n应用随机过程第一章

预备知识中国人民大学出版社12

/

65事件与概率概率的基本性质贝叶斯公式

(cont.)与全概率公式解决的问题相反，贝叶斯（Bayesian）公式是建立在条件概率的基础上，通过确定的结果寻找发生的原因。此处P(Ai)

(i

=

1,

2,

.

.

.

,

n)

表示各种原因发生的可能性大小，故称先验概率（prior

probability）；P(Ai|B)

则反映当结果

B

发生之后，再对产生这一结果的各种原因的可能概率进行推断，故称后验概率（posteriorprobability）。应用随机过程第一章

预备知识中国人民大学出版社13

/

65随机变量和随机向量随机变量随机变量以金融市场为例随机变量

X

是定义在样本空间

Ω

上的函数。若样本空间

Ω

中的样本点

ω

是离散的，则相应的

X(ω)

是离散型（discrete）随机变量；若样本点

ω

是连续的，则相应的

X(ω)

是连续型（continuous）随机变量。考虑股票价格跳跃次数的样本空间，其可能的取值为

Ω

={0,

1,

2,

.

.

.}，不难看出取值是非负的整数，此时所得到的股价跳跃次数的随机变量就是离散型随机变量；若考虑股票在某时刻的可能价格的样本空间，则其取值应当为

Ω

∈

R+

∪

{0}，此时得到的股价随机变量就是连续型随机变量，因为对应的样本空间

Ω

取值为非负实数。应用随机过程第一章

预备知识中国人民大学出版社14

/

65随机变量和随机向量随机变量随机变量

(cont.)对于离散型随机变量而言，其对应样本点

ω

的概率是非负的，并且样本点所有可能取值下的概率之和等于

1（满足概率的完备性），即：P(X=ω)

≥

0, 、

P(X=ω)≡1ω∈Ω连续型随机变量无法得到类似的性质，由于样本点是连续的，对应的某一个样本点

ω

的概率接近于零，因此需要引入新的概念来刻画连续型随机变量的概率等特征，这就是分布函数。应用随机过程第一章

预备知识中国人民大学出版社15

/

65随机变量和随机向量分布函数分布函数对于连续型随机变量

X

而言，其分布函数

FX(t)（distributionfunction）定义为：rt说明：FX(t)=P(X≤

t)

= fX(s)

ds−∞其中，fX(s)

是

X的概率密度函数（probabilitydensityfunction,pdf）。分布函数

FX(t)

是单调不减的右连续函数，并且其取值范围为

[0,

1]。概率密度函数可以定义在任何连续随机变量上，比如正态分布、F

分布、t分布、χ2

分布等。应用随机过程第一章

预备知识中国人民大学出版社16

/

65随机变量和随机向量分布函数分布函数

(cont.)Y对于离散型随机变量

Y

而言，其分布函数

GY(t)

也有类似的定义，只不过原先的积分符号变成了求和符号罢了，公式如下：、G(t)=P(Y≤

t)

= P(Y=

ω)ω≤tω∈Ω此处的

P(Y

=

ω)

称作概率质量函数（probabilitymassfunction,pmf）。概率质量函数可以定义在任何离散型随机变量上，比如二项分布、负二项分布、泊松分布、几何分布等等。应用随机过程第一章

预备知识中国人民大学出版社17

/

65随机变量和随机向量分布函数概率质量函数和概率密度函数概率质量函数是对离散型随机变量定义的，本身代表该值的概率；概率密度函数是对连续型随机变量定义的，本身不是概率，只有对连续型随机变量的概率密度函数在某区间内进行积分后才是概率。要想求得连续型随机变量

X

在

[a,

b]

这一区间上的概率，则计算公式如下：rbP(a≤X≤

b)

= fX(s)

dsa应用随机过程第一章

预备知识中国人民大学出版社18

/

65随机变量和随机向量随机向量随机向量如果

X1,

X2,

.

.

.

,

Xn

都是随机变量，则

X

=

(X1,

X2,

.

.

.

,

Xn)

称作随机向量。相应地，定义在

n

维实数域

Rn

上的

n

元函数FX(x1,

x2,

.

.

.

,

xn)

=

P

(X1

≤

x1,

X2

≤

x2,

.

.

.

,

Xn

≤

xn)称作

X

=

(X1,

X2,

.

.

.

,

Xn)

的分布函数。与前面类似，对于连续型随机向量

X，其在

Rn

上的区域（domain）D

的概率为：r rx x1 2P(X∈

D)

= ··

·rxn−∞

−∞ −∞、 、,, .,rDf(x)dx1dx2···

dxn

= f(x)dx1dx2···

dxnn个其中，f(x)

=

f(x1,

x2,

.

.

.

,

xn)

是

X

的联合密度。应用随机过程第一章

预备知识中国人民大学出版社19

/

65随机变量和随机向量随机变量之和的性质随机变量之和的性质：离散型随机变量之和的概率k

=

0,

1,

.

.

.设随机变量

X

和

Y

独立，且满足：P(X=k)

=

ak, P(Y=k)=

bk,则

Z

=

X

+

Y

=

n，n

≥

0

的概率为：n、P(Z

=

n)

=

P(X

+

Y

=

n)

= P(X

=

i,

Y

=

n

−

i)i=0n n、 、i=0

i=0= P(X=i)P(Y=n−

i)

= a

bi

n−in、令

P(Z

=

n)

=

c

，则：c

= a

bn n i

n−i。i=0这里的序列

{cn}

称作序列

{an}

和

{bn}

的卷积（convolution），其中n

≥

0。应用随机过程第一章

预备知识中国人民大学出版社20

/

65随机变量和随机向量随机变量之和的性质随机变量之和的性质：连续型随机变量之和的分布函数0≤s≤t设随机变量

X

和

Y

独立，其分布函数分别为

F(x)

和

G(y)，则

U

=

X

+

Y有如下分布函数：U(t)=P(X+Y≤t)=、

P(X+Y≤t|Y=s)P(Y=s)rrt t= P(X≤t−s)

dG(s)

= F(t−s)

dG(s)0 0由于

X

+

Y

=

Y

+

X，因此：U(t)

=

P(X

+

Y

≤

t)

=、0≤s≤tP(X+Y≤t|X=

s)P(X=

s)rrt t= P(Y≤t−s)

dF(s)

= G(t−s)

dF(s)0 0从而：t0r rt0F(t−s)

dG(s)

= G(t−s)

dF(s)应用随机过程第一章

预备知识中国人民大学出版社21

/

65随机变量和随机向量随机变量之和的性质随机变量之和的性质：连续型随机变量之和的密度函数设随机变量

X

和

Y

独立，其概率密度函数分别为

f(x)

和

g(y)，则U

=

X

+

Y

有如下概率密度函数u(t)：rt0u(t)

= f(t−s)g(s)ds=

(f∗g)(s)rt= g(t−s)f(s)ds=

(g∗f)(s)0(f

∗

g)(s)

称为函数

f

和

g

的卷积。需要说明的是，卷积运算满足交换律，即

f

∗

g

=

g

∗

f。应用随机过程第一章

预备知识中国人民大学出版社22

/

65随机变量和随机向量随机变量之和的性质举例：思路设随机变量

X

和

Y

独立，其分布函数分别为：FX(x)=1−e−λx,x

≥

0; GY(y)=y/2,0≤y≤

2求

U

=

X

+

Y

的分布函数。分布函数求解的公式如下：rtU(t)=P(X+

Y≤t)

= FX(t−s)

dGY(s)0这里要特别注意，由于

y

∈

[0,

2]，因此需要根据

t

的取值分情况来讨论。应用随机过程第一章

预备知识中国人民大学出版社23

/

65随机变量和随机向量随机变量之和的性质当

t

<

2

时：rt0U(t)

= FX(t−s)dGY(s)

=r0t

＿1−

e−λ(t−s)d

s2l ('=

120rr rt t0

12＼ r

1ds

−

e−λt eλs

ds

=

t

−

+e−λtλ λ＼当

t

≥

2

时：r20U(t)

= FX(t−s)dGY(s)

=r02

＿1−

e−λ(t−s)d

s2l ('=

120ds−

e−λtrr r2 20s＼eλ

ds =1

−e−λt2λ（e2λ−

1）因此：U(t)

=

12r

1t−λ+e−λtλ＼, t<

21

−e

−λt2λ（e2λ−

1）

, t≥

2应用随机过程第一章

预备知识中国人民大学出版社24

/

65随机变量和随机向量随机变量之和的性质举例：解答：设随机变量

X

和

Y

独立，其概率密度函数分别为：fX(x)

=

λe−λx; fY(y)=

λe−λy求

U

=

X

+

Y

的概率密度函数。运用卷积求解如下：rt0fU(t)

= fX(t−s)fY(s)ds

=rt0λe−λ(t−s)λe−λs

ds=

λ2rt0e−λt 2e−λt11s=ts=0ds

=

λ s =λ2t

·e−λt应用随机过程第一章

预备知识中国人民大学出版社25

/

65随机变量的数字特征随机变量的数字特征对于随机变量而言，我们通常关心它的重要数字特征，比如期望、方差、偏度、峰度等等。本节主要介绍期望和方差，以及更一般的矩母函数和特征函数。期望（expectation）用于反映随机变量平均取值的大小。根据随机变量的不同，可以得到离散型随机变量和连续型随机变量的期望。应用随机过程第一章

预备知识中国人民大学出版社26

/

65随机变量的数字特征期望离散型随机变量的期望设随机变量

X

有离散的概率分布如下：pi=P(X

=

xi), i

=

1,

.

.

.

,

n则：iin n、 、i=1 i=1E(X)

= xP(X=x

)

= x

pi

i应用随机过程第一章

预备知识中国人民大学出版社27

/

65随机变量的数字特征期望举例：泊松分布的期望假设随机变量

X

服从参数为

λ

的泊松分布，相应的概率质量函数如下：λn

−λλ

>

0,

n

=

0,

1,

2,

.

.

.P(X

=

n)

=

n!

e

,求泊松分布的期望

E(X)。应用随机过程第一章

预备知识中国人民大学出版社28

/

65随机变量的数字特征期望泊松分布的期望

(cont.)根据期望的定义，可得：∞、n=0E(X)

=

n∞、n=0·P(X=

n)

= n

·λnn!e−λ=∞−λe =

λ∞、 λn 、λn−1n=0(n

−

1)! n=0(n−

1)!−λe =

λ注意，这里最后一步化简用到了

ex

的泰勒展开式，即：x2 32! 3!e=1+

x

+ + +

···=∞、

x

x

x

nn!n=0应用随机过程第一章

预备知识中国人民大学出版社29

/

65随机变量的数字特征期望定理设

X

为取值是非负整数的随机变量，其期望值的计算公式如下：∞、E(X)

= P(X≥

k)k=1证明思路：∞、k=1P(X≥k)

=∞∞、、k=1

i=kP(X=i)

=∞ i、、i=1

k=1P(X=

i)、

i个P、(,,X=i)

.,∞、i=1= i·P(X=

i)=

E(X)应用随机过程第一章

预备知识中国人民大学出版社30

/

65随机变量的数字特征

期望求和符号交换的图示k(1,

1)(k,

k)i (k,

∞) ik(1,

1)(i,

i)⇒ (1,

i)应用随机过程第一章

预备知识中国人民大学出版社31

/

65随机变量的数字特征期望连续型随机变量的期望设

X

是有密度函数

fX(x)

的随机变量，即密度函数满足：raFX(a)=P(X≤

a)

= fX(x)

dx−∞则：E(X)

=r∞−∞Xxf(x)

dx应用随机过程第一章

预备知识中国人民大学出版社32

/

65随机变量的数字特征期望举例：指数分布的期望假设随机变量

X

服从参数为

λ

的指数分布，相应的概率密度函数如下：λ>0,x≥

0fX(x)=

λe−λx,求指数分布的期望

E(X)。应用随机过程第一章

预备知识中国人民大学出版社33

/

65随机变量的数字特征期望指数分布的期望

(cont.)根据期望的定义，可得：E(X)

=

r

∞

xfX(x)

dx

=

r

∞

λxe−λx

dx0 0记

u

=

−λx，则：上式

=

1λr−∞0

1λu uue

du

= e

(u＿ l−∞0−1) =

1λ应用随机过程第一章

预备知识中国人民大学出版社34

/

65随机变量的数字特征期望定理设

X

是非负的随机变量，则：E(X)=r∞P(X>x)dx=r∞1−FX(x)

dx0 0 ＿ l证明思路：r∞0P(X>x)dx

=∞0r∞xdx fX(y)dy

=r∞0ry

0dy fX(y)

dx、 、,,

.,Xf

(y)可从积分中提出=rr∞0yfX(y)dy=

E(X)应用随机过程第一章

预备知识中国人民大学出版社35

/

65随机变量的数字特征

期望积分符号交换的图示x(x,

∞)(0,

0)(x,

x)y yx(0,

0)(y,

y)⇒(0,

y)应用随机过程第一章

预备知识中国人民大学出版社36

/

65随机变量的数字特征期望条件期望假设有随机变量

X

的取值取决于

N

次发生的事件构成的信息集{Z1,

Z2,

.

.

.

,

ZN}。以其中前

n

次事件的信息集为条件，得到的随机变量期望就是条件期望（conditional

expectation），记作：En(X)

=

E(X|Z1,

Z2,

.

.

.

,

Zn)应用随机过程第一章

预备知识中国人民大学出版社37

/

65随机变量的数字特征期望条件期望的性质

1当

0

≤

n

≤

N

时，以下性质成立：线性性质（linearity）。对于所有常数

c1

和

c2，以下等式成立：En(c1X

+

c2Y)

=

c1En(X)

+

c2En(Y)提取已知量（taking

outwhatis

known）。若

X

的取值只依赖于

n次事件的信息集，则：En(XY)=X

·En(Y)在这里，X

在

n

次事件的信息集下是可测的，从而可以从条件期望中提取出来。应用随机过程第一章

预备知识中国人民大学出版社38

/

65随机变量的数字特征期望条件期望的性质

2迭代条件期望（iterated

conditioning）。若

0

≤

n

≤

m

≤

N，则有：En[Em(X)]=

En(X)从中可以看出，X

的条件期望取决于信息集中最小者。特别是针对无条件期望而言，有：E[Em(X)]=

E(X)独立性（independence）。若

X

取决于第

(n

+

1)

次到

N

次事件所构成的信息集

{Zn+1,

Zn+2,

.

.

.

,

ZN}，则有：En(X)=

E(X)因为此处的条件与随机变量

X

无关。应用随机过程第一章

预备知识中国人民大学出版社39

/

65随机变量的数字特征

期望条件期望的性质

3(5)

詹森（Jensen）不等式。如果

ϕ(·)

是凸函数，则下列不等式成立：En[ϕ(X)]≥

ϕ[En(X)]ϕ(x)xϕ(x)x1x2E(x)ϕ(x2)E[ϕ(x)]ϕ(x1)ϕ[E(x)]应用随机过程第一章

预备知识中国人民大学出版社40

/

65随机变量的数字特征方差方差方差（variance）是反映随机变量离散程度的指标。在概率统计的教科书中，方差计算的恒等式如下：Var(X)=E(X2)

−[E(X)]2接下来分别利用这个恒等式来计算离散型随机变量和连续型随机变量的方差。应用随机过程第一章

预备知识中国人民大学出版社41

/

65随机变量的数字特征方差举例：泊松分布的方差假设随机变量

X

服从参数为

λ

的泊松分布，相应的概率质量函数如下：λn

−λλ

>

0,

n

=

0,

1,

2,

.

.

.P(X

=

n)

=

n!

e

,求泊松分布的方差

Var(X)。思路：前面已经计算出泊松分布的期望

E(X)

=

λ，要求出方差，还需要计算E(X2)。应用随机过程第一章

预备知识中国人民大学出版社42

/

65随机变量的数字特征方差泊松分布的方差

(cont.)2 2∞ ∞、 、n=0

n=0E(X

)

= nP(X=

n)

= n

·λnn!2 e−λ=∞、nλnn=0(n−

1)!e−λ=

λe−λ∞、

nλn−1n=0(n−

1)!=λe−λ·(λ+

1)eλ=λ(λ+

1)因此：Var(X)

=

E(X2)

−

[E(X)]2

=

λ(λ

+

1)

−

λ2

=

λ应用随机过程第一章

预备知识中国人民大学出版社43

/

65随机变量的数字特征方差举例：指数分布的方差假设随机变量

X

服从参数为

λ

的指数分布，相应的概率密度函数如下：λ>0,x≥

0fX(x)=

λe−λx,求指数分布的方差

Var(X)。思路：λ前面已经计算出指数分布的期望

E(X)

=

1

，要求出方差，还需要计算E(X2)。应用随机过程第一章

预备知识中国人民大学出版社44

/

65随机变量的数字特征方差指数分布的方差

(cont.)2E(X)

=r∞02Xxf

(x)dx

=r∞02

e−λxx

λ

dx=

1λr∞0(λx)2e−λxdx记

u

=

−λx，则：上式

=

−

1λ2r−∞02

uue

du

1λ2＿u 2=

− e(u−

2u+

2)l−∞0=

2λ2因此：Var(X2)=E(X)−

[E(X2)]

=

−

=

2

1

1λ2 λ2 λ2应用随机过程第一章

预备知识中国人民大学出版社45

/

65随机变量的数字特征矩母函数矩母函数矩母函数（moment

generating

function,

mgf）是一种构造函数。对于任何满足概率密度函数为

fX(x)

的随机变量

X，其矩母函数的定义如下：XtXM(t)=E(e)

=r∞−∞txXef(x)

dx根据泰勒展开式：ex=1+x+

x

2 32! 3!x

+ +

···=∞、k=0k

xk!tx由此可得：e

=∞、k=0

(tx)

kk!应用随机过程第一章

预备知识中国人民大学出版社46

/

65随机变量的数字特征矩母函数矩母函数

(cont.)矩母函数可以相应进行如下展开：txMX(t)

= efX(

)xdx

=r r∞ ∞−∞ −∞fX(x)∞、k=0(tx)kk!dx=∞、tk!rk ∞−∞∞k=0 k=0、

tkk kxfX(x)

dx

= k!·E(X

)t2 tn2 n=

1

+

t

·

E(X)

+

2!

·

E(X

)

+

·

·

·

+

n!

·

E(X

)

+

·

·

·由此可见，矩母函数包含了随机变量

X

的各阶矩

E(Xn),n

=

1,

2,

3,

.

.

.应用随机过程第一章

预备知识中国人民大学出版社47

/

65随机变量的数字特征矩母函数矩母函数

(cont.)若对

MX(t)

关于

t

求导，可得：X

dM

(t)dt=∞−∞txXe·xf

(x)

dx类似地：dnMX(t)dtn=rr∞tx nXe·xf(x)

dx当

t

=

0

时：nXdM

(t)dtn11r−∞∞t=0

−∞= xnfX(x)dx=

E(Xn)因此，可以通过对矩母函数关于

t

求

n

阶导的方式，并令

t

=

0，进而求出随机变量的

n

阶矩。应用随机过程第一章

预备知识中国人民大学出版社48

/

65随机变量的数字特征矩母函数举例：指数分布的各阶矩思路：假设随机变量

X

服从速率为

λ

的指数分布，其概率密度函数为：fX(x)

=

λe−λx, λ>0,x≥

0求其各阶矩。通过矩母函数加以求解。应用随机过程第一章

预备知识中国人民大学出版社49

/

65随机变量的数字特征矩母函数指数分布的各阶矩

(cont.)由矩母函数的定义可得：Xtx（ ）M

(t)

=

E

e

=r∞0tx

e−λxe

λ

dx=

λr∞0e−(λ−t)x=

λ

t−

λe−(λ−t)x11dxx=∞x=0=

λλ

−t,λ>

t应用随机过程第一章

预备知识中国人民大学出版社50

/

65随机变量的数字特征矩母函数指数分布的各阶矩

(cont.)相应地：

dMX(t)

λ dt =(λ−

t)2X

dM

(t)dt11t=0

1=λd2MX(t) 2λ dt2 (λ−

t)32

2XdM

(t)dt211t=0

2=

λ2=d3MX(t) 2·

3λdt3 (λ−

t)4⇒ E(X)

=

=

⇒ E(X)

=⇒E(X3)

=3XdM

(t)dt311t=0=6λ3因此：E(Xn)=

n!λn应用随机过程第一章

预备知识中国人民大学出版社51

/

65随机变量的数字特征矩母函数矩母函数的不足通过矩母函数可以相对容易地求出服从某个概率分布的随机变量之各阶矩。但是该方法仍有不足之处，它依赖于矩母函数关于

t

进行

n

阶求导后，在

t

=0

处有定义，否则会出现无法计算各阶矩的问题。为解决这个问题，引入特征函数（characteristicfunction,cf），其定义如下：ϕ(t)=E(e)

=r∞itx itxX Xef(x)

dx−∞特征函数的重要用途在于，若随机变量

X

的概率分布

fX(x)

无法直接算出，可以首先计算出它的特征函数

ϕX(t)，再通过傅立叶变换（Fouriertransform）最终算出概率分布

fX(x)。应用随机过程第一章

预备知识中国人民大学出版社52

/

65随机变量的收敛性依概率收敛设

{Xn},

n

∈

N

是一个随机变量序列。若存在一个随机变量

X，使得

∀ε

>

0，均有：n→∞nlimP|X−

X（ ）|>ε=

0则称序列

{Xn}

依概率收敛（convergence

in

probability）于

X，记作：PXn

−→

X

或者plimXn=

Xn→∞依概率收敛可以理解为：任意指定一个正数

ε，无论

n

取多大，Xn

与

X差距的绝对值大于

ε

的可能次数仍然是存在的，但只要

n

足够大，这种例外情形的次数占比将逐渐趋于

0。应用随机过程第一章

预备知识中国人民大学出版社53

/

65随机变量的收敛性弱大数定律¯n n n设

{X

}

是一个随机变量序列，E(X

)

存在。令

X

=1

nn、i=1iX

，若PX¯n

−E(X¯n)−→

0则称随机变量序列

{Xn}

服从弱大数定律（weaklawoflarge

numbers）。应用随机过程第一章

预备知识中国人民大学出版社54

/

65随机变量的收敛性以概率

1

收敛设

{Xn},

n

∈

N

是一个随机变量序列，若存在一个随机变量

X，使得n→∞∞

i=ni/ \lim

P |X−X|

>

ε =

0则称序列

{Xn}

以概率

1

收敛（convergence

with

probability

1）于

X,

也称作“几乎处处收敛”（almost

surely

convergence），记作：a.s.Xn

−→

X,

或

Xn

→

X,

a.s.该定义的等价形式是：(n→∞P lim

Xn'=X=

1应用随机过程第一章

预备知识中国人民大学出版社55

/

65随机变量的收敛性以概率

1

收敛

(cont.)以概率

1

收敛可以理解为：只要

n

足够大，任意指定一个正数

ε，总能找到一个

N，使得

n

>

N

时，Xn

与

X

差距的绝对值不再大于

ε。正因如此，以概率

1

收敛比依概率收敛的条件强，也就是说以概率

1

收敛意味着一定依概率收敛，反之则不然。应用随机过程第一章

预备知识中国人民大学出版社56

/

65随机变量的收敛性强大数定律¯n n n设

{X

}

是一个随机变量序列，E(X

)

存在。令

X

=1

nn、i=1iX

，若¯n na.s.X−E(X)−→

0n→∞¯n n＿ l或 P limX=E(X)=

1则称随机变量序列

{Xn}

服从强大数定律（stronglawoflarge

numbers）。所谓大数定律，实际上是想要说明当对一个随机变量进行无限次采样时，得到的平均值会无限接近真实的期望值。只不过强大数定律是想说明，采样的次数越多，平均值几乎一定越接近真实期望值（这意味着不可能出现反方向的偏离）；而弱大数定律则是想说明，采样的次数越多，平均值接近真实期望值的可能性越大（这意味着也有极小的可能出现反方向的偏离）。应用随机过程第一章

预备知识中国人民大学出版社57

/

65随机变量的收敛性柯尔莫哥洛夫（Kolmogorov）大数定律n设

{X

}

是相互独立的随机变量序列，并且∞、k=1k

Var(X

)k2<

∞，则{Xn}

服从强大数定律，即：（P lim

1n→∞

n∞、k=1＼[Xk−E(Xk)]

=

0 =

1应用随机过程第一章

预备知识中国人民大学出版社58

/

65随机变量的收敛性柯尔莫哥洛夫大数定律

(cont.)n更进一步，在柯尔莫哥洛夫大数定律的基础上，假设

{X

}

同分布，¯n n并且

E(X

)

=

µ，令

X

=1

nn、i=1iX

，则：n→∞¯n( 'P limX=µ

=

1换句话说，如果随机变量序列

{Xn}

独立同分布（independent

andidenticallydistributed,iid），则随着样本的增大，样本的均值将以概率

1收敛于总体的均值。这是后面研究随机过程性质的重要基础。应用随机过程第一章

预备知识中国人民大学出版社59

/

65随机变量的收敛性均方收敛设

{Xn},

n

∈

N

是一个随机变量序列，X

是一个随机变量。若n→∞nlimE(X−

X2＿ l) =

0则称序列

{Xn}

均方收敛（convergence

in

meansquare）于

X，记作：m.s.Xn−→

X注意：均方收敛是从随机变量的二阶矩的角度考虑收敛问题，其约束很严格，且不能与以概率

1

收敛互相推导。应用随机过程第一章

预备知识中国人民大学出版社60

/

65随机变量的收敛性依分布收敛设

{Fn(x)}

是随机变量序列

{Xn},

n

∈

N

的分布函数列，如果存在一个单调不减函数

F(x)，使得在

F(x)

所有的连续点

x

上，有：LlimFn(x)=

F(x)n→∞则称随机变量序列

Xn

依分布收敛（convergencewithdistribution）于

X，记作：Xn−→

X称函数列

{Fn(x)}

弱收敛于

F(x)。依分布收敛的约束非常小，此种形式的收敛并未考虑随机变量的值，只考察两者的分布函数是否相近。应用随机过程第一章

预备知识中国人民大学出版社61

/

65随机变量的收敛性几种收敛的关系均方收敛以概率

1

收敛依概率收敛依分布收敛应用随机过程第一章

预备知识中国人民大学出版社62

/

65随机过程的概念随机过程的概念设

(Ω,

F,

P)

是一个概率空间，T为一个参数集。若对每一个

t

∈

T，均有定义在概率空间上的一个随机变量

Xt(ω),

ω

∈

Ω

与之对应，则称{Xt

:

t

∈

T}

为

(Ω,

F,

P)

上的一个随机过程（stochastic

process）。这里的t

通常理解成时间，相应的参数集

T

就是时间参数；Xt

可看作过程在时刻

t

的状态。Xt

的取值范围称作状态空间

Ω。应用随机过程第一章

预备知识中国人民大学出版社63

/

65随机过程的概念随机过程的概念

(cont.)对于

Xt(ω)，若固定

ω，则

Xt

称为样本函数或轨道，是随机过程的一次实现（realization）；若固定

t，则

X(ω)

称为一个随机变量；所有可能出现的结果的总体

{X1(ω),

X2(ω),

.

.

.

,

Xn(ω),

.

.

.},

ω

∈

Ω构成一个随机过程。随机过程这个词包含了两重含义：“随机”意味着某时刻出现结果的不确定性，但是可能的结果一定在状态空间内；“过程”意味着还要考虑随机现象随时间的演化规律。正因如此，随机过程可看作所有样本函数的集合（assemble）。应用随机过程第一章

预备知识中国人民大学出版社64

/

65随机过程的概念以股价为例说明随机过程的含义050100150250300100806040200050100150200250300100806040200200（天）（上）（天）（下）应用随机过程第一章

预备知识中国人民大学出版社65

/

65第二章

离散时间马氏链

1应用随机过程中国人民大学出版社应用随机过程第二章

离散时间马氏链

1中国人民大学出版社1

/

65本章内容1

定义和例子马氏链的定义马氏链的例子2多步转移概率多步转移概率的求解多步转移概率举例3C-K

方程状态的分类停时和强马氏性可达和互通状态的常返性判定状态空间的分解状态的周期应用随机过程第二章

离散时间马氏链

1中国人民大学出版社2

/

65简介根据状态和时间的特点，随机过程既有离散状态和连续状态，也有离散时间和连续时间。将它们加以组合，便可以得到不同类别的随机过程。最简单的一类随机过程便是状态和时间均离散的离散时间马氏链（discrete-timeMarkovchain）。该随机过程因俄国数学家安德烈∙马尔可夫而得名。应用随机过程第二章

离散时间马氏链

1中国人民大学出版社3

/

65定义和例子马氏链的定义基本概念考虑一个离散时间的随机过程

Xn

(n

=

0,

1,

2,

.

.

.)，Xn

在有限集合

S内取值，称

Xn

的所有可能取值为系统的状态（state），相应的集合

S

称作状态空间（statespace）。定义转移概率（transition

probability），其表达式如下：pn+1(i,j)=P(Xn+1=j|Xn=i,Xn−1=in−1,Xn−2=in−2,...,X0=

i0)可见，转移概率

pn+1(i,

j)

是一个条件概率，度量的是过程

Xn

在过去0

∼

n

期状态的条件下，第

(n

+

1)

期状态为

j

的概率。应用随机过程第二章

离散时间马氏链

1中国人民大学出版社4

/

65定义和例子

马氏链的定义马氏性和马氏链如果

pn+1(i,

j)

=

P(Xn+1

=

j

|

Xn

=

i)，称这个过程

Xn

具有马氏性（Markov

property），相应的过程称作马氏链（Markov

chain）。即：Xn+1的状态

j

只与

Xn

的状态

i

有关，而与之前各期的状态

in−1,

.

.

.

,

i0

无关。← 过去 现在 将来 →·

·

Xn−2

Xn−1

Xn

Xn+1

Xn+2马氏性可以通俗地表述为：已知“现在”Xn

的条件下，“将来”Xn+1

与“过去”(Xn−1,

.

.

.

,

X1,

X0)

无关的特性。应用随机过程第二章

离散时间马氏链

1中国人民大学出版社5

/

65定义和例子

马氏链的定义马氏性和马氏链

(cont.)← 过去 现在 将来 →·

· Xn−2 Xn−1 Xn Xn+1 Xn+2Xn+1

的状态只与

Xn

的状态有关；Xn

的状态只与

Xn−1

的状态有关；……，各期状态只与其前一期的状态有关，如此环环相扣，如同锁链一般，这也是该过程得名“马氏链”的原因。更进一步，如果假设时刻

n

的取值与转移概率无关，即：P(Xn+1=j|Xn=i)=

p(i,

j), ∀n则该性质称为时间齐次性（time-homogeneous），简称“时齐”。相应的马氏链称作时齐马氏链。应用随机过程第二章

离散时间马氏链

1中国人民大学出版社6

/

65定义和例子马氏链的例子举例

1：赌徒破产问题赌徒在一次赌博中，赢得

1

元的概率是

0.4；输掉

1

元的概率是

0.6。赌徒退出赌博的条件为：输光（财富为零），或者财富数额达到

N

元。假设随机变量

Xn

表示赌徒在第

n

次赌博后的财富数量。可见，Xn+1只与

Xn

有关，而与之前的状态

(Xn−1,

.

.

.

,

X0)

无关，Xn

具有马氏性，即：P(Xn+1

=

j

|

Xn

=

i,

Xn−1

=

in−1,

Xn−2

=

in−2,

.

.

.

,

X0

=

i0)=P(Xn+1=j|Xn=i)=p(i,

j)这里的

p(i,

j)

就是转移概率。对于赌徒而言，其第

(n

+

1)

次赌博输赢的条件概率为：p(i,i−1)=P(Xn+1=i−1|Xn=i)

=

0.6, 输p(i,

i

+

1)

=

P(Xn+1

=

i

+

1

|

Xn

=

i)

=

0.4, 赢应用随机过程第二章

离散时间马氏链

1中国人民大学出版社7

/

65定义和例子马氏链的例子转移概率矩阵此处

p(i,

j)

的相应数值，可以标注在一个矩阵的第

i

行、第

j

列。这样的矩阵

P

称为转移概率矩阵（transition

matrix）。

p(0,

0)p(1,

0)p(0,

1) ·

·

· p(0,

N)p(1,

1) ·

·

· p(1,

N)P

=

...

.p(N,

0)·

·

· p(N,

N)

..

.

..

p(N,

1)应用随机过程第二章

离散时间马氏链

1中国人民大学出版社8

/

65定义和例子马氏链的例子转移概率矩阵

(cont.)当

N

=

5

时，转移概率矩阵如下：P

=

0

00 1 2 3 4 50

1 0 0 0 01 0.6 0 0.4 0 0 0

2 0 0.6 0 0.4 0 03 0 0 0.6 0 0.44 0 0 0 0.6 0 0.4

5 0 0 0 0 0 1在该问题中，马氏链的状态空间

S

=

{0,

1,

2,

3,

4,

5}，这是一个有限状态的马氏链。应用随机过程第二章

离散时间马氏链

1中国人民大学出版社9

/

65定义和例子马氏链的例子转移概率图0

1

23

4

50.60.40.41

1根据该马氏链的状态及各状态之间的转移概率，还可以绘制出相对应的转移概率图。0.60.6

0.60.40.4在该问题中，p(0,

0)

=

1,

p(5,

5)

=

1。这意味着当前时刻到达状态0

或

5

时，下一时刻将仍然停留在原来的状态。在赌徒破产问题中，这意味着赌徒最终破产或赢钱离开，其财富数量不再发生变化。这样的状态（0

和

5）称为吸收态（absorbing

state）。应用随机过程第二章

离散时间马氏链

1中国人民大学出版社10

/

65定义和例子马氏链的例子举例

2：埃伦费斯特链（Ehrenfest

Chain）总共有

N

个球，且这些球只可能在罐子

A

或

B

中。每次随机地从任一罐子中取球一个，并投入另一罐子中。假设

n

时刻罐子

A

中有

i

个球，则：(n

+

1)

时刻罐子

A

中有

(i

+

1)

个球的概率是

(N

−

i)/N；(n

+

1)

时刻罐子

A

中有

(i

−

1)

个球的概率是

i/N。即：Np(i,

i

+

1)

=

N

−

i

,

p(i,

i−1)=iN1≤i≤N−

1另外，p(0,

1)

=

1,

p(N,

N

−

1)

=

1

分别表示当罐子

A

中没有球时，下一次只可能从罐子

B

中取球放入罐子

A

中；类似地，当罐子

A

中球满时，下一次只可能从罐子

A

中取球放入罐子

B

中。应用随机过程第二章

离散时间马氏链

1中国人民大学出版社11

/

65定义和例子马氏链的例子埃伦费斯特链

(cont.)当球的数量

N

=

4

时，可以得到对应的转移概率矩阵如下：0 1 2 3 4

0

0

0

P=

2

1 0.25 0 0.75 0

0

30.25

4010000.500.5000.75000010应用随机过程第二章

离散时间马氏链

1中国人民大学出版社12

/

65定义和例子马氏链的例子马氏链的转移概率性质jp(i,

j)

≥

0，转移概率非负；∑

p(i,

j)

=

1，转移概率矩阵每行元素之和均为

1。可以看出，转移概率矩阵

P

每行元素之和一定等于

1，因为从一个状态转移到其余所有可能状态的概率之和必须满足概率的完备性。应用随机过程第二章

离散时间马氏链

1中国人民大学出版社13

/

65定义和例子马氏链的例子举例

3：库存链假设有一个电子产品店，若一天结束时，某款游戏的库存量为

1

或0，则他们需要订购足够单位的商品，以使得第二天开始时的库存总量为

5。假设第二天的需求数量

k

及对应的概率如下：k0123P0.30.40.20.1求库存链的转移概率矩阵。应用随机过程第二章

离散时间马氏链

1中国人民大学出版社14

/

65定义和例子马氏链的例子库存链

(cont.)在该问题中，我们关注的是电子产品店一天结束时游戏的库存量，其状态空间为：S

=

{0,

1,

2,

3,

4,

5}

（因为库存总量不超过

5）。

1 0

0123450

0000.10.10.20.20.40.40.3

0.3

P

=

2 0.3 0.4 0.3 0 0 0

3 0.1 0.2 0.4 0.3 0 04 0 0.1 0.2 0.4 0.3 0

5 0 0 0.1 0.2 0.4 0.3应用随机过程第二章

离散时间马氏链

1中国人民大学出版社15

/

65定义和例子马氏链的例子举例

4：修复链一台机器有三个关键零件容易出故障，但只要其中两个能工作，机器就可正常运行。当有两个出故障时，它们将被替换，并于第二天恢复正常运转，以损坏的零件序号

{0,

1,

2,

3,

12,

13,

23}

为状态空间，并假定没有两个零件