强化学习（微课版）课件2-概率统计与随机过程

概率统计与随机过程教学提纲1掌握集合、概率、条件概率及独立事件的基本概念

23掌握概率分布的基本概念及常见的概率分布

4掌握随机过程的基本概念

掌握随机变量、期望和方差的基本概念

5掌握统计学相关的基本概念

集合集合（Set）：是由一个或多个确定的元素（Element）所构成的整体。集合中元素的数目称为集合的基数（CardinalNumber），一般地，把含有有限个元素的集合叫做有限集，含有无限个元素的集合叫做无限集。全集（Universe）：指包含了研究问题中的所有元素的集合，Ω。子集（Subset）：集合A为集合B的子集则有，若均有则空集（EmptySet）：空集指没有任何元素的集合，记为。交集（Intersection）：并集（Union）：补集（Complement）：

A在B中的补集为互斥（MutuallyExclusive）：

A和B互斥则

概率概率（Probability）：概率是对一个事件发生可能性的数值描述，我们常用P(·)或P{·}表示概率。为了计算事件的概率，一般用函数形式给出每个取值发生的概率；概率函数的自变量是事件，因变量则是事件的概率，取值范围为[0,1]。概率模型是随机现象的数学表示，由样本空间、样本空间内的事件以及与每个事件相关的概率所定义。

概率概率三公理：

(1)对任意事件A，0≤P(A)≤1；

(2)P(S)=1，其中S为样本空间；

(3)设事件A1,A2,···两两互斥，则；我们把同时满足以上三条公理的P(A)称为事件A发生的概率。其中公理(3)搭起了前面介绍的集合论和概率论之间的桥梁。概率的性质：

随机实验与随机事件随机试验一般有以下三个特征：

(1)可以在相同条件下重复进行；

(2)每次试验的结果不止一个，并且事先知道试验的所有可能结果；

(3)每次试验前是不能确定哪个结果会出现的。

相关术语：实验（Experiment）：在任何真实或假设的过程中，这个过程的结果（Outcome）若是可以被预测到，那么便可以称其为实验。样本空间（SampleSpace）：随机实验所有可能结果的集合称为实验的样本空间。事件（Event）：事件是对实验结果的描述，是实验结果的集合。事件空间（EventSpace）：指包含所有事件的集合。事件空间的大小等于样本空间所有子集的个数。

条件概率与独立事件条件概率研究的是一个事件的发生受另一个事件的影响情况。条件概率（ConditionalProbability）：设A,B是两个事件，且事件A发生的概率不为0，即P(A)>0，那么称：为在事件A发生的条件下，事件B发生的条件概率。独立事件研究的是两个发生与否互不影响的事件。独立事件（IndependentEvents）：若事件A和事件B满足：则称事件A和B是独立的。

条件概率与独立事件独立事件的发生是互不影响的：设两个事件A,B是独立的，且A

发生的概率不为0，根据独立事件的定义，有：根据条件概率的定义，有：因而我们可以得到：这说明事件A的发生与否不会影响到事件B的发生，这就是独立事件的意义所在。

条件概率与独立事件全概率公式（Lawoftotalprobability）：若事件B1,B2,···,Bn

两两互斥，且，其中S为样本空间，则对S中的任意事件A有：在条件概率定义的基础上，我们通过引入全概率公式可以得到贝叶斯公式。

贝叶斯定理（Bayes’Formula）：若事件B1,B2,···,Bn

两两互斥，且，其中S为样本空间，则对S中的任意事件A有：其中，事件A,B1,B2,···,Bn发生的概率均不为0。

随机变量随机变量（RandomVariable，R.V.）是实验结果的数字化表示，随机变量一般用大写英文字母表示。随机变量的本质是一个函数映射，实验样本空间作为自变量，输出的实数集合R作为因变量。随机变量的数学表示为。随机变量可以分为：

(1)离散随机变量（DiscreteR.V.），取值为有限个或可列无穷多个。

(2)连续随机变量（ContinuousR.V.），取值为不可列无穷多个。

期望与方差数学期望（Expectation），简称期望，亦可称为“均值”，是随机变量所有可能取值的概率加权平均，用概率来对未知的事件进行预估。离散随机变量期望：设离散随机变量X的分布律为：

，若级数绝对收敛，那么该级数为离散随机变量X的数学期望，记为E(X)。即：连续随机变量期望设连续型随机变量X的分布律为f(x)，若积分绝对收敛，那么该积分为连续随机变量X的数学期望，记为E(X)。即：

期望与方差方差（Variance）是对随机变量离散程度的度量。在概率论中，方差用来度量随机变量与其数学期望（即均值）之间的偏离程度。

通常用来度量随机变量X与其期望E(X)之间的偏离程度。若存在，则称其为X的方差，记为D(X)或Var(X)，即：随机变量X

的方差计算公式为：

方差计算公式推导过程概率分布概率分布（ProbabilityDistribution）是一个函数，描述了随机变量所有可能取值的相应概率。(1)离散概率分布（DiscreteProbabilityDistribution），描述了离散随机变量的概率分布；离散概率分布由概率质量函数（ProbabilityMassFunction,PMF）进行刻画。概率质量函数的值即为离散随机变量在各特定取值上的概率。下面是PMF的数学定义：随机变量X=x的概率为：

(2)连续概率分布（ContinuousProbabilityDistribution），描述了连续随机变量的概率分布。连续概率分布由概率密度函数（ProbabilityDensityFunction,PDF）进行刻画。概率密度函数本身的值表示一个连续随机变量在某个特定取值点附近的可能性，而不是概率。只有对连续随机变量的概率密度函数在某区间内进行积分后才是概率。下面是PDF的数学定义：对于一维的实随机变量X,设它的累积分布函数。若存在可测函数，且同时满足

，则X是一个连续型随机变量，并且是它的概率密度函数PDF。

大数定律概率模型是随机现象的数学表示，它由样本空间、样本空间内的事件以及每个事件的概率所定义。统计则是指通过大量实验去建立概率模型的过程。

大数定律

当我们进行一项实验时，随着实验次数n的增长，随机事件A的发生频率总是会呈现出一种稳定的状态，通常稳定于某一常数附近。弱大数定理（辛钦大数定理）设一独立同分布的随机变量序列{Xi,i>1}，当Xi,i=1,2,···的数学期望E(Xi)=µ存在时，那么Xi

服从大数定理。当前n个数学均值，任意ε

＞0时，其公式有：由公式可知，当n的大小趋向于正无限时，事件发生的概率将呈现接近1的趋势（几乎必定发生）。也就是说，如果独立分布的随机变量都具有期望均值µ，那么算术平均在n

很大时将很有可能接近µ。

大数定律伯努利大数定理设为n重伯努利试验中事件A发生的次数，p为实验中事件A每次发生的概率，则在任意正数ε>0，有：

或根据公式结果，我们得知在任意ε>

0，当独立实验的重复次数n

向无限大的方向发展时，事件

是一个小概率事件，可推断这一事件是几乎不可能发生的。这一定律描述了频率的稳定性，其真正含义是，当实验次数很大时，事件频率即可替代事件概率。

随机过程随机变量是将随机试验结果映射为数值的函数，随机变量的数学表示为：随机过程可简单地理解为随时间变化的随机变量，其取值随时间而变化。例如，某商店在某一时间接待顾客人数是随机变量X，在不同的时间t，X(t)的取值不同，这里

的X(t)就是一个随机过程。当给定一个具体时间t0

时，随机过程X(t)退化为一个随机变量。也就是说，以时间t为自变量的随机函数X(t)就是随机过程，随机过程的数学表示为

基本概念给定概率空间和实数参数集T，对任意一个给定的是定义在概率空间

上的随机变量，则称随机变量族是上的一个随机过程，一般简记为

在实际应用中，实数参数集T通常为时间，下面统一将参数t

称为时间。若固定时间就是一个定义在概率空间上的随机变量。若固定状态就是一个关于参数的函数，通常被称为样本函数。根据参数集和状态空间的不同类型，随机过程可以分为以下四类：(1)离散时间离散状态随机过程；

(2)离散时间连续状态随机过程；

(3)连续时间离散状态随机过程；

(4)连续时间连续状态随机过程。除了上述分类方法外，随机过程还可以根据其统计特征或概率特征进行分类，比如平稳过程，独立增量过程，平稳增量过程和马尔科夫过程等。

基本类型严平稳过程随机过程

且，若对任意实数具有相同的联合分布函数，即：则称为严平稳过程，或狭义平稳过程。当随机过程为严平稳过程时，其有限维分布不随时间的推移而发生变化。

基本类型平稳增量过程随机过程且，若对任意与具有相同的分布函数，则称为平稳增量过程。

独立增量过程随机过程且，若对任意正整数n，随机变量是相互独立的，则称

为独立增量过程。若随机过程同时满足平稳增量和独立增量的条件，则称其为平稳独立增量过程。

马尔科夫过程马尔科夫过程马尔科夫过程是一个具有马尔科夫性（无后效性）的随机过程。其未来的状态，只与当前状态有关，而与过去的所有状态无关。随机过程且，若对任意自然数n，随机过程

满足如下马尔科夫性：则称

为马尔科夫过程。在已知现在状态的情况下，具备马尔科夫性系统的未来状态只与现在状态有关，而与过去的所有状态无关。

马尔科夫链的状态分类状态离散的马尔科夫过程被称为马尔科夫链。马尔科夫链{X(n,s),n∈T,s∈S}通常被简记为{Xn}，其时间参数集T={1,···,n,···}

是离散的时间集合，状态空间S={s1,···}是离散的状态集合。

为了方便介绍，下面将状态空间中的状态值简记为{1,2,···}。若马尔科夫链{Xn}在第n次随机试验（通常被称为第n步）处于状态i（i∈N），则记为Xn=i。

马尔科夫链{Xn}，从第n步的状态i转移到第n+1步的状态j的转移概率定义为当马尔科夫链{Xn}的转移概率pij(n)与时间参数n无关时，马尔科夫链{Xn}具有平稳转移概率。

马尔科夫链的状态分类齐次马尔科夫链若，马尔科夫链{Xn}的转移概率pij(n)与所处时刻n无关，即：则称马尔科夫链{Xn}是齐次的（Homogeneous），此时转移概率pij(n)可简记为pij

。齐次马尔科夫链，其状态空间S={1,2···}，转移概率矩阵为依据转移概率的性质可对齐次马尔科夫链的状态进行分类。

平稳分布平稳分布

，若

，则称概率分布为齐次马尔科夫链{Xn}

的平稳分布（或极限分布）。