《随机信号分析》PPT课件.ppt

南京航空航天大学,信息科学与技术学院,常建平,随机信号分析,另外，信息在传输的过程中，不仅 传输的信号多数本身具有随机性，同 时它们还要受到传输系统（随机）噪 声的影响，使结果具有更加复杂的 随机性。如果使用经典的、确定信号 的理论与方法，必然是“张冠李带” 无法得到正确的处理结果。,序,随着科学技术的进步，人们越来越发现，在自然界中所 遇到的大量信号均属于随机信号。如：,随机信号是通信、信号与信息处理、自动控制等学科领域必须研究的信号形式。比如我们电子信息类专业的后修课程中需要对随机信号进行处理的课程有：通信原理、雷达原理、数字信号处理、信息论、图像信号处理、语音信号处理、线性控制系统等等课程。,随机信号分析与处理是一门研究随机信号的特点与规律的学科，它广泛应用于雷达、通信、自动控制、随机振动、地震信号处理、图像处理、气象预报、生物电子等领域。近几年来，随着现代科学技术，特别是信息科学技术的发展，随机信号处理已是现代信号处理的重要理论基础和有效方法之一。 然而随着现代化发展的需要，掌握这套方法，已不仅仅是我们通信、信息类专业的要求，也已成为所有科技领域、金融、管理、生物医学等许多专业的需要。,课程的特点与研究方法,学会用统计的观点来看研究对象随机信号 由于随机信号是随机变化和不确定的，只有它的统计规律才是确定的，因此对随机信号而言，从描述方式、推演方式到分析方法都是在统计意义上讨论与定义的。所以必须学会用统计的观点来看所有随机的问题。 学习时必须注重物理概念的理解 该课程是电子信息类和相关专业的一门专业基础课程，不是一门数学课程，课程中用到的许多数学理论是处理随机信号问题的数学工具。因此，学习时除了注意处理随机信号的方法外，更重要的是深入理解数学推演结果、结论的物理意义。对一些复杂的数学推演的中间步骤不必死记硬背，更不必深究其数学上的严密性，重在弄清楚来龙去脉，掌握分析的思路与方法。,1.1 概率空间,随机试验 在相同条件下可以重复进行；每次试验的可能 结果不止一个；在试验前不能预测哪个会出现。,随机事件 随机试验中可能出现的结果。,基本事件 随机试验中的“不可能再分的”最小的随机事件。 又称“样本点” 。,样本空间 随机试验中所有可能结 果“样本点”的集合。,第 1 章 概率论 常建平,一、 事件的运算 （事件的关系）,A,事件A发生必然导致事件B发生的事件称事件B包含事件A。记：BA,B,A与B中，只要有一个发生且发生的事件称A与B的“和事件”。记：AB,A与B同时发生才发生的事件称A与B的“积事件”记：AB,B,A,A,B,AB,A与B不可能同时发生的事件称A与B“互不相容”。记：AB（空集）,A发生，而B不发生的事件称A与B的“差事件”。记：AB,B,A,B,A,A不发生的事件称事件A的“逆”。 记： A A A,A,二、 概率的定义,若某一个随机试验E (1). 它的全部可能结果样本空间中所有样本点 数只有有限个。 (2). 每个结果的发生是等可能的。 那么，E中任意事件A发生的概率P(A)为：,1、 概率的古典定义,2、 概率的几何定义,将某一个随机试验E(含有无穷多个样本点)的样本空间，用m维空间中某一个有界区域表示，而对这一区域的大小的“度量”用L()表示，(它可以是一维空间的长度，二维空间的面积，三维空间的体积)。,A,若随机试验E等效为均匀地向区域投掷一随机点。事件A (的子集）等效为中任一可能出现的小区域，L(A)是A的度量。由于是均匀投掷的随机点，所有样本点的发生是等可能的。因此随机点落入区域A的概率则为“度量”之比：,区间A的度量,区间B的度量,3、 概率的统计定义,随机事件A在某组的n次试验中出现nA次，比值 称作事件A在这组的n次试验中出现的频率。 定义：在试验E的n次重复试验中，事件A发生的概率：,频率具有随机性，当n有限时，这组的n次试验中的频率f n(A)与下一组的n次试验中的频率f n(A)可能不同。但概率P(A)却是固定不变的。频率f n(A)只有在n时，才趋于概率。,在概率论的发展史上，人们曾针对不同问题，从不同角度给出了概率的三种定义和计算方法。这三种定义和计算方法都具有各自的适用范围，存在一定的局限性，但在三种定义下概率的性质却是完全相同的。因此，人们从概率的性质出发，给概率赋予一个新的数学定义，即概率的公理化定义。这个定义只指明概率应具有的基本性质，不具体规定概率的计算方法。,4、 概率的公理化定义,事件域 F 是由样本空间 中的某些子集构成的非空集类。集类是指以集为元素的集合。,若定义在事件域 F 上的一个集合函数 P 满足下列三个条件： 非负性： 规范性： 完全可加性：若 且两两互不相关时，有,则称 P 为概率。样本空间 事件域 F 和概率 P 构成的总体 称为随机试验 E 的概率空间。, 单调性：若 ，则,5、概率的性质 给定概率空间 ，从概率的公理化定义的三个条件，可以推出概率的性质： 不可能事件的概率为 0， P()=0 必然事件的概率为 1， P()=1 逆事件的概率为， 有限可加性：若 ，且两两互不相容，则, 加法公式： 次可加性：,1.1.2 条件概率,P(A/B)-在B事件已发生的条件下，A事件发生的概率。 可以看成是在缩小的“样本空间 B”上,求A发生的概率。 即：,B,A,一、条件概率的定义,同理可得：,若A于B 互不相容 P(AB)=0，则P(A/B)=0，P(B/A)=0。,且有：,AB,B,合格品数 次品数 总数 第1台 35 5 40 第2台 50 10 60 总计 85 15 100,由条件概率公式求， 利用缩小的样本空间 来求，,例1.2 两台车床加工同一种零件，从这100个零件中任取一个.设取得合格品为事件A，取得的是第1台加工的为B1，取得的是由第2台加工的为B2。求由各台车床加工时，出合格品的概率？,解：由第一台加工出合格品的概率为 ，由第一台加工出合格品的概率为 ，由概率的古典定义：,由条件概率公式可推出： P(AB) = P(A/B) P(B) P(B/A) P(A) 以此类推可得：,二、条件概率的基本公式 1、乘法公式,例1.3 一批零件共100个，次品率为10。每次从其中任取一个，取出后不再放回，求第三次才取得合格品的概率？ 解：设第一次取出零件是次品为事件A1，第二次取出零件是次品为事件A2，第三次取出零件是合格品为事件A3。,由乘法公式求出,2、全概率公式,A,B1,B2,Bi,Bn,解：设一批产品中有 i个次品的事件为 。则有,例1.4 某工厂生产的产品以100个为一批。在进行抽样检查时，只从每批中抽取10个来检查，若发现其中有次品，则认为这批产品不合格。假定每批中的次品最多不超过4个，且有如下分布，求各批产品通过检查的概率？ 一批产品中的次品数 0 1 2 3 4 概率 0.1 0.2 0.4 0.2 0.1,设事件A表示这批产品通过检查，即抽样检查的10个产品都是合格品。则,由全概率公式求出,3、贝叶斯（Bayes）公式 设事件A已发生，而事件A发生是由事件B的发生所引起的概率为,其中 是完备的事件群,后验概率,例1.5（例1.2续） 求：取出的合格品是由第一台车床加工的概率？ 解：取出的合格品是由第一台车床加工的概率,由Bayes公式求出,比较由前得出的 与 可见，尽管第一台车床加工时，出合格品的概率比较高，担由于第一台加工的零件个数少于第二台加工零件的个数。所以，取出的合格品是由第一台车床加工的可能性却比较小。,二、两个事件的相容性（属集合论范畴） 两个事件互不相容表示两个事件不能同时发生。 如果把“A与B互不相容”放在概率论范畴去讨论， 则表示“A发生B就不能发生”。因A限制了B，则A与B相关。 反之，若把“A与B相互独立”放在集合论范畴去讨论， 由于P(AB)=P(A)P(B) 0, P(A) 0,P(B) 0， 即A B , 由于A与B可以同时发生，则A与B必定相容。,1.1.3 事件的独立,一、两个事件独立 A发生的概率与B发生与否无关。即P(A/B)P(A) B发生的概率与A发生与否无关。即P(B/A)= P(B) 由乘法公式P(AB)=P(A/B)P(B) P(B/A) P(A) P(A) P(B),三、多个事件相互独立 定义：设 是 n个事件，若对于任意 有,习题：1-2，1-4，1-5，1-6，1-7，1-8,如A,B,C相互独立的条件： P(AB)=P(A)P(B), P(AC)=P(A)P(C ) P(BC)=P(B)P(C ), P(ABC)=P(A)P(B)P(C ),则称事件 是相互 独立的。 易见，若 相互独立，则它们之中任意m(mn)个事件也一定相互独立。特别当 相互独立时，它们之中的任意两个事件也都相互独立（即两两独立）；反之则未必成立，即 n个事件 两两独立并不等于它们全体相互独立。,1.2 随机变量,一、离散型随机变量（X取离散值） （1）分布律（分布列）随机变量X 取各个可能值的概率。,（2）分布函数 随机变量 X 取值落在 上的概率。,分布律也可用表格的形式表示:,（3）性质,右连续,求 ： ,例 1.10 已知：,解：,解：由分布函数的图可得,二、连续型随机变量(X取连续值）,右连续,三、常用的连续型随机变量,1.3 多维随机变量及其分布,在实践中经常会遇到需要多个随机变量才能描述清楚的随机现象。,例1.14 设某地面卫星站接收到的随机信号的所有可能状态有10种.若用十进制数表示，则此信号的状态是一个一维随机变量X，值域：I=0, 1, 2, , 9 。若用二进制数表示，其10个状态 I=(0000), (0001),(0010),(1001)。此状态必须用四维随机变量 (X1, X2,X3, X4)或用四维随机矢量 描述：,一般 n 维随机变量：,也可以用 n 个分量的随机矢量表示为：,一、二维随机变量,1、定义 定义在同一个概率空间 上的两个随机变量(X,Y) 为二维随机变量。 2、二维随机变量的分布函数 定义随机变量取值，X、Yy这样一个联合事件的概率,为(X,Y)的联合分布函数。,联合分布函数的性质：,3、联合概率密度,性质：,例1.15 设二维随机变量( X,Y)的概率密度 求：分布函数？落在如图所示的三角形域G内的概率？,解：分布函数,落在三角形域G内的概率,利用阶跃函数 与冲激函数 ，离散型二维随机变量的联合分布函数可以表示为,4、离散型二维随机变量 若二维随机变量( X,Y)所有可能取值为可列有限对或无限对 则联合分布律为：,其中,离散二维变量的联合概率密度可表示为,离散变量的分布函数：,二、二维随机变量的边缘分布、条件分布 1、边缘分布函数和边缘概率密度,二维连续随机变量(X,Y)关于X的边缘分布函数为,二维连续随机变量(X,Y)关于X的边缘概率密度为,二维离散随机变量(X,Y)关于X的边缘分布函数为,二维离散型随机变量(X,Y)关于X的边缘分布律为,2、条件分布函数和条件概率密度 在给定 条件下，Y的条件分布函数为,在给定 条件下，Y的条件概率密度为,在给定 条件下，X的条件分布函数为,在给定 条件下，X的条件概率密度为,(2) 离散型随机变量的条件分布律,在给定 条件下，Y的条件分布律,因此有：,性质 条件分布函数的性质：,条件概率密度的性质：,三、随机变量的统计独立 由于 所以独立的条件：,当X与Y相互独立时，有,离散型随机变量独立的条件：,思考：X与Y相互独立时，有 当 时：,是否有X与Y乘积的概率密度为,1. n 维随机变量的联合分布函数 性质：1）单调不减性 2） 3） 4）,n 维随机变量的联合概率密度,四、n 维随机变量,性质： 1）,4）,3）,2）,边缘分布函数,（思考有多少个？）,少dx1,n-1重,少dxi,n-3重,少dx1, dx2 dx3,4、边缘概率密度,5、条件概率密度： n 维随机变量(X1, , Xn-1 ,Xn)在X1, ,Xn-1给定的条件下的概率密度：,2 维随机变量(X1,X2)在 X1 给定的条件下的概率密度：,得递推公式:,n 维随机变量(X1, Xn-2, Xn-1)在 X1, ,Xn-2 给定的条件下的概率密度：,3 维随机变量(X1,X2,X3)在 X1, X2 给定的条件下的概率密度：,如果X1,X2,Xk之间相互独立，则,所以X1,X2,Xn之间相互独立的条件为：,上式两边同时对 求积分,可得：,上式两边同时对 求积分,条件概率密度无条件概率密度,可得：,以此类推可得：,即：只要满足条件 则满足所有条件。,且随机变量 相互独立，则四维随机变量的概率密度,例1.16 四维随机变量(X1,X2,X3,X4)中各随机变量相互独立，且 都服从(0,1)上的均匀分布。 求：四维随机变量的联合概率密度 边缘概率密度 条件概率密度 和 解：,Xi服从(0,1)上的均匀分布，则Xi的概率密度为,因为随机变量 相互独立，所以条件概率密度为,同理可知关于 的边缘概率密度为,1.4 随机变量函数的分布,由于概率是正值，所以取绝对值。,一、一维随机变量函数的分布 1、单值变换,2、多值变换,若一个Y对应多个 X1,X2,X3, ，则由概率的可加性得：,当 时， 为不可能事件，所以 其概率密度 ；,例1.18 已知随机变量X服从标准高斯分布， 求随机变量 的概率密度？ 解：X与Y间的反函数关系为： 其反函数的导数,当 时， 为可能事件，反函数为 是双值变换。已知 X 服从标准高斯分布，则 Y的概率密度为,综合可得：,二、二维随机变量函数的分布,称之为 分布。,即：高斯变量的平方服从 分布。,1、单值变换,利用数学中的坐标变换Jacobian变换,例1.19 设二维随机变量(X1,X2)的函数 (X1,X2)的联合概率密度：,求： 新二维随机变量(Y1, Y2)的联合概率密度 边缘概率密度 ，并说明Y1, Y2是否相互独立？ 解： 据( X1,X2)与( Y1,Y2)的函数关系， 找出唯一反函数：,则其雅柯比值为,可以根据( X1,X2)与( Y1,Y2)的函数关系，将(X1,X2)的值域映射到 平面，找出(Y1Y2)的值域。,可得：,将(X1,X2)的值域(x10, x20)映射到 平面，找出( Y1, Y2)的值域。,( Y1, Y2 )的值域 （Y10, |y2|y1 ) 或 0|y2|y1,因此,由边缘公式：,习题：112，113，114，115，116,2、多值变换,n 维随机变量函数变换 设函数 存在 唯一反函数,Jacobian,例1.20 设已知n维随机变量的概率密度 求n维随机变量和 的概率密度 ？,解：,1.5 随机变量的数字特征 1.5.1 随机变量及其函数的数学期望 一、一维随机变量的数学期望,二、一维随机变量函数的数学期望 由已知随机变量X的分布 ，求其函数Yg(X) 的数学期望。 由于,1、当g()是单值变换时 因为 所以,2、当g()是多值变换时,其中,无论g()是单值还是多值变换，函数g(X)的期望为：,例1.22 随机变量X在区间(a,b)上均匀分布，求 的数学期望。 解：由于X 服从均匀分布，概率密度为,函数的期望,三、二维随机变量及其函数的数学期望 1、二维随机变量的数学期望 设二维随机变量(X,Y)的联合概率密度 已知，其二维概率质量分布的“重心坐标”应该为,2、二维随机变量函数 的数学期望,当(X,Y)是离散随机变量时，函数 的期望为,例1.23 设 n 维随机变量 X1, ,Xn 的函数 其中权重 ai 是常数。求函数的期望 ？,即，随机变量和的期望随机变量期望的和,例1.24 设 n 维随机变量X1, ,Xn的函数 其中n个变量独立。求函数的期望 ？,即，独立随机变量积的期望独立随机变量期望的积,六、数学期望的基本性质,(1) 若a Xb, (a,b为常数),则a EX b (2) 常数C的期望 EC=C (3) (ai，b 为任意常数) (4) 若X1,X2,Xn相互独立，则,1.5.2 条件数学期望 设(X,Y)是定义在同一概率空间上的二维连续型随机变量。 若已知Y关于X的条件概率密度 ，则由期望的定义可得Y关于X的条件期望。,(5) 若X与Y互不相关，则,一、随机变量关于某给定值的条件期望,同理有：,二、一个随机变量关于另一个随机变量的条件期望,例1.25 已知随机变量X服从(0,1)的均匀分布，随机变量Y服从 (X, 1)上的均匀分布。求：条件期望 ， 解：根据已知条件，在给定条件 下，随机变量Y的条件概率密度,条件期望,用随机变量X 替换给定值 ，则条件期望 是随机变量X的函数，也是个随机变量。因为随机变量X服从(0,1)的均匀分布，函数1X服从(1,2)的均匀分布，则函数(1X)/2服从(1/2，1)的均匀分布 ，即 服从(1/2，1)的均匀分布。,由上可以看出， 是关于给定值 的函数。,1.5.3 随机变量的矩和方差,3、方差的性质,DC=0 C为常数时 DX 0 DCX=C2 DX 仅当X1,Xn互不相关时， DX1X2 Xn=DX1+DX2+DXn (5) 对于一切实数 ，有,三、随机矢量的方差,补充题：证明公式（1158），（1159），（1160）， 并说明哪个是随机变量？哪个是确定函数？哪个是数值？,习题：119、120、121,1.5.4 相关、正交、独立 一、相关系数 1、两个随机变量相互关系的描述 若X与Y独立，X的取值与Y的取值没有任何关系，则X与Y在 平面上没有样本点 存在。 若X与Y相关，对于X取的每一个值都有Y取的值与其对应。因此，X与Y在 平面上有样本点 存在。,X与Y取值的相关图，直观的反应了X与Y之间如何相关的情况。若要找到X与Y在数学上的关系，则要设法找到这些相关点密集分布所围绕的“回归线”。如果这条回归线是“直线”则称X与Y“线性相关”，如果这条回归线是“曲线”则称X与Y“非线性相关”。 找“线性回归线”最常用的方法是，用一根直线去“逼近”这些相关点 的“分布”。由X在这条直线上的取值预测Y可能的取值Yp。自然Yp不是Y，如果这根直线“最逼近”回归线，则必然使得均方误差 最小！,2、X与Y之间线性相关系数的定义：,3、相关系数的性质：,二、不相关、独立、正交,2、不相关、独立和正交的关系,例 1.27,1.5.5 随机变量的特征函数,一、特征函数定义,二、特征函数的性质 1. 有界性： QX (u) QX (0)=1,2、连续性： 特征函数QX (u)是实变量 u 在 上的连 续函数。,3、特征函数是实变量 u 的复值函数,证明：,4、函数的特征函数 当X的特征函数QX (u)已知时，函数Y=aX+b的特征函数QY (u),5、相互独立的随机变量 的和 的特征 函数 等于各个变量特征函数的乘积,独立随机变量乘积的期望期望的乘积,例1.30 求高斯变量的特征函数,=,先介绍一个积分公式 (复变函数积分的应用公式),特征函数性质 6 (1)若X的n阶绝对矩存在，则它的特征函数QX (u)有n阶导数存在 (2)且当1Kn时，有EXk =,证明（1）： X的n阶绝对矩存在指,例1.31 求二项分布的特征函数、期望、方差。 二项分布Y 代表 n 重贝努利试验 ( n 次重复的 独立试验)中某随机事件A发生的次数。 设： p 每次试验中A事件发生的概率。 q=(1-p) 每次试验中A事件不发生的概率。,三、特征函数与概率密度的关系,四、 多元特征函数 若n维随机变量 用随机矢量 表示， n个参变量 用矢量 表示，据定义,n维随机变量 的 联合特征函数,n维随机变量 的 联合特征函数的逆转公式：,五、 性质 1、 2、 3、,当矩阵 是 阶对角阵， 是 维列矢量时， 是n维随机矢量,(多元),5、 由 独立的条件：,由唯一性可得 独立的另一条件为：,当矩阵 是 阵， 是一常数 时， 是一维随机变量,其特征函数为,(一元),6、若 的特征函数为 则任取其中k个 (kn)变量的联合特征函数为： 称为n维随机变量的边缘特征函数。,7、如果X1,X2的联合原点矩 存在，则有 ：,8、若对所有 n=0,1,2,以及所有k=0,1,2, ，X1,X2的各阶联 合原点矩 均存在。则 X1,