随机过程第一章

1、主讲教师：何松华 教授 联系电话：(0731）82687718电子信箱： 应用统计学与随机过程应用统计学与随机过程( (通信专业通信专业) ) Applied Statistics and Random ProcessApplied Statistics and Random Process 湖南大学教学课件：应用统计学与随机过程 概述 1. 概 述兼概率论复习 (6学时) 1.1 不确定性事件不确定性事件 1.2通信与电子系统中的不确定性通信与电子系统中的不确定性 1.3 含噪信号的最优处理问题含噪信号的最优处理问题 1.4 随机变量及其数字特征随机变量及其数字特征

2、 1.5 随机变量函数的概率密度分布随机变量函数的概率密度分布 1.6 随机变量的特征函数随机变量的特征函数 不确定性事件不确定性事件 1.1 客观世界中的两大类规律：客观世界中的两大类规律： 1.1.确定性事件中蕴涵的确定性规律 2.2.不确定性事件中蕴涵的统计性规律 确定性事件及确定性规律：确定性事件及确定性规律： 1.1.因果律 确定的原因产生确定的可预知的结果 “如果苹果从树上掉下(B),则肯定往下掉到地上(A)” if B then A ProbA|B=100%, Prob|B=0% 湖南大学教学课件：应用统计学与随机过程 概述 2.2.排中律 事物归属关系的确定性,非此即彼 “我(

3、x)现在是湖南大学的教师(A)” I：论域（被讨论的对象的全体范围） AB=（空集），AB=I if xA then uA(x)=100%,xB, uB(x)=0% if xB then uB(x)=100%,xA, uA(x)=0% 湖南大学教学课件：应用统计学与随机过程 概述 3.3.恒等律 事物(A,B,C,)之间相互约束关系的确定性 “三角形的三个内角之和为180度” R（A，B，C，）= Constant 4.4.守恒律 事物(A,B,C,)(a,b,c,)之间转换或交换过程中 的确定性 “物质不灭,能量守恒” R1（A，B，C，）= R2(a,b,c,) 5.5.周期律 事物在有限

4、域内变化的重复性 “物极必返” if A=N,MN,xiA(i=1,2,M) then 存在 i1i2,xi1=xi2 毛泽东：打破周期率；江泽民：与时俱进，三个代表 湖南大学教学课件：应用统计学与随机过程 概述 不确定性事件及不确定性：不确定性事件及不确定性： 1.1.随机性,因果律的一种破缺 随机试验：可以在相同条件下重复进行,每次试验的 结果是事先不可预测的,所有可能的结果不止一个，但 每次试验的结果是唯一的, 这样的试验称为随机试验。 随机事件：在随机试验中，对于1次试验可能发生也 可能不发生、但在大量重复的试验中按一定规律发生的 某种事情，称为随机事件。 基本事件：在随机试验中，最简

5、单、不可再分、互 不相容的事件称为基本事件。 湖南大学教学课件：应用统计学与随机过程 概述 例如:不同的人通 过测量苹果落地的 时间获得树的高度 “随机试验”举例：袋中有编号为0到5的6个乒乓 球，从里面随机地拿出一个，观察结果后再放回；反 复进行试验。 6种基本事件：(1)拿到编号为0的球；(2)拿到编号 为1的球；(3)拿到编号为2的球；(4)拿到编号为3的球 ；(5)拿到编号为4的球；(6)拿到编号为5的球。 “随机事件”举例：拿到编号大于4的球(在一次试 验中可能发生也可能不发生；在大量重复的试验中发 生的比例约为1/3) “基本事件”是随机事件的特例。 所有基本事件的组合称为随机试验

6、的“样本空间” 。 湖南大学教学课件：应用统计学与随机过程 概述 不确定性事件及不确定性：不确定性事件及不确定性： 2.2.模糊性,排中律的一种破缺 事物之间归属关系的不确定性，不能确定某个对象 肯定属于某个集合或肯定不属于某个集合，但能够确定 对象属于某个集合的程度。 模糊性举例：论域 I=各种不同年龄x的人 模糊集合 =年轻人 1 （0 x 24） u(x)= 1+（x-25）/52-1（25 x） 年龄x越大，则归属于年轻人的隶属度u(x)就越小。 湖南大学教学课件：应用统计学与随机过程 概述 通信与电子系统中的不确定性通信与电子系统中的不确定性(随机性随机性)1.2 湖南大学教学课件：

7、应用统计学与随机过程 概述 由于信道噪声的存在(电子的布朗运动)，确定的传 输系统对确定的传输信号并不产生确定的响应。 传输系统h(t) 传输信号X(t) 响应 Y(t) 信道噪声(t) Y(t)= X(t)h(t)+ (t) (卷积） (t)的取值是随机的、不可预测的，则Y(t)也是随 机的、不确定的。 通信电子系统中的不确定性所带来的问题：通信电子系统中的不确定性所带来的问题： 1.1.信号的检测问题 在数字通信中，0，1编码用不同的两种波形 进行传输;接收端信号为Y(t) H0：（传输 0 编码信号） Y(t)= X0(t)h(t) + 0(t) H1：（传输 1 编码信号） Y(t)=

8、 X1(t)h(t) + 1(t) 怎样从接收信号Y(t)中判断出发送端传输的信号是 X0(t) 还是X1(t) ？ 如何将假设检验理论应用于通信电子系统? 湖南大学教学课件：应用统计学与随机过程 概述 2.2.信号及系统参数的估计问题 湖南大学教学课件：应用统计学与随机过程 概述 系统h(t，2) A(t，)+ (t) a(t，1) Y(t)=a（t，1) h(t，2) + (t) 1：信号参数矢量(K个参数) 2：系统参数矢量(M个参数) 问题：Y(t)、 (t)是不可预知的随机过程，怎样从接 收信号Y(t)的有限个采样值Y(0)、Y(T)、Y(N-1)T 求得1、 1的最佳估计呢？简单的

9、方程K+M个联立 为什么不能求得统计意义上的最佳估计？ 3.3.最优滤波器的设计问题 湖南大学教学课件：应用统计学与随机过程 概述 问题：Y(t)、 (t)是不可预知的随机过程，采 用什么样的滤波器h1(t)，使得含噪失真信号Y(t) 通过该滤波器后，其输出信号与X(t)最逼近？ minimum EY(t) h1(t)-X(t)2 h1(t) 传输系统h(t) 传输信号X(t) 响应 Y(t) 信道噪声(t) 滤波器h1(t) 含噪失真信号 Y(t) 恢复信号Z(t) 4.4.系统的性能评估以及信号波形参数的设计问题(自学) 湖南大学教学课件：应用统计学与随机过程 概述 已知信道噪声(t)的统

10、计特性平均值、方差、相 关函数、概率分布等，要求在给定接收端检测性 能的情况下对传输信号的波形进行设计。 举例：军用雷达目标检测 H0：（无目标） Y(t)= (t) H1：（有目标） Y(t)= kAs(t-2R/c)+ (t) s(t)：宽度为的正弦脉冲,R:目标距离,c:光速，k ：信号传输衰减系数;要求虚警概率Pf=P（H1H0） =10-7，已知(t)服从N(0，2)，如何对发射信号的幅 度A、脉冲宽度进行设计？ 5.5.噪声背景中的最优预测问题(自学) 湖南大学教学课件：应用统计学与随机过程 概述 举例：军用雷达机动目标状态(距离、速度)预测 测量方程：Y(n)= A(n) + (

11、n) n0,N-1 Y(n):n时刻目标距离的测量值(已知) A(n):n时刻实际的目标距离值(未知) (n):测量误差(随机过程,概率分 布密度函数及相关特性已知) 目标运动状态方程：A(n+1)=A(n)+TV(n)+ (1/2)T2W(n) V(n+1)=V(n)+TW(n) V(n):目标第n个时刻的速度(未知) T :时间采样间隔 W(n):目标的加速度扰动(概率密度、相关性已知) 假设为带 有加速度 扰动的匀 速运动 如何预测 目标未来 状态? A(n),V(n) (nN-1) 社会及国民经济领域中的统计问题举例社会及国民经济领域中的统计问题举例 1.1.19世纪末中华民族无人能解

12、的一个简单问题 湖南大学教学课件：应用统计学与随机过程 概述 加拿大山猫年捕获量数据加拿大山猫年捕获量数据 (1821-1878)(1821-1878) 269,321,585,871,1475,2821,3928,5943,4950,2577,523,98, 184,279,409,2285,2685,3409,1824,409,151,45,68,213,546, 1033,2129,2536,957,361,377,225,360,731,1638,2725,2871, 2119,684,299,236,245,552,1623,3311,6721,4254,687,255, 473,3

13、58,784,1594,1676,2251,1426,756,299 假设今年为假设今年为18781878年年, ,请根据历史数据建立预测模型请根据历史数据建立预测模型, , 得到得到 明年及明年及1880,1881,1882,18831880,1881,1882,1883五年内的山猫捕获量的预测五年内的山猫捕获量的预测. . 有限次差 分后平稳 2. 2. 现在一个很容易解决的问题 湖南大学教学课件：应用统计学与随机过程 概述 举例举例: : 某城市居民季度用煤消耗量某城市居民季度用煤消耗量 ( ( 单位单位: : 吨吨 ) ) 请预测请预测19971997年度每个季度的用煤消耗量年度每个季

14、度的用煤消耗量 年份1季度2季度3季度4季度年平均 19916878.45343.74847.96421.9 5873.0 19926815.45532.64745.66406.2 5875.0 19936634.45658.54674.86645.5 5853.3 19947130.25532.64898.66642.3 6073.7 19957413.55863.14997.46776.1 6262.6 19967476.55965.55202.16894.1 6384.5 非平 稳随 机过 程: (1) 趋势 项; (2) 季节 (周期) 项 含噪信号的最优处理问题含噪信号的最优处理问题

15、 1.3 湖南大学教学课件：应用统计学与随机过程 概述 信号处理的主要研究内容信号处理的主要研究内容 从噪声背景中检测感兴趣的信号、提取信息或对信号 的参数进行估计图像处理、语音信号处理、数据处理 最优信号处理方法最优信号处理方法 信号处理的方法不仅与信号本身的特性有关，还与噪 声背景的统计特性(概率密度分布、功率谱等)密切相关 ；从事通信与电子系统领域研究的人员除了掌握确定性 的信号与系统分析方法外，必须了解噪声等随机过 程的特性，掌握各种统计方法在信号处理中的应用 信号处理方法举例1：最优预测 湖南大学教学课件：应用统计学与随机过程 概述 设设x(n)( (n=1,2,1,2,) )为离散

16、时间随机信号，为离散时间随机信号，n为采样时刻；为采样时刻； 该随机信号的相关函数及功率谱定义为该随机信号的相关函数及功率谱定义为 ( ) () ( ) x R mE x n m x n (数学期望) ( )( ) (-) j m x m Px m e 25 5 4cos( ) ( ) 9 17 8cos(2 ) x P 如果该随机信号的功率谱密度函数为如果该随机信号的功率谱密度函数为 则最优的因果则最优的因果IIR 3IIR 3步预测方程为步预测方程为 湖南大学教学课件：应用统计学与随机过程 概述 其中其中 ( 3)(0) ( )(1) (1)(2) (2) .x nhx nhx nhx n

17、 1 ( ) ( )h nZH z ( (逆逆z z变换变换) ) 11 111 ( )()/(1) 8 162 H zzz 5 4cos( ) ( ) 10 6cos(2 ) x P 如果该随机信号的功率谱密度函数为如果该随机信号的功率谱密度函数为 则最优的因果则最优的因果IIR 3IIR 3步预测滤波器应修正为步预测滤波器应修正为 11 111 ( )()/(1) 692 H zzz 随机信号的最优 预测方法与其统 计特性有关 信号处理方法举例2：最优估计 湖南大学教学课件：应用统计学与随机过程 概述 利用气压计对某栋高楼的高度进行测量利用气压计对某栋高楼的高度进行测量, ,根据甲班各个根

18、据甲班各个 学生的测量结果，该楼高度的测量值的平均值为学生的测量结果，该楼高度的测量值的平均值为h h0 0，变，变 化的范围化的范围( (方差方差) )为为 0 02 2 ，测量值分布接近高斯分布。 ，测量值分布接近高斯分布。 现由乙班对该楼高度现由乙班对该楼高度h h进行测量，进行测量，NN个学生中第个学生中第n n个学个学 生的测量值生的测量值xn, , 第第n n个学生的测量仪器的精度个学生的测量仪器的精度( (误差的方差误差的方差) ) 为为 n n2 2; ;误差服从正态分布误差服从正态分布, ,各观测相互独立。各观测相互独立。 (1) (1) 不参考甲班的测量结果，且假设乙班不同

19、仪器的测不参考甲班的测量结果，且假设乙班不同仪器的测 量精度相同，量精度相同， 1 12 2= = 2 22 2= = N N2 2, ,则高度的最优估计值为 则高度的最优估计值为 湖南大学教学课件：应用统计学与随机过程 概述 1 1 N n n hx N (简单平均) (2) (2) 不参考甲班的测量结果，但乙班每个学生的测量不参考甲班的测量结果，但乙班每个学生的测量 仪器的精度不同，仪器的精度不同，则高度的最优估计值为则高度的最优估计值为 22 11 11 ()/ NN n nn nn hx (加权平均，精度越高，方 差越小，加权系数越大) (3) (3) 参考甲班的测量结果，参考甲班的测

20、量结果，则高度的最优估计值为则高度的最优估计值为 0 2222 11 00 111 ()/ NN n nn nn h hx 在数据统计中如 何利用先验知识 信号处理方法举例3：正弦信号的参数估计 湖南大学教学课件：应用统计学与随机过程 概述 ( )sin()cos() + (n) (0,1,.,-1)x nAnBnnN( 已知已知) 假设观测噪声假设观测噪声 (n)服从零均值正态分布服从零均值正态分布,各观测值之间相各观测值之间相 互独立，求互独立，求A、B的最优估计值的最优估计值 频率已知、幅相未知的正弦信号的参数估计。假设获频率已知、幅相未知的正弦信号的参数估计。假设获 得了正弦信号在得了

21、正弦信号在NN个不同时刻的观测值个不同时刻的观测值 为什么不能 解方程？ 1 111 2 000 111 2 000 sin ()sin()cos()( )sin() sin()cos()cos ()( )cos() NNN nnn NNN nnn nnnx nn A B nnnx nn 仅仅两个参数而已? 信号处理方法举例4：数据的最优平滑(维纳滤波器) 湖南大学教学课件：应用统计学与随机过程 概述 ( )( )( ) (., 2, 1,0,1,2,.)x ns nnn x(n)：测量数据：测量数据(已知已知)； s(n)：需要恢复的信号数据：需要恢复的信号数据(未知未知) (n)：测量误差

22、：测量误差(未知且随机未知且随机)。如何恢复。如何恢复s(n)？ 滤波器h(n) 含噪数据x(n) 恢复的数据s1(n) 2 1 ( ) min ( )( ) h n Es ns n 求解如下的最优化问题：求解如下的最优化问题： 湖南大学教学课件：应用统计学与随机过程 概述 ( ) () ( )( ) j s s P H e PP 其中其中： 1 ( )() j h nFTH e ( ) ( ) () s PFT E s n s nm ( ) ( ) ()PFT Ennm (信号相关函数的傅立 叶变换，信号功率谱) (噪声相关函数的傅立 叶变换，噪声功率谱) 滤波器的单位脉冲响应 社会与经济领

23、域中数据的统计处理方法 1. 统计描述方法 对所收集的数据进行加工处理，计算综合性的统计指 标，描述所研究的随机现象的总体数量特征和数量关系 2. 统计推断方法 在对已获取的数据进行统计描述的基础上，建立预测 模型，对未知的或未来的数据进行推断。 统计研究的作用 (1) 提供决策咨询服务；(2)提供监督服务；(3)提供 其他形式的信息服务 湖南大学教学课件：应用统计学与随机过程 概述 社会与经济领域中的应用统计举例： 移动通信公司之客户保持 已知历史客户(包括离网客户、忠诚客户)的基本属性， 例如：性别、年龄、职业类型、在网时长、发展渠道、缴 费方式、缴费途径、平均每次缴费金额、平均每月话费、

24、 所选套餐类型、. (1)如何确定影响客户是否离网的最主要属性(因素)？ (2)如何根据历史客户数据建立预测模型，预测目前在网 客户的离网可能性？ (3)对离网可能性比较大的客户，应采取何种针对性的营 销或客户保持措施，以最低的活动成本实现客户保持？ 湖南大学教学课件：应用统计学与随机过程 概述 随机变量及其数字特征随机变量及其数字特征1.4 湖南大学教学课件：应用统计学与随机过程 概述 随机变量随机变量 ( (事件事件变量，物理描述变量，物理描述数学问题数学问题) ) 设随机试验E的样本空间 Se，如果对于每一个eS ，有一个实数X(e)和它对应，这样就得到一个定义在S上 的单值实函数X(e

25、)，称X(e)为随机变量，一般简记为X。 举例举例1 1：抛掷硬币：抛掷硬币( (随机试验随机试验E)E) 样本空间 S正面朝上，反面朝上 定义：如果正面朝上，则 X=0；反面朝上，则X=1 则X为随机变量，且取值为离散的，称为离散随机变量 湖南大学教学课件：应用统计学与随机过程 概述 举例举例1(1(续续) ) P(X=0)=0.5 (X取值为0的概率); P(X=1)=0.5 举例举例2 2：用标尺测量长度，最小刻度单位：用标尺测量长度，最小刻度单位1mm1mm 样本空间S=长度测量误差的分布范围 设X为测量值与实际值之间的误差，则X为随机变量，且 取值范围为连续区间-0.5mm,0.5m

26、m ，称为连续随机变 量。 对于本例，PxXy=miny,0.5-maxx,-0.5 (随机变量X取值落在区间x,y)内的概率) 湖南大学教学课件：应用统计学与随机过程 概述 古典概率模型古典概率模型 若某一随机事件可以分解为某些基本事件的组合,则该 事件发生的概率为这些基本事件发生概率的和。 举例：设离散随机变量X有只有3种可能的取值0,1,2; 各种取值出现的概率为0.2,0.5,0.3;求X1.5这一事件 的发生概率。 1.501XXX 1.5010.20.50.7P XP XP X 湖南大学教学课件：应用统计学与随机过程 概述 几何概率模型几何概率模型 若向有界区域G内投掷质点，所有质

27、点落在G中任何一 点是等可能的(均匀分布)，若g是G中一部分，则质点 落在g中的概率：P = g的区域宽度/G的区域宽度。 举例：设连续随机变量X在-3,1区间内均匀分布;求 X0.2这一事件的发生概率。 0.2 30.2gXX 0.50.2( 3)/1 ( 3)0.8P X 31GX 湖南大学教学课件：应用统计学与随机过程 概述 全概率公式与贝叶斯公式举例全概率公式与贝叶斯公式举例 设S为随机试验E例如：从n个车间的产品中随机地抽 取1个进行检验的样本空间例如：抽到车间1的正品 ，抽到车间1的劣品，抽到车间2的正品，抽到车间2的 劣品，,抽到车间n的正品，抽到车间n的劣品 (2n个基本事件)

28、 设A1、A2、An为S的一个划分例如事件Ai：“抽到 车间i的产品”,即 () ij AAij 空集 1 n i i AS 湖南大学教学课件：应用统计学与随机过程 概述 设B为任意的随机事件例如：抽到劣品，则B发生的 概率为 P(A1)、P(A2) 、P(AN)称为先验概率例如 P(Ai) 为车间i的产品占总产品的比例， P(B|Ai)为似 然概率(条件概率)例如：车间i的产品是劣品的概率 1122 1 ( )(|) ()(|) ().(|) () (|) () nn n ii i P BP B A P AP B A P AP B A P A P B A P A 全概率公式 假如B已经发生例

29、如抽到劣品例如抽到劣品，则该事件在多大 的可能性上应由Ai负责？例如：“抽到的劣品是车间 i的产品的概率”(与“车间i的产品是劣品的概率”并 不等价)，如何计算P(Ai|B) 贝叶斯公式 湖南大学教学课件：应用统计学与随机过程 概述 P(Ai|B）称为后验概率事件发生后对事件各种起 因的可能性的概率性推断，P(Ai,B）称为联合概率 例如：既是劣品又是车间i的产品的概率 1 (, )(|) () (|) ( ) (|) () iii in jj j P A BP B A P A P A B P B P B A P A 贝叶斯公式 显然，B肯定来源于划分中的其中某一个 例如：劣品 肯定来自某个车

30、间，劣品来自于各车间的概率和为1 1 1 1 (|)() (|)1 (|)() n iin i in i jj j P BAP A P AB P BAP A 湖南大学教学课件：应用统计学与随机过程 概述 例题：已知某地区销售的计算机主板有20%来自 供应商1，50%来自供应商2，30来自供商3。假定 这三个供应商所生产的主板的不合格率已知，分别 为0.01、0.004和0.008，请计算每个供应商应承担 的责任(主板返修费用)比例。 虽然不 合格比 例低, 但产品 量大, 承担责 任不一 定少 湖南大学教学课件：应用统计学与随机过程 概述 随机变量的概率分布函数与概率密度分布函数随机变量的概率

31、分布函数与概率密度分布函数 ( )() X FxP Xx ()0 X F ( )1 X F (x的单调非减函数) 0( )1 X Fx 概率分布函数 概率密度分布函数 ( ) ( ) X X dFx fx dx ( )0 X fx 关系( )( ) x XX Fxft dt 根据几何概型 为什么 是x+ 非负函数 Px1Xx2 =FX(x2+)- FX(x1+) 2 1 ( ) x X x fx dx Px1Xx2 2 1 21 ()() ( ) XX x X x FxFx fx dx 可能存在不连续点 湖南大学教学课件：应用统计学与随机过程 概述 概率分布函数与概率密度分布函数举例概率分布函

32、数与概率密度分布函数举例1 1 设离散随机变量X有3种可能的取值0,1,2;各种取值出 现的概率为0.2,0.5,0.3;求其概率分布函数及概率密 度分布函数 解:根据古典概型 00 0.201 ( )() 0.712 12 0.2 ( )0.5 (1)0.3 (2) X x x FxP Xx x x u xu xu x 注意定义及开 闭区间 单位阶跃函数 FX(x) x 012 0.2 0.7 1 0.5 0.3 湖南大学教学课件：应用统计学与随机过程 概述 单位阶跃函数单位阶跃函数( (详见详见信号与系统信号与系统) ) 10 ( ) 00 x u x x u(x) x 012 1 在x=

33、0处不连续 ,u(0)=1,u(0-)=0 FX(x) x 012 0.2 0.7 1 0.2 ( )u x 0.2 ( )0.5 (1)u xu x 0.2 ( )0.5 (1)0.3 (2)u xu xu x 湖南大学教学课件：应用统计学与随机过程 概述 其中,()为单位冲激函数,满足 0 () xa xa xa ()1 a a xa dx 在信号与系统理 论中,采用单位 冲激函数解决不 可微问题 ( ) ( )0.2 ( )0.5 (1)0.3 (2) X X dFx fxxxx dx fX(x) x 12 0.2 0.5 0.3 0 其他任何位置的导数为零， x=0,1,2三处的导数为

34、无穷 大(不同的无穷大) ()0aa ()0aa 对无穷大 的约束 冲激强度为1 湖南大学教学课件：应用统计学与随机过程 概述 单位冲激函数与单位阶跃函数的关系 00 ( ) ( ) 10 xx t dtu x x ( ) ( ) du x x dx u(x) x 0 1 (x) x 1 0 00 00 ( )( )( ) x x dxx dxx dx 0 x 100 ()/()du xadxxa ()() x ta dtu xa 两个1的 区别 偶函数 湖南大学教学课件：应用统计学与随机过程 概述 举例：利用冲激函数的积分性质求概率分布函数 ( )0.2 ( )0.5 (1)0.3 (2)

35、X fxxxx fX(x) x 12 0.2 0.5 0.3 0 (1)0 x ( )0 X fx ( )( )0 x XX Fxft dt (2)01x( ) X fx 0 0 ( )( )0.2 ( )0.2 x XX Fxft dtt dt 在(,)x 内的x=0处有一个冲激其他位置处的 积分和为零 (3)12x( ) X fx在(,)x内的x=0,1处有2个冲激 +号可省去 湖南大学教学课件：应用统计学与随机过程 概述 01 01 ( )( )0.2 ( )0.5 (1)0.7 x XX Fxft dtt dttdt (4)2x ( ) X fx在(,)x内的x=0,1,2处有3个冲激

36、 01 01 2 2 ( )( )0.2 ( )0.5 (1) 0.3 (3)1 x XX Fxft dtt dttdt tdt 冲激强度分别为0.2,0.5 00 0.201 ( )() 0.712 12 X x x FxP Xx x x 湖南大学教学课件：应用统计学与随机过程 概述 推广到离散随机变量的更一般情况推广到离散随机变量的更一般情况 设离散随机变量X有I种可能的取值x1,x2,xI;其中第 i(i=1,2,I)取值出现的概率为pi;则其概率分布函数 及概率密度分布函数分别为 ( )()() i Xiii xxi FxP XxP Xxpu xx ( ) ( )() X Xii i

37、dFx fxpxx dx 参见前面 FX(x)图 根据古典概型 附录：冲激函数积分性质：设g(x)在x0处连续，则 00 00 00000 ( ) ()( ) ()()()() xx xx g ttx dtg ttx dtg xtx dtg x 湖南大学教学课件：应用统计学与随机过程 概述 概率分布函数与概率密度分布函数举例概率分布函数与概率密度分布函数举例2 2 设连续随机变量在区间a,b上服从均匀分布;求其概 率分布函数及概率密度分布函数 解:根据几何概型 ( )() 0 () / () 1 X FxP Xx xa xabaaxb bx FX(x) x a b 1 ( )( ) / 0 1

38、 / () 0 XX fxdfxdx xa baaxb bx a b fX(x) x 1/(b-a) 湖南大学教学课件：应用统计学与随机过程 概述 多维连续随机变量的联合概率分布函数与联合多维连续随机变量的联合概率分布函数与联合 概率密度分布函数概率密度分布函数 设X1、X2、XN为不同的随机变量，则其联合概率分 布函数以及概率密度分布函数定义为 12. 121122 ( ,.,)(,.,) n X XXnnn Fx xxP Xx XxXx 多个随机事件同时 发生的概率 12 12 .12 .12 12 ( ,.,) ( ,.,) . n n n X XXn X XXn n Fx xx fx

39、xx x xx 12 1212 .12.1221 ( ,.,).( ,.,). n nn xxx X XXnX XXnn Fx xxfy yy dydy dy 省去“+” 湖南大学教学课件：应用统计学与随机过程 概述 多维连续随机变量分布函数的性质多维连续随机变量分布函数的性质 1212 12 .12 . 0(,.,)( ,.,) ( ,.,)1 nn n X XXX XXn X XX FFx xx F (练习：证明其为所有变量的单调非减函数) 事件 112211 ,., nn Xx XxXx 可以分解为 112211 ,., nn Xx XxXx (,) n X 情况下 的所有事件之和，等价

40、于事件 112211 ,., nnn Xx XxXxX 下面考察如何由高维分布得到低维分布。 湖南大学教学课件：应用统计学与随机过程 概述 121121 .121.121 ( ,.,)( ,.,) nnn X XXnX XXXnnn fx xxfx xxx dx 12112 121 12 .121.121 .121121 ( ,.,)( ,.,) .(,.,). nn n n X XXnX XXn xxx X XXnnnn Fx xxFx xx fy yyy dy dydy dy 边缘分布 121 .121111 ( ).( ,.,). inn XiX XXXnnnii fxfx xxx dx

41、dx dxdx 上式两边对x1,x2,xn-1求偏导，再作变量置换 nn yx 采用递推方法不难得到： 根据古典概型得到： 湖南大学教学课件：应用统计学与随机过程 概述 随机变量之间相互独立的定义随机变量之间相互独立的定义 如果 1212 .,1212 ( ,.,)()().() nn X XXnXXXn Fx xxFx FxFx 或 1212 .1212 ( ,.,)()().() nn X XXnXXXn fx xxfxfxfx 则这n个随机变量相互独立 离散随机变量的相互独立，要求对所有可能组合(x1,x2,xn) 11221122 (,.,)() (). () nnnn P Xx Xx

42、XxP Xx P XxP Xx 对于离散型随机变量，联合概率分布或分布律定义为 1122 (,.,) nn P Xx XxXx 湖南大学教学课件：应用统计学与随机过程 概述 随机变量的数字特征随机变量的数字特征 (1)均值(数学期望) ( ) X mE Xxf x dx 1 I Xii i mE Xp x (连续随机变量) (有I种取值的离散随机变量) (2)方差 222 () ()( ) XXX Var XE Xmxmf x dx 222 1 () () I XXiiX i Var XE Xmp xm (连续) (离散) Var X或 2 X 湖南大学教学课件：应用统计学与随机过程 概述 (

43、3)k阶原点矩 , ( ) kk X k mE Xx f x dx , 1 I kk X kii i mE Xp x (连续随机变量) (离散随机变量) (4)k阶中心矩 , () ()( ) kk X kXX E Xmxmf x dx 2 , 1 () () I k X kXiiX i E Xmp xm (连续随机变量) (离散随机变量) 1阶原点矩即为均值，二阶中心矩即为方差；二阶原点 矩称为均方值，满足 222 XX E Xm 湖南大学教学课件：应用统计学与随机过程 概述 (5)随机变量函数的数学期望 ()( ) ( )E g Xg x f x dx 1 ()( ) I ii i E g

44、 Xg x p (连续随机变量) (离散随机变量) (6)两个随机变量之间的相关函数 ( , ) XYXY RE XYxyfx y dydx (连续随机变量) (离散随机变量) 11 (,) IJ XYijij ij RE XYx y P Xx Yy 2222 2222 () 2 2 XXXX XXX E XmE Xm Xm E Xm E XmE Xm 附录(证)： 湖南大学教学课件：应用统计学与随机过程 概述 (离散随机变量) 11 ()() (,)()() XYXY IJ ijiXjY ij KE XmXm P Xx Yyxmym (9)多维随机变量函数的数学期望 (8)两个随机变量之间的

45、相关系数或标准协方差 /() XYXYXY rK ()()( , ) XYXY xmymfx y dydx (连续随机变量) (7)两个随机变量之间的协方差函数 , ()() XYXYXY KCov X YE XmYmE XYm m 对于零均值变量，协方差函 数与相关函数等价 显然 XX KVar X 湖南大学教学课件：应用统计学与随机过程 概述 随机变量之间不相关及正交的定义随机变量之间不相关及正交的定义 ()()0 XYXY KE XmYm若 则称两个随机变量X、Y互不相关 0 XY RE XY若 则称两个随机变量X、Y相互正交 在零均值情况下，正交与不相关等价 XYXYXYXY KRm

46、mR 12 12 12.1221 (,.,) .( ,.,)( ,.,). n n nX XXnn E g X XX g x xx fx xx dxdx dx 湖南大学教学课件：应用统计学与随机过程 概述 随机变量数字特征的性质 22 | XY RE XE Y 2 () 0E XcY 222 20E XcE XYc E Y 以c为变量的抛物线在c轴上方的充要条件 22222 4 4 0 | XY E XYE YE XRE XE Y A 根据 同理可得 22 | XYXYXY K | |/()| 1 XYXYXY rK B:对称性 XYYX RR XYYX KK XYYX rr 2 ( ) 0E

47、XE Xc YE Y 附录 证：根据定义以及乘法的交换率(练习) 为什么？ 湖南大学教学课件：应用统计学与随机过程 概述 数学期望方差协方差函数的运算性质 ()( ) ( )( ) X XX E aXbaxb fx dx axfx dxbfx dxaE Xb 2 222 () () Var aXbEaXbE aXb a EXE Xa Var X 1122 11111111 1212 , ()() ()( ), Cov a Xb a Yb Ea XbE a Xba XbE a Xb a a EXE XYE Ya a Cov X Y A B C 常数b只影响均值 ，不影响方差 湖南大学教学课件：应

48、用统计学与随机过程 概述 12 12 12 .1221 11 .1221 1 .1221 .()(,.,). .()(,.,). .(,.,). n n n nn iiiiX XXnn ii n iiX XXnn i X XXnn Ea Xba xb fx xxdxdx dx a xfx xxdxdx dx bfx xx dxdx dx 11 nn iiii ii E a Xba E Xb 附录: 12 12 .1221 .12111 .()(,.,). ().(,.,). ()() () n n i iX XXnn iX XXnniii iXiii g xfx xxdxdx dx g xfx

49、 xx dxdxdxdxdx g xfx dxE g X 概率密度 函数的全 积分为1 边缘分布 湖南大学教学课件：应用统计学与随机过程 概述 2 111 2 111 11 1 ()()() ()() nnn iiiiii iii nnn iiiiiijjj iij nn ijiijj ij n ij j Vara XbEa XbEa Xb Ea XE XEa XE XaXE X EaaXE XXE X aa E 111 ()() ij nnn iijjijX X iij XE XXE Xaa K 利用随机变量和的数 学期望性质 利用随机变量和的数学 期望性质(将整个函数 作为新的随机变量)

50、当各随机变 量不相关时 2 11 nn iiii ii VaraXba Var X 0 () ij X X Kij 湖南大学教学课件：应用统计学与随机过程 概述 (10)多维随机矢量的均值矢量 12 . T n XX XX 定义由n个随机变量构成的矢量 则其均值矢量定义为 12 . T n E XE XE XE X 各随机变量的均 值所构成的矢量 (10)多维随机变量的协方差矩阵(n行n列对称矩阵) ()() T C XE XE XXE X 协方差矩阵的第i行第j列元素值为 ()() ij ijiijjX X CE XE XXE XK 矩阵对称性 Cij=Cji 列矢量 行矢量 湖南大学教学课

51、件：应用统计学与随机过程 概述 附录：附录：( (证明证明) )若两个变量相互独立，则必然不相关若两个变量相互独立，则必然不相关( (反之不一定反之不一定) ) 证：设X、Y两个随机变量相互独立，即 ( , )( )( ) XYXY fx yfx fy ()() XYXY KE XmYm , ()()( , ) ()()( )( ) ()( )()( ) ( )( )( )( ) 0 XYX Y XYXY XXYY XXXYYY XXYY xmymfx y dydx xmymfx fy dydx xmfx dxymfy dy xfx dxmfx dxyfy dymfy dy mmmm 则： 湖

52、南大学教学课件：应用统计学与随机过程 概述 正态分布以及多维联合正态分布的定义正态分布以及多维联合正态分布的定义 2 2 () 2 1 ( ) 2 x u X fxe 设X为随机变量，如果其概率密度函数为 则称X服从均值为u，方差为2的正态分布或高斯分布 容易证明(参见后面附录)： 2 2 () 2 1 ( )1 2 x u X Fedx 概率密度函数的 积分性质 2 2 () 2 1 2 x u X mE Xxedxu 湖南大学教学课件：应用统计学与随机过程 概述 2 2 () 2222 2 1 () () 2 x u XX E Xmxuedx 当u=0, 2=1时，此时的正态分布称为标准正

53、态分布 x 0 fX(x) mX=u u x=u+ 1 ( 2) x=u- 最大值点(均值u处)、最大值、两个拐点、对称性、渐 近线平移参数u，形状参数(方差的性质？) x u fX(x) =1 =1.5 =3 湖南大学教学课件：应用统计学与随机过程 概述 附录附录 222 2 2 22 2 2 0 2 xxy r edxedxdy erdrd 2 2 1 1 2 x edx 2 2 2 x edx 直角坐标系内的 积分转化为极坐 标系内的积分 练习：在此式的 基础上运用常规 的积分方法证明 前面的3个式子 湖南大学教学课件：应用统计学与随机过程 概述 如果这n个随机变量的多维联合概率密度分布

54、函数满足 12 . T n XX XX 下面介绍多维联合正态分布。定义n维随机矢量 12 . T n xx xx 定义随机变量取值所构成的矢量 12. 12 1 1 22 ( ,.,)( ) 11 exp()() 2 (2 ) | n X XXn X T n fx xxfx xmCxm C C：nn的正定方阵、对角线元素值大于0；|：行列式值 n维常数列维常数列 矢量矢量 湖南大学教学课件：应用统计学与随机过程 概述 则称这n个随机变量服从联合正态分布，且均值矢量以及 协方差矩阵满足 1212 , ,., ,., TT nn E XE XE XE Xmm mm ()() T C XE XE X

55、XE XC ()() ij X Xiijjij KE XE XXE XC 容易证明(见第4章ppt附录)： 12. 121111 2 .( ,.,). ()1 ( )exp 22 n i X XXnnnii ii Xi ii ii fx xx dx dxdx dxdx xm fx CC 对除xi外的所有变量 积分(n-1重积分) 矩阵的数学 期望的概念 2 ii i iiX X X CK 湖南大学教学课件：应用统计学与随机过程 概述 结论结论1 1：若多个随机变量服从联合正态分布，则其：若多个随机变量服从联合正态分布，则其 中的任意变量服从正态分布中的任意变量服从正态分布( (反之则不一定反之

56、则不一定) ) 进一步,若C为对角矩阵，即 ()()0 () ij ijX Xiijj CKE XE XXE Xij 11121 21222 12 . . . n n nnnn X XX XX X X XX XX X X XX XX X KKK KKK C KKK 对称矩阵 于是可得到如下结论: 湖南大学教学课件：应用统计学与随机过程 概述 11 22 0.0 0.0 00. nn C C C 2 iii iiX XX CK 1122 |. nn CC CC 1 11 1 122 1 0.0 0.0 00. nn C C C C 1 11 11 1 22 22 1122 1 0.0 0.0 ,

57、., 00. nn nn nn xmC xmC xm xmxm xmC 1 ()() T xmCxm 湖南大学教学课件：应用统计学与随机过程 概述 12 12 1 .121 22 2 1 2 1122 2 12 1 11 ( ,.,)exp()() 2 (2 ) | ()1 exp 2 (2 ). ()1 exp( )().() 22 n n T X XXnn n ii n i ii nn n ii XXXn i ii ii fx xxxm Cxm C xm C C CC xm fx fxfx CC 结论结论2 2：若多个随机变量服从联合正态分布，且各：若多个随机变量服从联合正态分布，且各 变

58、量互不相关，则这些变量相互独立变量互不相关，则这些变量相互独立 其他分布不一定满 足此性质 2 1 () n ii i ii xm C 则多维联合概率密度分布函数为 湖南大学教学课件：应用统计学与随机过程 概述 结论结论2 2的推论：若多个随机变量各自服从正态分布，且相的推论：若多个随机变量各自服从正态分布，且相 互独立互独立( (充分条件，并非必要条件充分条件，并非必要条件) ) ，则其联合分布为联，则其联合分布为联 合正态分布。二维情况的充分必要条件为：合正态分布。二维情况的充分必要条件为： 容易证明(练习)：若随机变量X、Y分别服从均值、方 差分别为(mX,X2)、(mY,Y2)的正态分

59、布，且在X=x的情 况下，Y的条件概率密度分布为如下的正态分布 2 | 22 22 () 1 ( | )exp 2(1) 2 (1) (| | 1) Y YX X Y X Y Y r ymx m fy x r r r 则X、Y服从联合正态分布，且r为两变量的相关系数,即 湖南大学教学课件：应用统计学与随机过程 概述 | 2 22 2 2 2 1 22 2 2 2 2 ( ,)(|)( ) ()11 exp 2(1) 21 2 ()()() 11 exp() 2 (2) XYY XX Y Y XY YXX XYX YT X YXY XYX YXY fx yfyx fx ym r r r ymxm

60、xm my mx r r r 1 2 () Y X XYX my mxr XYXY rK /() XYXYXY rKr (相关系数) 湖南大学教学课件：应用统计学与随机过程 概述 |() Y YX X E Y Xxmrxm 222 |(1) YY Var Y XxrVar Y 2 | 22 22 () 1 ( | )exp 2(1) 2 (1) X xY Y X Y X X r x mym fx y r r |() X XY Y E X Yymrym 222 |(1) XX Var X YyrVar X 随机变量函数的概率密度分布随机变量函数的概率密度分布 1.5 湖南大学教学课件：应用统计学