第一章 概率论

随机过程导论 18 01 2007 参考书目 随机信号分析 朱华黄辉宁北京理工大学出版社 随机数学 萧树铁主编高等教育出版社 随机过程导论 周荫清编著北京航空航天大学 随机过程与排队论 王维一编上海交通大学电子工程系 授课主要内容 第一章 概率论第二章 随机过程第三章 平稳随机过程的谱分析第四章 随机信号通过线性系统分析第五章 几种常用的随机过程 第一章概率论 主要内容 论及概率论的基础知识 具体介绍概率空间 条件概率空间 随机变量及其概率分布 随机变量函数的分布 随机变量的数字特征 特征函数等概念 它们是学习以后各章的理论工具 第一章概率论 重点及其要求 1 随机变量函数的分布 关键是在各种函数变换条件下求出相应的雅可比因子J 2 随机变量的数字特征 例如 数学期望 方差 各阶矩的定义和运算性质要熟练掌握 对于随机变量之间的统计独立 不相关 正交应各满足的条件 三者的差别与联系要有明确的认识 3 随机变量特征函数的定义和性质 它们与矩的关系 应该能灵活应用 1 1概率简述 一 概率的定义1 概率的古典定义事件A的概率的古典定义式中S为样本空间 子集2 概率的几何定义事件A的概率的几何定义 1 1概率简述 3 概率的统计定义事件A的概率的统计定义我们用事件A的频率近似表示事件A的概率 这就是概率的统计定义 1 1概率简述 概率空间的定义规定一个试验 所有样本点之集合构成样本空间S 在样本空间中一个样本点或若干个样本点之适当集合F称为事件域 F中的每一集合称为事件 若A F 则P A 就是事件A的概率 并称这三个实体的结合 S F P 为一个概率空间 1 1概率简述 二 条件概率与概率的基本定理1 条件概率的定义在事件B已出现的条件下 事件A出现的条件概率为或记称 S F PB 为给定事件B的条件概率空间 简称条件概率空间 1 1概率简述 2 全概率公式设有N个互斥事件BN n 1 2 N 它们的和为整个S 即满足则此式称为全概率公式 1 1概率简述 3 贝叶斯公式将条件概率公式推广到N个事件中去 可得这就是贝叶斯公式 4 统计独立如果事件A B满足 或者 则称这两个事件是统计独立的 并有 1 1概率简述 例1某一基本的二元通信系统 由一步发射机和一部接收机组成 如图1 1所示 发射机经过信道向接收机发送两个符号0或1中的一个符号 若发送符号1和0的概率分别为0 6和0 4 且条件概率为 求 1 1概率简述 解 由全概率公式得 1 1概率简述 根据贝叶斯公式有 习题 1 写出下列随机试验的样本空间S a 同时掷两枚骰子 记录两枚骰子点数之和 b 10件产品中有3件是次品 每次从中取1件 取出后不再放回 直到3件次品全部取出为止 记录抽取的次数 c 生产某种产品直到得到10件正品 记录生产产品的总件数 d 将一尺之捶折成3段 观察各段的长度 习题 2 设有一个二进制的数字通信系统 主要由1和0两种符号组成 如下图所示 且求条件概率 1 2随机变量及其分布函数 一 随机变量的定义设 S F P 是一概率空间 对于s S X s 是一个取实数值的单值函数 若对于任意实数x s X s x 是一随机事件 亦即 s X s x F 则称X s 为随机变量 并将它简记为X 1 2随机变量及其分布函数 二 离散型随机变量及其分布律随机变量的全部可能取值是有限个或可列无限多个 称之为离散型随机变量 离散型随机变量X的概率分布或分布律定义为 显然有 1 2随机变量及其分布函数 三 连续型随机变量及其密度函数对于随机变量X 若存在非负函数 且有 使X取值于任意区间 a b 的概率为 称X为连续型随机变量 为X的概率密度 且有如下性质 1 2随机变量及其分布函数 四 分布函数及其基本性质1 分布函数设X是定义在概率空间 S F P 上的一个随机变量 若对于任意的 则X的分布函数定义为 对于任意实数a b a b 有 1 2随机变量及其分布函数 离散型随机变量的分布函数为 式中U x 为单位阶跃函数 离散型随机变量的概率密度为 式中 1 2随机变量及其分布函数 连续型随机变量的分布函数为 若F x 连续可微 则其概率密度为 混合型随机变量的概率密度为 1 2随机变量及其分布函数 2 分布函数F x 的基本性质 1 2 F x 为x的单调非降函数 3 F x 是右连续的 即 4 若X的取值全部在区间 a b 内 则当时 当时 1 2随机变量及其分布函数 例2设随机变量X的分布函数为 求 1 系数A 2 X落在区间 0 3 0 7 内的概率 3 X的概率密度 解 1 由于分布函数是右连续的 所以A 1 2 3 习题 3 随机变量X服从柯西分布 求 1 系数A和B 2 落在区间 1 1 内的概率 3 X的概率密度 1 3多维随机变量及其概率分布 一 二维概率分布及其基本性质设X Y为定义在同一概率空间 S F P 上的两个随机变量 则 X Y 称为二维随机变量 其联合分布函数为 其基本性质如下 1 2 FXY x y 为变量x或y的单调非降函数 3 FXY x y 对变量x或y为右连续 1 3多维随机变量及其概率分布 若二维随机变量 X Y 的所有可能取值为有限或可列无限对时 则称 X Y 为二维离散随机变量 其概率分布或分布律定义为 显然其有如下性质 二维离散随机变量 X Y 的联合分布函数为 1 3多维随机变量及其概率分布 对于 X Y 的联合分布函数FXY x y 若存在非负的函数fXY x y 使对任意的x y R1 有 则称 X Y 为连续型的二维随机变量 称fXY x y 为该 X Y 的联合概率密度 1 3多维随机变量及其概率分布 fXY x y 有如下性质 1 2 3 若fXY x y 在点 x y 处连续 则有 4 设G是xoy平面上一个区域 点 X Y 落在G内的概率为 1 3多维随机变量及其概率分布 例3 给定的通信系统通过某一线路传送二元 如0与1 数码 为方便起见 数码流被分成段 成为字 每个字由相连接的4个数码组成 实践证明 此线路传送的各个数码皆互相独立的 且每个数码是等可能地取0和1 现在 线路接收机记下每个字头两位数码出现1的个数及每个字中出现1的总数 设头两位数码中1的个数用随机变量N2表示 每个字中1的总数用随机变量N4示之 1 描述一个能定义N2与N4的基本样本空间S 2 确定区域样本空间与 并求出这些空间上的概率分布 设N为向量其中s是S的任一样本点 3 确定向量N的范围RN 4 确定由N在RN上导出的概率分布 并列表示之 1 3多维随机变量及其概率分布 解 1 对于基本样本空间S 我们列出所有可能出现的四码 字 如下表 因为每个数码是等可能地取0和1 故所有16个可能的字皆为等概率的 即 其中某一字出现的概率为1 16 1 3多维随机变量及其概率分布 续解 2 对于N2 有 同理 因为16个字中4个具有N2 0的属性 故 对于N4 有 1 3多维随机变量及其概率分布 续解 3 现定义 于是 4 通过计算S上具有所要求属性的样本点的数目 很容易得到其概率分布 故 1 3多维随机变量及其概率分布 例4设 X Y 的联合概率密度函数 记 求 解 1 3多维随机变量及其概率分布 二 边沿分布二维随机变量 X Y 具有联合概率分布函数FXY x y 而随机变量X Y各自具有分布函数FX x FY y 称FX x FY y 为该 X Y 关于X Y的边沿分布函数 边沿分布函数可由联合分布函数来确定 1 3多维随机变量及其概率分布 对于连续型随机变量 X Y 可分别得到X Y的边沿概率密度 对于概率函数的二维离散随机变量 X Y 有 分别称为 X Y 关X Y的边沿概率函数 1 3多维随机变量及其概率分布 例5设X Y是一个二维随机变量 其联合概率密度为 其中 求 解 1 3多维随机变量及其概率分布 令 故 1 3多维随机变量及其概率分布 现定义一般二维正态概率密度表示式为 这是一个具有 五个参数的密度函数 分别是两个边沿密度函数的均值和方差 称X Y之间的相关系数 1 3多维随机变量及其概率分布 三 相互独立的随机变量与条件分布1 相互独立随机变量设 X Y 为两个随机变量 若有 则称 X Y 为相互独立的随机变量 当 X Y 为为离散型或连续型随机变量时 X与Y相互独立的条件等价为 或 1 3多维随机变量及其概率分布 2 条件分布在条件B下 随机变量X的条件分布函数定义为 对于连续型随机变量 其条件概率密度为 若事件 则有 1 3多维随机变量及其概率分布 若X Y为连续型随机变量 且 y 0 则有 同理可得 1 3多维随机变量及其概率分布 例6设随机变量 X Y 服从二维正态分布求 条件概率密度 解 已知二维正态概率密度为 前面已求得边沿概率密度为 1 3多维随机变量及其概率分布 则有 同理有 这两式说明在X x条件下 Y的条件概率密度函数为正态分布和在Y y的条件下 X的条件概率密度函数也为正态分布 1 3多维随机变量及其概率分布 四 多维正态概率密度的矩阵表示法二维正态随机变量 X1 X2 的概率密度为 则其矩阵表示式为 式中 为协方差阵 1 3多维随机变量及其概率分布 在n维正态随机变量的情况下 定义 于是概率密度矩阵表达式为 习题 4 设二维随机变量 X Y 的联合概率密度为 1 求随机变量X和Y的边沿概率密度 2 随机变量X和Y是否统计独立 为什么 习题 5甲乙两列火车在 0 60 分钟内的某个时刻到达火车站 并分别停留3 6分钟 在此时间间隔内的任易时刻 两列火车是等可能到达的 且它们到达的时刻互不相关 设随机变量X Y分别为甲乙列火车的到达时刻 则它们的二维概率密度函数为 试求 1 联合分布函数FXY x y 2 边沿分布函数FX x FY y 及边沿概率密度fX x fY y 3 甲列火车在30分钟之前到站的概率 4 乙列火车在39 45分钟到站的概率 5 甲列火车在乙列火车之前达到的概率 1 4随机变量函数的分布 定义在 S F P 上的随机变量X 其函数Y g X 可看成是从样本空间SX到值域空间的映射 那么g X 也是 S F P 上的随机变量 并称g X 为随机变量X的函数 此时随机变量Y的分布函数可写成 若上式对y处处连续可微 则Y的概率密度微 1 4随机变量函数的分布 一 单个随机变量函数的分布若Y g X 是离散型随机变量X的函数 即 不同的X值对应着不同的Y值 那么 X与Y取对应值的概率是相同的 如果X为连续型随机变量 其概率密度为fX x 而有y g x 可微且为单调函数 其反函数x h y 也是单调的 这时 Y g X 的概率密度为 如果y g x 不是单调函数 它的反函数x h y 也非单调的 并设一个Y值对应着两个X值 x1 h1 y x2 h2 y 则Y g X 的概率密度为 1 4随机变量函数的分布 例7设一简单的电路 如图1 4所示 电流源发出恒定电流I 2A 电阻值R1为准确值20 电阻R2设计为50 但实际值为一均匀分布于45 55 之间的随机变量 求FV v fV v 1 4随机变量函数的分布 解 电压值为 电阻R2概率密度 即 1 4随机变量函数的分布 例8设随机变量服从均匀分布 求Y sinX的概率密度函数 解 SinX的函数一个Y值对应两个X值 在 0 区间 在 0 区间 因此是一个非单调函数变换 1 4随机变量函数的分布 二 二维随机变量函数的分布设二维随机变量 X1 X2 具有联合概率密度现需求新的随机变量若反变换函数 是唯一的确定 即 X1 X2 与 Y1 Y2 为单值变换 则有 式中雅可比因子 1 4随机变量函数的分布 借助于二维随机变量的变换 可以给出两个随机变量的和 差 积 商的分布密度 1 令U X Y 则 2 令U X Y 则 3 令U XY 则 4 令U Y X 则 1 4随机变量函数的分布 若X与Y统计独立时 以上四式可独立表示 即 1 4随机变量函数的分布 三 n维随机变量函数的分布设n维随机变量具有联合概率密度令g 为一一对应的连续可微的向量变换 它将映射为一新的n维随机向量Y g X 若其逆变换X h Y 则有 式中雅可比因子 1 4随机变量函数的分布 例9设X是一个二维随机向量 其分量X1 X2是两个独立的随机变量 通过旋转变换 得到两个新的随机变量Y1 Y2 其坐标变换关系如下 求Y1 Y2的联合概率密度 解 它们的逆变换关系为 1 4随机变量函数的分布 由这些变换关系求出雅可比变换为 X1 X2的联合概率密度为 Y1 Y2的联合概率密度为 习题 1 6设随机变量X服从均匀分布 求Y cosX的概率密度函数 1 7设X是一个二维随机向量 其分量X1 X2是两个独立的随机变量 变化到极坐标以后 分量的变换关系如下 求随机向量的模Z和相位 的联合概率密度以及随机变量Z和 各自的概率密度 1 5随机变量的数字特征 一 随机变量的数学期望 或均值 离散随机变量X的数学期望定义为 连续随机变量X的数学期望定义为 当使用 函数表示离散或混合随机变量的概率密度时 上式的定义便适用于所有的随机变量 1 5随机变量的数字特征 二 随机变量函数的期望值设随机变量X的函数Y g X 若X为离散或连续随机变量 则Y的数学期望为 或 同样引用用 函数表示离散或混合随机变量的概率密度后 后式的定义便适用于所有的随机变量 1 5随机变量的数字特征 数学期望有如下重要性质 推广之有 1 若Y aX1 bX2 a b皆为常数 则有 2 若Y g1 X1 g2 X2 且X1与X2统计独立 则有 3 一般而言 1 5随机变量的数字特征 三 条件数学期望对于二维离散随机向量 X Y 定义 为随机变量Y在X xi条件下的数学期望 因此 Y的非条件均值为 对于二维连续随机向量 X Y 定义 为Y在X x条件下的数学期望 并有 1 5随机变量的数字特征 若X为离散随机变量 Y为连续随机变量 则我们定义 由此可得 条件期望有如下性质 1 当随机变量X与Y相互独立 有 2 1 5随机变量的数字特征 证 1 5随机变量的数字特征 3 只需验证对于任意固定的y有 4 5 6 7 a b皆为常数 1 5随机变量的数字特征 四 随机变量的各阶矩离散和连续随机变量X的k皆原点矩分别为 它们的k阶中心矩分别为 1 5随机变量的数字特征 中心矩与原点矩有下述关系 故可得 1 5随机变量的数字特征 离散和连续二维随机变量 X Y 的 j k 阶联合原点矩mjk j k皆为正整数 分别定义为 它们的 j k 阶中心矩分别为 1 5随机变量的数字特征 而二阶混合中心矩 称为随机变量X和Y的协方差 X与Y的相关系数 或归一化协方差 定义为 rXY 1时 表示随机变量X Y强烈相关 rXY 0时 表明X Y之间不相关 1 5随机变量的数字特征 1 统计独立与不相关若两个随机变量可分解为 则X Y统计独立 如果X Y统计独立 则有KXY 0 也就是X Y不相关 反之则不然 但是对于两个正态随机变量 不相关与统计独立是等价的 1 5随机变量的数字特征 例10 设Z是一随机变量 具有均匀概率密度 在设X sinZY cosZ 所以X Y是不相关的随机变量 但是 经计算 故存在 所以X Y是不独立的随机变量 1 5随机变量的数字特征 2 正交随机变量若两个随机变量X与Y的二阶矩E XY 0或则称X与Y正交 如果两个随机变量正交 且至少有一个随机变量的均值为零 这时正交与不相关是一致的 1 5随机变量的数字特征 例11 设随机变量X服从二项分布求数学期望和方差 解 1 5随机变量的数字特征 1 5随机变量的数字特征 例12 二项分布的数学期望与方差的简单求法 设 X1 X2 Xn 是独立同分布的随机变量序列 而且P Xk 1 p P Xk 0 q 1 p k 1 2 n X X1 X2 Xn就遵从二项分布 于是有 1 5随机变量的数字特征 例13 一只小猫不幸陷进一个有三扇门洞的大山中 第一个门洞通到一条通道 沿此通道走2小时后它可到达地面 第二个门洞通到另一个通道 沿它走3小时会使小猫重新回到这大山洞中 第三个门洞通到第三个通道 沿它走5小时后 也会使小猫又回到这大山洞中 假定这只小猫总是等可能地在三个门洞中任意选择一个 请计算这只小猫到达地面的时间的数学期望 解 设Y表示这只小猫最初选择的门洞 编号为1 2 3 故它只取这三个值1 2 3 则 1 5随机变量的数字特征 同理 故 得 Y 1时 则 Y 2时 可得X 3 X 其中X 这只小猫重新回到大山洞后再找到地面所需的附加事件 但一旦小猫回到大山洞后 问题与以前完全相同 故X和X 有相同分布 所以 1 5随机变量的数字特征 例14 设两个随机变量X Y的联合概率密度为 试求 1 X与Y不相关时的所有A值 2 X与Y统计独立时所有A值 解 1 X与Y不相关时应满足 现计算上式各个期望 故A为2 5或1时 X与Y不相关 1 5随机变量的数字特征 续解 2 因为在X与Y统计独立时 它们必定不相关 故只需检验A 2 5和A 1这两个值即可 1 在A 2 5时 因为 故 即 A 2 5时 X与Y不统计独立 1 5随机变量的数字特征 续解 2 在A 1时 因为对所有的j k 皆有 故 即 A 1时 X与Y统计独立的 例如 j k 2时 由于 习题 1 8设离散型随机变量X的可能取值 1 0 1 2 每个取值的概率均为0 25 有设随机变量Y为Y g X X3 X 1 确定随机变量Y的可能取值 2 确定做Y的概率分布 3 求E Y 1 10设随机变量X的均值为3 方差为2 现定义新的随机变量Y 6X 22 试问随机变量X与Y是否正交 不相关 为什么 1 9假设物种在第0代只有一个个体 它所繁衍的第1代子女数为一随机变量 其可能取值为0 1 2 分布为P N n n 0 1 假设每个第1代子女又可独立再繁衍子孙 其繁衍的子孙数也服从同一分布P N n n 0 1 假设随机变量N的期望为a 求第2代子孙的总数的期望值 1 6随机变量的特征函数 一 特征函数的定义设X是定义在概率空间 S F P 上的随机变量 它的分布函数为FX x 称的数学期望为X的特征函数 离散和连续随机变量X的特征函数分别定义为 特征函数和概率密度函数一一对应 1 6随机变量的特征函数 例15 设随机变量X服从正态分布N mX 2 求其特征函数 解 作变换则注 最后这个等式利用了这样一个事实 对任意实数c 有 1 6随机变量的特征函数 二 特征函数的性质 1 证明 1 6随机变量的特征函数 2 线性性 设a b为常数 Y aX b 则证明 3 若随机变量X和Y相互独立 则推广到