概率论与数理统计知识点总结(详细)

1 概率论与数理统计 第一章第一章 概率论的基本概念概率论的基本概念 2 样本空间 随机事件 样本空间 随机事件 1 事件间的关系 则称事件 B 包含事件 A 指事件 A 发生必然导致事件 B 发生 BA 称为事件 A 与事件 B 的和事件 指当且仅当 A B 中B xxx 或ABA 至少有一个发生时 事件发生BA 称为事件 A 与事件 B 的积事件 指当 A B 同时发生B xxx 且ABA 时 事件发生BA 称为事件 A 与事件 B 的差事件 指当且仅当 A 发生 B xxx 且 ABA B 不发生时 事件发生BA 则称事件 A 与 B 是互不相容的 或互斥的 指事件 A 与事件 B 不能同 BA 时发生 基本事件是两两互不相容的 则称事件 A 与事件 B 互为逆事件 又称事件 A 与事件且S BA BA B 互为对立事件 2 运算规则 交换律 ABBAABBA 结合律 CBACBACBACBA 分配律 B CAACBA CABACBA 徳摩根律BABAABA B 3 频率与概率 频率与概率 定义 在相同的条件下 进行了 n 次试验 在这 n 次试验中 事件 A 发生的次数称为事件 A 发生的频频 A n 数数 比值称为事件 A 发生的频率频率nnA 2 概率 概率 设 E 是随机试验 S 是它的样本空间 对于 E 的每一事件 A 赋予一个实数 记为 P A 称为事件 的概率 1 概率满足下列条件 AP 1 非负性非负性 对于每一个事件 A 1 0 AP 2 规范性规范性 对于必然事件 S 1 S P 3 可列可加性可列可加性 设是两两互不相容的事件 有 可以取 n AAA 21 n k k n k k APAP 11 n 2 概率的一些重要性质 i 0 P ii 若是两两互不相容的事件 则有 可以取 n AAA 21 n k k n k k APAP 11 n iii 设 A B 是两个事件若 则 BA APBPABP A B PP iv 对于任意事件 A 1 AP v 逆事件的概率 1 APAP vi 对于任意事件 A B 有 ABPBPAPBAP 4 等可能概型 古典概型 等可能概型 古典概型 等可能概型 试验的样本空间只包含有限个元素 试验中每个事件发生的可能性相同 若事件 A 包含 k 个基本事件 即 里 2 1k iii eeeA 个不同的数 则有中某 是 k k n2 1iii 21 中基本事件的总数 包含的基本事件数 S 1j A n k ePAP k ji 5 条件概率 条件概率 3 1 定义 设 A B 是两个事件 且 称为事件 A 发生的条件下事0 AP AP ABP ABP 件 B 发生的条件概率条件概率 2 条件概率符合概率定义中的三个条件 1 非负性 对于某一事件 B 有0 ABP 2 规范性 对于必然事件 S 1 ASP 3 可列可加性 设是两两互不相容的事件 则有 21 BB 11 i i i i ABPABP 3 乘法定理 设 则有称为乘法公式0 AP BAPBPABP 4 全概率公式 n i ii BAPBPAP 1 贝叶斯公式 n i ii kk k BAPBP BAPBP ABP 1 6 独立性 独立性 定义定义 设 A B 是两事件 如果满足等式 则称事件 A B 相互独立 BPAPABP 定理一 设 A B 是两事件 且 若 A B 相互独立 则0 AP BPABP 定理二 若事件 A 和 B 相互独立 则下列各对事件也相互独立 A 与 与 与 BABAB 第二章第二章 随机变量及其分布随机变量及其分布 1 随机变量随机变量 定义 设随机试验的样本空间为是定义在样本空间 S 上的实值单值函数 称X e X e S 4 为随机变量X e X 2 离散性随机变量及其分布律离散性随机变量及其分布律 1 离散随机变量 有些随机变量 它全部可能取到的值是有限个或可列无限多个 这种随机变量称为离 散型随机变量 满足如下两个条件 1 2 1 kk pxXP 0 k p 1k k P 2 三种重要的离散型随机变量 1 分布 设随机变量 X 只能取 0 与 1 两个值 它的分布律是 则称 X 服从以 p 为参数的分布或两点分布 101 0kp 1p k k 1k pXP 2 伯努利实验 二项分布 设实验 E 只有两个可能结果 A 与 则称 E 为伯努利实验 设 此时 A1 p0pP A 将 E 独立重复的进行 n 次 则称这一串重复的独立实验为 n 重伯努利实验 p 1 AP 满足条件 1 2 1 注意到n2 1 0kqp k n kX k nk P0 k p 1k k P 是二项式的展开式中出现的那一项 我们称随机变量 X 服从参数为 n p 的二 k nkq p k n n qp k p 项分布 3 泊松分布 设随机变量 X 所有可能取的值为 0 1 2 而取各个值的概率为 其中是常数 则称 X 服从参数为的泊松分布记为 2 1 0 k e kX k kP 0 X 3 随机变量的分布函数随机变量的分布函数 5 定义 设 X 是一个随机变量 x 是任意实数 函数 x x P X x F 称为 X 的分布函数 分布函数 具有以下性质 1 是一个不减函数 2 xXPxF xF 3 1 0 1 0 FFxF 且是右连续的即 0 xFxFxF 4 连续性随机变量及其概率密度连续性随机变量及其概率密度 连续随机变量 如果对于随机变量 X 的分布函数 F x 存在非负可积函数 使对于任意函数 xf x 有则称 x 为连续性随机变量 其中函数 f x 称为 X 的概率密度函数 简称概 dttf x F x 率密度 1 概率密度具有以下性质 满足 1 xf1 2 0 dxxfxf 3 4 若在点 x 处连续 则有 2 1 21 x x dxxfxXxP xf F x xf 2 三种重要的连续型随机变量 1 均匀分布 若连续性随机变量 X 具有概率密度 则成 X 在区间 a b 上服从均匀分布 记 其他 0 a a b 1 bx xf 为 baU X 2 指数分布 若连续性随机变量 X 的概率密度为 其中为常数 则称 X 服从参 其他 0 0 e 1 x x xf 0 数为的指数分布 3 正态分布 6 若连续型随机变量 X 的概率密度为 xexf x 2 1 2 2 2 的正态分布或高斯分布 记为 服从参数为为常数 则称 其中X 0 2 N X 特别 当时称随机变量 X 服从标准正态分布10 5 随机变量的函数的分布随机变量的函数的分布 定理 设随机变量 X 具有概率密度又设函数处处可导且恒有 x xxf xg0 xg 则 Y 是连续型随机变量 其概率密度为 Xg 其他 0 yyhyhf yf X Y 第三章第三章 多维随机变量多维随机变量 1 二维随机变量二维随机变量 定义 设 E 是一个随机试验 它的样本空间是和是定义在 S 上的随机变X e X e S Y e Y 量 称为随机变量 由它们构成的一个向量 X Y 叫做二维随机变量X e X 设 X Y 是二维随机变量 对于任意实数 x y 二元函数 称为二维随机变量 X Y 的分布y YxP Xy Yx P XyxF 记成 函数 如果二维随机变量 X Y 全部可能取到的值是有限对或可列无限多对 则称 X Y 是离散型 的随机变量 我们称为二维离散型随机变量 X Y 的分布律 2 1ji yY ijji pxXP 对于二维随机变量 X Y 的分布函数 如果存在非负可积函数 f x y 使对于 yxF 任意 x y 有则称 X Y 是连续性的随机变量 函数 y x dudvvufyxF f x y 称为随机变量 X Y 的概率密度 或称为随机变量 X 和 Y 的联合概率密度 联合概率密度 2 2 边缘分布边缘分布 7 二维随机变量 X Y 作为一个整体 具有分布函数 而 X 和 Y 都是随机变量 各自 yxF 也有分布函数 将他们分别记为 依次称为二维随机变量 X Y 关于 X 和关于 Y 的边边 y xFX Y F 缘分布函数 缘分布函数 分 2 1i xP Xp 1j iiji p 2 1j yP Yp 1i iij j p 别称为 X Y 关于 X 和关于 Y 的边缘分布律 边缘分布律 i p j p 分别称 dyyxfxfX dxyxfyfY xfX 为 X Y 关于 X 和关于 Y 的边缘概率密度边缘概率密度 yfY 3 条件分布条件分布 定义 设 X Y 是二维离散型随机变量 对于固定的 j 若 0 j yYP 则称为在条件下随机 2 1 i p p yYP yYxXP yYxXP j ij j ji jij yY 变量 X 的条件分布律 同样为在 2 1 j p p xXP yYxXP XXyYP i ij i ji ij 条件下随机变量 X 的条件分布律 i xX 设二维离散型随机变量 X Y 的概率密度为 X Y 关于 Y 的边缘概率密度为 yxf 若对于固定的 y 0 则称为在 Y y 的条件下 X 的条件概率密度 记为 yfY yfY yf yxf Y yxf YX yf yxf Y 4 相互独立的随机变量 定义 设及 分别是二维离散型随机变量 X Y 的分布函数及边缘 yxF Fx X Fy Y 分布函数 若对于所有 x y 有 即 y P Y xXPyYxXP y F F F YX xyx 则称随机变量 X 和 Y 是相互独立的 8 对于二维正态随机变量 X Y X 和 Y 相互独立的充要条件是参数0 5 两个随机变量的函数的分布两个随机变量的函数的分布 1 Z X Y 的分布 设 X Y 是二维连续型随机变量 它具有概率密度 则 Z X Y 仍为连续性随机变量 其 yxf 概率密度为或 dyyyzfzf YX dxxzxfzf YX 又若 X 和 Y 相互独立 设 X Y 关于 X Y 的边缘密度分别为则 yfxf YX 和这两个公式称为 dyfyzfzf YXYX y dxxzfxfzf YXYX 的卷积公式卷积公式 YX ff 有限个相互独立的正态随机变量的线性组合仍然服从正态分布有限个相互独立的正态随机变量的线性组合仍然服从正态分布 2 的分布的分布 XYZ X Y Z 设 X Y 是二维连续型随机变量 它具有概率密度 则 yxfXYZ X Y Z 仍为连续性随机变量其概率密度分别为又dxxzxfxzf XY dx x z xf x zfXY 1 若 X 和 Y 相互独立 设 X Y 关于 X Y 的边缘密度分别为则可化为 yfxf YX dxxzfxfzf YXXY dx x z fxf x zf YXY 1 X 3的分布及 min NY XmaxYXM 设 X Y 是两个相互独立的随机变量 它们的分布函数分别为由于 yFxF YX 不大于 z 等价于 X 和 Y 都不大于 z 故有又由于Y Xmax Mz Yz P Xz P M X 和 Y 相互独立 得到的分布函数为Y Xmax M max zFzFzF YX 9 的分布函数为 min NYX 1 11 min zFzFzF YX 第四章第四章 随机变量的数字特征随机变量的数字特征 1 数学期望 数学期望 定义 设离散型随机变量离散型随机变量 X 的分布律为 k 1 2 若级数绝对收敛 则 kk pxXP 1k kkp x 称级数的和为随机变量 X 的数学期望 记为 即 1k kkp x XE i kkp xXE 设连续型随机变量连续型随机变量 X 的概率密度为 若积分绝对收敛 则称积分 xf dxxxf 的值为随机变量 X 的数学期望 记为 即 dxxxf XE dxxxfXE 定理 设 Y 是随机变量 X 的函数 Y g 是连续函数 Xg i 如果 X 是离散型随机变量离散型随机变量 它的分布律为 k 1 2 若绝对收敛 k pXP x kk k k pxg 1 则有 Y E XgE k k k pxg 1 ii 如果 X 是连续型随机变量连续型随机变量 它的分概率密度为 若绝对收敛则有 xf dxxfxg Y E XgE dxxfxg 数学期望的几个重要性质 1 设 C 是常数 则有CCE 2 设 X 是随机变量 C 是常数 则有 XCECXE 3 设 X Y 是两个随机变量 则有 YEXEYXE 4 设 X Y 是相互独立的随机变量 则有 YEXEXYE 10 2 方差方差 定义 设 X 是一个随机变量 若存在 则称为 X 的方差 记为 2 XEXE 2 XEXE D x 即 D x 在应用上还引入量 记为 称为标准差或均方 2 XEXE xD x 差 222 EXXEXEXEXD 方差的几个重要性质 1 设 C 是常数 则有 0 CD 2 设 X 是随机变量 C 是常数 则有 C 2 XDCXD D X CXD 3 设 X Y 是两个随机变量 则有特别 E Y E X Y 2E XD Y D X YXD 若 X Y 相互独立 则有 YDXDYXD 4的充要条件是 X 以概率 1 取常数 即0 XDE X 1 XEXP 切比雪夫不等式切比雪夫不等式 设随机变量 X 具有数学期望 则对于任意正数 不等式 2 XE 成立 2 2 XP 3 3 协方差及相关系数协方差及相关系数 定义 量称为随机变量 X 与 Y 的协方差为 即 YEYXEXE YXCov YEXEXYEYEYXEXEYXCov 而称为随机变量 X 和 Y 的相关系数 D Y D X YX XY Cov 对于任意两个随机变量 X 和 Y 2 YXCovYDXDYXD 11 协方差具有下述性质 1 YXabCovbYaXCovXYCovYXCov 2 2121 YXCovYXCovYXXCov 定理 1 1 XY 2 的充要条件是 存在常数 a b 使1 XY 1 bxaYP 当0 时 称 X 和 Y 不相关 XY 附 几种常用的概率分布表 分布参数分布律或概率密度 数学期 望 方差 两点分布10 p 1 0 1 1 kppkXP kk p 1 pp 二项式分 布 1 n 10 p nkppCkXP knkk n 1 0 1 np 1 pnp 泊松分布0 2 1 0 k k e kXP k 几何分布10 p 2 1 1 1 kppkXP k p 1 2 1 p p 均匀分布ba 其他0 1 bxa ab xf 2 ba 12 2 ab 指数分布0 其他 0 0 1 xe xf x 2 12 正态分布 0 2 2 2 2 1 x exf 2 第五章第五章 大数定律与中心极限定理大数定律与中心极限定理 1 大数定律大数定律 弱大数定理 辛欣大数定理 弱大数定