概率论与数理统计教程（茆诗松版）

概率论与数理统计教程（茆诗松版）从随机现象到统计推断的系统学习之旅课程教材：茆诗松《概率论与数理统计教程》课程导览01概率论基础事件、概率、条件概率与独立性02随机变量分布函数、常见分布、多维随机变量03数字特征期望、方差、协方差与相关系数04极限定理大数定律与中心极限定理05统计推断参数估计、假设检验、回归分析概率论基础从不确定性中寻找规律事件、概率、条件概率与独立性事件、概率、条件概率与独立性01随机现象与随机试验“在一定条件下，可能出现多种结果，事先无法确定具体结果的现象”投掷硬币、射击命中环数、测量零件尺寸均为随机试验，是概率论的基本研究对象。随机现象在一定条件下可能出现多种结果事先无法确定具体结果确定性现象已知条件必然导致唯一确定结果随机试验三个特征可重复可在相同条件下重复进行多结果所有可能结果不止一个且事先明确不可预知每次试验恰好出现一个可能结果，无法预知样本空间与事件“用集合论语言刻画事件，是概率论形式化的第一步。”—概率论形式化样本点与样本空间样本点：随机试验的每一个可能结果，记作

ω样本空间：全体样本点组成的集合，记作

Ω随机事件与基本事件随机事件：样本空间的某个子集，通常用大写字母

A、B、C

表示基本事件：只含一个样本点的单点子集必然事件与不可能事件必然事件：每次试验必然发生，即样本空间

Ω

本身不可能事件：每次试验都不会发生，即空集事件关系与运算“事件运算的本质是集合运算，满足交换律、结合律、分配律与德摩根律”包含A发生必然导致B发生记作

A⊂B相等A⊂B与B⊂A同时成立记作

A=B和事件A与B至少一个发生记作

A∪B积事件A与B同时发生记作

A∩B差事件A发生而B不发生记作

A−B互不相容A与B不能同时发生即

A∩B=∅频率与概率“频率具有随机波动性，概率是频率的理论稳定值，二者联系由大数定律严格刻画。”4项频率定义在n次试验中事件A出现m次，则频率

f(A)=m/n基本性质非负、有界于0与1之间、满足有限可加性稳定性当n增大时，频率围绕某个常数摆动并逐渐稳定概率的统计定义该稳定值称为事件A的概率

P(A)古典概型“若事件A包含

k

个样本点，样本空间共有

n

个样本点，则

P(A)=k/n”—古典概型概率公式01成立条件古典概型成立的两个条件样本空间只含有限个样本点每个样本点出现的可能性相等02计算要点计算关键与典型模型关键：正确数出样本点个数，常用排列组合工具典型模型：掷骰子、抽签、摸球等均属此类排列组合要点简要复习加法原理与乘法原理，以及排列、组合计数公式，为古典概型计算提供工具判断要点涉及顺序用排列，不涉及顺序用组合。加法原理完成一件事有若干类互斥方式，各类方式数之和即为总数。乘法原理分步完成时，各步方式数相乘即为总数。排列从n个不同元素中取出m个排成一列，数量为

P(n,m)=n!/(n−m)!组合从n个不同元素中取出m个不分顺序，数量为

C(n,m)=n!/[m!(n−m)!]几何概型P(A)=事件A对应区域的测度/样本空间区域的测度测度为长度、面积或体积，典型例子含会面问题与投点问题古典概型有限等可能有限个等可能结果计数之比P(A)=n(A)/n(Ω)样本空间有限，每个基本事件等可能发生无限不可数无限不可数个等可能结果测度之比P(A)=m(A)/m(Ω)连续型模型的雏形概率公理化定义设样本空间

Ω，概率

P

是定义在事件域上的实值函数，满足三条公理。公理化定义由柯尔莫哥洛夫给出，使概率论建立在严格的测度论基础上，统一了各类概率模型。非负性对任意事件

A，P(A)≥0规范性整个样本空间的概率为1。P(Ω)=1可列可加性对两两互不相容的事件

A₁,A₂,…，P(∪Aᵢ)=ΣP(Aᵢ)概率的基本性质从公理出发，推导概率的三大运算性质计算事件并的概率时，减去交的概率是防止重复计算的关键基本性质5项P(∅)=0不可能事件的概率为零有限可加性两两互不相容事件和的概率等于各概率之和补事件公式P(Ā)=1−P(A)减法公式若A⊂B，则

P(B−A)=P(B)−P(A)加法公式P(A∪B)=P(A)+P(B)−P(AB)条件概率定义：设

P(B)>0，已知B发生的条件下A的概率为P(A|B)=P(AB)/P(B)条件概率是连接先验信息与新证据的桥梁，是贝叶斯推断的基础。条件概率的核心性质条件概率满足概率的三条公理，一切概率性质对条件概率同样成立。条件概率将样本空间缩小为事件B，体现“信息更新”的思想。乘法公式多个事件依次发生、后发生事件受已发生事件影响的概率计算，如抽签不放回摸球问题。P(AB)=P(A)P(B|A)=P(B)P(A|B)两两个事件公式乘法法则：P(AB)=P(A)P(B|A)独立成行对等展开：P(AB)=P(B)P(A|B)多多个事件推广链式法则P(A₁A₂…Aₙ)=P(A₁)P(A₂|A₁)…P(Aₙ|A₁A₂…Aₙ₋₁)逐次展开每个事件在前述事件已发生的条件下的概率依次相乘。适适用场景顺序影响后发生事件受已发生事件影响。典型例子抽签不放回摸球问题。全概率公式完备事件组B₁,B₂,…,Bₙ两两互不相容，且∪Bᵢ=ΩP(A)=ΣP(Bᵢ)P(A|Bᵢ)，i从1到n计算思路计算思路1拆分将事件

A

按不同原因

Bᵢ

拆分2加权求和分别求条件概率，再加权求和核心思想分情况讨论全概率公式体现了"分情况讨论"的思想，是把复杂事件分解为简单情形之和的核心工具。贝叶斯公式P(Bᵢ|A)=P(Bᵢ)P(A|Bᵢ)/ΣⱼP(Bⱼ)P(A|Bⱼ)贝叶斯公式用于由结果反推原因，广泛应用于医学诊断、机器学习与信用评估等领域。先验概率P(Bᵢ)：试验前对原因可能性的判断试验前已有的判断后验概率P(Bᵢ|A)：观察到结果A后修正的原因概率观察到结果后修正的概率两个事件的独立性定义若P(AB)=P(A)P(B)称A与B相互独立VS等价条件当P(B)>0时A与B独立等价于

P(A|B)=P(A)概念含义层面互不相容两个事件不能同时发生集合层面独立一个事件的发生不影响另一个事件的概率概率层面互不相容的两个事件通常不独立，反之亦然。独立与互不相容的本质区别互不相容是集合层面的关系——两事件不能同时发生。独立是概率层面的关系——一个事件的发生不影响另一个事件的概率。多个事件的独立性两个事件独立的定义可推广到三个及更多事件，但条件更为严格。条件等式两两乘积P(AB)=P(A)P(B)，P(AC)=P(A)P(C)，P(BC)=P(B)P(C)三事件乘积P(ABC)=P(A)P(B)P(C)结论多个事件独立要求所有子集乘积等式均成立，条件严格得多三个事件A、B、C相互独立，需同时满足：所有子集乘积等式成立两两独立任意两事件独立，不能保证三事件整体独立仅满足两两乘积等式相互独立必然推出两两独立，反之不成立须同时满足全部四个乘积等式伯努利试验伯努利试验是二项分布、几何分布等多种重要分布的共同源头基本定义2条每次试验只有两个可能结果——成功或失败n重伯努利试验相同条件下独立重复n次，每次成功概率恒为

p典型例子2例连续投掷硬币

n次批量产品中抽取

n件

检验是否合格二项概率公式在n重伯努利试验中，事件A恰好发生k次的概率为：P(X=k)=C(n,k)pk(1−p)n−kk=0,1,…,n组合数系数C(n,k)表示从n次试验中选出k次成功位置的方式数来源说明固定序列概率pk(1−p)n−k是某一种固定成功序列发生的概率概率含义第一章例题解析通过摸球与诊断两道典型例题串联全概率公式与贝叶斯公式的应用步骤摸摸球问题两个盒子中红白球数量不同，先随机选盒再取球思路：以“选中哪个盒子”为完备事件组，用全概率公式求取到红球的总概率全概率公式诊医学诊断问题已知某病患病率与检测试剂准确率思路：先求检测为阳性的总概率（全概率），再求阳性者真患病的后验概率（贝叶斯）贝叶斯公式两类问题共同体现完备事件组的选取与条件概率的方向转换。第一章小结以知识脉络串联本章全部概念，强调概率定义演进与三大核心公式的地位本章以三条知识主线串联全部核心概念，收束为后续随机变量理论的事件与概率语言基础。本章为后续随机变量理论奠定

事件与概率语言

基础。本章知识主线核心计算工具排列组合计数、古典概型比例法、完备事件组拆分知识主线一：概率定义的演进从频率、古典、几何到公理化知识主线二：事件的运算体系集合语言下的和、积、差运算知识主线三：条件概率三公式乘法、全概率与贝叶斯公式随机变量用函数刻画随机现象分布函数、常见分布、多维随机变量分布函数、常见分布、多维随机变量02随机变量的概念随机变量是定义在样本空间Ω上的实值函数X=X(ω)实现从事件语言到数值函数语言的转变。随机变量：从事件语言到数值函数语言将随机试验的结果用实数表示，实现从事件语言到数值函数语言的转变。引入意义便于用数学分析工具研究随机现象将概率论与实变函数、微积分建立联系核心分类按取值特点分为离散型与连续型两大类是本章的核心分类分布函数定义“对任意实数

x，称

F(x)=P(X≤x)

为随机变量X的分布函数。”—分布函数定义“分布函数是连接离散型与连续型随机变量的统一语言。”—核心地位定义域全体实数值域[0,1]分布函数的地位完整刻画随机变量的概率规律任何随机变量的统计规律均可由分布函数确定完整刻画统计规律分布函数的性质单调不减当

x₁<x₂

时，有F(x₁)≤F(x₂)函数值随自变量增大而不减，概率累积只增不退。有界性左端点极限F(−∞)=0F(+∞)=1整体取值限定在

[0,1]，反映概率归一。右连续性分布函数在每一点处右连续F(x⁺)=F(x)从右侧逼近，函数值不跳跃，是区分分布函数的重要特征。离散型随机变量分布列：pᵢ=P(X=xᵢ)，i=1,2,…非负性pᵢ≥0正则性Σpᵢ=1F(x)=P(X≤x)=Σxᵢ≤xpᵢ；离散型的概率集中于可列个孤立点，分布函数呈阶梯状。0-1分布与二项分布n重伯努利试验中成功总次数的分布，即独立重复试验成功次数服从二项分布0-1分布X只取0或1取值仅为两个互斥结果P(X=1)=p取1的概率为pP(X=0)=1−p取0的概率为1−p二项分布X~B(n,p)P(X=k)=C(n,k)pᵏ(1−p)ⁿ⁻ᵏ成功k次的概率公式n个独立同服从0-1分布的变量之和服从二项分布B(n,p)，即独立重复试验成功次数的基础模型泊松分布泊松分布是稀有事件计数的经典模型。分布列2项分布列公式P(X=k)=λᵏe^(−λ)/k!，k=0,1,2,…参数λ>0既是期望，也是方差典型应用场景3项单位时间内电话呼叫次数单位面积上的缺陷点数目稀有事件在大量试验中的出现次数典型应用场景3项单位时间内电话呼叫次数单位面积上的缺陷点数目稀有事件在大量试验中的出现次数泊松定理设

λₙ=npₙ，若

n→∞

时

λₙ→λ，则对任意固定

k适用条件与近似意义2项适用条件n大、p小，np稳定在适当范围近似意义n很大而p很小时，用泊松分布近似二项分布可大幅简化计算泊松定理揭示了二项分布与泊松分布之间的极限联系几何分布无论已失败多少次，继续等待的分布与从零开始相同，这是几何分布区别于其他离散分布的特有性质。分布列与模型意义分布列：P(X=k)=(1−p)k−1·p，k=1,2,…模型意义：伯努利试验中首次成功所需试验次数的分布无记忆性P(X>m+n|X>m)=P(X>n)无论已失败多少次，继续等待的分布与从零开始相同，这是几何分布区别于其他离散分布的特有性质。连续型随机变量通过密度函数的积分定义连续型随机变量，并列出密度函数的两条基本性质连续型随机变量的概率由密度函数的积分确定定义概率密度函数存在非负可积函数f(x)，使对任意实数x有：F(x)=∫₋∞ˣf(t)dt则称X为连续型随机变量，f(x)为概率密度函数。密度函数的性质两条基本性质非负性f(x)≥0正则性∫₋∞⁺∞f(x)dx=1，全空间积分等于1关键区别：连续型随机变量取任一单点值的概率为零，即

P(X=a)=0连续型概率计算概率由密度函数在区间上的面积给出。“区间概率由密度函数在区间上的积分给出：P(a<X≤b)=∫abf(x)dx”概率由密度函数在区间上的面积给出。端点无关性连续型随机变量下，区间开闭不影响概率值。即P(a<X≤b)=P(a<X<b)。密度值的含义f(x)不是概率，而是概率的局部浓度。f(x)越大，X落在x附近单位长度区间内的概率越大。f(x)可大于

1，但积分总量恒为1。均匀分布均匀分布是最基础的连续型分布，也是随机模拟的重要来源。密度函数与分布函数密度函数f(x)=1/(b−a)，当a<x<b；其余为0分布函数F(x)=0，x≤a；(x−a)/(b−a)，a<x<b；1，x≥b特征与应用特征落在区间内任意等长子区间上的概率相等应用背景数值四舍五入误差、班车候车时间等可在有限区间内等可能取值指数分布指数分布是连续型中的无记忆分布，其无记忆性与几何分布遥相呼应。指数分布的无记忆性，正是几何分布在连续时间轴上的自然延伸。f密度函数与分布函数密度函数f(x)=λe−λx，x>0；其余为0，参数

λ>0分布函数F(x)=1−e−λx，x>0无记忆性与应用2项无记忆性P(X>s+t|X>s)=P(X>t)应用场景电子元件寿命、排队服务时间、放射性衰变等待时间正态分布在概率论与数理统计中，正态分布是最重要的连续型分布。正态分布密度函数特征μ=0，σ=1·对称钟形曲线对称性峰值位置拐点位置参数意义与重要性参数意义μ

为位置参数，决定曲线对称中心与平移位置；σ

为尺度参数，决定曲线的离散程度与形状。重要性自然界大量随机量近似服从正态分布，误差理论、生物测量、工业质量控制中无处不在。记作X~N(μ,σ²)位置参数尺度参数钟形曲线正态分布的性质参数影响：

μ

变化曲线左右平移；σ

增大曲线变矮变宽，σ

减小曲线变高变窄。关于直线

x=μ

对称对称轴曲线以

x=μ

为对称中心，左右两侧完全镜像。在

x=μ

处取得最大值峰值最大值为

1/(√(2π)σ)，位于对称中心处。曲线两端以x轴

为水平渐近线渐近线当

x→±∞

时，曲线无限接近x轴。拐点位于x=μ±σ

处拐点曲线凹凸性在此两点处发生改变。对称性与拐点位置是绘制和理解正态曲线的关键特征标准正态分布标准正态分布是查表计算的根基，标准化将一般正态变量转化为标准正态变量。标准化把无穷多个正态分布化为

一个标准分布，是查表计算的根基。定义密度φ(x)分布函数Φ(x)记号标准化变换条件若X~N(μ,σ²)结果Z=(X−μ)/σ

服从N(0,1)公式对称性含义Φ(−x)=1−Φ(x)，分布关于纵轴对称用途查表只需半边性质正态分布查表计算核心公式：P(a<X≤b)=Φ((b−μ)/σ)−Φ((a−μ)/σ)三西格玛原则1STEP01标准化Z区间概率转化为标准正态变量Z的区间概率2STEP02分布函数相减Φ值之差用Φ值之差表示目标概率3STEP03查表求值查表·相减查标准正态分布表，相减即得结果离散型函数的分布设

Y=g(X)，X为离散型随机变量，分布列已知求解步骤01第一步

求取值求出Y的所有可能取值

g(x₁),g(x₂),…02第二步

合并概率相同取值对应概率相加：P(Y=y)=ΣP(X=xᵢ)关键要点不同xᵢ

可能映射到同一个y

值，这些概率必须合并。离散型函数分布只涉及取值变换与概率重新归并。连续型函数的分布设Y=g(X)，X为连续型随机变量，求Y的密度函数通用步骤。1求分布函数写

F_Y(y)=P(g(X)≤y)2转化不等式将{g(X)≤y}等价转化为

X的取值区间3区间积分用X的密度对相应区间积分4求导得密度对F_Y(y)求导得到

f_Y(y)分布函数法适用于各类函数变换，关键在于正确转化不等式。二维随机变量由两个随机变量X、Y组成的向量(X,Y)称为二维随机变量。联合分布函数：F(x,y)=P(X≤x,Y≤y)核心作用联合分布函数刻画X与Y的整体概率规律。研究两个量同时变化的规律，是多元分析的起点。整体规律基本性质单调性规范性：F(∞,∞)=1右连续性二维离散型联合分布列全面描述两个离散变量的取值配对规律。用联合分布列pij

完整刻画两个离散变量的取值配对规律定定义与规范性条件定义联合分布列：pij=P(X=xi,Y=yj)非负性pij≥0正则性ΣiΣjpij=1表格表示与读取二维表格·行列双读常用表格表示：行取X的取值，列取Y的取值，格内为联合概率边缘分布列：分别对行或列求和得到X与Y各自的分布二维连续型定义：若存在非负可积函数f(x,y)，使F(x,y)=∫∫f(u,v)dudv，则f(x,y)为联合密度函数。二维连续型随机变量密度函数f(x,y)非负可积，其二重积分刻画平面区域上的概率分布。二维连续型概率由联合密度在区域上的二重积分给出。两条性质非负性：联合密度函数取值恒非负。全平面积分等于

1。区域概率P((X,Y)∈D)=∬Df(x,y)dxdy边缘分布由联合分布唯一确定边缘分布，但由边缘分布不能唯一确定联合分布。离散型边缘分布列2项P(X=xᵢ)=Σⱼpᵢⱼ对变量X

的所有取值求和所得P(Y=yⱼ)=Σᵢpᵢⱼ对变量Y

的所有取值求和所得连续型边缘密度2项f_X(x)=∫₋∞⁺∞f(x,y)dy对变量Y

积分所得f_Y(y)=∫₋∞⁺∞f(x,y)dx对变量X

积分所得条件分布条件分布刻画一个变量已知时另一个变量的

更新后的规律

，是回归分析与贝叶斯推断的理论基础。离散型条件分布列适用条件P(Y=yⱼ|X=xᵢ)=pᵢⱼ/P(X=xᵢ)在X取定xᵢ

的前提下，Y各取值的条件概率列连续型条件密度要求f_X(x)>0f(y|x)=f(x,y)/f_X(x)由联合密度与边缘密度之比定义，分母须为正随机变量的独立性分分布函数任意x、y成立F(x,y)=FX(x)·FY(y)离离散型条件独立pij=pi··p·j

对一切i、j成立连连续型几乎处处成立f(x,y)=fX(x)·fY(y)对几乎所有点成立关键假设概率结构简化独立性意味着联合分布完全由边缘分布决定。和的分布与卷积设

X、Y

相互独立，密度分别为

fX、fY，则

Z=X+Y卷积记号2项该积分称为fX

与fY

的卷积，记作(fX*fY)(z)适用条件：X与Y独立应用场景1项求和分布广泛应用于信号叠加、总量统计等场景卷积公式刻画了

独立变量之和

的概率结构极值分布设

X₁,…,Xₙ

相互独立，分布函数均为

F(x)最大值1条F_max(x)=P(maxXᵢ≤x)=[F(x)]ⁿ最大值不超过x等价于每个分量都不超过x最小值1条F_min(x)=P(minXᵢ≤x)=1−[1−F(x)]ⁿ最小值超过x等价于每个分量都超过x二维正态分布在二维正态分布中，X与Y相互独立等价于不相关（ρ=0）。五个参数共同决定均值μ₁、μ₂均值方差σ₁²、σ₂²方差相关系数ρ相关系数核心模型地位该等价关系在其他分布中一般不成立。使二元正态成为多元分析的核心模型。第二章小结本章构建了从一维到多维的完整

随机变量理论框架。主线一：以一维随机变量与分布函数为基础以一维随机变量与分布函数作为全章基础。主线二：掌握五类常见离散分布与三类连续分布五类常见离散分布与三类连续分布的系统掌握。主线三：多维随机变量的联合、边缘、条件分布及独立性多维随机变量的联合、边缘、条件分布及独立性。核心方法4项分布函数法标准化变换卷积公式极值分布推导数字特征用数字概括随机规律期望、方差、协方差与相关系数期望、方差、协方差与相关系数03数学期望的定义本质：以概率或密度为权重的

加权平均，刻画随机变量取值的平均位置绝对收敛条件的意义：保证期望值与求和次序无关数学期望是随机变量取值中心位置的度量，是数字特征体系的第一块基石。离散型E(X)=Σxᵢpᵢ要求级数绝对收敛连续型E(X)=∫xf(x)dx要求积分绝对收敛函数的期望设

Y=g(X)，函数期望直接由X的原分布计算离散型ΣE[g(X)]=Σg(xᵢ)pᵢ期望的运算性质线性性质无需独立条件E(c)=c，常数cE(cX)=cE(X)E(X+Y)=E(X)+E(Y)对任意随机变量都成立，不需独立乘积性质必须要求独立若

X与Y独立，则E(XY)=E(X)E(Y)乘积期望可拆开则必须要求独立方差的定义方差将偏差平方后取期望，避免正负偏差相互抵消。定义D(X)=E[(X−E(X))²]常用计算式D(X)=E(X²)−[E(X)]²含义衡量随机变量取值围绕期望的离散程度性质方差非负，方差为零当且仅当X以概率1取常数值方差的运算性质列出方差运算的常数、常数倍与独立和公式期望与方差对比运算期望方差常数cE(c)=cD(c)=0常数倍cXE(cX)=cE(X)D(cX)=c²D(X)加法无条件成立需

X与Y独立成立条件宽松方差运算性质D(c)=0常数

c

的方差为零D(cX)=c²D(X)常数倍缩放，方差按

c²

放大D(X+Y)=D(X)+D(Y)X与Y独立

时成立方差加法拆分的独立性要求是本章最易出错之处。常见分布的数字特征下表汇总六类常见分布的期望与方差分布参数期望方差0-1分布ppp(1−p)二项分布n,pnpnp(1−p)泊松分布λλλ均匀分布a,b(a+b)/2(b−a)²/12指数分布λ1/λ1/λ²正态分布μ,σ²μσ²泊松分布的期望与方差均为

λ

，是参数双重含义的典型。协方差定义定义与计算式上下排列，正负协方差左右对比01定义式Cov(X,Y)=E[(X−EX)(Y−EY)]02常用计算式Cov(X,Y)=E(XY)−E(X)E(Y)协方差度量的核心是线性共变方向，不是一般意义上的关联。正协方差X与Y倾向于同时大于或同时小于各自期望负协方差一个偏大时，另一个倾向偏小协方差的性质对称性Cov(X,Y)=Cov(Y,X)自协方差Cov(X,X)=D(X)线性变换Cov(aX+b,cY+d)=ac·Cov(X,Y)可加性Cov(X₁+X₂,Y)=Cov(X₁,Y)+Cov(X₂,Y)相关系数相关系数是对线性关联的标准化度量，便于跨变量比较。定义：ρ(X,Y)=Cov(X,Y)/[√D(X)√D(Y)]，设方差均正取值范围

恒有−1≤ρ≤1无量纲性

消除量纲影响取值含义2项|ρ|越接近

1线性关系越强ρ=0表示不存在线性相关不相关与独立不相关定义ρ(X,Y)=0等价条件E(XY)=E(X)E(Y)判定条件反例与特例反例X对称于零，Y=X²，则

Cov(X,Y)=0，但X与Y存在函数依赖特例仅当二维正态时，不相关与独立等价要点辨析矩与协方差矩阵矩k阶原点矩E(Xᵏ)矩k阶中心矩E[(X−EX)ᵏ]一阶原点矩即期望，二阶中心矩即方差协协方差矩阵项取值D(X)Cov(X,Y)Cov(X,Y)D(Y)主对角线各方差非对角元素协方差整体半正定，多元分析的基础条件期望离散型E(Y|X=xᵢ)=ΣⱼyⱼP(Y=yⱼ|X=xᵢ)连续型E(Y|X=x)=∫yf(y|x)dy两种视角视角观察固定x时：条件期望是常数。随X变化时：构成随机变量

E(Y|X)。重期望公式核心工具嵌套期望的展开：E(Y)=E[E(Y|X)]。通过分步求期望，实现期望的整体分解。01公式与意义重期望公式核心公式E(Y)=E[E(Y|X)]条件期望是分层分析与预测问题的理论核心。第三章小结期望、方差、协方差——三大数字特征数字特征以少数指标概括分布全貌，是统计应用的实用语言。关键辨析期望加法无条件方差加法需独立不相关弱于独立常用工具函数期望公式方差计算式协方差计算式极限定理随机背后的必然大数定律与中心极限定理大数定律与中心极限定理04切比雪夫不等式P(|X−μ|≥ε)≤σ²/ε²无需知晓分布，仅凭期望与方差即可约束偏离概率切比雪夫不等式是证明大数定律的核心工具。价值2项仅用期望与方差即可估计偏离概率无需知道具体分布代价2项界相对保守偏离上界较宽松概率意义上的粗放估计依概率收敛大数定律的结论本质上就是样本均值依概率收敛于期望。对任意ε>0，有

limn→∞P(|Xn−X|≥ε)=0，则称序列{Xn}依概率收敛于X直观含义n充分大时，Xn

与X偏离超过ε的概率可以任意小收敛性质依概率收敛是随机变量序列较弱的收敛形式，但足以支撑大数定律大数定律概述在一定条件下，n个随机变量的算术平均依概率收敛于其期望的平均频率稳定于概率为频率稳定于概率提供严格数学证明相合性基础是参数估计中点估计相合性的理论基础长期观察稳定性解释了长期大量观察所呈现的稳定性根本问题大数定律回答了平均能否代表整体这一根本问题。切比雪夫大数定律两两不相关且方差一致有界（D(Xᵢ)≤C），则

P(|1/n∑Xᵢ−1/n∑EXᵢ|≥ε)→0证证明思路期望先证平均的期望与方差放缩再用切比雪夫不等式放大概率上界优核心优势更弱条件两两不相关而非独立的较弱条件使该定律适用范围更广伯努利大数定律“n次伯努利试验中成功频率

m/n，对任意

ε>0，limn→∞

”大数定律定设定n次伯努利试验中成功次数为

m，频率为

m/n，每次成功概率为

p结论频率依概率收敛于概率，即limn→∞P(|m/n−p|≥ε)=0理论意义是概率统计定义的枣格数学基础，频率围绕概率波动并趋于稳定的精确表述辛钦大数定律切比雪夫版较强条件条件要求方差一致有界VS辛钦版更弱条件条件只假定一阶矩存在辛钦大数定律的条件是经典大数定律中最弱的之一。辛钦版：条件与结论3项条件X₁,X₂,…独立同分布，且

E(Xᵢ)=μ

存在有限结论样本均值依概率收敛于μ，即X̄ₙ→ᴾμ条件优势不要求方差存在，只需期望有限中心极限定理概述中心极限定理与大数定律互补：大数定律关注均值收敛，中心极限定理刻画波动的分布形态。大量独立随机变量之和经标准化后，其分布近似标准正态适用前提各分量对总和的贡献相对均匀，不存在起支配作用的单一分量理论意义解释了正态分布在自然界中的普适性为用正态分布近似处理大样本问题提供依据独立同分布中心极限定理中心极限定理条件X₁,X₂,…独立同分布，期望

μ、方差

σ²

均有限且σ²>0结论对任意x，limn→∞P((ΣXᵢ−nμ)/(√nσ)≤x)=Φ(x)近似应用n充分大时，ΣXᵢ

近似服从

N(nμ,nσ²)近似应用正态分布参数n→∞n逐步增大n充分大近似正态精确极限n充分大时，ΣXᵢ

的分布逼近

N(nμ,nσ²)，均值

nμ、方差

nσ²。不论原始分布为何，大量独立同分布变量之和近似正态棣莫弗-拉普拉斯定理对任意x，limₙ→∞P((Xₙ−np)/√(np(1−p))≤x)=Φ(x)定理设定与近似应用2项设定Xₙ~B(n,p)，0<p<1近似应用n大时，P(a≤Xₙ≤b)可用正态分布函数近似计算与泊松近似的分工2项n大p小→泊松近似取泊松近似n大且np(1−p)较大→正态近似取正态近似中心极限定理应用1确认条件大量独立同分布（或近似满足）分量求和2计算总量和的总期望

nμ

与总方差

nσ²3查表求概率标准化后查标准正态分布表连续化修正：处理离散变量时常用

±0.5

修正以提高近似精度典型场景误差累加·保险赔付总量·产品重量总和中心极限定理使

复杂和分布

的计算简化为查正态表第四章小结大数定律是位置律，中心极限定理是形态律大大数定律收敛对象样本均值趋于期望规律性质位置律版本数量三条大数定律中中心极限定理收敛对象标准化和趋于正态规律性质形态律版本数量两条中心极限定理切比雪夫版伯努利版辛钦版独立同分布版二项分布正态近似版三类大数定律条件由强到弱，两类中心极限定理覆盖独立同分布与二项近似，共同构成大样本统计推断的概率论根基统计推断从样本走向总体参数估计、假设检验、回归分析参数估计、假设检验、回归分析05总体与样本引入数理统计的总体与个体概念，区分简单随机样本应具备的独立同分布性质。总总体与个体总体研究对象的全体，其数量指标构成某个随机变量X的取值集合个体总体中的每个元素样样本📊从总体中抽取的若干个体构成的集合随简单随机样本X₁,…,Xₙ独立性各Xᵢ

相互独立代表性每个Xᵢ

与总体X同分布简单随机样本是数理统计推断的出发点，本书仅讨论此类样本。统计量样本均值X̄=(1/n)ΣXᵢ将样本信息浓缩为可计算指标样本方差无偏估计S²=[1/(n−1)]Σ(Xᵢ−X̄)²分母取n−1保证S²是总体方差σ²的无偏估计；样本均值和样本方差是后续推断中使用最频繁的统计量，将样本信息浓缩为可计算指标，是推断的中间桥梁。统计量定义：样本X₁,…,Xₙ的函数且不含任何未知参数，是推断的中间桥梁抽样分布统计量作为随机变量的概率分布，即为抽样分布—从数据到推断的关键一环作用在假设检验与区间估计中用于确定临界值与置信区间基础正态总体下抽样分布有简洁的显式结论，是本章后续推断的分布基础01卡方分布χ²02t分布t03F分布F卡方分布卡方分布源于标准正态变量的平方和，在方差推断中起核心作用。构造与参数2项构造设

Z₁,…,Zₙ

独立同服从

N(0,1)，则ΣZᵢ²~χ²(n)参数自由度

n核心性质2项可加性若

Y₁~χ²(m)，Y₂~χ²(n)

且独立，则Y₁+Y₂~χ²(n+m)期望与方差E[χ²(n)]=n，D[χ²(n)]=2nt分布设

Z~N(0,1)

与

Y~χ²(n)

相互独立，则

T=Z/√(Y/n)~t(n)核心性质2项密度关于零对称形态与标准正态相似但尾部更厚自由度n→∞t(n)

趋于标准正态分布应用场景2项总体方差未知对均值的推断小样本方差未知提供精确的分布工具F分布设

Y₁~χ²(m)

与

Y₂~χ²(n)

独立，则

F=(Y₁/m)/(Y₂/n)~F(m,n)度自由度参数m第一自由度n第二自由度性倒数性质F~F(m,n)则

1/F~F(n,m)分位数满足

倒数互换关系用于两个正态总体方差的比较与回归分析显著性检验正态总体抽样分布定理设X₁,…,Xₙ独立同服从N(μ,σ²)，则样本均值与样本方差相互独立样本均值分布X̄~N(μ,σ²/n)样本方差分布(n−1)S²/σ²~χ²(n−1)独立性X̄与S²相互独立参数估计概述参数估计是统计推断的第一类任务，为假设检验铺垫两类估计任务2类点估计用单个数值估计参数区间估计给出参数所在的一个区间及置信度概念区分与记号3项估计量统计量，是随机变量估计值代入观测后的具体数值θ̂参数θ的估计量记号矩估计法矩估计以替换法为核心，是应用最广的估计法之一。01计算总体矩计算总体矩（通常为低阶矩），表达为参数函数02样本矩替换用样本矩替换总体矩，建立方程03解方程解方程得到参数估计值方法评价优点计算简单、意义直观局限不唯一、信息利用不充分极大似然估计极大似然估计具有渐近有效性等优良大样本性质选择使当前样本出现概率最大的参数值作为估计·L(θ)=Πf(xᵢ;θ)（样本联合密度/联合分布列视为θ的函数）1Step01写出似然函数L(θ)=Πf(xᵢ;θ)样本联合密度/分布列2Step02取对数lnL(θ)连乘化求和，便于求导3Step03求导求解令导数为零解出

θ̂点估计的评价标准“从准确度、稳定性与大样本行为三个角度综合评判估计量。”“三大标准从准确度、稳定性与大样本行为三个角度综合评判估计量。”无偏性E(θ̂)=θ，估计的期望等于真值；无偏性看平均是否瞄准目标。有效性在无偏估计中方差更小者更有效；有效性看在瞄准前提下波动是否更小。相合性n→∞时θ̂依概率收敛于θ；相合性看样本量增大时是否越来越准。无偏性与有效性无偏性保证不系统性偏离，有效性保证偏离波动最小。样本均值E(X̄)=μ，是总体均值的无偏估计样本方差E(S²)=σ²，是总体方差的无偏估计有效性设

θ̂₁、θ̂₂

均为θ的无偏估计，若

D(θ̂₁)<D(θ̂₂)，则θ̂₁更有效最优性在总体均值的线性无偏估计中，X̄的方差最小，是最有效者区间估计的概念置信区间：由样本构造的随机区间[θ̂ₗ,θ̂ᵤ]，以一定概率覆盖真值θ置信水平1−α：满足P(θ̂ₗ≤θ≤θ̂ᵤ)=1−α常用置信水平置信水平含义0.9090%覆盖概率0.9595%覆盖概率0.9999%覆盖概率与点估计对比点估计：无精度信息区间估计：同时给出

位置与精度

概念警示置信水平是区间覆盖真值的

频率，不是"真值落在此区间的概率"区间估计以

覆盖概率

量化推断可靠性。正态总体均值的区间估计设

X₁,…,Xₙ

独立同服从N(μ,σ²)，置信水平

1−α。方差已知用标准正态分位数，未知用t分布分位数，后者区间更宽。知方差σ²已知[X̄−zα/2σ/√n，X̄+zα/2σ/√n]分位数用标准正态分位数zα/2适用总体方差σ²为已知常数未方差σ²未知[X̄−tα/2(n−1)S/√n，X̄+tα/2(n−1)S/√n]分位数用

t分布分位数tα/2(n−1)适用总体方差σ²未知，以样本标准差S估计特征区间更宽正态总体方差的区间估计卡方分布不对称，方差区间两端使用不同分位数χ²卡方枢轴变量前提：X₁,…,Xₙ独立同服从

N(μ,σ²)，μ未知。枢轴变量：(n−1)S²/σ²~χ²(n−1)置信区间：[(n−