2025年大学《数理基础科学》专业题库-贝叶斯统计学的数学基础

2025年大学《数理基础科学》专业题库——贝叶斯统计学的数学基础考试时间：______分钟总分：______分姓名：______一、名词解释（每小题5分，共20分）1.贝叶斯定理2.先验分布3.后验分布4.共轭先验分布二、简答题（每小题8分，共32分）1.简述贝叶斯学派与频率学派在参数估计观点上的主要差异。2.解释似然函数在贝叶斯推断中的作用。3.设总体X服从参数为θ的泊松分布P(θ)。若θ的先验分布为伽马分布Γ(α,β)，写出θ的后验分布的表达式。4.简述贝叶斯因子在模型选择中的作用及其与似然比检验的区别。三、计算题（每小题12分，共48分）1.设随机变量X的取值为0或1，其概率分布为P(X=1|θ)=θ,P(X=0|θ)=1-θ，其中θ未知，且θ的先验分布为贝塔分布B(2,2)（即均匀分布U(0,1)）。现观测到X=1。求θ的后验分布，并计算θ=0.8的后验概率。2.设总体X服从正态分布N(μ,1)，其中μ未知。假设我们对μ的先验信念是μ的均值为0，方差为100（即先验分布N(0,100)）。现获得一个样本观测值X=5。求μ的后验分布，并计算μ=4的后验概率密度。3.已知参数θ的可能取值为0,1,2,3。假设θ的先验概率分布为P(θ=0)=0.1,P(θ=1)=0.2,P(θ=2)=0.4,P(θ=3)=0.3。又知观测数据X的似然函数为L(θ|X)=θ^2当θ≥X，=0当θ<X。假设观测到X=2。求θ的边缘分布，并计算P(θ≥2|X=2)。4.设总体X服从二项分布B(n,p)，其中n已知为10，p未知。假设p的先验分布为贝塔分布B(1,1)（即均匀分布U(0,1)）。现观测到X=6。求p的后验分布，并求p的贝叶斯估计量（即后验期望）。四、证明题（共16分）设总体X的概率密度函数为f(x|θ)=θx^(θ-1),0<x<1,θ>0。假设θ的先验分布为伽马分布Γ(α,β)。证明：θ的后验分布是贝塔分布，并给出其参数。试卷答案一、名词解释1.贝叶斯定理：在给定观察数据X的条件下，参数θ的后验分布与先验分布成比例，比例系数为似然函数L(θ|X)。其数学表达式为：π(θ|X)∝L(θ|X)π(θ)，其中π(θ|X)是后验分布，π(θ)是先验分布，L(θ|X)是似然函数。2.先验分布：在观察到任何数据之前，关于参数θ的概率分布，反映了研究者在收集数据前对参数θ的信念。记作π(θ)。3.后验分布：在观察到数据X之后，关于参数θ的条件概率分布，反映了综合了先验信念和数据信息后对参数θ的更新信念。记作π(θ|X)。4.共轭先验分布：指选择某一类先验分布，使得在给定似然函数的情况下，后验分布与该类分布相同。这种先验分布能大大简化贝叶斯推断的计算。常见的共轭先验对有：泊松分布-伽马分布，二项分布-贝塔分布，正态分布（方差已知）-正态分布。二、简答题1.贝叶斯学派与频率学派在参数估计观点上的主要差异：贝叶斯学派将参数视为具有某种概率分布的不确定性量，通过贝叶斯定理结合先验分布和观测数据更新对参数的信念（后验分布）。参数估计量是后验分布的某个函数（如后验期望或中位数），直接量化参数的不确定性。频率学派将参数视为固定但未知的常数，通过重复抽样得到的样本统计量的分布来推断参数，参数估计量（如样本均值）被看作是估计参数的“最佳”值，其频率意义在于重复抽样下该估计量的统计性质（如无偏性、有效性）。2.似然函数在贝叶斯推断中的作用：似然函数L(θ|X)度量了给定参数值θ时观测到数据X的可能性大小。在贝叶斯推断中，似然函数与先验分布π(θ)共同决定了后验分布π(θ|X)（通过公式π(θ|X)∝L(θ|X)π(θ)）。虽然似然函数本身不是概率分布（因为它关于θ不归一化），但它反映了数据对参数θ的支持程度，是计算后验分布中不可或缺的一部分，体现了数据信息对先验信念的修正作用。3.设总体X服从参数为θ的泊松分布P(θ)。若θ的先验分布为伽马分布Γ(α,β)，写出θ的后验分布的表达式：泊松分布的似然函数为L(θ|X)=θ^X*e^(-θ)/X!。伽马分布的密度函数为π(θ)=(β^α/Γ(α))*θ^(α-1)*e^(-βθ)。根据贝叶斯定理，θ的后验分布与L(θ|X)π(θ)成比例：π(θ|X)∝θ^X*e^(-θ)/X!*(β^α/Γ(α))*θ^(α-1)*e^(-βθ)=θ^(X+α-1)*e^(-(1+β)θ)/(X!Γ(α))。这正是一个伽马分布Γ(α+X,1+β)的密度函数。因此，θ|X~Γ(α+X,1+β)。4.简述贝叶斯因子在模型选择中的作用及其与似然比检验的区别：贝叶斯因子（BF）用于比较两个竞争模型M1和M2的相对支持度，定义为BF₁₂=P(Data|M2)/P(Data|M1)，其中P(Data|M)表示模型M下的数据边缘似然（或边缘分布）。BF衡量的是模型M2产生的观测数据相对于模型M1产生的观测数据的“好坏”程度。BF越大，说明模型M2相对于M1更能解释观测数据，支持度更高。贝叶斯因子提供了一种基于后验信念差异的模型比较方法，其结果是一个无量纲的比率，可以解释为模型证据的转换因子。这与似然比检验不同，似然比检验通常基于似然函数的比较，可能需要选择一个显著性水平，其结果是一个拒绝域或p值，主要用于假设检验（判断模型是否成立），而不是模型选择（比较模型的相对优劣），且其结果与样本量有关。三、计算题1.设随机变量X的取值为0或1，其概率分布为P(X=1|θ)=θ,P(X=0|θ)=1-θ，其中θ未知，且θ的先验分布为贝塔分布B(2,2)（即均匀分布U(0,1)）。现观测到X=1。求θ的后验分布，并计算θ=0.8的后验概率。解析思路：应用贝叶斯定理。先验分布π(θ)=Beta(2,2)。似然函数L(θ|X=1)=θ。后验分布π(θ|X=1)∝L(θ|X=1)π(θ)=θ*(θ^(2-1)*(1-θ)^(2-1))=θ*θ*(1-θ)=θ^2*(1-θ)。这是一个Beta分布，参数为α'=α+X=2+1=3，β'=β+X=2+1=3。因此，θ|X=1~Beta(3,3)。计算θ=0.8的后验概率P(θ=0.8|X=1)=β(0.8;3,3)=[Γ(3+3)/(Γ(3)Γ(3))]*(0.8^3*(1-0.8)^3)=[Γ(6)/(Γ(3)Γ(3))]*(0.512*0.512)=[(5!)/((2!)^2)]*0.262144=(120/(2*2))*0.262144=(120/4)*0.262144=30*0.262144=7.86432。2.设总体X服从正态分布N(μ,1)，其中μ未知。假设我们对μ的先验信念是μ的均值为0，方差为100（即先验分布N(0,100)）。现获得一个样本观测值X=5。求μ的后验分布，并计算μ=4的后验概率密度。解析思路：应用贝叶斯定理。先验分布π(μ)=N(0,100)。似然函数L(μ|X=5)=(1/sqrt(2π*1^2))*exp(-(5-μ)^2/(2*1^2))=(1/sqrt(2π))*exp(-(5-μ)^2/2)。后验分布π(μ|X=5)∝L(μ|X=5)π(μ)。计算后验分布的参数：后验均值E[μ|X=5]=(1/Var(π(μ)))*(0*1+X*1)=(1/100)*5=0.05。后验方差Var(μ|X=5)=(1/Var(π(μ)))*(Var(π(μ))-1)=(1/100)*(100-1)=0.99。因此，μ|X=5~N(0.05,0.99)。计算μ=4的后验概率密度f(4|X=5)=(1/sqrt(2π*0.99))*exp(-(4-0.05)^2/(2*0.99))=(1/sqrt(1.98π))*exp(-((3.95)^2)/1.98)=(1/sqrt(1.98π))*exp(-15.6025/1.98)=(1/sqrt(1.98π))*exp(-7.8515)。3.已知参数θ的可能取值为0,1,2,3。假设θ的先验概率分布为P(θ=0)=0.1,P(θ=1)=0.2,P(θ=2)=0.4,P(θ=3)=0.3。又知观测数据X的似然函数为L(θ|X)=θ^2当θ≥X，=0当θ<X。假设观测到X=2。求θ的边缘分布，并计算P(θ≥2|X=2)。解析思路：应用贝叶斯定理计算后验分布。后验概率P(θ=k|X=2)=[P(X=2|θ=k)*P(θ=k)]/P(X=2)。计算边缘似然P(X=2)=Σ_{k=0}^3P(X=2|θ=k)*P(θ=k)=P(X=2|θ=0)*P(θ=0)+P(X=2|θ=1)*P(θ=1)+P(X=2|θ=2)*P(θ=2)+P(X=2|θ=3)*P(θ=3)=0*0.1+1^2*0.2+2^2*0.4+3^2*0.3=0+0.2+1.6+2.7=4.5。计算后验概率：P(θ=0|X=2)=(0*0.1)/4.5=0。P(θ=1|X=2)=(1^2*0.2)/4.5=0.2/4.5=2/45。P(θ=2|X=2)=(2^2*0.4)/4.5=4*0.4/4.5=1.6/4.5=16/45。P(θ=3|X=2)=(3^2*0.3)/4.5=9*0.3/4.5=2.7/4.5=27/45。边缘分布即为后验分布P(θ|X=2)={0,2/45;1,16/45;2,16/45;3,27/45}。计算P(θ≥2|X=2)=P(θ=2|X=2)+P(θ=3|X=2)=16/45+27/45=43/45。4.设总体X服从二项分布B(n,p)，其中n已知为10，p未知。假设p的先验分布为贝塔分布B(1,1)（即均匀分布U(0,1)）。现观测到X=6。求p的后验分布，并求p的贝叶斯估计量（即后验期望）。解析思路：应用贝叶斯定理。先验分布π(p)=Beta(1,1)。似然函数L(p|X=6)=C(n,X)*p^X*(1-p)^(n-X)=C(10,6)*p^6*(1-p)^4。后验分布π(p|X=6)∝L(p|X=6)π(p)=C(10,6)*p^6*(1-p)^4*p^0*(1-p)^0=C(10,6)*p^6*(1-p)^4。这是一个Beta分布，参数为α'=α+X=1+6=7，β'=β+X=1+6=7。因此，p|X=6~Beta(7,7)。贝叶斯估计量通常是后验期望。对于Beta(α,β)分布，其期望为E[p]=α/(α+β)。因此，后验期望E[p|X=6]=α'/(α'+β')=7/(7+7)=7/14=1/2。四、证明题设总体X的概率密度函数为f(x|θ)=θx^(θ-1),0<x<1,θ>0。假设θ的先验分布为伽马分布Γ(α,β)。证明：θ的后验分布是贝塔分布，并给出其参数。证明：应用贝叶斯定理，θ的后验分布π(θ|X)∝L(θ|X)π(θ)。似然函数为L(θ|X)=θ^X*e^(-θ)/X!。先验分布为π(θ)=(β^α/Γ(α))*θ^(α-1)*e^(-βθ)。因此，π(θ|X)∝θ^X*e^(-θ)/X!*(β^α/Γ(α))*θ^(α-1)*e^(-βθ)=θ^(X+α-1)*e^(-(1+β)θ)/(X!Γ(α))。令k=1+β，π(θ|X)∝θ^(X+α-1)*e^(-kθ)/(X!Γ(α))。注意到(Γ(α+k)/Γ(α))=(Γ(α+k)/(α+k-1)!)*...*(Γ(α+1