2025年大学《统计学》专业题库- 贝叶斯统计学的理论与方法

2025年大学《统计学》专业题库——贝叶斯统计学的理论与方法考试时间：______分钟总分：______分姓名：______一、简答题（每题5分，共20分）1.简述贝叶斯推断的基本步骤。2.解释先验分布在贝叶斯推断中的作用。3.贝叶斯credibleset与经典置信区间有何区别？4.简述贝叶斯因子在模型选择中的作用。二、计算题（每题8分，共32分）1.已知总体服从伯努利分布$X\simBern(p)$，$p$的先验分布为$Beta(\alpha,\beta)$，观测到$X_1,X_2,\ldots,X_n$，其中$X_i=1$的个数为$S_n$。求$p$的后验分布。2.已知总体服从正态分布$X\simN(\mu,\sigma^2)$，其中$\sigma^2$已知，$\mu$的先验分布为$N(0,\tau^2)$。观测到样本$X_1,X_2,\ldots,X_n$，求$\mu$的后验均值和后验方差。3.已知总体服从泊松分布$X\simPois(\lambda)$，$\lambda$的先验分布为Gamma分布$Gamma(\alpha,\beta)$。观测到样本$X_1,X_2,\ldots,X_n$，求$\lambda$的贝叶斯置信区间（置信水平为$\alpha$）。4.假设有两个模型：模型$M_1$和模型$M_2$，它们的后验概率分别为$P(M_1)=0.6$，$P(M_2)=0.4$。观测到数据$D$后，计算模型$M_1$相对于模型$M_2$的贝叶斯因子。三、论述题（每题10分，共20分）1.与经典的频率派统计方法相比，贝叶斯统计方法有哪些优势和劣势？2.如何选择合适的先验分布？请列举几种常见的先验分布选择方法，并说明其适用情况。试卷答案一、简答题1.贝叶斯推断的基本步骤包括：(1)定义数据likelihood函数。(2)选择参数的先验分布。(3)利用贝叶斯公式计算参数的后验分布。(4)根据后验分布进行参数估计、假设检验或模型选择等。2.先验分布在贝叶斯推断中用于表达对参数在观测数据之前的知识或信念，它结合了likelihood函数和先验信息，共同决定参数的后验分布，从而影响参数的估计和推断结果。3.贝叶斯credibleset是基于参数的后验分布，以一定的置信水平（例如95%）包含参数真值的区间，它直接反映了参数的不确定性；而经典置信区间是基于参数的抽样分布，以一定的置信水平（例如95%）包含参数真值估计值的区间，它依赖于大数定理和中心极限定理，其解释与贝叶斯credibleset不同。4.贝叶斯因子是用于比较两个competingmodels的相对支持度的一种度量，它等于两个模型后验概率的比值（在共轭先验下）或后验边际分布比值的积分（一般情况），贝叶斯因子越大，说明数据越支持该模型。二、计算题1.解：(1)$X_i\simBern(p)$，$p$的先验分布为$Beta(\alpha,\beta)$。(2)$S_n=\sum_{i=1}^nX_i$是$Bern(p)$的和，故$S_n\simBin(n,p)$。(3)$p$的后验分布为$Beta(\alpha+S_n,\beta+n-S_n)$。(4)推导过程：$p|X_1,\ldots,X_n\proptop^{S_n}(1-p)^{n-S_n}\cdotBeta(\alpha,\beta)$(5)$\proptop^{S_n+\alpha-1}(1-p)^{n-S_n+\beta-1}$(6)这是Beta分布$Beta(\alpha+S_n,\beta+n-S_n)$的密度函数。2.解：(1)$X\simN(\mu,\sigma^2)$，$\sigma^2$已知，$\mu$的先验分布为$N(0,\tau^2)$。(2)$p(\mu|X_1,\ldots,X_n)\proptop(X_1,\ldots,X_n|\mu)p(\mu)$(3)$p(\mu|X_1,\ldots,X_n)\propto(2\pi\sigma^2)^{-n/2}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\right)\cdot(2\pi\tau^2)^{-1/2}\exp\left(-\frac{\mu^2}{2\tau^2}\right)$(4)$p(\mu|X_1,\ldots,X_n)\propto(2\pi\sigma^2\tau^2)^{-1/2}\exp\left(-\frac{1}{2}\left[\frac{1}{\sigma^2}\sum_{i=1}^n(X_i-\mu)^2+\frac{\mu^2}{\tau^2}\right]\right)$(5)令$\bar{X}=\frac{1}{n}\sum_{i=1}^nX_i$，则$\sum_{i=1}^n(X_i-\mu)^2=\sum_{i=1}^n(X_i-\bar{X}+\bar{X}-\mu)^2=\sum_{i=1}^n(X_i-\bar{X})^2+n(\bar{X}-\mu)^2$(6)$p(\mu|X_1,\ldots,X_n)\propto(2\pi\sigma^2\tau^2)^{-1/2}\exp\left(-\frac{1}{2}\left[\frac{1}{\sigma^2}S^2+\frac{n}{\sigma^2\tau^2}(\bar{X}-\mu)^2\right]\right)$，其中$S^2=\sum_{i=1}^n(X_i-\bar{X})^2$(7)$\propto\exp\left(-\frac{n}{2\sigma^2\tau^2}(\bar{X}-\mu)^2\right)$(8)这是正态分布$N\left(\frac{\sigma^2\tau^2}{\sigma^2\tau^2+n\tau^2}\bar{X},\frac{\sigma^2\tau^2}{\sigma^2\tau^2+n\tau^2}\right)$的密度函数。(9)所以$\mu|X_1,\ldots,X_n\simN(\mu_n,\sigma_n^2)$，其中$\mu_n=\frac{\sigma^2\tau^2}{\sigma^2\tau^2+n\tau^2}\bar{X}$，$\sigma_n^2=\frac{\sigma^2\tau^2}{\sigma^2\tau^2+n\tau^2}$。(10)后验均值$E(\mu|X_1,\ldots,X_n)=\mu_n=\frac{\sigma^2\tau^2}{\sigma^2\tau^2+n\tau^2}\bar{X}$。(11)后验方差$\text{Var}(\mu|X_1,\ldots,X_n)=\sigma_n^2=\frac{\sigma^2\tau^2}{\sigma^2\tau^2+n\tau^2}$。3.解：(1)$X\simPois(\lambda)$，$\lambda$的先验分布为$Gamma(\alpha,\beta)$。(2)$p(\lambda|X_1,\ldots,X_n)\proptop(X_1,\ldots,X_n|\lambda)p(\lambda)$(3)$p(\lambda|X_1,\ldots,X_n)\propto\lambda^{\sum_{i=1}^nX_i}e^{-n\lambda}\cdot\lambda^{\alpha-1}e^{-\beta\lambda}$(4)$p(\lambda|X_1,\ldots,X_n)\propto\lambda^{\sum_{i=1}^nX_i+\alpha-1}e^{-(n+\beta)\lambda}$(5)这是Gamma分布$Gamma(\alpha+\sum_{i=1}^nX_i,n+\beta)$的密度函数。(6)设$S_n=\sum_{i=1}^nX_i$，则$\lambda|X_1,\ldots,X_n\simGamma(\alpha+S_n,n+\beta)$。(7)贝叶斯置信区间（置信水平为$\alpha$）的上下限为$g_{1-\alpha}$和$g_{\alpha}$，其中$g_{1-\alpha}$和$g_{\alpha}$是Gamma分布$Gamma(\alpha+S_n,n+\beta)$的$(1-\alpha/2)$和$\alpha/2$分位点。4.解：(1)假设有两个模型：模型$M_1$和模型$M_2$。(2)它们的后验概率分别为$P(M_1)=0.6$，$P(M_2)=0.4$。(3)观测到数据$D$后，模型$M_1$相对于模型$M_2$的贝叶斯因子为$BF_{12}=\frac{P(D|M_1)}{P(D|M_2)}$。(4)根据贝叶斯公式，$P(D|M_1)\proptoP(M_1)P(D|M_1)$，$P(D|M_2)\proptoP(M_2)P(D|M_2)$。(5)所以$BF_{12}\propto\frac{P(M_1)}{P(M_2)}\frac{P(D|M_1)}{P(D|M_2)}=\frac{0.6}{0.4}\frac{P(D|M_1)}{P(D|M_2)}=1.5\frac{P(D|M_1)}{P(D|M_2)}$。(6)由于没有提供$P(D|M_1)$和$P(D|M_2)$的具体值，无法计算出具体的贝叶斯因子数值，但可以表示为$BF_{12}=1.5\times\frac{P(D|M_1)}{P(D|M_2)}$。三、论述题1.与经典的频率派统计方法相比，贝叶斯统计方法的优势和劣势如下：(1)优势：*提供参数的完整推断：贝叶斯方法提供参数的后验分布，不仅给出点估计，还给出参数的不确定性范围，更全面地反映参数信息。*结合先验信息：贝叶斯方法允许将已知的先验信息通过先验分布融入分析，充分利用已有知识，尤其适用于样本量较小或已有领域知识的情况。*结果解释直观：贝叶斯推断的结果（如credibleset）解释直观，与人的主观信念一致，更容易被理解。*模型选择自然：贝叶斯模型选择方法（如贝叶斯因子）理论基础扎实，能够更自然地比较不同模型的相对支持度。(2)劣势：*先验分布的选择：贝叶斯方法需要选择参数的先验分布，先验分布的选择可能对结果产生影响，选择不当可能导致偏差。如何选择先验分布是一个挑战。*计算复杂性：对于复杂模型，计算后验分布可能非常困难，需要依赖数值方法（如MCMC），计算量较大。*主观性：贝叶斯方法引入了主观先验，可能被认为带有主观色彩，不如频率派统计方法客观。*理论发展：部分贝叶斯方法的理论发展不如频率派统计方法完善。2.选择合适的先验分布的方法有：(1)非信息先验：当对参数几乎没有先验信息时，可以选择非信息先验，如对于正态分布参数$\mu$，可以选择Cauchy分布（均值为0，尺度参数很大）作为非信息先验；对于伽马分布参数$\lambda$，可以选择具有很小的形状参数和尺度参数的伽马分布作为非信息先验。非信息先验的缺点是可能对结果产生较大影响。(2)基于经验数据的先验：可以利用以往的研究或经验数据来构建先验分布。(3)主观先验：根据研究者的经验和判断来构建先验分布，这需要研究者对自己的信念有清晰的了解，并能够合理解释选择先验的理由。(4)弱先验：选择对结果影响较小的先验分布，即使没有充分的信息，也选择一个比较“平坦”的先验分布。(5)