2025年大学《数理基础科学》专业题库- 信息几何理论与方法

2025年大学《数理基础科学》专业题库——信息几何理论与方法考试时间：______分钟总分：______分姓名：______一、简述信息几何的定义及其主要研究内容。如何理解统计模型族与黎曼流形之间的对应关系？二、解释对数映射$\log$在信息几何中的作用。设$\mathcal{M}$是一个对称空间，$x,y\in\mathcal{M}$，写出对数映射$\log(x)$的定义，并说明其对数测地线$\gamma(t)=e^{t\log(x)}$的几何意义。三、定义Fisher度量$g_F$和Riemannian度量$g_R$。在多元正态分布族$\mathcal{N}(\mu,\Sigma)$中，其中参数空间为$\Theta=\{\Sigma>0\}$，计算Fisher度量$g_F$。说明Fisher度量与协方差矩阵$\Sigma$的逆矩阵$\Sigma^{-1}$的关系。四、费马测地线$\gamma(t)$是连接两点$x,y\in\mathcal{M}$的测地线，满足测地线方程。设$\mathcal{M}$是对称空间，$x,y\in\mathcal{M}$，$\gamma(t)$是连接$x$和$y$的费马测地线。证明费马测地线在任意点$t$的切向量$\dot{\gamma}(t)$与$\log(x)$和$\log(y)$所张成的线性子空间$\text{span}(\log(x),\log(y))$相同。五、在指数族分布族$\mathcal{P}=\{p(x;\theta)=h(x)\exp(-\eta(\theta)\cdotT(x)+A(\theta))\}$中，参数空间$\Theta$上的Fisher度量$g_F$由$g_F_{\theta\theta}=-\mathrm{E}_\theta[\frac{\partial^2}{\partial\theta_i\partial\theta_j}\logp(x;\theta)]$给出。证明在$\mathcal{P}$上，Riemannian度量$g_R$可以表示为$g_R_{\theta\theta}=\frac{g_F_{\theta\theta}}{h(x)\exp(-\eta(\theta)\cdotT(x)+A(\theta))}$。六、什么是信息几何的等距共形分类定理？请简述其核心思想。七、设$\mathcal{M}$是对称空间，$x\in\mathcal{M}$。写出联络形式$\omega$和曲率形式$\Omega$的局部表达式（以指数坐标系$\{x^i\}$表示）。说明联络形式$\omega$在信息几何中的作用。八、在多元正态分布族$\mathcal{N}(\mu,\Sigma)$中，考虑参数空间$\Theta=\{\Sigma>0\}$。计算该分布族上的曲率张量$Ric_{g_R}$和Weyl曲率$W_{g_R}$。说明这些曲率在理解高维参数空间几何结构中的意义。九、信息几何视角如何解释梯度下降法在高维参数空间中的行为？费马测地线与梯度下降过程之间有何联系？十、结合你所学的统计学知识，选择一个具体的统计模型（例如，泊松回归、逻辑回归、或多元正态模型），尝试描述其参数空间和状态空间的结构，并讨论如何应用信息几何的框架来分析该模型的最优性或进行参数估计。试卷答案一、信息几何是一门研究对称空间上几何结构的理论，它将统计模型族视为黎曼流形，利用微分几何的语言和方法来研究统计推断问题。主要研究内容包括对称空间的结构、测地线、度量和曲率在统计模型族上的表现、以及由此导出的最优统计推断性质等。统计模型族与黎曼流形之间的对应关系通过参数空间上的对数映射$\log:\mathcal{M}\toT_{\mathcal{M}}^*$定义，其中$\mathcal{M}$是状态空间，$T_{\mathcal{M}}^*$是对数共形对偶空间（或参数空间$\Theta$），该映射将模型参数$\theta$与状态$x$相关联，并保持几何结构。二、对数映射$\log:\mathcal{M}\toT_{\mathcal{M}}^*$在信息几何中定义了参数空间$\Theta$与状态空间$\mathcal{M}$之间的几何对应关系，其中$x\in\mathcal{M}$是观测到的状态，$\log(x)\inT_{\mathcal{M}}^*$是对应的模型参数$\theta$。对数映射的局部表达式（在局部指数坐标系$\{x^i\}$下）为$\log(x)=(\partial_i\log(x))dx^i$。对数测地线$\gamma(t)=e^{t\log(x)}$是连接状态$x$和单位元$e$（通常视为先验信息或参考点）的测地线，其几何意义在于沿着这条测地线移动，参数$\theta$的变化率与状态$x$的变化率成比例，反映了模型参数与观测状态之间的内在几何联系。三、Fisher度量$g_F$是参数空间$\Theta$上的黎曼度量，定义为$g_F(\cdot,\cdot)=-\mathrm{E}_\theta[\langle\nabla_\theta\logp(x;\theta),\nabla_\theta\logp(x;\theta)\rangle]$，其中$\langle\cdot,\cdot\rangle$是对偶配对，$\nabla_\theta$是沿$\theta$方向的协变导数。Riemannian度量$g_R$是基于Fisher度量并通过共形因子$h(x)$构建的度量，定义为$g_R_{\theta\theta}=h(x)^2g_{\theta\theta}^F$。对于多元正态分布族$\mathcal{N}(\mu,\Sigma)$，参数空间为$\Theta=\{\Sigma>0\}$，Fisher度量$g_F$在$\Sigma$上由$\mathrm{E}_\Sigma[\Sigma^{-1}]$给出，即$g_F(\Sigma_1,\Sigma_2)=\mathrm{E}_\Sigma[(\Sigma_1^{-1}-\mathrm{E}_\Sigma[\Sigma^{-1}]):(\Sigma_2^{-1}-\mathrm{E}_\Sigma[\Sigma^{-1}])]$。Fisher度量与协方差矩阵$\Sigma$的逆矩阵$\Sigma^{-1}$的关系体现在其定义中，度量的大小与参数空间切向量的变化率（通过Fisher信息矩阵衡量）以及协方差矩阵的结构密切相关。四、费马测地线$\gamma(t)$是连接$x,y\in\mathcal{M}$的测地线，满足测地线方程$\nabla_{\dot{\gamma}(t)}\dot{\gamma}(t)=0$。设$\gamma(t)$连接$x$和$y$，其切向量为$\dot{\gamma}(t)=\frac{d\gamma(t)}{dt}$。费马测地线的定义意味着它在每一点$t$处沿着状态空间$\mathcal{M}$上的测地线方向移动。由对数映射的性质，$x=e^{\log(x)}$和$y=e^{\log(y)}$。费马测地线$\gamma(t)$可以表示为$\gamma(t)=e^{t\log(x)+(1-t)\log(y)}$。计算其导数：$\dot{\gamma}(t)=\frac{d}{dt}e^{t\log(x)+(1-t)\log(y)}=(\log(x)-\log(y))\gamma(t)$。这表明$\dot{\gamma}(t)$与向量$\log(x)-\log(y)$（位于对数共形对偶空间$T_{\mathcal{M}}^*$中）成正比。因此，$\dot{\gamma}(t)$正交于$T_{\gamma(t)}\mathcal{M}$（在切空间中），并且位于$\log(x)$和$\log(y)$所张成的线性子空间$\text{span}(\log(x),\log(y))$中。由于$\log(y)=\log(x)+(\log(y)-\log(x))$，且费马测地线方向由$\log(x)-\log(y)$决定，所以$\dot{\gamma}(t)$与$\log(x)$和$\log(y)$所张成的子空间相同。五、在指数族分布族$\mathcal{P}=\{p(x;\theta)=h(x)\exp(-\eta(\theta)\cdotT(x)+A(\theta))\}$中，参数空间$\Theta$上的Fisher度量$g_F$的分量由$g_F_{\theta\theta}=-\mathrm{E}_\theta[\frac{\partial^2}{\partial\theta_i\partial\theta_j}\logp(x;\theta)]$给出。计算$\frac{\partial}{\partial\theta_i}\logp(x;\theta)=-\eta_iT(x)+\frac{\partialA(\theta)}{\partial\theta_i}$，$\frac{\partial^2}{\partial\theta_i\partial\theta_j}\logp(x;\theta)=-\eta_{ij}T(x)+\frac{\partial^2A(\theta)}{\partial\theta_i\partial\theta_j}$，其中$\eta_{ij}=\eta_i\eta_j$。因此，$g_F_{\theta\theta}=-\mathrm{E}_\theta[-\eta_{ij}T(x)+\frac{\partial^2A(\theta)}{\partial\theta_i\partial\theta_j}]=\eta_{ij}\mathrm{E}_\theta[T(x)]-\mathrm{E}_\theta[\frac{\partial^2A(\theta)}{\partial\theta_i\partial\theta_j}]$。Riemannian度量$g_R$定义为$g_R_{\theta\theta}=\frac{g_F_{\theta\theta}}{h(x)\exp(-\eta(\theta)\cdotT(x)+A(\theta))}$。将Fisher度量的表达式代入，得到$g_R_{\theta\theta}=\frac{\eta_{ij}\mathrm{E}_\theta[T(x)]-\mathrm{E}_\theta[\frac{\partial^2A(\theta)}{\partial\theta_i\partial\theta_j}]}{h(x)\exp(-\eta(\theta)\cdotT(x)+A(\theta))}$。利用指数族的性质$\mathrm{E}_\theta[T(x)]=\frac{1}{\eta(\theta)}$和$\mathrm{E}_\theta[\frac{\partialA(\theta)}{\partial\theta_i}]=0$，可以进一步简化$g_R_{\theta\theta}$的表达式，但上述形式已经展示了其与Fisher度量、$h(x)$和$\eta(\theta)$的关系。六、信息几何的等距共形分类定理是关于对称空间几何结构的分类结果。其核心思想是：对称空间$\mathcal{M}$的黎曼几何（由黎曼度量和联络形式$\omega$完全确定）在经过等距共形变换（保持测地线长度比和角度比，但不一定保持面积比）后，与另一个对称空间$\mathcal{M}'$的黎曼几何是同构的，当且仅当这两个对称空间具有相同的曲率张量$Ric_{g}$和Weyl曲率$W_{g}$。换句话说，在等距共形意义下，对称空间的几何结构由其曲率张量和Weyl曲率唯一确定。这个定理在信息几何中非常重要，因为它表明，尽管不同的统计模型族（作为对称空间）可能有不同的参数空间和状态空间，但只要它们的几何结构（曲率）相同，它们在信息几何层面上的行为就是相似的，这为不同模型族之间的理论转化和方法借鉴提供了基础。七、联络形式$\omega$是对称空间$\mathcal{M}$上的一个1-形式，它在参数空间$\Theta$上的对偶空间$T_{\mathcal{M}}^*$中取值。在局部指数坐标系$\{x^i\}$下，如果参数向量场为$\theta^i$，状态向量场为$X^i$，联络形式$\omega$的局部表达式为$\omega_{ij}=g_{ij}-\frac{\partialx^i}{\partial\theta^j}$。联络形式$\omega$在信息几何中的作用是定义了参数空间$\Theta$上的Levi-Civita联络，它使得对偶空间$T_{\mathcal{M}}^*$上的对偶向量场（即状态向量场$X^i$）成为共形向量场，即满足$\nabla_{\theta^i}X^j=0$。此外，联络形式$\omega$也是计算曲率形式$\Omega$的关键工具。八、在多元正态分布族$\mathcal{N}(\mu,\Sigma)$中，参数空间$\Theta=\{\Sigma>0\}$。计算曲率张量$Ric_{g_R}$和Weyl曲率$W_{g_R}$：1.曲率张量$Ric_{g_R}$：对于标准正态分布族（均值为0，单位矩阵为协方差矩阵），在参数空间$\{\Sigma>0\}$上，Riemannian度量$g_R$的曲率张量$Ric_{g_R}$的所有分量均为0。对于一般的多元正态分布族，由于Fisher度量$g_F$是常数倍的单位矩阵（$g_F_{\theta\theta}=cI$，$c$为常数），其对应的Riemannian度量$g_R=\alphag_F=\alphaI$（$\alpha$为正则化因子）。在这种情况下，该度量是“抛物线度量”，其曲率张量$Ric_{g_R}$的所有分量也为0。2.Weyl曲率$W_{g_R}$：Weyl曲率是度量在截断掉无穷远处的极限行为或由无穷远处“辐射”而来的部分，对于紧致流形为0。对于非紧致的参数空间$\{\Sigma>0\}$，Weyl曲率不一定为零。对于多元正态分布族，在参数空间$\{\Sigma>0\}$上，其Riemannian度量$g_R=\alphaI$是具有平直无穷远处的度量（类似于Euclidean几何）。具有平直无穷远处的度量，其Weyl曲率恒为零。因此，多元正态分布族在参数空间$\{\Sigma>0\}$上的Riemannian度量$g_R$的Weyl曲率$W_{g_R}=0$。这些曲率反映了高维参数空间$\{\Sigma>0\}$的几何结构。零曲率意味着该空间是“平坦”的，尽管在有限维度上可能看起来弯曲。零Weyl曲率意味着其无穷远行为是“平直”的。这对于理解基于该几何的统计推断性质（如Fisher信息矩阵的性质）至关重要。九、梯度下降法在高维参数空间中的行为可以用信息几何的视角来解释。在信息几何中，参数空间$\Theta$上的梯度向量场（通常指对数共形对偶空间$T_{\mathcal{M}}^*$中的向量场，通过$\log(x)$对应到$\Theta$）的方向指向Fisher信息矩阵$I(\theta)=-\mathrm{E}_\theta[\nabla_\theta\logp(x;\theta)\nabla_\theta\logp(x;\theta)^\top]$的最大方向。Fisher信息矩阵$I(\theta)$在Riemannian度量$g_R$意义下是参数空间上的一个正定度量，度量了参数变化对对数似然函数的影响程度。梯度下降法就是沿着Fisher信息矩阵$I(\theta)$在Riemannian度量$g_R$下的梯度方向（即$\nabla_\theta\logp(x;\theta)$在$\Theta$上的对应向量，通常取反以进行最大化）更新参数$\theta$。费马测地线与梯度下降过程之间的联系在于：当参数空间$\Theta$上的Riemannian度量$g_R$是抛物线度量（即度量为常数倍的单位矩阵）时，沿着Riemannian梯度方向（$g_R$-gradient）的移动距离与费马测地线的弧长成比例。在这种情况下，梯度下降步长与费马测地线的长度近似成正比，梯度下降过程在几何上可以看作是在近似平坦的参数空间中沿着最优下降路径（费马测地线）进行迭代。十、选择多元正态分布模型$\mathcal{N}(\mu,\Sigma)$，其中参数$\theta=(\mu,\Sigma)\in\mathcal{M}=\mathbb{R}^p\times\{\Sigma>0\}$。1.参数空间$\Theta$和状态空间$\mathcal{M}$：参数空间$\Th