Wasserstein距离中的最优传输代价极限四则

Wasserstein距离中的最优传输代价极限四则一、概率分布收敛下的代价极限：从弱收敛到强收敛在最优传输理论中，Wasserstein距离的核心是衡量两个概率分布之间的“传输代价”，而当分布序列发生收敛时，传输代价的极限行为成为连接理论与应用的关键纽带。我们首先考虑弱收敛场景：假设概率分布序列${\mu_n}$弱收敛于$\mu$，即对任意有界连续函数$f$，都有$\intfd\mu_n\to\intfd\mu$。此时，Wasserstein距离$W_p(\mu_n,\mu)$是否收敛到0？答案并非绝对，这依赖于代价函数的性质和分布的紧性。当代价函数$c(x,y)=d(x,y)^p$（$d$为度量空间中的距离）且空间是紧度量空间时，根据Prokhorov定理，弱收敛等价于紧性，此时$W_p(\mu_n,\mu)\to0$。例如，在单位区间$[0,1]$上，若分布序列$\mu_n$是均匀分布在${1/n,2/n,...,n/n}$上的经验分布，那么$\mu_n$弱收敛到$[0,1]$上的均匀分布$\mu$，同时$W_2(\mu_n,\mu)=\frac{1}{\sqrt{12n}}\to0$，传输代价随$n$增大趋近于0。但如果空间非紧，弱收敛并不必然导致Wasserstein距离收敛。考虑实数集$\mathbb{R}$上的分布$\mu_n$是均值为$n$、方差为1的正态分布，$\mu$是均值为0、方差为1的正态分布。此时$\mu_n$弱收敛到0测度（而非$\mu$），但$W_2(\mu_n,\mu)=\sqrt{(n-0)^2+(1-1)^2}=n\to+\infty$，传输代价反而趋于无穷大。这说明，在非紧空间中，弱收敛无法控制分布的“尾部行为”，而Wasserstein距离对尾部的敏感性使其能捕捉到这种差异。进一步，当分布序列强收敛（即$\mu_n$依测度收敛于$\mu$，且$\mu_n$的支撑集包含在某个紧集中）时，Wasserstein距离的收敛性更稳定。例如，在$\mathbb{R}^d$中，若$\mu_n$的支撑集均包含在球$B_R(0)$内，且$\mu_n$依测度收敛于$\mu$，则$W_p(\mu_n,\mu)\to0$。这是因为紧集上的连续函数一致连续，代价函数的有界性保证了传输代价的收敛。二、代价函数奇异性下的极限：从有限到无穷的突变代价函数的奇异性是指当$x$和$y$趋近于某些点时，$c(x,y)$趋于无穷大。这种奇异性会导致最优传输代价出现从有限到无穷的突变，揭示了Wasserstein距离对分布局部结构的敏感性。考虑一维空间中的代价函数$c(x,y)=\frac{1}{|x-y|}$，当$x\neqy$时，$c(x,y)$有限；当$x=y$时，$c(x,y)$无定义（或视为无穷大）。现在取两个分布$\mu$和$\mu_\epsilon$，其中$\mu$是在$0$点的单点分布，$\mu_\epsilon$是在$\epsilon$点的单点分布。此时最优传输映射是将$\epsilon$点的质量全部传输到0点，传输代价为$\frac{1}{\epsilon}$。当$\epsilon\to0$时，$\mu_\epsilon$弱收敛于$\mu$，但传输代价$W_c(\mu_\epsilon,\mu)=\frac{1}{\epsilon}\to+\infty$。这说明，即使分布在弱收敛意义下非常接近，只要代价函数在支撑集附近有奇异性，传输代价可能趋于无穷。另一个经典例子是对数代价函数$c(x,y)=-\log|x-y|$，常用于信息论和机器学习中的生成模型（如GAN的改进版本）。假设$\mu$是$[0,1]$上的均匀分布，$\mu_n$是在${1/n,2/n,...,n/n}$上的经验分布。此时，最优传输映射是将$i/n$映射到$i/n$，传输代价为$\sum_{i=1}^n\frac{1}{n}\left(-\log\left|\frac{i}{n}-\frac{i}{n}\right|\right)$，但由于$|x-y|=0$时代价无穷大，实际中需要考虑正则化，如$c_\epsilon(x,y)=-\log(|x-y|+\epsilon)$。当$\epsilon\to0$时，$W_{c_\epsilon}(\mu_n,\mu)$的极限为$\frac{1}{n}\sum_{i=1}^n\logn-\frac{1}{n}\sum_{i=1}^n\log\left|\frac{i}{n}-\frac{i}{n}+\epsilon\right|$，当$n\to\infty$且$\epsilon\to0$时，极限行为依赖于$\epsilon$和$n$的收敛速度。若$\epsilon=1/n$，则极限为$\logn-\log(1/n)=2\logn\to+\infty$；若$\epsilon=e^{-n}$，则极限为$\logn-(-n)=n+\logn\to+\infty$。这表明，无论如何正则化，只要代价函数在对角线附近有对数奇异性，经验分布到连续分布的传输代价随样本量增大而趋于无穷，这也解释了为什么在生成模型中，对数代价的Wasserstein距离需要特殊的训练策略。三、高维空间中的维度诅咒：传输代价的指数增长在高维空间中，Wasserstein距离的计算和分析面临“维度诅咒”，即传输代价随维度增长呈现指数级上升，这给高维数据的最优传输应用带来了挑战。考虑$\mathbb{R}^d$中的两个分布：$\mu$是单位立方体$[0,1]^d$上的均匀分布，$\nu$是将$\mu$的质量“平移”一个向量$t\in\mathbb{R}^d$得到的分布，即$\nu(A)=\mu(A-t)$，其中$A-t={x-t|x\inA}$。此时，最优传输映射是$T(x)=x+t$，传输代价为$W_p(\mu,\nu)=\left(\int_{[0,1]^d}d(x,x+t)^pd\mu(x)\right)^{1/p}=\left(\int_{[0,1]^d}|t|^pd\mu(x)\right)^{1/p}=|t|$，这说明平移距离与维度无关。但如果分布的差异是“旋转”或“拉伸”，情况则完全不同。考虑$\mu$是$\mathbb{R}^d$中的标准正态分布$\mathcal{N}(0,I_d)$，$\nu$是$\mathcal{N}(0,\sigma^2I_d)$，其中$\sigma>0$。此时，最优传输映射是$T(x)=\sigmax$，传输代价为$W_2(\mu,\nu)=\left(\int_{\mathbb{R}^d}|x-\sigmax|^2d\mu(x)\right)^{1/2}=|\sigma-1|\left(\int_{\mathbb{R}^d}|x|^2d\mu(x)\right)^{1/2}=|\sigma-1|\sqrt{d}$。可以看到，传输代价随维度$d$的平方根增长，当$d\to\infty$时，$W_2(\mu,\nu)\to+\infty$（除非$\sigma=1$）。这是因为高维正态分布的质量集中在半径为$\sqrt{d}$的球面上，拉伸操作需要对每个维度进行缩放，总代价随维度线性增长（平方后）。更极端的情况是分布支撑集的维度差异。假设$\mu$是$\mathbb{R}^d$中单位球面$S^{d-1}$上的均匀分布，$\nu$是$\mathbb{R}^d$中原点的单点分布。此时，最优传输映射是将球面上的所有点映射到原点，传输代价为$W_2(\mu,\nu)=\left(\int_{S^{d-1}}|x|^2d\mu(x)\right)^{1/2}=1$，似乎与维度无关。但如果考虑$\mu$是$d$维立方体$[0,1]^d$上的均匀分布，$\nu$是其低维子空间$[0,1]^k\times{0}^{d-k}$上的均匀分布（$k<d$），则传输代价为$W_2(\mu,\nu)=\left(\int_{[0,1]^d}|x-P(x)|^2d\mu(x)\right)^{1/2}$，其中$P$是到子空间的投影。计算得$|x-P(x)|^2=\sum_{i=k+1}^dx_i^2$，积分后为$\sum_{i=k+1}^d\int_0^1x_i^2dx_i=\frac{d-k}{3}$，因此$W_2(\mu,\nu)=\sqrt{\frac{d-k}{3}}$，随维度差$d-k$线性增长。这种维度诅咒在机器学习中尤为明显。例如，在生成对抗网络（GAN）中，若生成器和真实数据分布都在高维空间中，Wasserstein距离的计算需要处理高维积分，导致训练过程中梯度消失或爆炸。为了缓解这一问题，研究者提出了切片Wasserstein距离（SlicedWassersteinDistance），通过将高维分布投影到低维子空间上计算Wasserstein距离，再对所有投影取平均。切片Wasserstein距离的计算复杂度为$O(d)$，远低于原始Wasserstein距离的$O(d^3)$，但代价是丢失了部分高维结构信息。四、传输代价的渐近展开：从近似到精确当两个分布非常接近时，Wasserstein距离可以进行渐近展开，将传输代价分解为低阶项和高阶项，这为近似计算和敏感性分析提供了工具。考虑$\mathbb{R}^d$中的两个分布$\mu$和$\mu+\delta\nu$，其中$\nu$是一个有号测度（即$\nu=\nu^+-\nu^-$，$\nu^+$和$\nu^-$是正测度），$\delta$是一个小参数。当$\delta\to0$时，Wasserstein距离$W_2(\mu,\mu+\delta\nu)$的渐近展开式是什么？根据最优传输的一阶变分理论，若$\mu$是绝对连续分布，密度为$\rho$，则存在唯一的最优传输映射$T$将$\mu$映射到$\mu+\delta\nu$，满足$T=\text{id}+\deltav+o(\delta)$，其中$v$是一个向量场。传输代价的平方为：$$W_2^2(\mu,\mu+\delta\nu)=\int|T(x)-x|^2d\mu(x)=\delta^2\int|v(x)|^2d\mu(x)+o(\delta^2)$$而根据最优传输的欧拉-拉格朗日方程，$v$是梯度场，即$v=\nabla\phi$，其中$\phi$是凸函数，满足$\text{div}(\rho\nabla\phi)=\nu$。因此，传输代价的一阶项为0，二阶项由$\nu$的“势能”决定：$$W_2^2(\mu,\mu+\delta\nu)=\delta^2\int|\nabla\phi|^2d\mu(x)+o(\delta^2)$$这一结果在统计学中具有重要应用。例如，在参数估计中，若真实分布是$\mu$，估计分布是$\mu+\delta\nu$，则Wasserstein距离的二阶项可以衡量估计的精度。当$\nu$是得分函数的线性组合时，二阶项与Fisher信息矩阵相关，提供了一种基于最优传输的统计推断框架。另一个经典的渐近展开例子是经验分布的Wasserstein距离。假设$\mu$是$\mathbb{R}^d$上的绝对连续分布，密度为$\rho$，$\mu_n$是来自$\mu$的独立同分布样本的经验分布。当$n\to\infty$时，$W_2(\mu_n,\mu)$的渐近行为是什么？在一维情况下，若$\mu$的分布函数为$F$，逆函数为$F^{-1}$，则经验分布$\mu_n$的分布函数为$F_n(x)=\frac{1}{n}\sum_{i=1}^nI(X_i\leqx)$，其中$X_i\sim\mu$。根据Dvoretzky-Kiefer-Wolfowitz不等式，$F_n(x)$一致收敛于$F(x)$，而Wasserstein距离$W_2(\mu_n,\mu)=\left(\int_0^1|F_n^{-1}(t)-F^{-1}(t)|^2dt\right)^{1/2}$。通过经验过程的理论，可以证明$W_2(\mu_n,\mu)=O_p(n^{-1/2})$，即依概率收敛于0，收敛速度为$n^{-1/2}$。在高维情况下，收敛速度变慢。若$\mu$是$\mathbb{R}^d$上的正态分布$\mathcal{N}(0,I_d)$，则经验分布$\mu_n$与$\mu$的Wasserstein距离$W_2(\mu_n,\mu)$的收敛速度为$O_p(n^{-1/d})$。这是因为高维空间中，经验分布需要更多的样本才能覆盖分布的支撑集，导致传输代价的收敛速度随维度增加而变慢。例如，当$d=10$时，收敛速度为$n^{-0.1}$，远慢于一维的$n^{-0.5}$。渐近展开还可以用于最优传输映射的稳定性分析。假设$\mu$和$\nu$是两个接近的分布，最优传输映射为$T$，当$\nu$发生微小扰动$\nu+\delta\