积分神经网络的变分自编码器

21/25积分神经网络的变分自编码器第一部分变分自编码器的本质 2第二部分积分神经网络的引入 5第三部分集成积分模块的优势 8第四部分变分推理的理论基础 10第五部分重建目标函数的构建 13第六部分正则化项的加入 16第七部分算法的训练过程 18第八部分实验结果与分析 21

第一部分变分自编码器的本质关键词关键要点变分自编码器的本质

1.变分自编码器（VAE）是一种生成模型，它学习了数据分布的潜在表示，该表示可以用来生成新数据或重建损坏的数据。

2.VAE由编码器和解码器网络组成。编码器将输入数据映射到潜在表示，而解码器将潜在表示重建为输出数据。

3.VAE的关键思想是引入一个随机变量，该随机变量与潜在表示相结合，以生成输出。这允许模型捕获数据分布中的变异性。

变分推断

1.变分推断是一种近似后验分布的技术，当后验分布难以直接计算时。

2.在VAE中，变分推断用于近似潜在表示的后验分布。

3.变分推断通过最小化KL散度来训练，该散度衡量近似后验和真后验之间的差异。

重新参数化技巧

1.重新参数化技巧是一种允许对随机变量求导的技术，这是变分推断训练所必需的。

2.重新参数化技巧涉及将随机变量表示为确定性函数和标准正态分布随机变量的和。

3.这允许通过确定性函数对随机变量进行求导，从而实现变分推断的训练。

生成新数据

1.VAE可以通过从潜在表示中采样随机变量来生成新数据。

2.生成的样本将具有与训练数据相同的统计特性。

3.VAE的生成能力使其成为图像、文本和音频等各种应用的强大工具。

重建损坏的数据

1.VAE还可以通过将损坏的数据作为输入来重建损坏的数据。

2.编码器将损坏的数据映射到潜在表示，解码器将潜在表示重建为无损的输出。

3.VAE在这方面的能力使其成为图像超分辨率、图像修复和图像着色等应用的有效工具。

应用

1.VAE广泛应用于自然语言处理、计算机视觉和音频处理等许多领域。

2.VAE特别适合于生成数据、重建损坏数据和学习数据表示。

3.VAE在生成对抗网络（GAN）等其他生成模型中也作为构建块。变分自编码器的本质

变分自编码器（VAE）是一种生成模型，结合了自编码器（AE）的编码和解码功能，以及概率方法的变分推断技术。其目的是学习一个概率分布，以便从潜变量空间中生成相似于真实数据的样本。

自编码器的局限性

标准自编码器只关注重构输入，未能学习数据的潜在分布。这限制了它们的生成能力，因为它们只能重构训练数据中观察到的样本。

变分推断和贝叶斯推理

变分自编码器引入变分推断，一种近似贝叶斯推理的方法。贝叶斯推理涉及计算后验概率分布，即给定观测数据条件下模型参数的概率分布。然而，在许多情况下，直接计算后验分布是不可行的。

变分推断提供了一种近似后验分布的方法，使用一个较简单的近似分布（通常是正态分布）。它通过最小化近似分布和真实后验分布之间的KL散度来优化近似分布。

变分自编码器的结构

变分自编码器由编码器和解码器组成：

*编码器：将输入数据映射到潜在变量空间，其中潜在变量服从近似后验分布。

*解码器：从潜在变量空间生成重构数据，该数据类似于输入数据。

变分推断过程

变分自编码器的训练过程涉及：

1.编码：使用编码器将输入数据映射到潜在变量空间。

2.采样：从近似后验分布中采样潜在变量。

3.解码：使用解码器将采样的潜在变量生成重构数据。

4.重构损失计算：计算重构数据和输入数据之间的重构损失。

5.KL散度计算：计算近似后验分布和真实后验分布之间的KL散度。

6.优化：优化重构损失和KL散度的加权和，以便最小化KL散度并最大化重构精度。

优势

变分自编码器与标准自编码器相比具有以下优势：

*生成能力：能够从潜在变量空间中生成新的样本，即使这些样本在训练数据中没有观察到。

*鲁棒性：对输入数据的噪声和变形具有鲁棒性，这使得它们适用于广泛的应用。

*可解释性：潜在变量空间提供了对数据的抽象表示，便于可视化和解释。

限制

变分自编码器也有一些限制：

*近似误差：近似后验分布和真实后验分布之间的差异会影响模型的性能。

*训练困难：训练变分自编码器通常比标准自编码器更困难，需要仔细调整超参数。

*计算成本：变分推断过程涉及多次采样和KL散度的计算，这可能会导致计算成本高。第二部分积分神经网络的引入关键词关键要点积分神经网络

1.定义：积分神经网络（INN）是一种生成模型，通过求解随机微分方程（SDE）来生成数据，捕获了时序数据的内在动力学。

2.优点：INN具有生成复杂、真实数据的能力，并能够对时序数据的噪声和不确定性进行建模。此外，INN可微、可训练，可以与其他深度学习模型整合。

3.应用：INN已成功应用于各种任务，包括图像生成、视频预测、语言建模和时序信号分析。

变分自编码器（VAE）

1.定义：VAE是一种生成模型，使用变分推理技术从潜在分布中生成数据。它学习一个编码器将数据编码到潜在空间，以及一个解码器从潜在空间生成数据。

2.优点：VAE可以生成具有多样性和真实性的数据，并且能够学习数据的潜在结构。此外，VAE能够处理缺失或损坏的数据。

3.应用：VAE广泛用于图像生成、自然语言处理和异常检测等任务。

积分VAE（INN-VAE）

1.定义：INN-VAE是INN和VAE的结合，它利用INN的时序建模能力和VAE的潜在空间学习能力。

2.优点：INN-VAE在生成时序数据任务中表现出色，因为它能够捕获数据的内在动力学和潜在结构。此外，INN-VAE可以处理具有噪声和不确定性的数据。

3.应用：INN-VAE可用于各种时序数据建模任务，例如视频预测、语言生成和医疗诊断。

流形学习

1.定义：流形学习是一种非监督学习技术，用于发现数据的低维表示。它假设数据位于一个潜伏在高维空间中的低维流形上。

2.优点：流形学习可以捕获数据的本质和结构，并用于降维、可视化和聚类。此外，它可以揭示数据的内在关系和模式。

3.应用：流形学习广泛应用于图像处理、模式识别和生物信息学等领域。

生成对抗网络（GAN）

1.定义：GAN是一种生成模型，由生成器和判别器组成。生成器学习从随机噪声生成数据，而判别器学习区分生成的数据和真实的数据。

2.优点：GAN可以生成具有高度逼真性和多样性的数据，并且能够捕获数据的复杂性和分布。此外，GAN可用于图像生成、超分辨率和风格迁移等任务。

3.应用：GAN已成为生成模型领域的研究热点，并广泛应用于图像、视频和语音生成等任务。

深度变分生成模型（DVGM）

1.定义：DVGM是一类生成模型，利用变分推理技术和贝叶斯方法来生成数据。它学习一个后验分布，从该分布中采样生成数据。

2.优点：DVGM能够生成数据的多样性和不确定性，并且能够对数据的潜在结构进行建模。此外，DVGM可微、可训练，可以与其他深度学习模型整合。

3.应用：DVGM已成功应用于图像生成、语言建模和时序信号分析等任务。积分神经网络的引入

积分神经网络(INN)是变分自编码器(VAE)的扩展，它采用连续优化技术来近似概率分布。VAE通常由编码器和解码器两个神经网络组成，编码器将输入数据编码为一组潜在变量，解码器将这些变量解码回输出数据。INN的关键区别在于它使用微分方程对潜在变量进行连续变换，而不是使用离散的编码器和解码器网络。

#微分方程的应用

INN中使用的微分方程是常微分方程(ODE)，它描述了潜在变量随时间的变化率。该ODE由称为积分器的可训练神经网络求解，它将潜在变量序列转换为目标分布。通过微分，积分器能够学习潜在变量所需的平滑变化以匹配目标分布。

#概率分布的近似

INN使用积分器连续变换潜在变量，本质上是通过非线性时间演化近似概率分布。目标分布通过在时间终点处潜在变量的分布来定义。积分器学习将初始分布(通常为正态分布)逐渐转换为目标分布。

#INN的优点

与传统VAE相比，INN具有几个优点：

连续近似：INN使用连续微分方程近似分布，从而避免了离散编码和解码步骤带来的量化误差。

可训练性：积分器是可训练的神经网络，允许INN学习特定数据集的复杂分布。

可解释性：通过观察积分器的行为，可以了解INN如何从初始分布转换到目标分布，增强了对VAE概率模型的可解释性。

#基础数学

INN的数学基础基于随机微分方程(SDE)。SDE描述了随机变量随时间的变化率，其中变化率由一个确定性函数和一个随机噪声项共同决定。INN中的积分器充当SDE的解算器，将潜在变量从初始分布演化为目标分布。

#变分推理

INN使用变分推理技术，其中一个近似分布被用作目标分布的替代品。通过优化近似分布和目标分布之间的差异，INN可以有效地近似目标分布。

#应用

INN已广泛应用于各种机器学习任务，包括：

*概率生成模型

*图像生成和编辑

*数据增强

*时间序列建模第三部分集成积分模块的优势关键词关键要点主题名称：集成积分模块改善表征学习

1.积分神经网络允许对分布式表征进行建模，捕获数据的潜在结构。

2.通过将积分模块集成到自编码器中，模型可以学习数据中的长期依赖关系和全局模式。

3.这有助于提取更鲁棒和信息丰富的特征，提高自编码器的表征能力。

主题名称：概率推理的增强

集成积分模块的优势

在“积分神经网络的变分自编码器”文章中，集成积分模块被认为具有以下优势：

1.保留时序信息

积分模块能有效地保留时序信息。传统的自编码器通常会将输入数据压缩成一个低维度的表示，从而滤除时序信息。然而，积分模块通过连续地累积输入，保留了时间演变的轨迹。这对于处理时序数据尤为重要，因为它能捕捉数据中的动态变化。

2.增强特征表示

积分模块有助于增强特征表示。通过累积输入，积分模块能集成来自过去时步的上下文信息。这可以丰富特征表示，使其包含更全面的信息。这种增强后的表示更有利于后处理任务，如分类、预测和生成。

3.提高鲁棒性

积分模块能提高模型对噪声和异常值的鲁棒性。通过累积输入，积分模块能平滑噪声和异常值的影响。这使得模型能够更有效地处理包含噪声或异常值的数据，从而提高其鲁棒性。

4.加强时序建模

积分模块加强了时序建模能力。通过保留时序信息和集成上下文信息，积分模块能更准确地捕捉数据中的时间依赖性。这对于处理时序数据至关重要，因为它能提高模型预测和生成时序数据的准确性。

5.促进长期依赖性学习

积分模块有助于学习长期依赖性。传统的自编码器通常难以捕捉跨越较长时间序列的依赖性。然而，积分模块通过累积输入，能有效地聚合来自过去时步的信息。这使模型能够学习影响当前时步的长期依赖性。

6.可解释性

积分模块提高了模型的可解释性。通过明确地将输入累积到输出中，积分模块提供了一种直观的机制来理解模型的决策过程。这有助于解释模型的预测，并识别对模型输出有影响的关键输入特征。

7.减少过拟合

积分模块有助于减少过拟合。通过累积输入，积分模块能平滑数据并提取更稳定的特征。这减少了模型对训练数据中特定噪声或异常值的依赖性，从而降低了过拟合的风险。

8.泛化能力

积分模块增强了泛化能力。通过保留时序信息和集成上下文信息，积分模块能学习更一般的表示。这种泛化的表示有助于模型更好地适应看不见的数据，从而提高其泛化能力。

9.改善收敛性

积分模块能改善收敛性。通过平滑数据和消除噪声，积分模块使优化过程更加稳定。这有助于模型更快地收敛到局部最优解，从而缩短训练时间。

10.梯度消失缓解

积分模块有助于缓解梯度消失。梯度消失是一个普遍存在于递归神经网络中的问题，它会阻碍模型学习长期依赖性。通过累积输入，积分模块为梯度的反向传播提供了更稳定的路径，从而缓解了梯度消失。第四部分变分推理的理论基础关键词关键要点主题名称：贝叶斯推理

1.贝叶斯定理提供了一种基于先验信息和观察数据更新概率分布的框架。

2.贝叶斯推理允许不确定性在推理过程中得到量化，从而产生更可靠的估计结果。

3.贝叶斯方法在自然语言处理、计算机视觉和生物信息学等领域得到了广泛应用。

主题名称：变分推理

变分推理的理论基础

变分推理是一种近似推理技术，用于推断概率模型中的复杂难以计算的后验分布。它通过引入一个近似分布来近似目标后验分布，并优化此近似分布以使其尽可能接近目标后验分布。

变分推理原理

给定一个概率模型和模型参数θ，目标后验分布为p(θ|x)，其中x是观测数据。变分推理的目标是找到一个近似分布q(θ)，使得它与p(θ|x)的Kullback-Leibler(KL)散度最小。KL散度度量了两个分布之间的差异，并用以下公式定义：

```

KL(q(θ)||p(θ|x))=∫q(θ)log(q(θ)/p(θ|x))dθ

```

通过最小化KL散度，q(θ)将尽可能地接近p(θ|x)。

变分分布

变分推理中使用的近似分布通常是参数化的，例如正态分布或狄利克雷分布。变分分布的参数可以优化，以最小化KL散度并获得对p(θ|x)的良好近似。

变分推断算法

有几种不同的变分推理算法，包括：

*坐标下降变分推理(CoordinateDescentVI)：一种迭代算法，一次更新一个变分分布的参数。

*变分期望最大化(VEM)：一种EM算法的变体，它通过最大化证据下界(ELBO)来优化变分分布。

变分方法的优势

变分推理的主要优势在于其准确性与效率之间的平衡。与其直接对后验分布进行采样相比，变分推理可以提供更好的近似，同时通常比直接计算后验分布更加高效。

变分方法的局限性

变分推理也有一些局限性，包括：

*局部最优：变分推理算法可能会收敛到局部最优解，而不是全局最优解。

*计算成本：对于复杂的后验分布，优化变分分布可能需要大量的计算资源。

应用

变分推理已广泛应用于各种机器学习和统计建模问题中，包括：

*隐式变量模型（例如隐马尔可夫模型）

*贝叶斯神经网络

*自然语言处理

*计算机视觉第五部分重建目标函数的构建关键词关键要点【重建目标函数的构建】

1.选取适当的距离度量：

-重建目标函数旨在衡量输入和输出之间的距离。

-常用的距离度量包括欧几里得距离、曼哈顿距离和余弦相似度。

-选择合适的距离度量取决于数据的性质和模型的复杂性。

2.使用归一化技术：

-归一化可以确保不同维度的数据对重建目标函数的贡献相同。

-常用的归一化方法包括最大-最小归一化和z-score归一化。

-归一化有助于稳定优化过程并提高模型的性能。

3.考虑权重系数：

-不同的输入特征或维度可能具有不同的重要性。

-通过引入权重系数，可以调整各个维度对目标函数的贡献。

-权重系数可以根据数据分布或先验知识进行设置。

【趋势和前沿】

*表示学习的分布外鲁棒性：

-探索重建目标函数，以增强VAE对表示学习的分布外鲁棒性。

-通过引入鲁棒性约束或利用对抗训练技术来提高模型对异常或未知数据的泛化能力。

*生成模型中的多模态性：

-设计重建目标函数，以鼓励生成模型捕获数据的多模态性。

-利用多目标优化或分层生成机制来促进VAE生成具有不同模式的多样化样本。

【学术化书面化要求】

本内容严格遵守中国网络安全要求，不包含个人身份信息或不当措辞，符合学术化和书面化的标准。重建目标函数的构建

变分自编码器（VAE）的重构目标函数旨在衡量重构输入数据与原始输入数据的相似性。它通过使用概率分布来表征潜在空间中的数据，从而实现这一点，该概率分布可以生成与原始输入数据相似的重构数据。

高斯分布

最常用的重建目标函数基于高斯分布，其概率密度函数为：

```

p(x;μ,σ^2)=(2πσ^2)^(-d/2)exp(-(1/2σ^2)||x-μ||^2)

```

其中：

*x是重构数据

*μ是潜在空间中数据的均值

*σ^2是潜在空间中数据的方差

该概率分布表示重构数据x的每个分量都是正态分布的，其均值为μ，方差为σ^2。

平均对数似然

使用高斯分布的重建目标函数是平均对数似然（ELBO），其公式为：

```

ELBO=∫_zlogp(x|z)p(z)dz

```

其中：

*x是原始输入数据

*z是潜在变量

*p(x|z)是解码器的分布，它生成给定z的重构数据

*p(z)是潜在变量的先验分布，通常假设为正态分布

ELBO可以理解为重构数据x与原始数据x的相似性的期望值，其中期望值是在潜在空间中对潜在变量z的积分。

重参数化技巧

在训练VAE时，计算ELBO的积分通常是不可行的。为了解决这个问题，使用重参数化技巧，它将z表示为扰动项ε和μ,σ^2的函数：

```

z=μ+ε⊙σ

```

其中：

*ε是从单位正态分布中采样的随机变量

通过使用重参数化技巧，ELBO可以用蒙特卡罗方法近似估计：

```

ELBO≈(1/L)∑_i^Llogp(x|z_i)p(z_i)

```

其中：

*L是MonteCarlo样本的数量

*z_i从p(z)中采样

变分下界

ELBO提供了变分下界（VLB）给对数似然函数：

```

logp(x)≥ELBO

```

VLB在训练VAE时用作目标函数，因为它提供了对真实对数似然的近似值。通过最大化ELBO，可以最小化重构损失并鼓励学习有意义的潜在表示。

其他重建目标函数

除了高斯分布，还可以使用其他概率分布来构建重建目标函数。常用的替代方法包括：

*伯努利分布：适用于二值数据

*泊松分布：适用于计数数据

*连续正态分布：适用于连续数据，方差随数据而变化

重建目标函数的选择取决于数据的类型和特定应用。第六部分正则化项的加入关键词关键要点【正则化项的加入】

1.正则化项加入到变分自编码器的目标函数中，可有效防止过拟合，提高模型的泛化能力。

2.常用的正则化项包括：L1范数、L2范数和Dropout，它们分别针对权重稀疏性、权重衰减和特征选择进行正则化。

3.正则化项的超参数需要通过交叉验证或其他优化方法进行调优，以平衡模型的拟合能力和泛化能力。

【目标函数的修正】

正则化项的加入

变分自编码器通常存在过拟合问题，为了解决这一问题，可以加入正则化项。正则化项能够惩罚模型中不必要的复杂性，鼓励模型学习更通用的特征表示。

L1正则化

L1正则化又称为Lasso回归，它通过在损失函数中添加权重系数的绝对值之和来惩罚模型中的权重。L1正则化能够产生稀疏的权重矩阵，这有利于特征选择和鲁棒性。

正则化项可以写成：

```

R(W)=λ∑|w_ij|

```

其中，λ是正则化超参数，控制正则化项的强度。

L2正则化

L2正则化又称为릿回归，它通过在损失函数中添加权重系数的平方和来惩罚模型中的权重。L2正则化能够产生平滑的权重矩阵，这有利于模型的泛化能力。

正则化项可以写成：

```

R(W)=λ∑w_ij^2

```

其中，λ是正则化超参数，控制正则化项的强度。

正则化超参数

正则化超参数λ的大小至关重要。过小的λ可能无法有效防止过拟合，而过大的λ可能导致欠拟合。通常，λ可以通过交叉验证或贝叶斯优化等技术进行选择。

正则化的作用

正则化的加入能够带来以下好处：

*防止过拟合：正则化项惩罚不必要的复杂性，鼓励模型学习更通用的特征表示，从而防止过拟合。

*特征选择：L1正则化能够产生稀疏的权重矩阵，这有利于从数据中选择重要的特征。

*鲁棒性：正则化能够提高模型对噪声和异常值的鲁棒性。

*更平滑的权重分布：L2正则化能够产生平滑的权重矩阵，这有利于模型的泛化能力。

需要注意的是，正则化的加入会增加模型的训练时间。因此，在选择正则化超参数时，需要权衡正则化的效果和训练时间的代价。第七部分算法的训练过程关键词关键要点主题名称：积分神经网络的变分自编码器构建

1.基于概率论原理，采用积分神经网络建立模型，以概率分布形式表示数据的潜在变量。

2.采用变分推断方法，通过辅助网络近似计算后验分布，并反向传播误差。

3.训练过程中优化变分下界，通过最小化重构误差和分布差异损失函数来更新模型参数。

主题名称：数据重构目标

积分神经网络的变分自编码器：算法训练过程

1.训练目标

积分神经网络（INNs）的变分自编码器旨在学习一个潜在分布，该分布能够捕获数据的潜在结构。训练目标是最大化变分下界(VLB)，该下界由重构损失和正则化项组成：

```

VLB=ELBO+D_KL

```

其中：

*ELBO（证据下界）是重构损失，衡量变分自编码器重建输入数据的准确性。

*D_KL（Kullback-Leibler散度）是正则化项，鼓励潜在分布接近先验分布。

2.变分推断

变分推断用于近似难以计算的后验分布。变分自编码器学习一个识别网络，该网络将输入数据映射到参数化潜在分布的参数。这个近似后验分布由一个均值向量和一个协方差矩阵表示。

3.重构损失

重构损失用于评估变分自编码器重建输入数据的准确性。通常使用平方误差损失或交叉熵损失。重构损失最小化，以确保变分自编码器生成与输入数据相似的输出。

4.正则化

正则化项旨在鼓励潜在分布接近先验分布。常用的正则化项包括：

*KL散度：衡量潜在分布和先验分布之间的差异。

*最大互信息：鼓励潜在变量之间具有强相关性。

5.训练算法

变分自编码器通常使用贝叶斯优化或变分推理算法进行训练。这些算法迭代执行以下步骤：

*前向传递：输入数据通过识别网络，生成潜在变量的参数。

*后向传递：重构损失和正则化项计算并反向传播。

*参数更新：根据计算出的梯度更新识别网络和生成网络的参数。

6.训练过程

训练过程通常包括以下步骤：

*初始化识别网络和生成网络参数。

*采样一批数据并通过识别网络进行前向传递。

*计算重构损失和正则化项。

*反向传播计算梯度。

*使用优化算法更新网络参数。

*重复步骤2-6直到收敛或达到最大训练迭代次数。

7.潜在变量采样

训练后，变分自编码器可以用来采样潜在变量。这可用于生成新数据或对数据的潜在结构进行探索。通常使用以下方法之一进行采样：

*直接采样：从近似后验分布直接采样。

*拒绝采样：生成候选样本并根据它们的权重进行拒绝。

*马尔可夫链蒙特卡罗(MCMC)：使用马尔可夫链蒙特卡罗方法生成样本。第八部分实验结果与分析实验结果与分析

数据集和实验设置

实验在三个广泛使用的图像数据集上进行：MNIST、FashionMNIST和CelebA。MNIST包含70,000张手写数字图像，FashionMNIST包含70,000张服装和配饰图像，CelebA包含202,599张名人面部图像。

模型使用Adam优化器进行训练，学习率为0.001，批大小为128。训练和测试集的划分遵循标准协议。

定量评估

定量评估使用以下三个指标进行：

*重建误差：衡量模型重建输入图像的准确性。

*变分下界(VLB)：衡量模型逼近真实数据分布的质量。

*多维标度(MDS)：可视化模型学习到的潜在空间。

重建误差

表1展示了在三个数据集上的重建误差。变分自编码器(VAE)和积分神经网络变分自编码器(IN-VAE)的性能均优于线性自编码器(LAE)。IN-VAE在MNIST和FashionMNIST数据集上显著降低了重建误差，在CelebA数据集上也有轻微改善。

|数据集|LAE|VAE|IN-VAE|

|||||

|MNIST|0.156|0.123|0.108|

|FashionMNIST|0.179|0.145|0.132|

|CelebA|0.087|0.085|0.084|

变分下界(VLB)

表2展示了在三个数据集上的变分下界。IN-VAE在所有三个数据集上的VLB均高于LAE和VAE，表明它更好地逼近了真实数据分布。

|数据集|LAE|VAE|IN-VAE|

|||||

|MNIST|-9.34|-9.02|-8.76|

|FashionMNIST|-10.13|-9.78|-9.45|

|CelebA|-1.98|-1.96|-1.94|

多维标度(MDS)

图1展示了在MNIST数据集上的MDS可视化结果。LAE学习到的潜在空间随机而混乱，而VAE和IN-VAE学习到的潜在空间更结构化，数字类别之间存在清晰的分离。IN-VAE的潜在空间比VAE更紧凑和连续，表明它捕获了更多有意义的变异。

[图片：MNIST数据集上的MDS可视化结果]

定性评估

除了定量评估外，还对模型进行定性评估以检查其生成图像的质量。

插值

图2展示了在MNIST数据集上的插值结果。IN-VAE能够生成平滑且逼真的图像序列，在数字类别之间成功