CN118968258B 采用基于混合专家模型的生成式对抗网络的图像生成方法 （江南大学）

采用基于混合专家模型的生成式对抗网络本发明公开了一种采用基于混合专家模型2对抗损失项LUS中，G是生成器，D是判别器，z是从先验噪声分布P(2)中采样的噪声4是第i个专家网络对应的权重系数；3Lrea(D)=-EX-p.[logD(x)l生成样本损失项中，z是从先验噪声分布中采样的噪声向量；G(z)是生成器根据噪声z生成的图像，D(G(a))是判别器对生成图像2.根据权利要求1所述的一种采用基于混合专家模型的生成式对抗网络的图像生成方3.根据权利要求2所述的一种采用基于混合专家模型的生成式对抗网络的图像生成方4.根据权利要求3所述的一种采用基于混合专家模型的生成式对抗网络的图像生成方5.根据权利要求4所述的一种采用基于混合专家模型的生成式对抗网络的图像生成方4[0003]为了解决上述问题，可以采用图像生成技术以现有的图一种有效的图像生成方法能够根据现有数据生成新的样本进行数据集扩充、数据质量增大类，一类是基于无监督表征学习模型VQ_VAE实现，该模型结合了向量量化和变分自编码高了图像生成质量，但其训练过程涉及到额外的向量量化步骤和代码本的学习，特别是在则是基于生成对抗网络实现，比如，公开号为CN112598034A的中国专利公开了一种成式对抗网络的矿石图像生成方法和计算机可读存储介质，发明人在原始GAN生成器结构中加入了条件标签信息，条件变量的引入为生成器和判别器提供了额外的信息，可以生成符合特定条件或标签的样本，达到数据集的扩充效果。上述方法中尽管条件生成对抗网络导致生成结果的质量下降或无法达到预期的效果。公开号为CN117252939A的中国专利公开了一种由深度可分离卷积生成式对抗神经网络生成人脸的方法，发明人在深度卷积生成式这种方法，虽然可以有效减少模型的计算量和参数数量，但伴随而来的是模型的整体复杂开号为CN113139916A的中国专利公开了一种基于生成式对抗网络的水下声呐仿真图像生5[0005]为了解决因为图像数据量不足、标签分类不平衡导致的图像分类精度不高的问这些部分输出根据其对应的权重被加权平均组合成最[0016]S6.在训练完成后，使用混合专家模型6[0027]专家平衡损失项LUU中，β是用于平衡各个专本损失项。根据噪声z生成的图像，D(G(z))是判别器对生成图像的输出。7处理输入数据的不同部分或特征，并通过一个门控机制来动态地调整各个专家的参与程[0045]图1是本发明提供的采用基于混合专家模型的生成式对抗网络的图像生成方法流[0049]图5是采用根据本发明的基于混合专家模型的生成式对抗网络的图像生成方法所8[0050]图6是本发明提供的采用基于多模态混合专家模型的生成式对抗网络的图像生成[0051]图7是本发明方法中基于多模态混合专家模型的多模态特征融合网络结构示意[0056]图10是采用根据本发明的基于多模态混合专家模型的生成式对抗网络的图像生同类别的真实世界物体。每个类别都有数百到数千张图像，具有较高的多样性和复杂性。[0068]如图3所示，在生成器中集成混合专家模型，该混合专家模型由多个专家网络组9[0082]其中，LUU是鼓励门控网络平衡使用各个专家的损失项，β是平衡损失项的权中，经过多次实验确定a,=0.43,a,=0.31,a=0.16,az=0.25。本损失项。x是真实数据，pao(x)表示真实数据的概率分布，D(x)是判别器对真实样间采样的随机噪声向量，G(z)是生成器根据噪声z生成的判别器D的输出用于计算判别器损失和生成器损失。损[0106]将混合专家模型融入到生成式对抗网络中对图像进行生成，GAN的生成器能够处计算特性使得GAN的训练过程更加高效，减少了计算成本。减少了模型需要学习的参数数[0108]本实施例提供了一种采用多模态数据融合网络和混合专家模型的生成式对抗网对于缺失或噪声数据的鲁棒性，因为该架构能够利用不同模态间的互补信息进行相互补[0113]音频数据集需要具有足够的分辨率和清晰度，本实施例中采用的数据集为A2IR[0115]图像数据仍需要执行数据清洗以去除噪声和异常值、特征编码以转换类别数据、G(Z)是生成模型生成的假数据，D(G(2))是判别模型对生成数据的判断结果（即认为数据分利用并避免某些专家过载而其他专家闲置的情况，我们引入了专家负载均衡损失Lurxuw。这一损失函数的设计旨在通过惩罚那些激活频率与平均激活频率偏差较大的[0155]其中，是判别模型的损失，x是真实数据，pao(x)表示真实数据的概率分布，