CN119452391A 基于超分辨率神经网络提高图像质量的方法和装置 （Sk电信有限公司）

2024.12.26PCT/KR2022/0193842022.12.01WO2023/214633KO2023.11.09基于超分辨率神经网络提高图像质量的方本公开提供了一种基于超分辨率神经网络集输入到退化编码器神经网络(DEN)中以获取每服务数据集输入到DEN中，以获取服务失真特性2生成具有一个或更多个失真的一个或更多个通过将所述一个或更多个训练数据集输入到退化编码器神经网络DEN中来分别获得训通过将包括所述目标图像的图像块的服务数据集输入到所述退化编码器神经网络中选择与所述服务失真特性值具有最高相似性的训练数据通过使用所述超分辨率神经网络将所述目标图像转换码器神经网络的针对从每个训练数据集中选择的至少一个或更多个样本的输出的平均值，其中，所述服务失真特性值是所述退化编码器神经网络的5.一种存储指令的计算机可读记录介质，6.一种针对目标图像的失真特性优化的图像质通过使用具有不同失真的训练数据集来训练要针对特定失真分别优化的一个或更多通过使用退化编码器神经网络DEN来计算服务数据集与分别应用于所述一个或更多个超分辨率神经网络的每个所述训练数据集之在所述一个或更多个超分辨率神经网络当中选择利用具有最高相似性的训练数据集通过使用所选择的超分辨率神经网络将所述目标图像转换通过使用所述退化编码器神经网络，获得训练失真特性值和服务失真练失真特性值各自表示应用于所述超分辨率神经网络中的每一个的每个训练数据集的失基于所述训练失真特性值中的每一个与所述服务失真特性值之间的差来计算所述相码器神经网络的针对从每个训练数据集中选择的至少一个或更多个样本的输出的平均值，3其中，所述服务失真特性值是所述退化编码器神经网络的9.一种存储指令的计算机可读记录介质，所述指10.一种针对目标图像的失真特性优化的图像质量增强装置，所述图像质量增强装置通过使用具有不同失真的训练数据集来训练要针对特定失真分别优化的一个或更多通过使用退化编码器神经网络DEN来计算服务数据集与分别应用于所述一个或更多个超分辨率神经网络的每个所述训练数据集之在所述一个或更多个超分辨率神经网络当中选择利用具有最高相似性的训练数据集通过使用所选择的超分辨率神经网络将所述目标图像转换4机添加到目标图像以收集用于监督学习的数据。该方法是可以应用于任何图像的通用方失真特性值与服务数据集的失真特性值之间的相似性来选择失真与目标图像的服务数据[0011]本公开的至少一个方面提供了一种针对目标图像的失真特性优化的图像质量增集；通过将一个或更多个训练数据集输入到退化编码器神经网络(DEN)中来分别获得训练择与服务失真特性值具有最高相似性的训练[0012]本公开的另一方面提供了一种针对目标图像的失真特性优化的图像质量增强方5来计算服务数据集与分别应用于一个或更多个超分辨率神经网络的每个训练数据集之间[0013]本公开的又一方面提供了一种针对目标图像的失真特性优化的图像质量增强装的训练数据集来训练要针对特定失真分别优化的一个或更多个超分辨率神经网络(SRN)；通过使用退化编码器神经网络(DEN)来计算服务数据集与分别应用于一个或更多个超分辨[0021]图3是示出根据本公开的至少一个实施方式的训练超分辨率神经网络的过程的[0022]图4是示出根据本公开的至少一个实施方式的将服务数据集馈送到退化编码器神[0023]图5a是示出根据本公开的至少一个实施方式的基于训练数据集和服务数据集之6[0030]图像质量增强装置可以计算训练数据集的每个失真特性值与服务数据集的失真且被分类到单个服务集中的目标图像的一个或更[0031]图像质量增强装置可以通过使用退化编码器神经网络(DEN)来获得每个数据集的的图像块之间的损失最大化。对比学习使用第一目标函数(LDEN)来训练退化编码器神经网neg并且pm,1和pm,2分别是与第m失真被添加到的图像块相对应的构成数据集的多个图像中的一个图像。p～mneg[0035]图像质量增强装置可以将一个或更多个训练数据集和服务数据集分别输入到退或更多个训练数据集中的每一个的失真特性值和服务[0036]可以通过使用等式2来计算任何训练数据集的失真特性值与服务数据集的失真特7集的代表性样本。用于提取数据的代表性样本的方法包括从数据集随机采样或通过使用K[0041]在等式2中，作为从每个训练数据集中选择的一个或更多个样本的失真特性值的训练失真特性值)。这样的训练失真特性值可以被解释为表示可以由要通过使用对应的训择的一个或更多个样本的失真特性值的平均值的可以用作表示服务数[0042]图像质量增强装置可以选择与服务失真特性值具有最高相似性的训练数据集[0043]图像质量增强装置可以基于所选择的训练数据集来训练单个超分辨率神经网络[0044]图像质量增强装置可以通过使用基于所选择的训练数据集训练的超分辨率神经数据集。图像质量增强装置可以使用训练数据集来训练一个或更多个超分辨率神经网络。一个或更多个超分辨率神经网络中的每一个可以等同于针对特定失真优化的超分辨率神[0047]图像质量增强装置可以通过使用退化编码器神经网络来计算应用于一个或更多量增强装置可以通过使用退化编码器神经网络来获得训练失真特性值和服务失真特性值，失真特性值可以是退化编码器神经网络的针对从服务数据集中选择的一个或更多个样本分辨率神经网络对应的训练失真特性值与服务失真特性值之间的差[0048]图像质量增强装置可以在一个或更多个预训练的超分辨率神经网络中选择应用8[0049]图像质量增强装置可以通过使用所选择的超分辨率神经网络将目标图像转换为到原始副本200的噪声的训练数据集204以及具有添加的模糊和噪声两者的训练数据集206。图像质量增强装置可以通过组合不同强度的模糊和噪声来生成多个训练数据集202、[0052]图像质量增强装置可以通过生成具有与目标图像的失真特性类似的添加失真的训练数据集来基于专注于目标图像的失真特性的训练[0053]图3是示出根据本公开的至少一个实施方式的训练超分辨率神经网络的过程的[0055]图像质量增强装置可以基于输出图像306与期望图像308之间的差来计算第二目[0059]权重可以基于训练数据集中的训练图像300与服务数据集中的目标图像之间的相经获得表示服务数据集的N个样本。提取N个样本的方法可以包括从服务数据集随机采样或通过使用K均值聚类算法选择和采样每个聚类9装置可以为特定服务数据集已经预先计算了并将其存储在[0065]图像质量增强装置可以通过使用基于操作权重304以及输出图像306与期望图像[0066]图4是示出根据本公开的至少一个实施方式的将服务数据集馈送到退化编码器神[0067]参照图4，图像质量增强装置可以在训练超分辨率神经网络之前将从服务数据集服务失真特性值402来计算服务失真特性值的平均值404。服务失真特性值的平均值404可[0068]图5a是示出根据本公开的至少一个实施方式的基于训练数据集和服务数据集之[0070]参照图5a，图像质量增强装置可以将训练数据集的每个图像块500输入到退化编失真特性值的平均值504之间的相似性来计算训练数据集[0072]利用相似性的第二种方法是基于相似性选择多个超分辨率神经网络或多个训练[0075]存储器602可以存储可由处理器604执行以使得根据本公开的至少一个实施方式[0076]存储器602可以包括易失性存储器和非易失性存储器中的至少一个。易失性存储[0078]本文所述的装置和方法的各种例示性实现方式可以通过数字电子电路、集成电[0079]本文所述的系统和方法的各种例示性实现方式可以通过数字电子电路、集成电个输出装置，其中可编程处理器可以是专用[0080]计算机可读记录介质包括其上可由计算机系统读取的数据是可记录的任何类型[0081]尽管序列图/流程图中的相应步骤被描述为顺序地执行，但是它们仅例示了本公图中描述的顺序或通过并行执行两个或更多个步骤来执行步骤，因此序列图/流程图中的[0089]本申请要求于2022年5月6日提交的韩国专利申请No.10_2022_0