CN112889283A 编码方法及其设备以及解码方法及其设备 （三星电子株式会社）

PCT/KR2019/0133442WO2020/080751KO2020.04.提供了一种存储有包含AI编码数据的视频像进行AI缩小而生成的低分辨率图像的编码信指示AI放大是否被应用于一个或更多个帧的AI多个帧时，关于多条预设的默认DNN配置信息中2图像数据，包括通过对高分辨率图像进行AI缩小而生成的低分辨率图像的编码信息；当AI放大被应用于所述至少一个帧时，关于多条预设的默认深度神经网络DNN配置信视频AI补充数据，与被共同应用于包括在所述图像数据视频片段AI补充数据，与被共同应用于包括在视频片帧组AI补充数据，与被共同应用于包括在帧组中的帧的AI放大的至少一条放大DNN信所述AI数据被配置为基于所述同步数据根据所述图像数据的帧的再现顺序或解码顺关于所述图像数据的AI放大的视频AI数据与被共同应用于所述图像数据的帧的视频关于包括当前帧的当前视频片段的AI放大的视频片段AI数据与被共同应用于当前视3关于包括当前帧的当前帧组的AI放大的帧组AI数据与被共同应用于当前帧组的帧的关于当前帧的AI放大的帧AI数据与当前帧的编码信息一起位于将被解码的所述图像所述视频AI数据被包括在所述视频头中或者紧接在所述视所述视频片段AI数据被包括在所述视频片段头中或者紧接在所述视频片段头之前或所述帧AI数据被包括在所述帧头中或者紧接在所述帧所述AI数据包括应用于所述图像数据的所有帧的AI放大的视频AI数据以及应用于视其中，所述视频AI数据被包括在所述元数据框中，并且所视频片段AI补充数据相关信息，指示视频片段AI补帧组AI补充数据相关信息，指示帧组AI当所述视频片段AI补充数据相关信息指示所述视频片段AI补充数据在当前视频片段当所述帧组AI补充数据相关信息指示所述帧组AI补充数据在当前帧组与连续的先前4接收包括AI编码数据的视频文件，其中，所从所述视频文件的元数据框获得所述AI编码数通过根据当前帧的放大DNN信息对低分辨率图像进行AI放大来生成与低分辨率图像对所述AI数据包括以下AI数据中的至少一个：关于当前帧的AAI数据或者关于包括当前帧的视频的AI放大的视频AI数所述AI数据包括指示低分辨率图像的比特率的目标比特率信息或者与经过AI放大的获得放大DNN信息的步骤包括：根据所述目标比特率信息或所述分辨率信息中的至少根据由所述同步数据指示的所述图像数据和所述AI数据5确定用于将当前帧的高分辨率图像AI缩小为低分辨率图像的缩小深度神经网络(DNN)通过根据所述缩小DNN信息对当前帧的高分辨率图像进行AI缩小来生成当前帧的低分输出包括媒体数据框和元数据框的视频文件，其中，所述AI所述AI数据是关于当前帧的AI放大的帧AI数据根据将被应用AI放大的所述至少一个帧的放大DNN信息来确定所所述AI数据包括指示低分辨率图像的比特率的目标比特率信息或与高分辨率图像的生成AI数据的步骤包括：基于所述目标比特率信息或所述分辨率信息中的至少一个，从多条默认DNN配置信息确定所述至少一个帧的两条所述视频文件的元数据框包括关于所述AI数据和所且生成AI数据的步骤包括：根据所述图像数据和所述AI数据的编21.一种执行使用人工智能AI放大的视频解码方法的视频解码设备，所述视频解码设解析器，被配置为从所述视频文件的元数据框获得所述从所述视频文件的媒体数据框获得所述AI编码6第一解码器，被配置为通过对所述图像数据进行解码来重建当前帧的低分辨率图像；据当前帧的放大DNN信息对低分辨率图像进行AI放大来生成与低分辨率图像对应的高分辨22.一种执行使用人工智能AI缩小的视频编码方法的视频编码设备，所述视频编码设AI缩小器，被配置为确定用于将当前帧的高分辨率图像AI缩小为低分深度神经网络DNN信息，通过对当前帧的高分辨率图像进行AI缩小来生成当前帧的低分辨7[0002]图像在经由遵循特定数据压缩标准(诸如运动图像专家组(MPEG)标准)的编解码器而被编码之后以比特流的形式被存储在记录介质中或者对高分辨率和高质量图像进行编码和解码的编解码器置信息中的用于所述至少一个帧的AI放大的放大DNN信息的并且通过根据当前帧的放大DNN信息对低分辨率图像进行AI放大来生成与低分辨率图像对定用于将当前帧的高分辨率图像AI缩小为低分辨率图像的缩小深度神经网络(DNN)信息；通过根据所述缩小DNN信息对当前帧的高分辨率图像进行AI缩小来生成当前帧的低分辨率8辨率图像进行AI放大来生成与低分辨率图像辨率图像AI缩小为低分辨率图像的缩小深度神经网络(DNN)信息，通过对当前帧的高分辨[0027]图11是用于对原始图像执行AI缩小的设备以及用于对第二图像执行AI放大的设9[0028]图12是用于描述图像数据与AI数据之间的对应关系以及图像数据和AI数据的结[0029]图13A是用于描述当AI数据被嵌入在图像数据中时AI解码设备中的数据流的示[0030]图13B是用于描述当AI数据和图像数据被分离并被包括在两个文件中时AI解码设[0034]图15C示出当在单个文件中部分AI数据被嵌入在图像数据中并且其余AI数据与图[0035]图16示出当AI数据和图像数据如图14中那样被分离时按视频片段单元划分的AI[0038]图18B示出适用于图16中描述的视频片段AI数据或者图14、图15A至图15C和图17置信息中的用于所述至少一个帧的AI放大的放大DNN信息的中描述的每个元件除了其主要功能之外，还可另外执行由另一元件执行的一些或全部功作为AI编码的结果而获得的包括AI数据和图像数据的AI编码数据，经由第一解码130获得小110的AI需要与用于第二图像135的AI放大140的AI联合训练。这是因为，当用于AI缩小110的AI和用于AI放大140的AI被单独训练时，作为AI编码的对象的原始图像105与通过AI设备可基于所提供的目标信息对第二图像135执行AI105执行AI缩小110而获得的第一图像115的信息量。第一编码120可包括通过对第一图像[0067]可通过对图像数据执行第一解码130来重建与第一图像115对应的第二图像135。第一解码130可包括通过对图像数据进行熵解码来生成量化的残差数据的处理、对量化的码130可经由与在第一编码120中使用的使用频率变换的图像压缩方法(诸如MPEG_2、[0068]通过AI编码处理获得的AI编码数据可包括作为对第一图像115执行第一编码120的结果而获得的图像数据以及与原始图像105的AI缩小110相关的AI数据。可在第一解码[0069]可以以比特流的形式发送图像数据。图像数据可包括基于第一图像115中的像素包括第一编码120期间使用的预测模式信息、运动信息和与量化参数相关的信息。可根据联合训练，所以AI数据包括使得能够通过第二DNN对第二图像135准确地执行AI放大140的[0074]接收器210接收并解析作为AI编码的结果而获得的AI编码数据，并且将图像数据[0078]第一解码器232基于图像数据重建与第一图像115对应的第二图像135。由第一解通过包括用于实现本公开的实施例的存储器或者通过包括用于使用外部存储器的存储器用处理器的组合或者通过软件和通用处理器(诸如AP、CPU或GPU)的组合来实现接收器210[0082]提供给AI放大器234的AI数据包括使得第二图像135能够经由AI放大被处理的信[0083]AI数据中包括的信息的示例包括原始图像105的分辨率与第一图像115的分辨率[0084]差信息可被表示为关于第一图像115与原始图像105相比的分辨率转换程度的信像115的分辨率并且因此分辨率转换程度被验证，所以所述差信息可仅被表示为原始图像[0085]与第一图像115相关的信息可包括关于作为对第一图像115执行第一编码的结果而获得的图像数据的比特率或在第一图像115的第一编码期间使用的编解码器类型中的至[0086]AI放大器234可基于包括在AI数据中的差信息或与第一图像115相关的信息中的[0087]在描述由AI放大器234执行的根据放大目标对第二图像135执行AI放大的方法之中指示的3×3×4指示通过使用尺寸为3×3的四个滤波器核对一个输入图像执行卷积处[0091]可通过在第一卷积层310中使用的尺寸为3×3的滤波器核430的参数与第二图像135中的对应像素值之间的乘法和加法来生成一个特征图450。因为在第一卷积层310中使[0095]当滤波器核430沿着步幅移动到第二图像135的最后像素时，在第二图像135中的像素值与滤波器核430的参数之间执行卷积运算，并且因此可生成具有特定尺寸的特征图所确定的放大目标对应的参数确定为在第二DNN的卷积层中[0097]包括在第一DNN和第二DNN中的卷积层可根据参照图4描述的卷积运算处理来执行[0099]第一激活层320可将非线性特征赋予每个特征图。第一激活层320可包括sigmoid[0100]赋予非线性特征的第一激活层320指示作为第一卷积层310的输出的特征图的至[0101]第一激活层320确定是否将从第一卷积层310输出的特征图的样点值发送到第二325中的一个特征图是在第一激活层320中对参照图4描[0103]第二卷积层330中指示的3×3×4指示通过使用尺寸为3×3的四个滤波器核对特积层350中指示的3×3×1指示通过使用尺寸为3×3的一个滤波器核执行卷积处理以生成的多条DNN设置信息相关联。可经由第一DNN和第二DNN的联合训练来实现第二DNN的多条DNN设置信息与第一DNN的多条DNN设[0107]根据实施例，AI放大器234可包括用于上述卷积运算和激活层的运算的至少一个中，所述乘法器执行第二图像135或从前一层输出的特征图的样点值与滤波器核的样点值的滤波器核的数量或每个滤波器核的参数中的至少一个的信息。多条DNN设置信息可分别对应于各种放大目标，并且第二DNN可基于与特定放大目标对应的DNN设置信息进行操作。[0112]AI放大器234可获得多条DNN设置信息中的用于对第二图像135执行AI放大的DNN设置信息。此时使用的多条DNN设置信息中的每条DNN设置信息是用于获得预定分辨率和/4K(4096×2160)的第三图像145)的信息，并且另一条DNN设置信息可包括用于获得分辨率的四倍高的8K(8192×4320)的第三图[0114]所述多条DNN设置信息中的每一条与图6的AI编码设备600的第一DNN的DNN设置信息被联合获得，并且AI放大器234根据与第一DNN的DNN设置信息的缩小比率对应的放大比于获得第一图像115的第一DNN的DNN设置信息的目标所针对的信息，并获得与第一DNN的[0116]当从多条DNN设置信息中获得用于对第二图像135执行AI放大的DNN设置信息时，可基于根据所获得的DNN设置信息进行操作的第二二卷积层330和第三卷积层350中的每一个中包括的滤波器核的数量以及滤波器核的参数DNN设置信息中包括的参数的{2,2,2,2,2,2,[0119]AI放大器234可基于AI数据中包括的信息从多条DNN设置信息中获得用于AI放大得用于AI放大的DNN设置信息。例如，当基于所述差信息验证了原始图像105的分辨率(例器234可获得用于将第二图像135的分辨率增加为[0123]通过根据图5的实施例，将确定根据本公开的实施例的AI编码和AI解码处理不仅关的信息来获得用于对第二图像135进行DNN设置信息进行匹配来根据图像相关信息使用编解码器对第一图像115执行第一编码时，AI放大器234可使用多条DNN设置信息中的ADNN第一编码的结果而获得的图像数据的比特率是15Mbps，并且经由H.264编解编码时，AI放大器234可使用多条DNN设置信息中的CDNN设置信息，并且当验证第一图像经由HEVC编解码器执行第一编码时，AI放大器234可使用多条DNN设置信息中的DDNN设置信息。基于作为对第一图像115执行第一编码的结果而获得的图像数据的比特率是20Mbps还是15Mbps来选择CDNN设置信息和DDNN设置信息中的一个。在经由相同编解码器对相同分辨率的第一图像115执行第一编码时获得的图像数据的不同比特率指示重建图像的不同据指示第二图像135的质量的图像数据的比特率来[0129]根据另一实施例，AI放大器234可考虑从第一解码器232提供的信息(预测模式信验证作为第一图像115的编码结果所获得的图像数据的比特率，并且获得与量化参数信息的标识符是用于将在第一DNN与第二DNN之间联合训练的一对DNN设置信息区分开的信息，包括的DNN设置信息的标识符之后，AI放大器234可通过使用与DNN设置信息的标识符对应条DNN设置信息中的每条DNN设置信息的标识符和指示在第二DNN中可设置的多条DNN设置小的第一DNN中设置的DNN设置信息的标识符。接收AI数据的AI放大器234可通过使用多条DNN设置信息中的由AI数据中包括的标识符指示的DNN设置信息来对第二图像135执行AI放括的DNN设置信息之后通过使用该DNN设置信息对第二图通过基于AI数据中包括的信息对从查找表中的值选择的一些值进行组合来获得DNN设置信[0134]AI放大器234通过包括与第一DNN相关的信息的AI数据获得第二DNN的DNN设置信t0至帧tn中的一些帧(例如，帧t0至帧ta)执行AI放大，并且通过使用从AI数据获得的“B”中的特定数量个帧的每一组独立地获得DNN设置信息，并且通过使用独立地获得的DNN设置信息对每一组中包括的帧执行AI放大。[0140]根据另一实施例，AI放大器234可针对形成第二图像135的每个帧独立地获得DNN图像135中的每个帧独立地获得DNN设置信息。这是因为可针对包括在第二图像135中的每[0141]根据另一实施例，AI数据可包括关于基于AI数据获得的DNN设置信息对哪个帧有包括用于实现本公开的实施例的存储器或者通过包括用于使用外部存储器的存储器处理[0147]AI编码器610对原始图像105执行AI缩小并对第一图像115执行第一编码，并且将AI数据和图像数据发送到发送器630。发送器630将AI数据和图像数据发送到AI解码设备[0148]图像数据包括作为对第一图像115执行第一编码的结果而获得的数据。图像数据[0149]AI数据包括使得能够对第二图像135执行AI放大至与第一DNN的缩小目标对应的图像115的分辨率、作为对第一图像115执行第一编码的结果而获得的图像数据的比特[0150]根据实施例，AI数据可包括相互约定的DNN设置信息的标识符，使得对第二图像[0152]AI缩小器612可获得通过经由第一DNN对原始图像105执行AI缩小而获得的第一图[0153]为了获得与缩小目标匹配的第一图像115，AI缩小器612可存储可在第一DNN中设[0154]可训练多条DNN设置信息中的每条DNN设置信息以获得预定分辨率和/或预定质量一半的2K(2048×1080)的第一图像115)的信息，并且另一条DNN设置信息可包括用于获得分辨率为原始图像105的分辨率的四分之一的第一图像115(例如，为原始图像105的8K(8192×4320)的四分之一的2K(2048×1080)的通过基于缩小目标对从查找表中的值选择的一些值进行组合来获得DNN设置信息，并且通过使用所获得的DNN设置信息对原始图像个卷积层的滤波器核的数量或每个滤波器核的[0158]AI缩小器612可利用用于对原始图像105执行AI缩小而获得的DNN设置信息来设置[0161]例如，AI缩小器612可基于预设或从用户输入的压缩比、压缩质量等确定缩小目[0163]作为另一示例，AI缩小器612可根据压缩历史信息基于比特定阈值更频繁使用的[0166]根据实施例，AI缩小器612可将包括在原始图像105中的帧划寸为5×5的32个滤波器核对原始图像105执行卷积处理。作为卷积处理的结果而[0171]第一激活层720确定是否将从第一卷积层710输出的特征图的样点值发送到第二卷积层710输出的特征图表示的信息被第一激[0176]根据实施例，AI缩小器612可包括用于上述卷积运算和激活层的运算的至少一个执行原始图像105或从前一层输出的特征图的样点值与滤波器核的样点值之间的乘法，所第一图像115执行第一编码来减少第一图像115的信息量。可获得与第一图像115对应的图[0178]数据处理器632对将以特定形式发送的AI数据或图像数据中的至少一个进行处为以比特流的形式被表示，并且通过通信器634以一个比特流的形式发送图像数据和AI数信器634发送与AI数据对应的比特流和与图像数据对应的比特流中的每个比特流。作为另[0179]通信器634通过网络发送作为执行AI编码的结果而获得的AI编码数据。作为执行[0180]根据实施例，作为数据处理器632的处理结果而获得的AI编码数据可被存储在数[0183]在实施例中，经由AI解码处理将通过AI编码处理被执行AI编码的原始图像105重建为第三图像145，并且为了保持原始图像105与作为AI解码的结果而获得的第三图像145原始训练图像801可包括从静止图像或包括多个帧的运动图像提取的分块图像。当原始训任意一种编解码器可被用于对第一训练图像802执行第一编码并对与第一训练图像802对[0193]可基于将缩减的训练图像803和第一训练图像802进行比较的结果来确定结构损训练图像802中。当结构损失信息810小时，第一训练图像802的结构信息与原始训练图像练图像802的总方差值可被用作空间复杂度。复杂度损失信息820与通过对第一训练图像[0195]可基于将原始训练图像801和第三训练图像804进行比较的结果来确定质量损失SSIM(MS_SSIM)值、方差膨胀因子(VIF)值或视频多方法评估融合(VMAF)值中的至少一个。[0197]第一DNN700可更新参数，使得基于损失信息810至830确定的最终损失信息被减[0202]在等式1中，LossDS指示将被减小或最小化以训练第一DNN700沿LossUS减小的方向更新参数。当根据在训练期间推导出的LossDS来更新第一DNN700的参数时，基于更新的参数获得的第一训练图像802变得与基于未更新的参数获得的先前的第一训练图像802不同，并且因此，第三训练图像804也变得与先前的第三训练图像804不830，并且第二DNN300相应地更新参数。当重新确定质量损失信息830时，还重新确定数的更新导致第二DNN300的参数的更新，并且第二DNN300的参数的更新导致第一DNN于结构损失信息810和复杂度损失信息820中的至少一个以及质量损失信息830来确定[0205]在上文中，已经描述了AI解码设备200的AI放大器234和AI编码设备600的AI缩小[0206]如参照等式1所述，第一DNN700考虑第一训练图像802的结构信息与原始训练图像801的结构信息之间的相似性(结构损失信息810)、作为对第一训练图像802执行第一编构信息的第一训练图像802并且当对第一训练图像802执行第一编码时获得具有小比特率当权重b被确定为高时，可通过使第三训练图像804的低比特率优先于高质量来更新第一高比特率或者保持原始训练图像801的结构信息来更新第一DN编码的编解码器的类型而变化。这是因为将被输入到第二DNN300的第二训练图像可根据c各自确定为特定值并将编解码器的类型确定为特定类型之后训练第一DNN700和第二DNN一DNN700和第二DNN300中确定彼此联合训码的结果而获得的比特流执行第一解码而获得的第二训练图像输入到第二DNN300。换句第二DNN300的多条DNN设置信息和与第一图像相关的多条信息之[0214]参照图9描述的第一DNN700和第二DNN300的训练可由训练设备1000来执行。训练设备1000包括第一DNN700和第二DNN300。训练设备1000可以是例如AI编码设备600或单独的服务器。作为训练结果而获得的第二DNN300的DNN设置信息被存储在AI解码设备[0215]参照图10，在操作S840和操作S845，训练设备1000初始设置第一DNN700和第二[0217]在操作S855，第一DNN700根据初始设置的DNN设置信息对原始训练图像801进行定编解码器对第一训练图像802执行第一编码和第一解码，然后将第二训练图像输入到第[0218]在操作S860，第二DNN300根据初始设置的DNN设置信息对第一训练图像802或第二训练图像进行处理，并输出通过对第一训练图像802或第二训练图像执行AI放大而获得[0222]在操作S880，基于最终损失信息经由反向传播处理来更新初始设置的DNN设置信二DNN300根据在先前操作中更新的DN[0225]下面的表1示出当根据本公开的实施例对原始图像105执行AI编码和AI解码时以[0229]图11是用于对原始图像105执行AI缩小的设备20和用于对第二图像135执行AI放[0230]设备20接收原始图像105，并通过使用AI缩小器1124和基于变换的编码器1126将入值10可包括针对AI缩小器1124和AI放大器1144的目标分辨率差、图像数据25的比特率、[0235]配置控制器1122基于接收到的输入值10来控制AI缩小器1124和基于变换的编码器1126的操作。根据实施例，配置控制器1122根据接收到的输入值10获得用于AI缩小器分量或蓝色分量)信息和高动态范围(HDR)的色调映射信息)连同输入值10一起提供给AI缩小器1124，并且AI缩小器1124可考虑输入值10和附加信息来获得DNN设置信息。根据实施[0238]图像数据25随着由基于变换的编码器1126对原始图像105进行处理而被获得，并器1142根据接收到的AI数据30获得用于AI放大器1144的DNN设置信息，并且利用所获得的到AI放大器1144，并且AI放大器1144可基于AI数据30获得用于对第二图像135执行AI放大数据30一起提供给AI放大器1144，并且AI放大器1144可考虑AI数据30和附加信息来获得[0240]基于变换的解码器1146可对图像数据25进行处理以重建第二图像135。基于变换[0241]AI放大器1144可通过基于所设置的DNN设置信息对从基于变换的解码器1146提供独立地对第一帧组1210进行编码。此外，作为第一帧组1210的首先被编码的帧的第一帧1220是IDR帧(或IRAP帧)。通过参考第一帧1220对第一帧组1210的包括第二帧1230的其余AI数据1242可紧接在视频头1204的解码之后被组AI数据1252和第二帧组AI数据1254可分别紧接在第一帧组头1212和第二帧组头1216的AI数据1262和第二帧AI数据1264可分别紧接在第一帧头1222和第二帧头1232的解码之后[0253]根据本公开的实施例，图7的数据处理器632可生成包括图像数据1200和AI数据1240两者的单个文件格式的AI编码数据。通信器634将单个文件格式的AI编码数据发送到AI数据1240和图像数据1200被分离，所以AI数据1240和/或图像数据1200可包括关于AI数[0258]类似地，第一帧组头1212可与帧组参数集一起被包括在第一帧组AI数据12一帧组AI数据1252可紧接在第一帧组头1212的解码第二AI数据获得低分辨率图像的AI放大所需的放大DNN信息。第二AI数据可以是帧组AI数[0265]根据本公开的实施例，数据处理器632可分开生成与图像数据1200对应的文件和与AI数据1240对应的文件。因此，通信器634以两个文件格式将AI编码数据发送到通信器图像数据1200对应的文件和与AI数据1240对应的文件可包括关于所述两个文件的同步的[0267]图13B是用于描述当AI数据和图像数据被分离并被配置在两个文件中时AI解码设[0268]通信器212可分别接收包括图像数据的文件和包括AI数据的文件，而不是包括AI[0269]根据本公开的实施例，解析器214可根据同步数据使图像数据和AI数据同步。此的放大DNN信息对从第一解码器232输出的[0271]图14示出当在单个文件中AI数据1420和图像数据1431被分离时AI编码数据的示根据由特定容器格式提供的编码方法被编码之后可从媒体数据框1430提取图像数据1431。输出器216可根据同步数据1415将图像数据1431据1415的再现顺序信息或解码顺序信息确定的AI数据获得低分辨率图像的AI放大所需的于同步数据1415确定与帧组1434对应的帧组AI数据1424或与帧1438对应的帧AI数据1426。器234可获得用于帧1438的低分辨率图像的AI[0280]AI放大器234可根据媒体数据框1430的图像数据1431的解码顺序对元数据框1410的AI数据1420进行解码。视频AI数据1422可紧接在视频头1432的解码之前或之后被解码。[0285]类似于图14的视频文件1400，视频文件1500包括元数据框1502和媒体数据框于经由AI数据获得的放大DNN信息对由第一解码器232重建的低1514和帧组头1512的解码顺序相同的方式确定在帧组1510之后解码的其余帧组的多条帧头1518中包括的帧组参数进行解码之后对帧AI数据1520进行解码。根据本公开的实施例，解码顺序相同的方式确定在帧1516之后解码的其余帧的多条帧AI数据和帧[0292]类似于图15A的视频文件1500，视频文件1521包括元数据框1522和媒体数据框数据1528可与包括在视频头1526中[0296]图15C示出当部分AI数据被嵌入在图像数据1557中并且其余AI数据与图像数据[0297]类似于图15A的视频文件1500，视频文件1550包括元数据框1552和媒体数据框[0304]图16示出当AI数据和图像数据如图14中那样被分离时按视频片段单元划分的AI[0305]当包括AI数据的元数据的大小较大或者图像数据通过通信信道可包括数量与图像数据的帧组的数量相等的辨率图像被AI放大时，与所有AI数据被存储在关于整个图像数据的元数据框1610中时相地获得用于获得适合于该特定部分的放大DNN对每个帧组单元自适应地确定放大DNN信息并且相同的放大DNN信息被用于帧组的所有帧[0313]根据本公开的实施例，当视频片段包括一个帧组时，可从当前视频片段数据框用于视频片段中包括的帧的视频片段参数。例如，同步数据1631可包括片段媒体数据框步数据1631确定的AI数据获得低分辨率图像的AI放大所需的放大器234可获得用于帧1649的低分辨率图像的数据1641的解码之前获得放大DNN信息。所获得的放大DNN信息可被应用于整个视频片段。[0316]根据本公开的实施例，AI放大器234可根据片段媒体数据框1640的视频片段数据根据第一解码器232对帧头1648的解码来对帧AI数据1638进行解码。可通过参考同步数据[0317]可以以与当前视频片段数据框1620相同的方法顺序地对当前视频片段数据框[0319]当通信器212没有接收到AI数据1740时，从图像数据1700获得的低分辨率图像不AI数据1740来获得低分辨率图像的AI放大所需的放大DN[0320]图像数据1700可包括视频头1710、帧组1720的帧组头1722和帧1730的帧头1731700和AI数据1740在单独的文件中被发送，所以图像数据1700和/或AI数据1740可包括图现顺序或解码顺序。图17的视频AI数据1742与视频头1710之间的虚线箭头、帧组AI数据1750与帧组头1722之间的虚线箭头以及帧AI数据1760与帧头1732之间的虚线箭头指示AI[0322]图像数据1700和AI数据1740可包括用于匹配两条数据的标识号。例如，AI数据[0325]视频AI数据的数据结构1800包括与用于AI放大的放大DNN信息相关的元素。所述元素可包括ai_codec_info1802、ai_codec_applied_channel_info1804、target_bitrate_info1806、res_info1808、ai_codec_DNN_info1814和ai_codec_1814和ai_codec_supplementary[0327]ai_codec_applied_channel_info1804是指示应用AI放大的颜色通道的通道信有颜色通道的低分辨率图像被AI放大时与仅Y通道的低分辨率图像被AI放大时之间，人们低分辨率图像和Cr通道的低分辨率图像被AI放大时，AI放大器234可对所有通道的低分辨[0330]target_bitrate_info1806是指示作为由第一编码器614执行的第一编码的结果而获得的图像数据的比特率的信息。AI放大器234可根据target_bitrate_info1806获得[0331]res_info1808指示与经由AI放大而获得的高分辨率图像(诸如第三图像145)的分辨率相关的分辨率图像。res_info1808可包括pic_width_org_luma1810和pic_height_org_luma1812。大器234可根据由pic_width_org_luma1810和pic_height_org_luma1812确定的高分辨率图像的分辨率以及由第一解码器232重建的低分辨率图像的分辨率[0332]根据本公开的实施例，res_info1808可包括指示低分辨率图像和高分的分辨率比的分辨率比信息，而不是pic_width_org_luma1810和pic_height_org_luma[0333]AI放大器234可根据基于res_info1808确定的AI放大率来获得适合于低分辨率辨率图像的分辨率和高分辨率图像的分辨率来获得适合于低分辨率图像的AI放大的放大[0334]ai_codec_DNN_info1814是指示用于低分辨率图像的AI放大的预先约定的放大DNN信息的信息。AI放大器234可根据ai_codec_applied_channel_info1804、target_bitrate_info1806和res_info1808将多条预先存储的默认DNN配置信息中的一条确定为由ai_codec_DNN_info1[0336]根据本公开的实施例，当存在与特定条件匹配的两条或更多条默认DNN配置信息时，ai_codec_DNN_info1814可指示所述两条或更多条默认DNN配置信息中的适用于当前视频文件的两条或更多条放大DNN信息。此外，可按帧组或帧单元自适应地选择由ai_codec_DNN_info1814指示的所述两条或更多条放[0337]ai_codec_supplementary_info1816指示关于AI放大的补充信息。ai_codec_supplementary_info1816可包括确定应用于视频的放大DNN信息所需的信息。ai_codec_[0338]根据本公开的实施例，可部分地省略图18A的ai_codec_applied_channel_infosupplementary_info1816。具有包括所述元素的数据结构1800的视频AI数据可被应用于[0339]图18B示出适用于图16中描述的视频片段AI数据或者图14、图15A至图15C和图17[0340]数据结构1820具有与图18A的数据结构1800类似的结构。图18B的ai_codec_info1822、ai_codec_applied_channel_info1826、target_bitrate_info1828、res_infoorg_luma1810、pic_height_org_luma1812、ai_codec_DNN_info1814和ai_codec_据单元之间是否相同的AI补充数据相关信息(dependent_ai_condition_info1824)。当ai_codec__info1822指示AI放大被应用于低分辨率图像时，数据结构1820可包括[0342]当dependent_ai_condition_info1824指示AI补充数据在连续的先前数据单元与当前数据单元之间相同时，可从数据结构1820省略ai_codec_applied_channel_info1826、target_bitrate_info1828、res_info1830、pic_width_org_luma1832、pic_height_org_luma1834、ai_codec_DNN_info1836和ai_codec_supplementary_infocodec_DNN_info1836和ai_codec_supplementary_info18[0343]当dependent_ai_condition_info1824指示AI补充数据在连续的先前数据单元与当前数据单元之间不相同时，数据结构1820包括ai_codec_applied_channel_info1826、target_bitrate_info1828、res_info1830、pic_width_org_luma1832、pic_height_org_luma1834、ai_codec_DNN_info1836和ai_codec_supplementary_infoAI补充数据相关信息被包括在来自第二次发送的视频片段[0345]根据本公开的实施例，AI补充数据相关信息可仅指示特定AI补充数据的相关据AI补充数据相关信息继承的AI数据可包括ai_codec_info1822、ai_codec_applied_[0346]在图18B中，数据单元可以是视频片段或帧组。当数据单元是视频片段时，dependent_ai_condition_info1824可指示AI补充数据在连续的先前视频片段与当前视[0348]根据语法表1900，对诸如ai_codec_info、ai_codec_applied_channel_info、codec_supplementary_in[0349]ai_codec_info是与图18A的ai_codec_info1802对应的AI目标数据。当ai_codec_info指示AI放大被允许时(if(ai_codec_info))，对与AI补充数据对应的语法元素[0350]与AI补充数据对应的语法元素包括ai_codec_applied_channel_info、target_[0351]ai_codec_applied_channel_info与图18A的ai_codec_applied_channel_info1804对应。target_bitrate是与图18A的target_bitrate_info1806对应的目标比特率信息。pic_width_org_luma和pic_height_org_luma是分别与图18A的pic_width_org_luma1810和pic_height_org_luma1812对应的高分辨率图像宽度信息和高分辨率图像高度信[0352]ai_codec_supplementary_info_flag是指示图18A的ai_codec_supplementary_info1816是否被包括在语法表1900中的补充信息标志。当ai_codec_supplementary_info_flag指示用于AI放大的补充信息不被解析时，不获得附加补充信息。然而，当ai_codec_supplementary_info_flag指示用于AI放大的补充信息被解析时(if(ai_codec_[0353]所获得的附加补充信息可包括genre_info、hdr_max_luminance、hdr_color_max_luminance指示应用于高分辨率图像的HDR最大亮度，hdr_color_gamut指示应用于高分辨率图像的HDR色域，hdr_pq_type指示应用于高分辨率图像的HDRPQ信息，并且rate_[0354]图19的语法表1900仅为示例，并且图18A的数据结构1800的元素中的一些元素可[0356]图20示出适用于图14至图17中描述的(帧组AI数据或)帧AI数据的数据结构2000[0357]用于按帧单元自适应地确定放大DNN信息的元素被包括在数据结构2000中。所述codec_frame_DNN_info2006、ai_codec_enhancement_flag2008和ai_codec_artifact_[0358]ai_codec_frame_info2002是指示AI放大是否被允许用于当前帧的帧AI目标数condition_frame_info2004是指示帧AI补充数据在连续的先前帧与当前帧之间是否相同ai_condition_frame_info2004指示帧AI补充数据在连续的先前帧与当前帧之间不相同于先前帧的放大DNN信息而获得的。附加帧AI补充数据可包括ai_codec_frame_DNN_info[0360]ai_codec_frame_DNN_info2006是指示关于当前帧的更高数据单元的多条放大关于视频的两条或更多条放大DNN信息时，ai_codec_frame_DNN_info2006可从所述两条[0361]ai_codec_enhancement_flag2008是指示是否激活AI放大准确度的增强处理的AI增强信息。当ai_codec_enhancement_flag2008指示激活AI放大准确度的增强处理时，根据编码参数信息调整经过AI放大的高分辨率图像的一些样点。当ai_codec_示增强处理所参考的编码参数的类型的编码参数类型信息以及指示当前帧中的增强处理结构2000可包括作为编码参数类型信息的encod_param_type2010以及作为编码参数映射信息的encod_param_map2012。例如，encod_param_type2010可指示运动矢量。此外，encod_param_map2012可指示经过AI放大的高分辨率图像中的根据运动矢量的增强处理[0366]根据本公开的实施例，可从数据结构2000省略encod_param_type2010和encod_[0367]ai_codec_artifact_removal_flag2014是指示经过AI放大的高分辨率图像的伪分辨率图像的像素进行校正，或者可根据伪像去除信息对根据第二DNN进行AI放大之后的[0368]伪像去除信息可包括指示伪像类型的伪像类型信息以及指示伪像所在的伪像区[0370]当ai_codec_artifact_removal_flag2014指示经过AI放大的高分辨率图像的伪像去除被执行时，数据结构2000可包括作为伪像类型数量信息的num_artifact_type2016。当ai_codec_artifact_removal_flag2014指示经过AI放大的高分辨率图像的伪像[0371]数据结构2000可包括作为与由num_artifact_type2016指示的数量一样多的伪像类型信息的artifact_type2018。此外，数据结构2000可包括针对每个artifact_type2018的伪像图信息。数据结构2000的伪像图信息可包括指示伪像区域的数量的num_[0372]根据本公开的实施例，可从数据结构2000省略图20的dependent_ai_condition_ai_codec_artifact_removal_flag括应用于帧组的ai_codec_frame_group_info、dependent_ai_condition_frame_group_ai_condition_frame_info2004和ai_codec_frame_DNN_info2006。此外，ai_codec_enhancement_flag2008、encod_param_type2010、encod_param_map2012、ai_codec_artifact_removal_flag2014、num_artifact_type2016、artifact_type2018、num_artifact_map2020、map_x_pos2022、map_y_pos2024、map_width2026和map_height[0376]根据本公开的实施例，图18B的数据结构1820可被应用于视频片段AI数据或帧组构2000的帧AI数据包括被自适应地应用于帧的AI数info、ai_codec_frame_DNN_info、ai_codec_enhancement_flag和ai_codec_artifact_[0380]ai_codec_frame_info是与图20的ai_codec_frame_info2002对应的帧AI目标数[0381]与帧AI补充数据对应的语法元素可包括dependent_ai_condition_frame_info、flag。图21的dependent_ai_condition_frame_info、ai_codec_frame_DNN_info、ai_codec_enhancement_flag和ai_codec_artifact_removal_flag对应于图20的dependent_AI_condition_frame__info2004、AI_codec_frame_DNN__info2006、ai_codec_enhancement_flag2008和ai_codec_artifact_removal_flag[0382]当ai_codec_frame_info指示AI放大被允许时，获得dependent_ai_condition_frame_info。当dependent_ai_condition_frame_info指示帧AI补充数据在连续的先前帧与当前帧之间相同时，将当前帧的放大DNN信息确定为与先前帧的放大DNN信息相同。当dependent_ai_condition_frame_info指示帧AI补充数据在连续的先前帧与当前帧之间不相同时，根据ai_codec_frame_DNN_info、ai_codec_enhancement_flag和ai_codec_[0383]ai_codec_frame_DNN_info指示关于当前帧的更高数据单元的多条放大DNN信息[0384]ai_codec_enhancement_flag指示是否激活AI放大准确度的增强处理。当ai_codec_enhancement_flag指示激活所述增强处理时(if(ai_codec_enhancement_flag))，获得指示编码参数类型的encod_param_type以及指示编码参数区域的enco[0385]ai_codec_artifact_removal_flag指示经过AI放大的高分辨率图像的伪像去除(if(ai_codec_artifact_removal_flag))，获得指示伪像类型的数量的num_artifact_外，获得与num_artifact_map的数量一样多的指示伪像区域的位置和尺寸的map_x_pos、据和关于图像数据的AI放大的AI数据。可由通信器212执行操作2210中的AI编码数据的接214执行操作2220中的图像数据和AI数据的获得。可选地，当AI数据被包括在图像数据中据。同步数据可根据图像数据的解码顺序或再现顺序来指示图像数据与AI数据之间的关[0393]根据本公开的实施例，AI数据可包括根据图12的AI数据的层结构的视频AI数据、据中时，可根据视频AI数据从多条默认DNN配置信息获得应用于图像数据的所有帧的放大据中时，可根据帧组AI数据从多条默认DNN配置信息相对于帧组自适应地获得应用于帧组据和帧组AI数据被包括在AI数据中时，可根据视频AI数据从多条默认DNN配置信息获得一和帧AI数据被包括在AI数据中时，可根据视频AI数据从多条默认DNN配置信息获得一条或和帧AI数据被包括在AI数据中时，可根据帧组AI数据从多条默认DNN配置信息获得一条或括在AI数据中时，可根据视频片段AI数据从多条默认DNN配置信息获得应用于视频片段的AI数据和视频片段AI数据被包括在AI数据中时，可根据视频AI数据从多条默认DNN配置信DNN信息选择应用于视频片段的所有帧的放大DN[0402]根据本公开的实施例，AI数据可包括帧组AI数据或帧AI数据以及视频片段AI数数据或帧AI数据从所述一条或更多条放大DNN信息选择应用于帧组[0405]视频AI数据可包括指示AI放大是否将被应用于图像数据的视频AI目标数据以及关于适用于包括在图像数据中的帧的AI放大的一条或更多条放大DNN信息的视频AI补充数[0406]视频片段AI数据可包括指示AI放大是否将被应用于视频片段的视频片段AI目标数据以及关于适用于包括在视频片段中的帧的AI放大的一条或更多条放大DNN信息的视频片段AI补充数据。当视频片段AI目标数据指示AI放大被应用于包括在视频片段中的帧时，根据视频片段AI补充数据获得视频片段的一条或更[0407]帧组AI数据可包括指示AI放大是否将被应用于帧组的帧组AI目标数据以及关于适用于包括在帧组中的帧的AI放大的一条或更多条放大DNN信息的帧组AI补充数据。当帧[0408]帧AI数据可包括指示AI放大是否将被应用于帧的帧AI目标数据以及关于用于帧AI补充数据相关信息指示视频片段AI补充数据在连续的先前视频片段与当前视频片段之[0412]根据本公开的实施例，可根据同步数据确定应用于整个图像数据的视频AI数据、的目标比特率信息或者与经过AI放大的高分辨率图像的分辨率相关的分辨率信息中的至[0415]在操作2250，通过根据当前帧的放大DNN信息对低分辨率图像进行AI放大来生成与低分辨率图像对应的高分辨率图像。可由AI放大器234执行根据操作2250的高分辨率图[0419]在操作2310，确定用于将当前帧的高分辨率图像缩小为低分辨率图像的缩小DNN[0421]在操作2320，通过使用缩小DNN信息对当前帧的高分辨率图像进行AI缩小来生成[0423]根据本公开的实施例，AI数据可包括根据图12的AI数据的层结构的视频AI数据、据中时，帧组AI数据可指示多条默认DNN配置信息中的应用于帧组的所有帧的放大DNN信据和帧组AI数据被包括在AI数据中时，视频AI数据可包括多条默认DNN配置信息中的一条和帧AI数据被包括在AI数据中时，视频AI数据可包括多条默认DNN配置信息中的一条或更和帧AI数据被包括在AI数据中时，帧组AI数据可指示多条默认DNN配置信息中的一条或更括在AI数据中时，视频片段AI数据可指示多条默认DNN配置信息中的应用于视频片段的所AI数据和视频片段AI数据被包括在AI数据中时，视频AI数据可包括多条默认DNN配置信息[0432]根据本公开的实施例，AI数据可包括帧组AI数据或帧AI数据以及视频片段AI数数据可指示所述一条或更多条放大DNN信息中的应用于帧部，视频AI数据可指示多条默认DNN配置信息中的适用于视频的一条或更多条放大DNN信[0435]视频AI数据可包括指示AI放大是否将被应用于图像数据的视频AI目标数据以及关于适用于包括在图