CN119452662A 解码装置、编码装置、解码方法、以及编码方法 （松下电器（美国）知识产权公司）

2024.12.12PCT/JP2023/0246862023.07.03WO2024/009967JA2024.01.11法解码装置(200)具备电路以及与电路连接的一个访问单元对各自指定多个神经网络信息集中的一个神经网络信息集的两个以上的激活信信息集指定的两个以上的神经网络信息集确定2从一个访问单元对各自指定所述多个神经网络信息集中的一个神经网络信息集的两将通过由所述两个以上的激活信息集指定的两个以上的神经网络信息集确定的两个所述两个以上的激活信息集各自包含表示确定所述多个神经网络信息集中的一个神所述电路将由所述两个以上的激活信息集中包含的两个以上的神经网络标识符表示所述两个以上的激活信息集各自包含指定所述一个图片所述电路将所述两个以上的神经网络滤波器应用于由所述图像标识符指定的所述一所述电路按照由所述两个以上的激活信息集指定的顺序，将所所述电路从属于所述一个访问单元的两个以上的SEI消息中分别对所述两个以上的激所述电路从属于所述一个访问单元的一个SEI消息中对所述两个以上的激活信息集进所述一个图片是按解码顺序与属于所述一个访问单元的当前图片相比靠后所述图像标识符是所述一个图片的POC的值和属于所述一个访问单元的当前图片的所述图像标识符是按解码顺序从属于所述一个访问单元的当前图片到所述一个图片3所述图像标识符是针对所述一个图片而设定的所述电路在从所述一个访问单元对所述两个以上的激活信息集进行解述一个访问单元不同的区域对所述多个神经网络信息集所述电路分别从多个访问单元对具有相同值的多个激活信息集进属于所述多个访问单元的多个图片包括按解码顺序比RAP图片靠前的图片和所述RAP在由所述两个以上的神经网络信息集中的一个神经网络信息集确定的神经网络滤波在由所述两个以上的神经网络信息集中的一个神经网络信息集确定的神经网络滤波将各自指定所述多个神经网络信息集中的一个神经网络信息集的两个以上的激活信所述两个以上的激活信息集用于将通过由所述两个以上的激活信息集指定的两个以上的神经网络信息集确定的两个以上的神经网络滤波器应所述两个以上的激活信息集各自包含表示确定所述多个神经网络信息集中的一个神所述两个以上的激活信息集用于将由所述两个以上的激活信息集中包含的两个以上的神经网络标识符表示的两个以上的数字确定的所述两个以上的神经网络滤波器应用于所述两个以上的激活信息集各自包含指定所述一个图片所述两个以上的激活信息集用于将所述两个以上的神经网络滤波器应用于由所述图所述两个以上的激活信息集用于按照由所述两个以上的激活信息集指定的顺序将所述两个以上的神经网络滤波器依次应用于所述一4所述电路将所述两个以上的激活信息集分别编码至属于所述一个访问单元的两个以所述电路将所述两个或更多个激活信息集编码至属于所述一个访问单元的一个SEI消所述一个图片是按编码顺序与属于所述一个访问单元的当前图片相比靠后所述图像标识符是所述一个图片的POC的值与所述一个访问单元所属的当前图片的所述图像标识符是按编码顺序从属于所述一个访问单元的当前图片到所述一个图片所述图像标识符是在所述一个图片的编码中参照的S所述图像标识符是在所述一个图片的编码中参照的P所述图像标识符是针对所述一个图片而设定的所述电路在将所述两个以上的激活信息集编码至所述一个访问单元所述电路将具有相同值的多个激活信息集分别编码至多个属于所述多个访问单元的多个图片按编码顺序包括比RAP图片靠前的图片和所述RAP在所述两个以上的神经网络信息集中的一个神经网络信息集确定的神经网络滤波器在由所述两个以上的神经网络信息集中的一个神经网络信息集确定的神经网络滤波对各自确定神经网络滤波器的多个神经网络信息集5从一个访问单元对各自指定所述多个神经网络信息集中的一个神经网络信息集的两将通过由所述两个以上的激活信息集指定的两个以上的神经网络信息集确定的两个对各自确定神经网络滤波器的多个神经网络信息集将各自指定所述多个神经网络信息集中的一个神经网络信息集的两个以上的激活信所述两个以上的激活信息集用于将通过由所述两个以上的激活信息集指定的两个以上的神经网络信息集确定的两个以上的神经网络滤波器应6视频编码)、MPEG_LA、H.265/HEVC(HighEfficiencyVideoCoding：高效视频编码)和[0006]非专利文献1：H.265(ISO/IEC23008_2HEVC)/HEVC(HighEfficiencyVideo问单元对各自指定所述多个神经网络信息集中的一个神经网络信息集的两个以上的激活确定的两个以上的神经网络滤波器应用于一[0012]本公开中的各实施方式或其一部分的结构或方法分别例如能够实现编码效率的[0013]根据说明书以及附图，对本公开的一形态中的进一步的优点以及效果进行了明7[0043]图23D是表示Y样本(第1成分)使用于Cb的CCALF和Cr的CCALF(与第1成分不同的多8[0066]图42是用于说明基于HMVP(History_basedMotionVectorPrediction/[0069]图45是用于说明当前图片内的模板与参照图片内的块之间的样式匹配(模板匹[0070]图46A是用于说明在使用两个控制点的仿射模式中的子块单位的MV的导出的一例[0071]图46B是用于说明在使用3个控制点的仿射模式中的子块单位的MV的导出的一例[0077]图49A是用于说明在已编码的块和当前块中控制点的数量不同的情况下的控制点9[0078]图49B是用于说明在已编码的块和当前块中控制点的数量不同的情况下的控制点[0085]图54是表示以子块单位导出MV的ATMVP(AdvancedTemporalMotionVector[0086]图55是表示合并模式和DMVR(dynamicmotionvectorrefreshing，动态运动矢[0093]图61是用于说明基于OBMC(overlappedblockmotioncompensation，重叠块运[0099]图66B是表示使用了基于LIC的亮度修正处理的预测图像生成方法的一例的流程[0134]图100是表示MPEG_DASH(DynamicAdaptiveStreamingoverHTTP：HTTP上动态[0168]因此，例1的解码装置具备电路以及与所述电路连接的存储器，所述电路在动作指定所述多个神经网络信息集中的一个神经网络信息集的两个以上的激活信息集进行解够通过两个以上的神经网络滤波器的组合来充分各自包含表示确定所述多个神经网络信息集中的一个神经网络信息集的数字的神经网络示的两个以上的数字确定的所述两个以上的神经网络滤波器应用于所述一个图片的解码增强信息)消息中分别对所述两个以上的激活信息集进[0177]由此，有时能够分别按照两个以上的SEI消息准确地指定两个以上的神经网络信信息)消息中对所述两个以上的激活信息集进行解码的[0183]由此，有时能够按照POC准确地指定应用两个以上的神经网络滤波器的图片。因[0185]由此，有时能够按照POC的差分值准确地指定应用两个以上的神经网络滤波器的所述一个访问单元的当前图片按解码顺序到所述一个图片为止的图片数一个图片的解码中参照的SPS(SequenceParameterSet：序列参数集)的标识符的解码装[0189]由此，有时能够按照SPS准确地指定应用两个以上的神经网络滤波器的图片。因[0191]由此，有时能够按照PPS准确地指定应用两个以上的神经网络滤波器的图片。因单元不同的区域对所述多个神经网络信息集进行路分别从多个访问单元对具有相同值的多个激活信息集进行上的神经网络信息集中的一个神经网络信息集神经网络信息集确定的神经网络滤波器不所述两个以上的神经网络信息集中的一个神经网络信息集确定的神经网络滤波器不能利个以上的激活信息集用于将通过由所述两个以上的激活信息集指定的两个以上的神经网络信息集确定的两个以上的神经网络滤波器应用于够通过两个以上的神经网络滤波器的组合来充分集各自包含表示确定所述多个神经网络信息集中的一个神经网络信息集的数字的神经网以上的神经网络标识符表示的两个以上的数字确定的所述两个以上的神经网络滤波器应个以上的激活信息集分别编码至属于所述一个访问单元的两个以上的SEI(Supplemental[0213]由此，有时能够分别按照两个以上的SEI消息准确地指定两个以上的神经网络信个以上的激活信息集编码至属于所述一个访问单元的一个SEI(Suppleme属于所述一个访问单元的当前图片相比按编码顺[0219]由此，有时能够按照POC准确地指定应用两个以上的神经网络滤波器的图片。因[0221]由此，有时能够按照POC的差分值准确地指定应用两个以上的神经网络滤波器的所述一个访问单元的当前图片按编码顺序到所述一个图片为止的图片数一个图片的编码中参照的SPS(SequenceParameterSet：序列参数集)的标识符的编码装[0225]由此，有时能够按照SPS准确地指定应用两个以上的神经网络滤波器的图片。因一个图片的编码中参照的PPS(PictureParameterSet：图片参数集)的标识符的编码装[0227]由此，有时能够按照PPS准确地指定应用两个以上的神经网络滤波器的图片。因将具有相同值的多个激活信息集分别编码至多个访问单两个以上的神经网络信息集中的一个神经网络信息集确定的神经网络滤波器不能利用的网络信息集确定的两个以上的神经网络滤波器应用够通过两个以上的神经网络滤波器的组合来充分活信息集指定的两个以上的神经网络信息集确定的两个以上的神经网络滤波器应用于一够通过两个以上的神经网络滤波器的组合来充分定所述一个以上的神经网络信息集中包含的神经网络信息集和应用由所述神经网络信息所述神经网络信息集确定的所述神经网络滤波器应用于由所述激活信息集指定的所述图活信息集指定的所述神经网络信息集确定的所述神经网络滤波器应用于由所述激活信息和应用由所述神经网络信息集确定的所述神经网络滤波器的图片的激活信息集进行解码，将由所述激活信息集指定的所述神经网络信息集确定的所述神经网络滤波器应用于由所述激活信息集用于将由所述激活信息集指定的所述神经网络信息集确定的所述神经网络[0258]所述帧内预测部使用当前图片中包括的参照像素来生成所述当前图片中包括的当前块的预测信号。所述帧间预测部使用与所述当前图片不同的参照图片中包含的参照[0259]所述环路滤波部将滤波器应用于所述当前图片中包括的[0264]所述帧内预测部使用所述当前图片所包含的参照像素来生成所述当前图片所包[0265]所述变换部对所述当前图片所包含的当前块的原信号与由所述帧内预测部或所的两个以上的神经网络信息集确定的两个以[0313](1)在本公开的各形态中说明的实施方式的编码装置或解码装置的多个构成要素[0314](2)在实施方式的编码装置或解码装置中，也可以对通过该编码装置或解码装置[0315](3)在实施方式的编码装置或解码装置实施的方法中，也可以对于该方法中包含[0316](4)构成实施方式的编码装置或解码装置的多个构成要素中的一部分构成要素，[0317](5)具备实施方式的编码装置或解码装置的功能的一部分的构成要素、或实施实所说明的构成要素、具备在本公开的各形态中的某个所说明的功能的一部分的构成要素、或实施在本公开的各形态中的某个所说明的处理的一部分的构成要素组合[0318](6)在实施方式的编码装置或解码装置所实施的方法中，该方法中包含的多个处[0319](7)将在实施方式的编码装置或解码装置所实施的方法中包含的多个处理中的一部分的处理也可以与在本公开的各形态中的任一种[0320](8)在本公开的各形态中说明的处理及/或结构的实施的方式并不限定于实施方[0323]传输系统Trs是传输通过对图像进行编码而生成的流，并对所传输的流进行解码[0324]对编码装置100输入图像。编码装置100通过对该输入的[0327]解码装置200通过对网络Nw所传输的流进行解码，生成例如作为非压缩的图像的例如如图2的(a)所示，包含VPS(VideoParameterSet：视频参数集)、SPS(Sequence[0331]VPS包含由多个层构成的运动图像中多个层中共通的编码参数、和与运动图像中装置200为了对该一个以上的切片进行解码而例如是在硬件中进行管道处理时能够在1阶段中进边界中的某处。切片中的CTU的处理顺序(编码顺序或解码顺序)例如是光栅扫描(Raster码装置200能够将同一内容自由地切换为低分辨率的内容和高分辨率的内容来进行解码。也可以是，解码装置200通过基于元信息将基本层的图片进行超析像来生成高画质化的运息、或确定在超析像处理中使用的滤波处理、机器学习或最小2乘运算中的参数值的信息该情况下，解码装置200可以通过选择作为解码的对象的瓦片而仅将图片中的一部分区域[0359]图8是表示编码装置100的安装例的框图。编码装置100具备处理器a1以及存储器(128×128像素)(步骤Sa_1)。然后[0369]由帧内预测部124及帧间预测部126构成的预测处理部、和预测控制部128生成当[0372]接着，熵编码部110通过对该多个量化系数和与预测图像的生成相关的预测参数[0375]当生成该重构图像时，环路滤波部120根据需要对该重构图像进行滤波(步骤Sa_过按照最小成本的分割样式进行编码而得到的流作为二叉树(binarytree)块分割，将固定尺寸的各个块分割为可变尺寸(例如64×64像素以[0384]左上方的64×64像素的正方形块进一步被垂直地分割为各自由32×64像素构成[0385]右上方的64×64像素的正方形块被水平地分割为各自由64×32像素构成的两个[0386]左下方的64×64像素的正方形块被分割为各自由32×32像素构成的4个正方形块(四叉树块分割)。各自由32×32像素构成的4个正方形块中的左上方的块及右下方的块进定结果按照图13A所示的句法树所公开的编码顺[0400]减法部104以从分割部102输入并由分割部102分割的块单位从原图像减去预测图[0401]原图像是编码装置100的输入信号，例如是表示构成运动图像的各图片的图像的数。这样的变换有被称作EMT(explicitmultiplecoretransform，多核变换)或AMT[0406]表示是否应用这样的EMT或AMT的信息(例如称作EMT标志或者AMT标志)和表示所称作AST(adaptivesecondarytransform，自适应二次变换)或NSST(non_separable[0408]在变换部106也可以应用Separable的变换和Non_Separable的变换。SeparableSeparable(不可分)的变换是指当输入是多维时将两个以上的维度合起来看作1个维度而下将其看作具有16个元素的一个排列，对该排列以16×16的变换矩阵进行变换处理的方看作具有16个要素的一个排列后，进行对该排列多次进行Givens旋转的变换(Hypercube[0411]在变换部106中的变换中，能够根据CU内的区域来切换要变换为频域的变换基函外，选择性地切换变换类型的选择处理只要能够实现以下4个功能[1]～[4]中的至少一个息进行编码而基于规定的规则决定变换类型的功能。功能[3]是对CU的一部分的区域型群中包含的一个以上变换类型中的哪一个变换类型的信息输出到熵编码部110，对该信变换类型群可以包含多个变换类型，也可以对表示第2变换类型群中包含的一个以上变换[0430]作为使用量化矩阵的方法，有使用在编码装置100侧直接设定的量化矩阵的方法默认的量化矩阵或编码后的量化矩阵来生成于当前块的量化中使[0433]量化部108在使用量化矩阵的情况下，例如使用量化矩阵的值按每个变换系数对不同的处理单位的量化参数(步骤Sv_5)。预测量化参数生成部108b基于该取得的量化参[0443]熵编码部110针对从量化部108输入的量化系数和从预测参数生成部130输入的预化系数以及预测参数等多值信号变换为二值信号的二值化。二值化的方式例如有TruncatedRiceBinarization、ExponentialGolombcodes、FixedLengthBinarization等。上下文控制部110b导出与句法要素的特征或周围的状况相应的上下文[0449]逆变换部114通过对从逆量化部112输入的变换系数进行逆变换，复原预测残[0452]加法部116通过将从逆变换部114输入的预测残差与从预测控制部128输入的预测[0454]块存储器118例如是用于保存在帧内预测中被参照的块、且是当前图片内的块的[0456]帧存储器122例如是用来将在帧间预测中使用的参照图片进行保存的存储部，也铃(ringing，在边缘周边像素值以波动的方式变形的现象)和修正像素值的偏差来改善画[0464]梯度的方向值D例如通过将多个方向(例如水平、垂直及两个对角方向)的梯度进[0469][环路滤波>跨组件自适应环路滤波器，(或CrossComponentAdaptiveLoop[0470]图23D是表示Y样本(第1成分)被用于Cb的CCALF和Cr的CCALF(与第1成分不同的多[0472][环路滤波>结合色差跨组件自适应环路滤波器(JointChromaCrossComponent[0474]JC_CCALF的一个例子仅使用一个CCALF滤波器，作为仅一个颜色成分的色差调整信号而生成一个CCALF滤波器输出，将相同色差调整信号的适当加权后的版本应用于其他[0480]在去块滤波处理中，环路滤波部120通过对重构图像的块边界进行滤波处理来减[0482]去块滤波处理部120a例如具备边界判定部1201、滤波判定部1203、滤波处理部[0483]边界判定部1201判定在块边界附近是否存在进行去块滤波处理的像素(即对象像由对象像素和位于该对象像素的周边的至少一个周边像素理部1205将该滤波处理后的像素输出到开关1[0489]处理判定部1208基于边界判定部1201和滤波判定部1203的各自的判定结果来控[0498]进行去块滤波处理的块边界例如是图26所示的8×8像素的块的CU、PU或TU的边[0501]图28是表示由编码装置100的预测部进行的处理的一例的流程图。此外，作为一[0513]帧内预测部124参照保存在块存储器118中的当前图片内的块而进行当前块的帧内预测部124通过参照与当前块相邻的块的像素值(例如亮度值、色差值)进行帧内预测而多个帧内预测模式通常包括一个以上的非方向性预测[0515]一个以上的非方向性预测模式例如包括由H.265/HEVC标准规定的Planar(平面)外，多个方向性预测模式也可以除了33个方向以外还包括32个方向的预测模式(合计65个方向性预测模式)。图31是表示帧内预测中的全部67个帧内预测模式(2个非方向性预测模前块的亮度成分来预测当前块的色差成分。这样的帧内预测有被称作CCLM(cross_素值进行修正。伴随着这样的修正的帧内预测有被称作PDPC(positiondependentintra测部124将MPM标志设定为1(步骤Sw_5)，生成表示MPM中的所选择的帧内预测模式的信息帧内预测部124生成表示MPM中不包含的一个以上的帧内预测模式中的所选择的帧内预测[0524]帧间预测部126参照保存在帧存储器122中的与当前图片不同的参照图片进行当[0525]例如，帧间预测部126对于当前块或当前子块，在参照图片内进行运动搜索且，帧间预测部126取得对从参照块或子块到当前块或子块的运动或变化进行补偿的运动矢量也可以被信号化。作为其他例子，运动矢量和预测运动矢量(motionvector[0528]图33是表示各参照图片的一例的图，图34是表示参照图片列表的一例的概念通过对该选择出的至少一个候选MV中的每一个搜索由该候选MV指示的参照图片的区域来决定当前块的MV。另外，也可以将搜索该参照图片的区域的动作称为运动搜索(motion或步骤Se_2等的处理也可以由编码装置100中[0538]帧间预测部126可以在对运动信息(例如MV)进行编码的模式下导出当前块的MV。间预测部126从这些多个模式中选择用于导出当前块的MV的模式，并且使用该选择出的模[0542]帧间预测部126可以在对差分MV进行编码的模式下导出当前块的MV。在这种情况[0543]或者，帧间预测部126可以在不对差分MV进行编码的模式下导出MV。在这种情况据是否对运动信息进行编码以及是否对差分MV进行编码，MV导出的模式被分类为大的3个式包括普通合并模式(有时也称为通常合并模式或常规合并模式)、MMVD(Mergewith[0549]普通帧间模式是基于从由候选MV表示的参照图片的区域中通过找到与当前块的[0551]首先，帧间预测部126基于在时间或空间上位于当前块周围的多个已编码的块的[0555]最后，帧间预测部126通过使用该导出的MV和已编码的参照图片对当前块进行运[0559]普通合并模式是通过从候选MV列表中选择候选MV作为当前块的MV来导出该MV的[0561]首先，帧间预测部126基于在时间或空间上位于当前块周围的多个已编码的块MV[0563]最后，帧间预测部126通过使用该导出的MV和已编码参照图片对当前块进行运动[0567]接着，帧间预测部126通过从登记在候选MV列表中的多个候选MV中选择一个候选[0570]也可以使用通过普通合并模式导出的当前块的MV，进行后述的DMVR(dynamic[0577]在FIFO缓冲器中，从新的FIFO缓冲器中依次保存过去处理的块的MV等运动信间预测部126也可以在判断为与所有候选MV不同的情况下，将该FIFO缓冲器中管理的MV作可以将在仿射模式中应用HMVP模式的模式称为式有FRUC(framerateup_conversion，帧速率上变换)模式或PMMVD(patternmatched[0586]最后，帧间预测部126通过使用该导出的MV和已编码的参照图片对当前块进行运第2样式匹配。第1样式匹配及第2样式匹配有分别被称作双向匹配(bilateralmatching)及模板匹配(templatematc[0592]图44是用于说明沿着运动轨迹的两个参照图片中的两个块间的第1样式匹配(双称MV指定的第2已编码参照图片(Ref1)内的指定位置处的重构图像的差分，使用所得到的[0596]图45是用于说明当前图片内的模板与参照图片内的块之间的样式匹配(模板匹[0597]这样的表示是否采用FRUC模式的信息(例如称作FRUC标志)以CU级被信号化。此子块单位导出MV。该模式有时被称为仿射运动补偿预测(affinemotioncompensation[0600]图46A是用于说明基于多个相邻块的MV的子块单位的MV的导出的一例的图。在图[0606]图46B是用于说明使用3个控制点的仿射模式中的子块单位的MV的导出的一例的而信号化。另外，也可以将表示在CU级中基于与所确定的块对应的多个MV来计算当前块的控制的已编码的块D和块E各自的MV中选择出的MV被用的已编码的块D和块E各自的MV中选择出的MV被用作当前块的右上角控制点的运动矢量v1。[0626]图49A及图49B是用于说明在已编码的块和当前块中控制点的数量不同的情况下[0634]帧间预测部126使用在所确定的仿射模式下编码后的最初的有效的块，导出控制126根据包含块A的已编码的块的左上角和右上角的运动矢量v3和v4来计算当前块的左上角块的左上角控制点的运动矢量v0、右上角控制点的运动矢量v1和左下角控制点的运动矢量[0637]接下来，帧间预测部126对当前块中包含的多个子块中的每一个进行运动补偿。含针对各控制点使用多个MV导出方法而导出的候选MV的列表。多个MV导出方法可以是图含具有两个控制点的仿射合并模式的候选MV的候选MV列表和包含具有3个控制点的仿射合具有3个控制点的仿射合并模式中的一方的模式的候选MV的候选MV列表。候选MV例如可以v2[0646]例如，帧间预测部126可以通过使用成本评价等来决定从与当前块相邻的已编码间预测部126使用这些仿射MV和已编码的参照图片对各子块进行运动补偿(步骤Sj_4)。每流。即，帧间预测部126经由预测参数生成部130将差分MV作为预测参数输出到熵编码部[0648]最后，帧间预测部126通过使用该决定的MV和已编码的参照图片对当前块进行运含针对各控制点使用多个MV导出方法而导出的候选MV的列表。多个MV导出方法可以是图有两个控制点的仿射帧间模式的候选MV的候选MV列表和包含具有3个控制点的仿射帧间模[0654]在上述的例子中，帧间预测部126对矩形的当前块生成一个矩形的预测图像。然[0656]帧间预测部126针对当前块内的三角形的第1分区使用该第1分区的第1MV进行运[0659]第1部分可以是与相邻分区重叠的第1分区的部分。图52C是表示作为与相邻分区[0663]接着，帧间预测部126首先基于时间上或空间上位于当前块周围的多个已编码的经由预测参数生成部130将MV选择信息作为预测参数输出到熵编码[0665]接着，帧间预测部126使用该选择出的第1MV和已编码参[0671]此外，分区信息可以包含表示至少将当前块分割为多个分区的分割方向的索对当前块内的各子块，确定在该时间MV参照块内的与该子块对应的区域的编码时使用的选择这样的各子块的候选MV的情况下，对该子块执行将该候选MV用作子块的MV的运动补[0679]帧间预测部126在合并模式下导出当前块的MV(步骤Sl_1)。接下来，帧间预测部Sl_2中为否)，帧间预测部126将在步骤Sl_1中导出的MV决定为针对当前块的最终MV(步骤部126通过搜索由在步骤Sl_1中导出的MV表示的参照图片的周边区域来导出针对当前块的(L0)，根据L0列表的已编码图片即第1参照图片(L0)确定参照像素。同样地，按素值与搜索区域的各像素值的差分值以及候选MV具体而言，从由初始MV(即InitMV_L0)表示的位置向该搜索位置的差分矢量为MVd_L0。然后，帧间预测部126决定L1列表的参照图片中的搜索位置。该搜索位置由从初始MV(即位置计算该搜索位置的块内的像素值的差绝对值的总和(SAD)等作为成本，并且找出该成部126跳过Step2的处理而进行Step3[0689]在Step2中，帧间预测部126将根据Step1的处理结果移动的搜索位置作为新的开的成本是否最小。在此，如果开始点以外的搜索位置的成本最小，则帧间预测部126进行[0691]在Step3中，帧间预测部126基于位于在Step1或Step2的开始点的上下左右的4点[0695]帧间预测部126生成预测图像(步骤Sm_1)，并且通过上述任意一个模式来修正该进行修正处理时(步骤Sn_3中为否)，帧间预测得到的运动信息的预测图像和基于(当前图片内的)相邻块的运动信息的预测图像进行加预测图像Pred_U与进行了第1次修正的预测图像(例如，Pred和Pred_L)重合来进行预测图方法也可以是还使用了右相邻及/或下相邻的块的3路径或者其以上通过将1张参照图片与追加的预测图像Pred_L和Pred_U重合而得到1张预测图像Pred。但[0709]作为判定是否应用OBMC的方法，例如有使用表示是否应用OBMC的信号即obmc_编码装置100在属于运动复杂的区域的情况下，作为obmc_flag设定值1并应用OBMC来进行τ1分别表示当前图片(CurPic)与两个参照图片(Ref0，Ref1)之间的时间上的距离。及(MVx1分τ1)亮度值的时间微分、(ii)水平方向的速度及参照图像的空间梯度的水平成分的积、以及该光流等式与埃尔米特内插值(Hermiteinterpolation)的组合，对从候选MV列表等得到[0718]图64是表示按照BIO的帧间预测的一例的流程图。另外，图65是表示进行该按照BIO的帧间预测的帧间预测部126的结[0720]帧间预测部126使用与包含当前块的图片(CurPic)不同的2张参照图片(Ref0，出当前块的预测图像(步骤Sy_1)。另外，运动矢量M0是与参照图片Ref0对应的运动矢量[0728]图66A是用于说明使用了基于LIC的亮度修正处理的预测图像生成方法的一例的[0730]接着，帧间预测部126对当前块提取表示在参照图片和当前图片中亮度值如何变域)及已编码的上相邻参照区域(周边参照区[0731]帧间预测部126通过应用该亮度修正参数对由MV指定的参照图片内的参照图像进在合并模式中的MV的导出时所选择的周边的已编码的块是否应用LIC进行了编码。帧间预[0737]首先，帧间预测部126从作为已编码图片的参照图片导出用于取得与当前块对应内的像素的亮度像素值设为p1。帧间预测部126对周边参照区域内的多个像素计算用于优[0739]接下来，帧间预测部126通过使用亮度修正参数对由MV指定的参照图片内的参照相邻像素以及左相邻像素分别间隔剔除的规定数量的像素的区域用作周边参照区域。此图66A所示的例子中，参照图片内的周边参照区域是从当前图片内的周边参照区域中由当和由当前子块的MV指定的参照图片内的参照子块的周边参[0745]预测控制部128选择帧内预测图像(从帧内预测部124输出的像素或信号)及帧间预测图像(从帧间预测部126输出的像素或选择预测信号(例如，MV、预测类型，或者帧内预测部12[0749]接着，对能够将从上述的编码装置100输出的流进行解码的解码装置200进行说不进行上述的多个处理的全部。图67等所示的多个构成要素的一部分可以包含于其他装[0770]图70是表示分割决定部224与其他构成要素的关系的图。作为一例，分割决定部[0771]分割决定部224从例如块存储器210或帧存储器214收集块信息，进一步从熵解码自分割决定部224的信息表示的分割样式202a、上下文控制部202b以及多值化部202c。二值算术解码部202a使用由上下文控制部[0775]熵解码部202以块单位将量化系数向逆量化部204输出。熵解码部202也可以向帧上下文值例如用于针对下一个CTU的上下[0786]然后，量化参数生成部204a将从熵解码部202取得的当前块的差分量化参数和由[0792]例如在从流读解出的信息表示应用EMT或AMT的情况下(例如AMT标志是真)，逆变[0795]例如，逆变换部206判定在流中是否存在表示不进行正交变换的信息(步骤St_中包含的一个以上的变换类型中的哪一个变换类型被编码装置100使用的信息(步骤Su_[0798]逆变换部206基于该信息，决定在编码装置100中的正交变换中使用的变换类型Su_11中为否)，逆变换部206使用第2变换类型群对当前块的变换系数进行逆正交变换(步[0801]加法部208通过将作为来自逆变换部206的输入的预测残差与作为来自预测控制当前块的重构图像向块存储器210及环路[0803]块存储器210是用来将作为在帧内预测中参照的、当前图片内的块进行保存的存[0806]在从流读解出的表示ALF的开启/关闭的信息表示ALF的开启的情况下，基于局部ALF处理部212c。去块滤波处理部212a对重构图像施以上述的去块滤波处理。SAO处理部顺序不同的顺序进行上述的各处理的结构。[0810]帧存储器214是用来将在帧间预测中使用的参照图片进行保存的存储部，也有称[0812]图78是表示由解码装置200的预测部进行的处理的一例的流程图。此外，作为一[0813]预测部生成当前块的预测图像(步骤Sq_1)。该预测图像也称为预测信号或预测预测部216也可以基于当前块的亮度成分来预测当前块的色[0827]另一方面，当在步骤Sw_11中判定为在流中不存在表示1的MPM标志时(步骤Sw_11中为否)，帧内预测部216取得表示在编码装置100中选择出的帧内预测模式的信息(步骤[0828]帧内预测部216按照在步骤Sw_14或步骤Sw_17中决定的帧内预测模式来生成预测[0832]在从流读解出的信息表示应用OBMC模式的情况下，帧间预测部218不仅使用通过当判定为对运动信息进行解码时，帧间预测部218在对该运动信息进行解码的模式下导出间预测部218从这些多个模式中选择用于导出当前块的MV的模式，并且使用该选择出的模测部218首先基于时间上或空间上位于当前块的周围的多个已解码块的MV等信息，针对该整数)候选MV分别作为预测运动矢量候选(也称为预测MV候选)，按照预先决定的优先顺序MV的差分值与选择出的预测MV相加来导出当前[0850]最后，帧间预测部218通过使用该导出的MV和已解码的参照图片对当前块进行运了普通帧间模式的帧间预测结束。另外，当对图片中包含的所有块分别执[0854]帧间预测部218首先基于时间上或空间上位于当前块的周围的多个已解码块的MV[0855]接着，帧间预测部218通过从在步骤Sh_11中取得的多个候选MV中选择一个候选[0856]最后，帧间预测部218通过使用该导出的MV和已解码参照图片对当前块进行运动了普通合并模式的帧间预测结束。另外，当对图片中包含的所有块分[0861]最后，帧间预测部218通过使用该导出的MV和已解码参照图片对当前块进行运动[0865]在仿射合并模式中，帧间预测部218首先导出当前块的控制点各自的MV(步骤Sk_[0867]帧间预测部218使用在所确定的仿射模式下解码出的最初的有效的块，导出控制前块的左上角控制点的运动矢量v0和右上角控制点的运动矢量v1。由此，导出各控制点的MV选择信息来导出当前块的各控制点的M含具有两个控制点的仿射合并模式的候选MV的候选MV列表和包含具有3个控制点的仿射合具有3个控制点的仿射合并模式中的一方的模式的候选MV的[0878]帧间预测部218取得在流中作为预测参数包含的预测MV选择信息，使用由该预测MV的导出方法的情况下，帧间预测部218通过选择图48A或图48B所示的当前块的各控制点附近的已解码块中的、由预测MV选择信息识别的块的MV，导出当前块的控制点的预测MV)或(v0[0886]接着，帧间预测部218首先基于时间上或空间上位于当前块的周围的多个已解码[0898]在图58A所示的Step3中，帧间预测部218基于在Step1或Step2的开始点的上下左始MV所示的位置与最终搜索位置之间的差分Sn_13中为否)，帧间预测部218不修正该预测图像而将其作为最终的预测图像输出(步骤图94的流程图表示使用了图62所示的当前[0909]接着，帧间预测部218将针对已解码的左相邻块已经导出的MV(MV_L)应用(再利使相邻块之间的边界混合的效果。通过第2次修正得到的预测图像是与相邻块的边界混合外，帧间预测部218使用运动矢量M1和参照图片L1导[0916]另外，帧间预测部218从插补图像I0和插补图像I1中导出当前块的梯度图像(Ix0帧间预测部218例如也可以通过对插补图像应用梯度滤波器来导出该梯度图像。梯度图像只要是表示沿着水平方向或垂直方向的像素值的空间变化量[0925]帧间预测部218通过对由MV指定的参照图片内的参照图像进行应用其亮度修正参[0927]预测控制部220选择帧内预测图像及帧间预测图像中的某一个，将所选择的预测预测部218的结构、功能和处理可以对应于编码装置100侧的预测控制部128、帧内预测部[0934]然后，编码装置100对用于设定用于使这样的重构图片接近原图片的神经网络滤MPEG_DASH中，存在神经网络信息集被存储在与影像数据的段不同的服务器的共通段(例一资源定位符)。在该情况下，从神经网络滤波器的取得目的地取得并设定神经网络滤波集进行解码。通过使用多个神经网络滤波器中的与原图片的特性对应的神经网络滤波器，[0947]而且，解码装置200也可以对与对应于这些的多个神经网络滤波器对应的多个神[0948]包含编码后的神经网络信息集的第一比特流可以与包含编码后的图片的比特流[0952]包含编码后的激活信息集的第二比特流可以与包含编码后的图片的比特流整体的激活信息集包含在包含编码后的图片的访问单元中。解码装置200从第二比特流的访问可以指示具有与神经网络标识符相同的ID的多个神经网络信息集。该ID也可以与数字对经网络滤波器的图片可以由激活信息集中包含[0964]图99是表示文件中的第一比特流、第二比特流以及第三比特流的位置的概念统300包括HTTP(HypertextTransferProtocol：超文本传输协议)服务器310和DASH客户流对应的段可以是相同的段。段解析器323从与第三比特流相对应的一个以上的段中解析可以仅包含在影像数据的多个段中的包含RAP图片[0975]图101是表示比特流中的神经网络信息集的位置的例子的概念图。该位置对应于包含编码后的图片的比特流整体中的、包含编码后的神经网络信息集的第一比特流的位[0977]图102是表示比特流中的神经网络信息集的位置的另一例的概念图。该位置对应[0980]图103为表示比特流中的激活信息集的位置的例子的概念图。该位置对应于包含[0982]图104是表示比特流中的激活信息集的位置的另一例的概念图。该位置对应于包个数据区域是与包含编码后的多个图片的多个访问单元对应的多个数[0985]图105是表示一个激活信息集的句法构造的例子的句法图。一个激活信息集包括[0986]neural_network_identifier是具有神经网络标识符作为值的句法要素。具体而言，neural_network_identifier具有用于应用对象的神经网络滤波器的神经网络信息集的ID作为值。将具有相同ID的神经网络信息集确定的神经网络滤波器应用于滤波对象图[0987]image_identifier是具有图像标识符作为值的句法要素。具体而言，image_identifier指示应用由neural_network_identifier确定的神经网络滤波器的滤波对象图构造将激活信息集编码至SEI消息，解码装置200可以按照上述句法构造从SEI消息中解码200从多个SEI消息中对多个激活信息个访问单元中包含分别具有上述的句法构造的[0991]图106是表示一个以上的激活信息集的句法构造的例子的句法图。每个激活信息[0992]identifier_count_minus1具有与在该句法构造中指定的一个以上的激活信息集[0993]neural_network_identifier[i]是具有第i个激活信息集的神经网络标识符作为[0996]具体而言，image_identifier[i]指示应用由neural_network_identifier[i]确[1002]根据访问单元#0的四个激活信息集，对图片#0～#3应用由神经网络ID为0的神经[1008]也就是说，访问单元#0的激活信息集表示使用神经网络ID为0的神经网络信息集[1016]因此，对图片#0和#3应用由神经网络ID为1的神经网络信息集确定的神经网络滤[1019]deltaPOC编号是当前图片的POC编号与指定对象图片的POC编号的差，更具体而编号的图像标识符指示具有与通过对当前图片的POC编号加上图像标识符的值而得到的值片是包含处理对象激活信息集的访问单元中相同的值作为显示时刻的一个以上的图片作为[1029]激活信息集的图像标识符按解码顺序指示当前访问单元之后的多个图片中的至[1030]激活信息集的神经网络标识符指示具有与激活信息集的神经网络标识符相同的[1031]使用神经网络标识符为0的神经网络信息集记述的神经网络滤波器对图像标识符[1033]激活信息集的图像标识符按解码顺序指示当前访问单元之后的多个图片中的至[1034]激活信息集的神经网络标识符指示具有与激活信息集的神经网络标识符相同的息集记述的神经网络滤波器进行滤波。图片#3使用神经网络标识符为1的神经网络信息集[1039]激活信息集的图像标识符按解码顺序指示当前访问单元之后的多个图片中的至[1040]激活信息集的神经网络标识符指示具有与激活信息集的神经网络标识符相同的[1043]在该例子中，对图片#0和#1应用在神经网络标识符为0的神经网络信息集中记述可以使用图106的句法构造对nn_post_filter_activation()进行1次信令通知。200在这样无法取得由激活信息集指定的神经网络信息集的情况下，也可以取消针对滤波[1050]激活信息集的图像标识符按解码顺序指示当前访问单元之后的多个图片中的至[1051]激活信息集的神经网络标识符指示具有与激活信息集的神经网络标识符相同的可以使用图106的句法构造对nn_post_filter_activation()进行1次信令通知。[1058]或者，解码装置200也可以按照神经网络信息集的神经网络标识符的编号的顺序[1059]在上述多个例中，解码装置200可以在解码图片之前识别用于将来图片的神经网能够充分获得用于取得用于神经网络滤波器的神经网络的权重等参数并进行预加载的时间内未完成的情况下，解码装置200也可以不对当前图片应用神经网络滤波器而显示当前[1064]例如，可以将神经网络信息集以及激活信息集先于滤波对象图片进行信令通够通过两个以上的神经网络滤波器的组合来充分[1067]此外，在解码装置200中关于神经网络滤波器进行的上述处理也可以在编码装置[1071]这样的神经网络信息集也可以通过保存在与保存图片等的存储器区域不同的存[1074]另外，图片单元也可以与NAL(网络抽象化层)单元集合对应，该NAL(网络抽象化一个以上的神经网络信息集中包含的神经网络信息集和应用由神经网络信息集确定的神路以及与电路连接的存储器。解码装置200所具备的电路及存储器也可以对应于图68所示指定一个以上的神经网络信息集中包含的神经网络信息集和应用由神经网络信息集确定[1088]然后，解码装置200的电路将由激活信息集指定的神经网络信息集确定的神经网[1094]例如，编码装置100的电路分别对确定神经网络滤波器的多个神经网络信息集进上的神经网络信息集确定的两个以上的神经网络滤波器应够通过两个以上的神经网络滤波器的组合来充分上的激活信息集中包含的两个以上的神经网络标识符表示的两个以上的数字确定的两个以上的激活信息集可以用于将两个以上的神经网络滤波器应用于由图像标识符指定的该[1109]由此，有时能够按照SPS准确地指定应用两个以上的神经网络滤波器的图片。因[1111]由此，有时能够按照PPS准确地指定应用两个以上的神经网络滤波器的图片。因其他神经网络滤波器也可以是应用于比该一个图片靠编码顺序靠前的图片的神经网络滤[1123]例如，解码装置200的电路分别对确定神经网络滤波器的多个神经网络信息集进[1124]然后，解码装置200的电路将通过由两个以上的激活信息集指定的两个以上的神够通过两个以上的神经网络滤波器的组合来充分活信息集中包含的两个以上的神经网络标识符表示的两个以上的数字确定的两个以上的装置200的电路也可以将两个以上的神经网络滤波器应用于由图像标识符指定的该一个图[1137]由此，有时能够按照SPS准确地指定应用两个以上的神经网络滤波器的图片。因[1139]由此，有时能够按照PPS准确地指定应用两个以上的神经网络滤波器的图片。因[1151]上述各例中的编码装置100和解码装置200可以分别用作图像编码装置和图像解可以仅对应于熵编码单元110和环路滤波部120，并且解码装置200可以仅对应于熵解码部件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出并执行记录于硬盘[1158]具体而言，编码装置100以及解码装置200也可以分别具备处理电路(ProcessingCircuitry)和与该处理电路电连接的、能够从该处理电路访问的存储装置(Storage)。例[1159]处理电路包含专用的硬件和程序执行部中的至少一方，使用存储装置执行处过由所述两个以上的激活信息集指定的两个以上的神经网络信息集确定的两个以上的神的激活信息集指定的两个以上的神经网络信息集确定的两个以上的神经网络滤波器应用指定所述一个以上的神经网络信息集中所包含的神经网络信息集和由所述神经网络信息络信息集确定的所述神经网络滤波器应用于由所述激活信息集指激活信息集指定所述一个以上的神经网络信息集中包含的神经网络信息集和被应用由所包含在编码装置100及解码装置200的形态的范[1169]也可以将在此公开的1个以上形态与本公开中的其他形态的至少一部分组合来实[1171]在以上的各实施方式中，各个功能块或起作用的块通常可以通过MPU(micro出并执行ROM等记录介质中记录的软件(程序)的处理器等程序执行部来实现。该软件可以[1177]在该内容供给系统ex100中，在因特网ex101上经由因特网服务提供商ex102或通ex114以及智能电话ex115等各设备。该内容供给系统ex100也可以将上述的某些装置组合流媒体服务器ex103也可以经由卫星ex116而与飞机ex117内的热点内的终务器ex103既可以不经由因特网ex101或因特网服务提供商ex102而直接与通信网ex104连客户端是能够将上述编码处理后的数据进行解码的计算机ex111、游戏机ex112、相机付网络)实现，通过将分散在世界中的许多边缘服务器与边缘服务器之间相连的网络来实数据压缩并向服务器发送。服务器例如根据特征量来判断目标的重要性而切换量化精度[1189]而且，服务器也可以进行将影像数据的编码方式变更的转码后将影像数据分例如，服务器也可以将MPEG类的编码方式变换为VP类(例如VP9)，也可以将H.264变换为[1192]将由相互大致同步的多个相机ex113及/或智能电话ex115等终端拍摄的不同场端拍摄的影像中选择或重构而生成向接收终端用MPEG_DASH(DynamicAdaptiveStreamingoverHTTP，基于HTTP的动态自适应流)等的显示各内容所具有的静止图像或I图片，也可以用多个静止图像或I图片等显示gif动画那[1201]在由用户选择了链接图像的情况下，显示装置将基本层设为最优先并进行解[1205]在内容供给系统ex100中，客户端能够将用户发送的已编码的信息实时地接收并再现的较粗糙的流和参照第1次的运动图像而被编码的第2次的流构成为一个流的情况下像数据。此时的运动图像数据是用智能电话ex115所具有的LSIex500进行编码处理后的数统中组装上述各实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置关于编码处理及解码处理能够进行同样的应能电话ex115的结构例的图。智能电话ex115具有用来在与基站ex110之间收发电波的天线线ex450接收到的影像等解码后的数据的显示部ex458。智能电话ex115还具备作为触摸面声音的作为麦克风等的声音输入部ex456、能够保存所拍摄的影像或静止图像、录音的声以及作为与SIM(SubscriberIdentityModule，用户标识模块)ex468的接口部的插槽部[1217]对显示部ex458及操作部ex466等进行综合控制的主控制部ex460与电源电路部[1218]电源电路部ex461如果通过用户的操作使电源键成为开启状态，则将智能电话发送影像、静止图像或影像和声音的情况下，影像信号处理部ex455将保存在存储器部ex467中的影像信号或从相机部ex465输入的影像信号通过在上述各实施方式中表示的运处理部ex454将在由相机部ex465拍摄影像、静止图像的过程中由声音输入部ex456集音的码影像数据和已编码声音数据以规定的方式复用，由调制/解调部(调制/解调电路部)分离而将复用数据分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的影像数据向影像信号处理部ex455供给，并将编