CN119402662A 图像解码装置、图像解码方法及程序 （Kddi 株式会社）

202080058933.X2020.08.21号程序。图像解码装置200包括：预测信号生成部使用两个参考帧各自的像素值或根据所述像素应用条件包括和两个参考帧与该帧的时间距离2该图像解码装置具备预测信号生成部，该预测信号生成部构成在所述BDOF处理中，基于两个参照帧的亮度值梯度和权重系所述预测信号生成部构成为基于算出的所述校正量来生成所述预作为所述应用条件，包括同基于所述权重系数的所述两个参照帧在所述应用条件中，所述两个参照帧各自与该帧的POC之差的绝对值的比率被决定为其中，在所述BDOF处理中，基于两个参照帧的亮度值梯度作为所述应用条件，包括同基于所述权重系数的所述两个参照帧与该帧的POC之差相在所述应用条件中，所述两个参照帧各自与该帧的POC之差的绝对值的比率被决定为所述图像解码装置具备预测信号生成部，该预测信号生成部构成为在所述BDOF处理中，基于两个参照帧的亮度值梯度和权重系所述预测信号生成部构成为基于算出的所述校正量来生成所述预作为所述应用条件，包括同基于所述权重系数的所述两个参照帧与该帧的POC之差相在所述应用条件中，所述两个参照帧各自与该帧的POC之差的绝对值的比率被决定为3[0008]然而，非专利文献1的BDOF处理是在对两个参考帧间的各自的像素值及根据像素该处理是隐含地假设该帧与后续方向的参考帧的时间距离的绝对值等于该帧与过去方向所述仿射预测信号生成部进行的所述PROF处理中的梯度算出处理为相同4行运算时的权重系数，在所述应用条件中包括和两个参考帧与该帧的时间距离相关的条[0014]本发明的第四特征的主旨在于一种程序，使计算机作为距离相关的条件，而仅在具有与BDOF处理内的运算相匹配的参考帧结构的块中应用BDOF，[0019]图3是示出从一实施方式的图像编码装置100的编码部140输出的编码后数据(比[0022]图6是示出一实施方式的图像编码装置100的帧间预测部111的功能块的一个例子[0023]图7是示出一实施方式的图像编码装置100的帧间预测部111的细化部111C的处理[0024]图8是示出一实施方式的图像编码装置100的帧间预测部111的预测信号生成部[0025]图9是示出一实施方式的图像编码装置100的帧间预测部111的仿射运动矢量算出[0026]图10是用于说明一实施方式的图像编码装置100的帧间预测部111的仿射运动矢[0027]图11是示出一实施方式的图像编码装置100的帧间预测部111的仿射预测信号生[0028]图12是示出一实施方式的图像编码装置100的环路滤波处理部150的功能块的一[0029]图13是用于说明一实施方式的图像编码装置100的环路滤波处理部150的边界强度判断部153(153A/153B)的处理5[0031]图15是示出一实施方式的图像解码装置200的帧间预测部241的功能块的一个例[0032]图16是示出一实施方式的图像解码装置200的环路滤波处理部250的功能块的一[0041]图像编码装置100构成为通过对输入图像信号进行编码来生成编码数据。图像解码装置200构成为通过对编码数据进行解码来生成输[0042]此处，该编码数据可以经由传输路径从图像编码装置100发送至图像解码装置[0047]具体来说，帧间预测部111构成为通过对编码对象的帧(以下称为对象帧)与存储中包含的预测信号。帧间预测部111构成为将预测信号输出至减法器121及加法器122。此6[0052]减法器121构成为从输入图像信号中减去预测信号，并将预测残差信号输出至变[0053]加法器122构成为将预测信号与从逆变换及逆量化部132输出的预测残差信号相加来生成滤波处理前解码信号，并将该滤波处理前解码信号输出至帧内预测部112及环路[0055]变换及量化部131构成为进行预测残差信号的变换处理，且获取系数等级值。此[0057]逆变换及逆量化部132构成为进行从变换及量化部131输出的系数等级值的逆变[0058]此处，逆变换处理及逆量化是按照与由变换及量化部131进行的变换处理及量化[0063]环路滤波处理部150构成为对从加法器122输出的滤波处理前解码信号进行滤波SPS141是以序列(图片的集合)为单位的控制数据的集合。具体示例将在下文叙述。各SPS141至少包含在有多个SPS141时用于7[0070]该比特流也可以在SPS141后面包含PPS(PictureParameterSet，图片参数集)据144A/144B对应。如上所述，在切片头部143A/143B中，由PPSid信息来指定参考哪一片数据144A/144B使用共同的SPS141及的控制数据与各切片数据144A/144B对应的构成，则还可以追加除上述以外的要素作为流[0077]如上所述，SPS141至少包含用于识别各SPS141的id信息(sps_seq_parameter_[0078]SPS141也可以包含用于对可否使用(有效、无效)下述BDOF(Bi_Directional[0079]即，“sps_bdof_enabled_flag”是SPS141中包含的表示可否以序列为单位使用[0081]即，“sps_dmvr_enabled_flag”是SPS141中包含的表示可否以序列为单位使用8对每个块确定在切片内的各块中实际上是否使用PR考的SPS141为与该切片头部143A/143B对应的对可否使用PROF处理进行控制的标志，是切片头部143A/143B中包含的对可否使用DMVR处理进行控制的标志，且是切片头部143A/143B中包含的对可否使用BDOF处理进行控制的9是示出本实施方式的图像编码装置100的帧间预测部111的功能块[0098]帧间预测部111是构成为基于运动矢量来生成预测块中包含的预测信号的预测部[0110]当在该块中使用仿射运动补偿时，移至图6所示的仿射运动矢量算出部111E的处[0111]细化部111C构成为进行对由运动矢量编码部111B编码的运动矢量进行修正的细相对于该帧来说在时间上为过去的帧，另一参考帧相对于该帧来说在时间上为后续的帧，[0119]此外，特定条件也可以包括如下条件：在该块所属的切片的切片头部143A/143B[0120]在步骤S72中，细化部111C基于由运动矢量编码部111B编码的运动矢量及参考帧[0123]细化部111C通过步骤S72的搜索来确定整数像素间隔位置处的修正后运动矢量。将使利用与其他搜索点同样的方法算出的搜索成本减小至3/4所得的值设定为该搜索点的[0129]细化部111C在步骤S74中确定非整数像素精度的修正后运动矢量后，移至步骤[0131]当对每个子块进行处理时，细化部111C可以对每个子块执行图7的所有步骤。并[0132]预测信号生成部111D构成为基于从细化部111C输出的经修正的运动矢量来生成成部111D构成为基于由细化部111C修正的运动矢化部111C以子块为单位进行细化处理时，预测信号生成部111D的处理也以子块为单位执用非专利文献1中所揭示的最大8抽头的水L0)参考帧与运动矢量的预测信号、及基于第二[0139]在步骤S82中，预测信号生成部111D针对每个块确认是否满足下述BDOF处理的应[0143]并且，应用条件也可以包括如下条件：在该块所属的切片的切片头部143A/143B相对于该帧来说在时间上为过去的帧，另一参考帧相对于该帧来说在时间上为后续的帧，理中的L0侧及L1侧的梯度或亮度值进行运算时的权重系数的倒理。考帧(L0/L1)各自的像素值或根据两个参考帧(L0/L1)的像素值算出的各自的值进行运算[0155]diff＝predSampleL0×weightL0－predSampleL1×weightL1tempH=gradientHL0×weightL0+gradien[0157]此处，“predSampleL0”及“predSampleL1”分别为L0及[0162]bdofOffset＝vx×(weightL0×gradientHL0―weightL1×gradientHL1)+vy×的像素值或根据两个参考帧(L0/L1)的像素值算上述应用条件中包括与两个参考帧与该帧的时间[0168]仿射运动矢量算出部111E构成为当由运动矢量搜索部111A确定在该块中进行仿[0182]在步骤S95中，仿射运动矢量算出部111E判断是否满足在该块中应用PROF处理的运动矢量算出部111E也可以通过逻辑上等效的其他方[0195]diffMV[x][y][0]＝x×(dHorX2)+y×(dVerX2)－posOffsetXdiffMV左上方的坐标为原点时的各像素位置(x，y)，[0]表示“diffMV”的x方向分量，[1]表示[0204]另外，仿射预测信号生成部111F也可以构成为当在切片头部中不包含“slice_献1中所揭示的最大6抽头的水平垂直可分[0209]当判断出在该块的该预测方向上应用PROF处理时，本处理顺序前进至步骤S11另一方面，当判断出在该块的该预测方向上不应用PROF处理时，本处理顺序前进至步骤步骤S113中校正该预测信号所得的预测信号直接作为最[0223]由于垂直方向的块边界的解块滤波处理与水平方向的块边界的解块滤波处理是[0226]边界强度判断部153A还可以构成为基于表示对象块及相邻块是否是帧内预测块[0228]边界强度判断部153A还可以构成为基于表示在对象块及相邻块中是否包含非零[0230]边界强度判断部153A还可以构成为基于表示对象块及相邻块的运动矢量的差的[0232]边界强度判断部153A还可以构成为基于表示对象块及相邻块的运动矢量的预测[0234]边界强度判断部153A也可以构成为基于表示对象块及相邻块的运动矢量的个数[0245]如图14所示，图像解码装置200包括解码部210、逆变换及逆量化部220、加法器[0252]逆变换及逆量化部220构成为进行从解码部210输出的系数等级值的逆变换处[0253]此处，逆变换处理及逆量化是按照与由变换及量化部131进行的变换处理及量化[0254]加法器230构成为将预测信号与从逆变换及逆量化部220输出的预测残差信号相加来生成滤波处理前解码信号，并将滤波处理前解码信号输出至帧内预测部242及环路滤[0256]与帧间预测部111同样地，帧间预测部241构成为通过帧间预测(interframe[0257]具体来说，帧间预测部241构成为基于从编码数据中解码出的运动矢量及参考帧[0258]与帧内预测部112同样地，帧内预测部242构成为通过帧内预测(intraframe[0260]与环路滤波处理部150同样地，环路滤波处理部250构成为对从加法器230输出的[0267]帧间预测部241是构成为基于运动矢量来生成预测块中包含的预测信号的预测部[0268]运动矢量解码部241B构成为通过从图像编码装置100接收到的控制数据的解码，矢量解码部241B解码出的控制点运动矢量来算出[0281]由于垂直方向的块边界的解块滤波处理与水平方向的块边界的解块滤波处理是块或子块对应的L0及L1的参考块内的各像素算出水平方向及垂直方向的亮[0291]gradientHL0[x][y]＝(predSamplesL0[hx+1][vy]＞＞shift1)-[0292]gradientV0[x][y]＝(predSamplesL0[hx][vy+1]＞shift1)－(predSamplesL0[0293]gradientHL1[x][y]＝(predSamplesL1[hx+1][vy]＞＞shift1)-[0294]gradientV1[x][y]＝(predSamplesL1[hx][vy+1]＞shift1)－(predSamplesL0>>shift2)[0305]tempH[x][y]＝(gradientHL0[x][y]+gradientHL1[x][y])＞＞shift3tempV[x]1..4[0317]sGydI=ΣiΣj(_Sign(tempV[xSb+i][ySb+j])*diff[xSb+i][ySb+j])withi，j=_1..4[0319]如下所述，预测信号生成部111D/241D使用以上述方式算出的值，来算出校正MV[0321]vy＝sGx2＞0？Clip3(－mvRefineThres，mvRefineThres－1，((sGydI3)-+predSamplesL1[x+1][y+1]+bdofOffset)shift＜＜[0335]gradientH[x][>>shift1)[0336]gradientV[x][>>shift1)[0338]当对L0及L1这两者应用PROF处理时，仿射预测信号生成部111F/241F分别对L0及[0340]第一，与上述步骤S96的说明同样地，仿射预测信号生成部111F/241F算出[0341]diffMv[x][y][0348]如下所述，仿射预测信号生成部111F/241F对应用PROF处理的块及预测方向进行[0350]pbSamples[x][y]＝predSamples[x[0351]当在L0及L1这两者中应用PROF处理时，仿射预测信号生成部111F/241F分别对L0[0352]仿射预测信号生成部111F/241F在上述校正完成后，移至步骤S184，结束PROF处[0353]仿射预测信号生成部111F/241F在PROF处理完成后，执行步骤S114中说明的预测[0354]predSamples[x][y]＝Clip3(0，(1bitDepth)－1，(predSamplesL0[x][y]+predSamplesL1[x][y]+offset2)shift2)＜＜+offset2+predSamplesL1_orig[x][y]+dI_Bi)shift[0362]以上所说明的BDOF处理及PROF处理中算出的梯度及校正MV的值分别被以比特宽中算出的偏移量、与由仿射预测信号生成部111F/241F进行的PROF处理中分别对两个参考[0367]即，能够在PROF处理应用于两个参考帧(L0/L1)时，使由预测信号生成部111D/241D进行的BDOF处理中的梯度算出处理、与由仿射预测信号生成部111F/241F进行的PROF校正MV量、与由仿射预测信号生成部111F/241F进行的PROF处理中使用的校正MV量分别为[0370]第三，能够使步骤S173的预测值校正处理与步骤S183的预测值校正处理及步骤[0371]即，能够使由预测信号生成部111D/241D使用偏移量进行的最终预测信号生成处理、与由仿射预测信号生成部111F/241F使用偏移量合成后的值进行的最终预测信号生成测部151/251中的块边界检测方法及边界强度判断部153/253中的边界强度的判断方法进直方向的边界的处理块，所以将该CU左侧的垂直方向的边界检测为滤波处理对象的块边[0387]在步骤S193中，作为检测对象的子块边界例如也可以是应用仿射运动补偿或块边界检测部151A也可以将仿射运动补偿的子块边界及PROF处理的子块边界作为检测对L0及L1这两者中均应用PROF处理时，块边界检测部151A才将该块视为“应用PROF处理的用。[0408]边界强度判断部153A也可以构成为基于表示对象块及相邻块是否为帧内预测块[0410]边界强度判断部153A还可以构成为基于表示在对象块及相邻块中是否包含非零[0412]边界强度判断部153A还可以构成为基于表示对象块及相邻块的运动矢量的差的对值为阈值(例如1/2像素)以上时)，且该块边界不是该块边界两