CN119420919A 图像处理装置和图像处理方法 （索尼集团公司）

202080043358.62020.06.16本公开内容涉及可以减少图像处理所需的应环路滤波器应用于由解码单元生成的解码图2解码单元，其被配置成对包括参数集的比特流进行解码以生成解码滤波器单元，其被配置成通过参考由所述解码单元解码的所述最大数目是不依赖于划分切片的区块的数目所述最大数目是为每个aps_params_type定义对包括参数集的比特流进行解码以生成解码图像的解码通过参考在所述解码处理中解码的参数集将所述自适应环路滤波器应用于在所述解设置单元，其被配置成设置参数集，在所述参数集中作为自适应编码单元，其被配置成对图像进行编码以生成包滤波器单元，其被配置成将所述自适应环路滤波器应用于其中，所述编码单元使用由所述滤波器单元应用了所述设置参数集的设置处理，在所述参数集中作为自适应环路滤波器参对图像进行编码以生成包括在所述设置处理中设置的参数集的比特流的3[0007]非专利文献1：BenjaminBross,JianleChen,ShanLiu,VersatileVideo码的参数集来将自适应环路滤波器应用于由解码单4适应环路滤波器参考的参数集的数目的最大数进行编码以生成包括在设置处理中的参数集的比特流的编[0022]图5是示出了根据级别为每个aps_params_type定义的APS的最大数目的示例的[0023]图6是用于描述根据级别为每个aps_params_type定义的APS的最大数目的详细示[0031]本文中公开的范围不限于实施方式的内容，并且在提交时已知的以下参考文献[0032]REF1建议书ITU_TH.264(04/2017)“Advancedvideocodingforgeneric月5[0034]REF3BenjaminBross,JianleChen,ShanLiu,VersatileVideoCoding(Draft[0035]REF4：JianleChen,YanYe,SeungHwanKim,AlgorithmdescriptionforSeanMcCarthy,AHG17:SignallingofreshaperparametersinAPS,JVET_N0117_v1(版[0037]REF6：NaelOuedraogo,EricNassor,JonathanTaquet,GeraldKergourlay,FredericMaze,[AHG17/AHG12]OnAPSidforbitstreammergingforVVC,JVET_N0191_[0045]设置了各种信息的数据单元以及由各种类型的处理所针对的数据单元各自都是6仅包括在比特流中的标识信息，而且还包括标识信息的成为比特流中的特定参考信息的差的差异信息。预测处理等。[0060]滤波器单元23将自适应环路滤波器应用于在编码单元22中执行编码时的本地编7[0063]滤波器单元26参考由解码单元25解码的参数集并将自适应环路滤波器应用于由具有时间层(temporal_id)为从0到4的5个层，并且在假设包括每个层的1组滤波器系数和8通过为每个aps_params_type设置的单位使用数的倍数来定义APS的最大数目。也就是说，为每一个aps_params_type定义APS的最大数目，并且该APS的最大数目是对于每个级别而[0081]在图5中所示的示例中，级别为1到4.1的APS的最大数目被定义为为每个aps_定义为为每一个aps_params_type设置的单5.x)的APS的最大数目被定义成是为每一个aps_params_流)是指包括编码或解码所需的参数被编码的数据以及编码数据[0088]图7是示出了经由网络连接一个或更多个计算机或服务器的网络系统的配置示例9[0094]处理器42可以采用被设计和/或制造为一个或更多个单个或多个芯片微处理器的器43可以采用任何合适的易失性存储装置，例如动态随机存取存储器(DRAM)或静态RAM(SSD)、只读存储器(ROM)、可擦除和可编程只读存储器(EPROM)、闪存、致密盘(CD或CD_[0098]外围设备接口47可以将数据输入至可以本地连接至计算机32的其他装置并且从[0102]图8示出了作为应用本公开内容的图像处理装置的图像编码装置的实施方式的配[0105]A/D转换单元61将输入图像数据(图片)进行A/D转换，并将A/D转换的图像数据供[0107]计算单元63从由画面重排缓冲器62输出的图像中减去经由预测图像选择单元78从帧内预测单元76或运动预测/补偿单元77供应的预测图像，并将差信息输出至正交变换的情况下，计算单元63从由画面重排缓冲器62输出的图像中减去从运动预测/补偿单元77[0109]正交变换单元64对从计算单元63供应的差信息执行诸如离散余弦变换和[0111]可逆编码单元66将诸如可变长度编码和算术编码的可逆编码应用于量化的转换可变长度编码的示例包括上下文自适应可变长度编时将保存的编码流作为编码图像输出至例如，随后的阶段中的记录装置或传输线(未示[0117]逆正交变换单元69通过与正交变换单元64的正交变换处理相对应的方法对供应[0118]计算单元70将经由预测图像选择单元78从帧内预测单元76或运动预测/补偿单元77供应的预测图像与从逆正交变换单元69供应的逆正交变换结果相加，即恢复的差信息，计算单元70将从运动预测/补偿单元77供应的预[0121]去块滤波器71通过适当地对来自计算单元70的图像执行去块滤波处理来抑制解[0123]自适应偏移滤波器72对由去块滤波器71滤波的图像执行用于主要抑制振铃的偏适应偏移滤波器72通过使用四叉树结构和每一个划分区域的偏移值对由去块滤波器71滤自适应偏移滤波器72将滤波的图像供应至自适应环[0126]自适应环路滤波器73通过使用滤波器系数对处理单元中的自适应偏移滤波器72滤波的图像执行自适应环路滤波(adaptiveloopfilter(ALF))处理。在自适应环路滤波[0128]帧存储器74以预定定时经由选择单元75将累积的参考图像输出至帧内预测单元[0131]帧内预测单元76使用画面内的像素值来执行生成预测图像的帧内预测(画面内预在最佳模式下生成的预测图像供应至计算单元63和计[0134]运动预测/补偿单元77通过使用从画面重排缓冲器62供应的输入图像和经由选择动预测/补偿单元77根据由运动预测检测的运动矢量执行运动补偿处理，并生成预测图像[0135]运动预测/补偿单元77在所有候选帧间预测模式下执行帧间预测处理，并生成预测图像。运动预测/补偿单元77经由预测图像选择单元78将生成的预测图像供应至计算单帧间预测模式信息或指示计算的运动矢量的运动矢量信息供应至可[0136]预测图像选择单元78在要进行帧内编码的图像的情况下将帧内预测单元76的输出供应至计算单元63或计算单元70，并且在要进行帧间编码的图像的情况下将运动预测/[0137]速率控制单元79基于累积缓冲器67中累积的压缩图像来控制量化单元65的量化22，并且自适应环路滤波器73对应于图1中的滤波器单元23并且具有和设置单元21一样的佳帧内预测模式的帧内预测生成的预测图像及其成本函数值被供应至预测图像选择单元储器74读取参考的解码图像，并且该参考的解码图像经由选择单元75供应至运动预测/补佳帧间预测模式生成的预测图像及其成本函数值被供应至预测图像选择单77输出的每个成本函数值确定最佳帧内预测模式和最佳帧间预测模式中之一作为最佳预选择最佳帧内预测模式的预测图像时，帧内预测单元76将指示最佳帧内预测模式的信息[0150]当选择最佳帧间预测模式的预测图像时，运动预测/补偿单元77将指示最佳帧间[0151]在步骤S36中，计算单元63计算在步骤S32中重排的图像与在步骤S35中选择的预测图像之间的差。预测图像经由预测图像选择单元78分别在帧间预测的情况下从运动预测/补偿单元77供应至计算单元63和在帧内预测的情况下从帧内预测单元76供应至计算单步骤S40中，逆正交变换单元69通过与正交变换单元64的特性相对应的特性对由逆量化单[0156]在步骤S41中，计算单元70将经由预测图像选择单元78输入的预测图像与本地解[0158]注意，通过操作操作单元等由用户输入的去块滤波器71中使用的参数β和Tc的偏应偏移滤波器72通过使用四叉树结构和每个划分区域的偏移值对由去块滤波器71滤波的[0161]在步骤S44中，自适应环路滤波器73对由自适应偏移滤波器72滤波的图像执行自滤波器72和自适应环路滤波器73滤波的图像也被从计算单元70供应并存储在帧存储器74[0165]在步骤S48中，速率控制单元79基于累积缓冲器67中累积的压缩图像来控制量化[0167]在上述编码处理中，当在步骤S44中执行自适应环路滤波处理时，设置如下参数集，在该参数集中作为自适应环路滤波器参考的参数集的数目的最大数目被定义为固定[0169]图10示出了作为应用本公开内容的图像处理装置的图像编码装置的实施方式的[0170]假设由图像编码装置60编码的编码流(编码数据)经由预定传输线路被传输至与中的可逆编码单元66的编码方法相对应的方法以预定定时对从累积缓冲器81读取的编码的信息，并将诸如指示帧间预测模式或运动矢量信息的信息的参数供应至运动预测/补偿[0174]逆量化单元83通过与图8中的量化单元65的量化方法相对应的方法对通过由可逆图像编码装置60供应的量化参数通过类似于图8中的逆量化单元68的方法执行量化系数的交变换单元84通过与图8中的正交变换单元64的正交变换系数相对应的方法对正交变换系经由选择单元95被供应有来自帧内预测单元93或运动预测/补[0178]去块滤波器86通过适当地对来自计算单元85的图像执行去块滤波处理来抑制解置60编码的去块滤波器的参数β和Tc的每一个偏移由图像解码装置80接收，作为去块滤波[0180]自适应偏移滤波器87对由去块滤波器86滤波的图像执行用于主要抑制振铃的偏[0181]自适应偏移滤波器87通过使用四叉树结构和每个划分区域的偏移值对由去块滤[0183]自适应环路滤波器88使用滤波器系数对每一个处理单元的由自适应偏移滤波器过图8中的画面重排缓冲器62被重排为编码顺序的帧的顺序被以原始显示顺[0190]指示通过对报头信息进行解码获得的帧内预测模式的信息等被适当地从可逆解[0192]基于从可逆解码单元82供应的该信息，运动预测/补偿单元94由从帧存储器91获[0193]选择单元95选择由运动预测/补偿单元94或帧内预测单元93生成的预测图像，并[0194]以这种方式，配置图像解码装置80，并且可逆解码单元82对应于图1的解码单元[0197]当开始解码处理时，在步骤S51中，累积缓冲器81接收并累积传输的编码流(数[0199]当预测模式信息是帧内预测模式信息时，预测模式信息被供应至帧内预测单元[0202]通过该处理，由帧内预测单元93生成的预测图像(帧内预测图像)或由运动预测/补偿单元94生成的预测图像(帧间预测图像)被供应应偏移滤波器87通过使用四叉树结构和每个划分区域的偏移值对由去块滤波器86滤波的[0209]在步骤S60中，自适应环路滤波器88对由自适应偏移滤波器87滤波的图像执行自将D/A转换图像输出至显示器(未示出)执行步骤S60中的自适应环路滤波处理时，参考解码的参数集将自适应环路滤波器应用于[0217]图12是示出了安装用于执行上述一系列处理的程序的计算机的实施方式的配置诸如局域网(LAN)或因特网的网络通过线路将程序[0221]计算机具有内置的中央处理单元(CPU)102，并且输入/输出接口110经由总线101置中的任何一个装置和在一个壳体中容纳多个模