CN120302049A 用于视频编码的系统和方法 （松下电器（美国）知识产权公司）

202080054368.X2020.08.07该电路响应于第一重构图像样本位于虚拟边界过将CCALF(交叉分量自适应环路滤波)过程应用于亮度分量的第一重构图像样本来生成第一系数值。该电路通过将ALF(自适应环路滤波)过程应用于色度分量的第二重构图像样本来生成第2响应于第一重构图像样本位于虚拟边界外部，通过对亮度分量的所述第一重构图像样本应用CCALF(交叉分量自适应环路滤波)过程通过对色度分量的第二重构图像样本应用ALF(自适应环路滤波)过程来生成第二系数响应于第一重构图像样本位于虚拟边界外部，通过对亮度分量的所述第一重构图像样本应用CCALF(交叉分量自适应环路滤波)过程通过对色度分量的第二重构图像样本应用ALF(自适应环路滤波)过程来生成第二系数响应于第一重构图像样本位于虚拟边界外部，通过对亮度分量的所述第一重构图像样本应用CCALF(交叉分量自适应环路滤波)过程通过对色度分量的第二重构图像样本应用ALF(自适应环路滤波)过程来生成第二系数3图像样本应用CCALF(交叉分量自适应环路滤波)过程来生成第一系数值。该电路通过对色度分量的第二重构图像样本应用ALF(自适应环路滤波)过程来生成第二系数值。该电路通述虚拟边界相邻的重构样本以生成所述第一4[0009]通过对亮度分量的第一重构图像样本应用CCALF(交叉分量自适应环路滤波)过程[0010]通过对色度分量的第二重构图像样本应用ALF(自适应环路滤波)过程来生成第二应用CCALF(交叉分量自适应环路滤波)过程来生成第一系数值。该电路通过对色度分量的第二重构图像样本应用ALF(自适应环路滤波)过程来生成第二系数值。该电路通过将所述器，其在操作中使用包含在所述第一图像中的参考块来预测包含在所述第一图像中的块；述虚拟边界相邻的重构样本以生成所述第一[0016]通过对亮度分量的第一重构图像样本应用CCALF(交叉分量自适应环路滤波)过程[0017]通过对色度分量的第二重构图像样本应用ALF(自适应环路滤波)过程来生成第二述虚拟边界相邻的重构样本以生成所述第一[0022]通过对亮度分量的第一重构图像样本应用CCALF(交叉分量自适应环路滤波)过程[0023]通过对色度分量的第二重构图像样本应用ALF(自适应环路滤波)过程来生成第二5述虚拟边界相邻的重构样本以生成所述第一[0028]通过对亮度分量的第一重构图像样本应用CCALF(交叉分量自适应环路滤波)过程[0029]通过对色度分量的第二重构图像样本应用ALF(自适应环路滤波)过程来生成第二实施例的构成元素，可以在编码和解码中促进一个或多个元素的适当选择，例如滤波器、6[0057][图21]图21是用于说明熵编码器中的基于上下文的自适应二进制算术编码[0059][图23A]图23A是用于示出在自适应环路滤波器(ALF)中使用的滤波器形状的一个[0066][图24]图24是表示用作解块滤波器(DBF)的环路滤波器的具体配置的一个示例的[0067][图25]图25是用于示出具有关于块边界的对称滤波特性的解块滤波器的示例的[0073][图31]图31是用于示出在实施例中的帧内预测中使用的六十七个帧内预测模式[0085][图42]图42是用于示出通过HMVP合并模式针对当前图片的MV推导过程的一个示7[0087][图44]图44是用于示出沿着运动轨迹的两个块之间的模式匹配(双边匹配)的一[0088][图45]图45是用于示出当前图片中的模板与参考图片中的块之间的模式匹配(模[0089][图46A]图46A是用于示出基于多个相邻块的运动向量推导出每一子块的运动向[0090][图46B]图46B是用于示出在其中使用三个控制点的仿射模式中推导出每个子块[0096][图49A]图49A是用于示出当用于编码块的控制点的数量和用于当前块的控制点[0097][图49B]图49B是用于示出当用于编码块的控制点的数量和用于当前块的控制点[0101][图52B]图52B是用于示出与第二分区重叠的第一分区的第一部分以及可作为校正过程的一部分被加权的第一样本集和第二样本集的[0104][图54]图54是用于示出其中以子块为单位推导出MV的高级时间运动向量预测[0112][图61]图61是示出通过重叠块运动补偿(OBMC)的预测图像的校正过程的一个示8[0116][图65]图65是示出可以根据BIO执行帧间预测的帧间预测器的功能配置的一个示[0117][图66A]图66A是用于示出使用由LIC执行的亮度校正过程的预测图像生成方法的[0138][图84]图84是示出解码器中通过常规帧间模式进行帧间预测的过程的示例的流[0139][图85]图85是示出解码器中通过常规合并模式进行帧间预测的过程的示例的流[0141][图87]图87是示出解码器中通过仿射合并模式进行帧间预测的过程的示例的流[0142][图88]图88是示出解码器中通过仿射帧间模式进行帧间预测的过程的示例的流[0143][图89]图89是示出解码器中通过三角形模式进行帧间预测的过程的示例的流程9[0151][图97]图97是根据第一方面的通过应用CCALF(交叉分量自适应环路滤波)过程对[0156][图102]图102是根据第二方面的应用CCALF过程对图像进行解码的样本过程流程[0159][图105]图105是根据第三方面的使用滤波器系数应用CCALF过程对图像进行解码[0160][图106]图106是指示将在CCALF过程中使用的滤波器系数的位置的示例的概念[0161][图107]图107是指示将在CCALF过程中使用的滤波器系数的位置的示例的概念[0162][图108]图108是指示将在CCALF过程中使用的滤波器系数的位置的示例的概念[0163][图109]图109是指示将在CCALF过程中使用的滤波器系数的位置的示例的概念[0164][图110]图110是指示将在CCALF过程中使用的滤波器系数的位置的示例的概念[0165][图111]图111是指示将在CCALF过程中使用的滤波器系数的位置的进一步示例的[0166][图112]图112是指示将在CCALF过程中使用的滤波器系数的位置的进一步示例的[0167][图113]图113是示出根据实施例的由编码器和解码器执行的CCALF过程的功能配[0168][图114]图114是根据第四方面的通过使用从多个滤波器中选择的滤波器应用[0172][图118]图118是根据第五方面的通过使用参数应用CCALF过程来对图像进行解码[0174][图120]图120是根据第六方面的通过使用参数应用CCALF过程来对图像进行解码[0175][图121]图121是示出通过计算相邻样本的加权平均值来产生当前色度样本的亮[0176][图122]图122是示出通过计算相邻样本的加权平均值来产生当前色度样本的亮[0177][图123]图123是示出通过计算相邻样本的加权平均值来产生当前色度样本的亮[0178][图124]图124是示出通过计算相邻样本的加权平均值来产生当前样本的亮度分[0179][图125]图125是示出通过计算相邻样本的加权平均值来产生当前样本的亮度分[0180][图126]图126是示出通过将位移位应用于加权计算的输出值来产生亮度分量的[0181][图127]图127是示出通过将位移位应用于加权计算的输出值来生成亮度分量的[0182][图128]图128是根据第七方面的通过使用参数应用CCALF过程来对图像进行解码[0187][图133]图133是应用于矩形分区和非矩形分区(例如三角形分区)的本实施例的[0188][图134]图134是根据第八方面的通过使用参数应用CCALF过程来对图像进行解码[0189][图135]图135是根据第八方面的通过使用参数应用CCALF过程来对图像进行解码充用于ALF的虚拟边界位置上并且对称或非对称填充用于CC_AL称填充用于ALF的虚拟边界位置上并且单边填充用于CC_ALF的虚拟[0214][图160]图160是示出用于实现内容分发服务的内容提供系统的示例整体配置的[0222](1)根据在本公开的方面的描述中呈现的实施例的编码器或解码器的任何组件可[0223](2)在根据实施例的编码器或解码器中，可以对由编码器或解码器的一个或多个功能或过程可以用在本公开的方面的描述中的任何地方呈现的另一功能或过程替代或与[0225](4)被包括在根据实施例的编码器或解码器中的一个或多个组件可与在本公开内[0226](5)包括根据实施例的编码器或解码器的一个或多个功能的组件，或者实现根据[0227](6)在由根据实施例的编码器或解码器实现的方法中，该方法中包括的任何过程可以用在本公开的方面的描述中的任何地方呈现的过程或与任何对应或等同的过程替代[0228](7)被包括在由根据实施例的所述编码器或解码器实现的方法的一个或多个过程可以与在本公开内容的各方面的描述的任何地方[0229](8)在本公开的方面的描述中呈现的过程和/或配置的实现方式不限于根据实施指定样本数组的值或单个样本值表示与原色相关的两们指定样本数组的值或单个样本值表示与原色[0245]切片是被包含在一个独立切片段和同一访问单元内的下一个独立切片段(如果[0247]编码树单元(CTU)可以是具有三个样本数组的图片的亮度样本的编码树块，或色[0250]传输系统400是传输通过对图像编码生成的流并对传输的流进行解码的系统。如[0254]解码器200例如通过对由网络300传输的流进行解码来生成作为未压缩图像的解码图像。例如，解码器根据与由编码器100采用的编码方法相对应的解码方法对流进行解[0255]需要说明的是，解码器200也可以称为图像解码器或视频解码器，并且由解码器作为将要由诸如编码器100或解码器200之类的设备执行的过程的目标的CU或CU块被称为[0269]图片可配置有一个或多个切片单元或一个或多个分片单元以促进图片的并行编[0277]图5和图6是示出可缩放流结构的示例的概念图，并且为了方便将参考图1进行描[0284]如图7所示，编码器100是以块为单位对图像进行编码的装置，并且包括分割器[0287]图8是示出编码器100的安装示例的功能框图。编码器100包括处理器a1和存储器储器a2可以存储用于使处理器a1对图像进行编存储信息的两个或更多个构成元素的角色。例如，存储器a2可以充当图7所示的块存储器以不执行这里描述的所有过程。图7所示的构成元素等的一部分可以被包括在另一个设备[0293]在下文中，描述了由编码器100执行的过程的整体流程，并且然后将描述编码器[0297]预测控制器128和预测执行器(其包括帧内预测器124和帧间预测器126)生成当前[0300]接着，熵编码器110对多个经量化的系数和与预测图像的生成相关的预测参数进[0303]当生成了重构图像时，环路滤波器120根据需要执行对重构图像的滤波(步骤Sa_[0305]尽管在上述示例中编码器100为固定大小的块选择一个分割模式，并根据分割模可以选择可通过根据产生最小成本的分割模式进行编码而获得的流作为[0309]分割器102将原始图像中包含的每个图片分割成多个块，并将每个块输出到减法上角的64×64像素块被分割成两个16×64像素块11和12和一个32×[0313]右上方的64×64像素块被水平分割为两个矩形64×32像素块14和15(二叉树块分像素块(二叉树块分割)。右下角的32×32像素块被水平块分割)。将右上角的方形32×32像素块水平分割为两个矩形32×16像素块(二叉树块分[0317]需要注意的是，在图10中，一个块被分割成四个或两个块(四叉树或二叉树块分[0318]图11是示出根据一个实施例的分割器102的功能配置的一个示例的框图。如图11[0319]例如，块分割确定器102a可以从块存储器118和/或帧存储器122获得或取回块信器110。变换器106可以基于一个或多个参数变换预测残差。帧内预测器124和帧间预测器[0323]需要说明的是，分割模式在分割为四个区域和不分割的情况下不具有块分割方分割为三个区域以及分割为两个区域中的哪一个可以递归地确定，并且可以根据图13A所[0330]减法器104从以块为单位的原始图像中减去预测图像(从下面指示的预测控制器[0333]变换器106将空间域中的预测残差变换为频域中的变换系数，并将变换系数输出到量化器108。更具体地，变换器106将例如定义的离散余弦变换(DCT)或离散正弦变换[0336]指示是否应用这种EMT或者AMT的信息(例如被称为EMT标志或AMT标志)和指示所[0341]在变换器106中的变换中，可以根据CU中的区域切换要变换到频域中的变换基函通过将CU垂直分割成两个相等的区域所得到的两个区域中，DST7和DCT8可以用于位置0处在被称为IMTS(隐式MTS)的另一个过程作为用于选择要用于在没有编码索引信息的情况下指示在变换中使用的变换类型的编码信息的函数。函数[2]是用于执行整个CU的正交并基于确定的规则确定变换类型而无需对指示变换类型的信息进行编码的函数。函数[3]是用于执行CU的部分区域的正交变换和对指示在变换中使用的变换类型的信息进行编码的函数。函数[4]是用于执行CU的部分区域的正交变换换类型的工具可以描述为用于自适应选择变换类[0348]图16是示出由变换器106执行的过程的一个示例的流程图，并且为了方便将参考时(步骤St_1中的是)，变换器106从多个变换类型中选择用于正交变换的变换类型(步骤[0350]图17是示出由变换器106执行的过程的一个示例的流程图，并且为了方便将参考小小于或等于确定值时(步骤Su_1中的是)，变换器1先确定的值时(步骤Su_1中的否)，变换器106多种变换类型之中的用于正交变换的变换类型的并且用于基于变换大小来确定正交变换中使用的变换类型的其行量化。量化器108然后将当前块的量化的变换系数(以下也称为经量化的系数)输出到熵可以使用例如序列参数集(SPS)或图片参数集(PPS)来指定量化矩阵。SPS包括用于序列的[0363]当使用量化矩阵时，量化器108使用量化矩阵的值针对每个变换系数缩放例如可量化矩阵来执行的量化过程中，量化宽度可以乘以对于块中的所有变换系数通用的确定[0365]图19是示出由量化器108执行的量化过程的一个示例的流程图，并且为了方便将成的当前块的量化参数与由预测量化参数生成器108b生成的当前块的预测量化参数之间[0369]应当注意，量化器108可以包括多个量化器，并且可以应用相关量化(dependent[0371]图20是示出根据实施例的熵编码器110的功能配置的一个示例的框图，并且为了方便将参照图7进行描述。熵编码器110通过对从量化器108输入的经量化的系数和从预测制算术编码(CABAC)作为熵编码。更具体地，如图所示的熵编码器110包括二值化器(binarizer)110a、上下文控制器110b和二进制算术编码器110c。二值化器110a执行二值算术编码器110c使用推导出的上下文对二进制信号[0376]逆变换器114通过对从逆量化器112输入的变换系数进行逆变换来恢复预测残[0379]加法器116通过将从逆变换器114输入的预测残差和从预测控制器128输入的预测[0381]块存储器118是用于存储例如用于帧内预测的当前图片中的块的存储装置。更具[0383]帧存储器122是例如用于存储帧间预测中使用的参考图片的存储装置，并且也被块滤波执行器120a对重构图像执行解块滤波过程。SAO执行器120b对经过解块滤波过程之后的重构图像执行SAO过程。ALF执行器120c对经过SAO过程之后的重构图像执行ALF过程。ALF和解块滤波器将在后面详细描述。SAO过程是用于通过减少振铃(像素值在边缘周围像的每个2×2像素子块应用基于局部梯度的方向和活动(activity)从多个滤波器中选择的[0392]要在ALF中使用的滤波器形状例如是圆对称的滤波器形状。图23A至图23C是用于[0396]图23D是用于示出交叉分量ALF(CC_ALF)的示例流程的概念图。图23E是用于示出[0397]滤波器的应用可以在可变块大小上控制并且通过针对每个样本块接收的上下文[0399]联合色度_CCALF的一个示例在图23F和图23G中示出。图23F是用于示出联合色度波器用于生成一个CCALF滤波输出作为一个颜色分量的色度细化信号，同时将相同色度细值可以被编码为符号标志和权重指数。权重指数(表示为w[0404]在解块滤波过程中，环路滤波器120对重构图像中的块边界执行滤波过程以便减[0405]图24是示出充当解块滤波器的环路滤波器120(见图7和图22)的解块滤波执行器[0406]解块滤波执行器120a包括：边界确定器1201；滤波器确定器1203；滤波执行器[0407]边界确定器1201确定要被解块滤波的像素(即，当前像素)是否存在于块边界周[0409]滤波器确定器1203基于位于当前像素周围的至少一个周围像素的像素值来确定定器1203已确定不对当前像素执行解块滤波)，开关1204将通过开关1202获得的未滤波的[0413]处理确定器1208基于由边界确定器1201和滤波器确定器1203做出的确定的结果[0414]图25是用于示出具有相对于块边界的对称滤波特性的解块滤波器的示例的概念块P以及块Q(图26所示的)确定边界强测执行器包括例如帧内预测器124和帧间他块)的图像，当前图片是包括当前块的图片。当前图片中的编码块例如是当前块的相邻预测图像的选择可以基于在编码过程中使用的参数进行。编码器100可以将用于识别所选根据预测方法生成的预测图像中选择当前块在评估中使用上述成本C。预测器然后可以在帧内预测图像和帧间预测图像中选择已经针[0436]预测处理器然后在帧内预测图像和帧间预测图像中选择已经针对其计算最小成[0438]通过参考当前图片中的并且存储在块存储器118中的一个或多个块来执行当前块内预测，帧内预测器124生成帧内预测图像，并且然后将帧内预测图像输出到预测控制器[0439]例如，帧内预测器124通过使用已定义的多个帧内预测模式中的一个模式来执行[0440]一种或多种非定向预测模式包括例如H.265/高效视频编码(HEVC)标准中定义的头表示H.265/HEVC标准中定义的三十三个方向，并且虚线箭头表示附加的三十二个方向这种校正的帧内预测也称为位置依赖的帧内预测组合(PDPC)。指示是否应用PDPC的信息[0445]帧内预测器124从多个帧内预测模式中选择一个帧内预测模式(步骤Sw_1)。帧内预测器124然后根据选择的帧内预测模式生成预测图像(步骤Sw_2)。接下来，帧内预测器模式。帧内预测器124确定在步骤Sw_1中选择的帧内预测模式是否包括在MPM中(步骤Sw_[0447]当确定所选择的帧内预测模式不被包括在MPM中时(步骤Sw_4中的否)，帧内预测测器124然后生成指示在MPM中不包括的至少一个帧内预测模式中选择的帧内预测模式的储在帧存储器122中。以当前块或当前块中的当前块或当前子块最佳匹配的参考块或参考子块。帧间预测器126然后获得补偿从参考块测器126将生成的帧间预测图像输出到预测控制(motionvectorpredic图片P1和B2由参考图片索引refIdxL0和refId[0458]这里，在预测图像的生成中，帧间预测器126通过当前块的运动向量(MV)的确定器126通过运动向量候选(MV候选)的选择(步骤Se_1)和MV的推导候选的选择是通过例如帧间预测器126生成MV候选列表并从MV候选列表中选择至少一个MV[0459]另外，尽管在上述示例中步骤Se_1至Se_3由帧间预测器126执行，但是例如步骤多个帧间预测模式中使用公共MV候选列表。步骤Se_3和Se_4中的过程分别对应于图9中所而且包括稍后描述的运动向量预测器选择信息。不编码运动信息的模式包括FRUC模式等。帧间预测器126从多个模式中选择用于推导出当前块的MV的模式，并使用所选择的模式推[0467]帧间预测器126可以在对MV差进行编码的模式中推导出当前块的MV。在这种情况[0476]首先，帧间预测器126基于诸如时间上或空间上围绕当前块的多个编码块的MV之类的信息来获得当前块的多个MV候选(步骤Sg_1)。换言之，帧间预测器126生成MV候选列[0477]接下来，帧间预测器126根据确定的优先级次序从在步骤Sg_1中获得的多个MV候选中提取N(2或更大的整数)个MV候选作为运动向测器126通过预测参数生成器130将MV预测器选择信息作为预测参数输出到熵编码器110。[0479]接下来，帧间预测器126通过参考编码的参考图片来推导出当前块的MV(步骤Sg_4)。此时，帧间预测器126还在流中将推导出的MV和运动向量预测器之间的差值编码为MV[0484]常规合并模式是用于从MV候选列表中选择MV候选作为当前块的MV从而推导出MV[0486]首先，帧间预测器126基于诸如时间上或空间上围绕当前块的多个编码块的MV之类的信息来获得当前块的多个MV候选(步骤Sh_1)。换言之，帧间预测器126生成MV候选列测器126生成当前块的预测图像(步骤Sh_3)。例如，对每个块执行步骤Sh_1到Sh_3中的过[0490]图41是用于示出通过常规合并模式的当前图片的运动向量推导过程的一个示例选，它们是通过组合空间上相邻MV预测器的MV值和时间上相邻MV预测器的MV值生成的MV；[0495]通过使用由常规合并模式推导出的当前块的MV来执行稍后要描述的动态运动向测中生成的预测图像和在帧内预测中生成的预测图像以生成[0499]图42是用于示出使用HMVP合并模式用于当前图片的MV推导过程的一个示例的概所有MV候选时，帧间预测器126可以将在FIFO缓冲器中管理的MV添加到用于常规合并模式的大小可以与图42中的不同，或者可以被配置为以与图42中的次序不同的次序登记MV候任何像素值的情况下执行运动估计。用于在解码器200侧执行运动估计而不使用当前块中的任何像素值的模式包括帧速率上转换(FRUC)模式、模式匹配运动向量推导(PMMVD)模式的每一个都在空间或时间上与当前块相邻的编码块的MV，作为MV候选的列表(该列表可以中的重构图像与确定的区域(该区域例如可以式匹配或第二模式匹配。第一模式匹配和第二模式匹配可以分别称为双边匹配和模板匹[0519]图44是用于示出沿着运动轨迹的两个参考图片中的两个块之间的第一模式匹配不同参考图片(Ref0，Ref1)中且沿着当前块(Cur块)的运动轨迹定位的两个块中的对之中定的第一编码参考图片(Ref0)中指定位置处的重构图像与由通过以显示时间间隔缩放MV[0520]在连续运动轨迹的假设下，指定两个参考块的运动向量(MV0，MV1)与当前图片片在时间上位于两个参考图片之间并且当前图片到相应两个参考图片的时间距离彼此相[0523]图45是用于示出当前图片中的模板与参考图片中的块之间的模式匹配(模板匹与当前图片(CurPic)中的当前块的相邻块最佳匹配的块来推导当前块(Cur块)的运动向[0524]这种指示是否应用FRUC模式的信息(例如被称为FRUC标志)可以在CU级别用信号[0527]图46A是用于示出基于多个相邻块的运动向量以子块为单位的MV推导的一个示例[0534]图46B是用于示出在其中使用三个控制点的仿射模式中以子块为单位的MV推导的[0538]可以在CU级别切换和用信号通知使用不同数量的控制点(例如，两个和三个控制三个控制点的仿射模式可以包括仿射帧间模式和仿射合并模[0543]如图47A所示，在仿射模式中，例如，基于与当前块相邻的编码的块模式进行编码时，推导在包括块A的编码块的左上角位置和右上角位置处投影的运动向量处的运动向量v0、当前块的右上角控制点处的运动向量v1以及当前块的左下角控制点处的[0546]图47A至47C所示的MV推导方法可以在图50所示的步骤Sk_1中的当前块的每个控块E的MV中选择的MV用作当前块的右上角控制点处码的块F和块G的MV中选择的MV用作当前块的左下角控制点处的运[0552]注意，图48A和图48B所示的MV推导方法可以用于稍后描述的图50中示出的步骤[0554]图49A和图49B是用于示出当编码块的控制点的数量和当前块的控制点的数量彼推导出的运动向量v3和v4来计算当前块的左上角控制点处的运动向量v0和右上角控制点处在包括块A的编码块中的左上角位置、编码块中的右上角位置和编码块中的左下角位置处制点处的运动向量v0和当前块的右上角控制点处的运[0557]注意，图49A和图49B所示的MV推导方法可用于在稍后描述的图50中所示的步骤Sk_1中的当前块的每个控制点处的MV推导中，或者可以用于稍后描述的图51所示的步骤可以编码MV选择信息以用于识别流中的两个或三[0562]帧间预测器126使用根据识别出的仿射模式编码的识别出的第一有效块来推导控上角控制点处的运动向量v0和当前块的右上角控制点处的运来计算当前块的左上角控制点处的运动向量v0、当前块的右上角控制点处的运动向量v1和运动向量v0、当前块的右上角控制点处的运动向量v1和当前块的左下角控制点处的运动向量v0和v2以及上述表达式(1B)，计算多个子块中的每一个的MV作为仿射MV(步骤Sk_2)。帧间预测器126然后使用这些仿射MV和编码的参考图片来执行子块的运动补偿(步骤Sk_用于每个控制点的多种MV推导方法推导的MV候选的列表。多个MV推导方法可以是例如图用两个控制点的仿射合并模式中的MV候选的MV候选列表和包括使用三个控制点的仿射合或图48B中示出的当前块的相应控制点附近的编码块中的任何块的MV，来推导当前块的相[0574]例如，帧间预测器126可以使用成本评估等从与当前块相邻的编码块中确定从其预测器126将产生最小成本的MV预测器确定为运动估计循环中控制点处的MV(步骤Sj_5)。帧间预测器126通过预测参数生成器130将MV差作为预测参数输出到熵编码器[0576]最后，帧间预测器126通过使用确定的MV和编码的参考图片执行当前块的运动补用于每个控制点的多种MV推导方法推导的MV候选的列表。多个MV推导方法可以是例如图用两个控制点的仿射帧间模式中的MV候选的MV候选列表以及包括使用三个控制点的仿射[0580]注意，指示MV候选列表中的MV候选之一的索引可以作为MV预测器选择信息被传[0583]图52A是用于示出生成两个三角形预测图像[0584]帧间预测器126通过使用第一分区的第一MV对当前块中具有三角形形状的第一分通过使用第二分区的第二MV对当前块中具有三角形形状的第二分区执行运动补偿来生成生成具有与当前块的矩形形状相同的矩形形[0586]图52B是用于示出第一分区的与第二分区重叠的第一部分以及可作为校正过程的[0587]第一部分可以是第一分区的与相邻分区重叠的部分。图52C是用于示出第一分区[0588]此外，虽然给出了使用帧间预测为两个分区中的每个分[0591]首先，帧间预测器126基于诸如时间上或空间上围绕当前块的多个编码块的MV之[0592]帧间预测器126然后从在步骤Sx_1中获得的多个MV候选中分别选择第一分区的MV数生成器130将MV选择信息作为预测参数输出到熵编码[0593]接下来，帧间预测器126通过使用所选第一MV和编码的参考图片执行运动补偿来[0594]最后，帧间预测器126通过执行第一预测图像和第二预测图像的加权相加来生成[0599]注意，分区信息可以包括指示至少当前块被分割成多个分区的分割方向的索[0601]图54是用于示出以子块为单位推导MV的高级时间运动向量预测(ATMVP)模式的一当前块中的每个子块中，识别用于对时间MV参考块中的子块相对应的区域进行编码的MV。估计时(步骤S1_2中的否)，帧间预测器126[0608]当在步骤S1_1中确定执行运动估计时(步骤S1_2中的是)，帧间预测器126通过估计由在步骤S1_1中推导的运动向量指定的参考图片的周围区域来推导当前块的最终运动[0614]首先，帧间预测器126基于作为从每个MV候选列表获得的MV候选的初始MV来估计表中参考块相对应的初始MV为InitMV_L0，并且与L1列表中的参考块相对应的初始MV为测器126为每个搜索位置计算在块中搜索位置处的像素值之间的绝对差(SAD)的总和作为与八个周围搜索位置之间的成本。帧间预测器126然后确定除起点之外的每个搜索位置处MV指示的位置与最终搜索位置之间的差确定为向量视为最终搜索位置。通过使用四个搜索位置中的对应搜索位置处的成本作为权重，对上、像素精度处的像素位置。帧间预测器126然后将在由初始MV指示的位置与最终搜索位置之[0623]帧间预测器126生成预测图像(步骤Sm_1)，并且例如根据例如上述模式中的任一行校正过程时(步骤Sn_3中的是)，帧间预测器过程时(步骤Sn_3中的否)，帧间预测器126输出[0630]首先，如图62所示，使用指派给当前块的MV获得通过常规运动补偿的预测图像示来自当前块的参考图片。通过将预测图像Pred_U与已经执行了第一校正的预测图像(例[0637]用于确定是否应用OBMC的方法的一个示例是用于使用指示是否应用OBMC的信号光流等式和Hermite插值的组合，可以以像素为单位校正从例如MV候选列表获得的每个块[0645]注意，可以在解码器侧200使用不同于基于假设均匀线性运动的模型来推导运动执行帧间预测的帧间预测器126的功能配置的一个示[0648]帧间预测器126使用与包括当前块的图片(CurPic)不同的两个参考图片(Ref0、块的预测图像(步骤Sy_1)。注意，运动向量M0是与参考图片Ref0相对应的运动[0649]接下来，内插图像推导器126b通过参考存储器126a使用运动向量片Ref0中并且要针对当前块推导的图像，而内插图像I1是包含于参考图片Ref1中并要针对[0650]此外，梯度图像推导器126c从内插图像I0和内插图像I1推导当前块的梯度图像[0655]接下来，描述用于使用局部照明补偿(LIC)过程生成预测图像(预测)的模式的一[0656]图66A是用于示出使用由LIC执行的亮度校正过程的预测图像生成方法的过程的一个示例的概念图。图66B是示出使用LIC的预测图像生成方法的过程的一个示例的流程[0658]接下来，帧间预测器126针对当前块提取表示在当前块和参考图片之间亮度值如[0659]帧间预测器126通过执行亮度校正过程来生成当前块的预测图像，在该亮度校正过程中将亮度校正参数应用于由MV指定的参考图片中的参考图像(步骤Sz_4)。换句话说，[0662]用于确定是否应用LIC的方法的一个示例是使用作为指示是否应用LIC的信号的lic_flag的方法。作为一个具体示例，编码器100确定当前块是否属于具有亮度变化的区[0663]确定是否应用LIC过程的不同方法的一个示例是根据是否已对周围块应用了LIC[0665]首先，帧间预测器126从作为编码的图片的参考图片推导用于获得与待编码的当[0666]接下来，帧间预测器126使用与当前块的左侧和上方相邻的编码的周围参考区域[0667]接下来，帧间预测器126使用由MV指定的参考图片中的参考图像的亮度校正参数并且预测图像的亮度校正后的亮度像素值为p3。帧间预测器126通过针对参考图像中的每域和由当前子块的MV指定的参考图片中的参考子块中的周围参考区域来[0673]预测控制器128选择帧内预测信号(从帧内预测器124输出的图像或信号)和帧间预测信号(从帧间预测器126输出的图像或信于在帧内预测器124、帧间预测器126和预测控制器128的每一个中执行的预测过程或指示b2。例如，图67所示的解码器200的多个构成元素安装在图68所示的处理器b1和存储器b2成元素中除了用于存储信息的构成元素以外的两个或更多个构成元素的[0685]注意，在解码器200中，并非图67中所示的多个构成元素的所有元素都可以被实测控制器128和环路滤波器120所执行的过[0689]首先，解码器200中的分割确定器224基于从熵解码器202输入的参数来确定图片[0695]解码器200然后确定整个图片的解码是否已经结束(步骤Sp_7)。当确定解码尚未[0698]图70是用于示出实施例中在分割确定器224和其他构成元素之间的关系的概念[0702]熵解码器202通过对流进行熵解码来生成经量化的系数、预测参数以及与分割模202b推导的上下文值将流算术地解码为二进制信号。上下文控制器202b以与编码器100的出现概率)来推导上下文值。去二值化器202c执行去二值化以将从二进制算术解码器202a以将流(见图1)中包括的预测参数输出到帧内预测器216、帧间预测器218和预测控制器量化器204基于与经量化的系数相对应的量化参数来逆量化当前块的经量化的系数。逆量化器204然后将当前块的逆量化变换系数(即变换系数)输出到逆[0711]逆量化器204可以基于图74所示的流程为每个CU执行逆量化过程作为一个示例。化时(步骤Sv_11中的是)，量化参数生成器204a从熵解码器202获得当前块的差量化参数处理单位的量化参数(步骤Sv_13)。预测量化参数生成[0713]量化参数生成器204a然后基于从熵解码器202获得的当前块的差量化参数和由预15)。例如，可以将从熵解码器202获得的当前块的差量化参数和由预测量化参数生成器生成器204a将当前块的量化参数存储在量化参数[0718]逆变换器206通过逆变换作为来自逆量化器204的输入的变换系数来恢复预测残换器206基于指示解析的变换类型的信息对当前块的变换系数进[0722]例如，逆变换器206确定流中是否存在指示没有执行正交变换的信息(步骤St_器206从熵解码器202获得指示编码器100在包含于第一变换类型组中的至少一个变换类型[0728]加法器208通过将作为来自逆变换器206的输入的预测残差和作为来自预测控制然后将当前块的重构图像输出到块存储器210和环路滤[0730]块存储器210是用于存储包含于当前图片中并且可以在帧内预测中参考的块的存部梯度的方向和活动从多个滤波器中选择一个滤波器，并且所选滤波器被应用于重构图过解块滤波过程之后对重构图像执行SAO过程。ALF执行器212c在经过SAO过程之后对重构[0737]帧存储器214例如是用于存储用于帧间预测中的参考图片的存储装置，并且也可[0740]预测器生成当前块的预测图像(步骤Sq_1)。该预测图像也称为预测信号或预测一方法至第三方法中的每一种方法可以是帧间预测方法、帧内预测方法或另一种预测方[0746]图80A到图80C(统称为图80)是示出由解码器200的预测器执行的过程的另一示例中的是)，帧内预测器216从熵解码器202获得指示MPM之中在编码器100中选择的帧内预测器202获得指示在编码器100中从未包含于MPM中的至少一个帧内预测模式中选择的帧内预预测器216确定帧内预测模式(步骤Sw_17)，所述帧内预测模式不包含于MPM中包括的多个帧内预测模式中并且由在步骤Sw_15中获得的[0755]帧内预测器216根据在步骤Sw_14或步骤Sw_17中确定的帧内预测模式生成预测图[0768]当确定不对任何MV差进行解码时，帧间预测器218在不对MV差进行解码的模式下[0772]图84是示出在解码器200中通过常规帧间模式进行帧间预测的过程的示例的流程如时间上或空间上围绕当前块的多个解码块的MV之类的信息来获得当前块的多个MV候选的多个MV候选中提取N个(2或更大的整数)MV候选作为运动向量预测器候选(也称为MV预测测器选择信息从N个MV预测器候选中选择一个MV预测器候选作为当前块的MV预测器(步骤[0777]最后，帧间预测器218通过使用推导的MV和解码的参考图片执行当前块的运动补偿来生成当前块的预测图像(步骤Sg_15)。对每个块执[0780]图85是示出解码器200中通过常规合并模式进行帧间预测的过程的示例的流程[0781]首先，帧间预测器218基于诸如时间上或空间上围绕当前块的多个解码块的MV之[0782]接下来，帧间预测器218从在步骤Sh_11中获得的多个MV候[0783]最后，帧间预测器218通过使用推导的MV和解码的参考图片执行当前块的运动补偿来生成当前块的预测图像(步骤Sh_13)。例如，对并模式的切片的帧间预测结束。另外，当对图片中的所有块中的每个块执行步骤Sh_11至[0787]首先，帧间预测器218通过参考MV来生成指示空间或时间上与当前块相邻的解码块的MV的列表作为MV候选(该列表是MV候选列表，并且例如也可以用作常规合并模式的MV[0788]最后，帧间预测器218通过使用推导的MV和解码的参考图片执行当前块的运动补偿来生成当前块的预测图像(步骤Si_15)。例如，对[0791]图87是示出在解码器200中通过仿射合并模式的帧间预测的过程的示例的流程式解码的第一有效块。帧间预测器218使用根据仿射模式解码的识别出的第一有效块来推218根据包括块A的解码块的左上角和右上角处的运动向量v3和v4来计算当前块的左上角控句话说，帧间预测器218使用两个运动向量v0和v1以及上述表达式(1A)或者三个运动向量和v2以及上述表达式(1B)来计算多个子块中的每一个的MV作为仿射MV(步骤Sk_12)。帧间预测器218然后使用这些仿射MV和解码的参考图片来执行子块的运动补偿(步骤Sk_用于每个控制点的多个MV推导方法推导的MV候选的列表。多个MV推导方法可以是例如图用两个控制点的仿射合并模式中的MV候选的MV候选列表和包括使用三个控制点的仿射合和使用三个控制点的仿射合并模式之一中的MV候选的[0802]图88是示出在解码器200中通过仿射帧间模式的帧间预测的过程的示例的流程v1[0804]帧间预测器218获得作为预测参数被包括在流中的MV预测器选择信息，并使用由48A和图48B所示的MV推导方法时，帧间预测器218通过选择图48A或图48B中示出的当前块v句话说，帧间预测器218使用两个运动向量v0和v1以及上述表达式(1A)或者三个运动向量和v2以及上述表达式(1B)计算多个子块中的每一个的MV作为仿射MV(步骤Sj_13)。帧间预测器218然后使用这些仿射MV和解码的参考图片来执行子块的运动补偿(步骤Sj_14)。分割相关的信息。帧间预测器218然后可以根据分区信息将当前块分割成第一分区和第二[0812]接下来，帧间预测器218基于诸如时间上或空间上围绕当前块的多个解码块的MV[0813]帧间预测器218然后从在步骤Sx_11中获得的多个MV候选中分别选择第一分区的从流获得用于将每个所选MV候选识别为预测参数的MV选择信息。帧间预测器218然后可以根据MV选择信息来选择第一MV和第二M218通过搜索由在S1_11中推导的MV指示的参考图片周围的区域，来推导当前块的最终MV[0820]图91是示出在解码器200中通过DMVR执行的运动估计过程的示例的流程图，并且[0821]首先，在图58A所示的步骤1中，帧间预测器218计算在由初始MV指示的搜索位置(也称为起点)与八个周围搜索位置之间的成本。帧间预测器218然后确定除起点之外的每MV指示的位置与最终搜索位置之间的差确定为向量[0824]在图58A所示的步骤3中，帧间预测器218基于相对于步骤1或步骤2中的起点位于素位置。帧间预测器218然后将在由初始MV指示的位置与最终搜索位置之间的差确定为向[0834]图94是示出在解码器200中由OBMC对预测图像的校正的过程的示例的流程图。注[0835]首先，如图62所示，使用指派给当前块的MV通过常规运动补偿获得预测图像[0836]接下来，帧间预测器218通过将已经为当前块左侧相邻的解码块推导的运动向量预测器218通过重叠两个预测图像Pred和Pred_L来执行预测图像的第一校正。这提供了混[0837]同样地，帧间预测器218通过将已经为与当前块上方相邻的解码块推导的MV(MV_测器218通过将预测图像Pred_U与已经执行了第一校正的预测图像(例如，Pred和Pred_L)[0840]图95是示出解码器200中的BIO所执行的对预测图像的校正的过程的示例的流程[0842]接下来，帧间预测器218使用运动向量M0和参考图片L0推导当前块的内插图像I包含于参考图片Ref1中并针对当前块推导的图像。内插图像I0和内插图像I1中的每一者在[0843]此外，帧间预测器218从内插图像I0和内插图像I1推导当前块的梯度图像(Ix0，0帧间预测器218可以通过例如将梯度滤波器应用于内插图像来推导梯度图[0849]图96是示出在解码器200中通过LIC执行的对预测图像的校正的过程的示例的流[0850]首先，帧间预测器218使用MV从解码的参考图片中获得与当前块相对应的参考图[0851]接下来，帧间预测器218针对当前块提取指示当前图片和参考图片之间亮度值如考图片中对应位置处的亮度像素值来执行。帧间预测器218使用指示亮度值如何改变的信[0852]帧间预测器218通过执行亮度校正过程来生成当前块的预测图像，在该亮度校正[0854]预测控制器220选择帧内预测图像或帧间预测图像，并将所选图像输出到加法器[0856]图97是根据第一方面的使用CCALF(交叉分量自适应环路滤波)过程对图像进行解出信号可以是通过SAO过程生成的重构色度样本。修改后的重构图像样本可以是色度的重的CCALF过程产生的重构亮度样本的滤波值与由ALF过程产生的重构色度样本的滤波值相由CCALF过程生成的亮度分量的经滤波的重构图像样本时，剪裁色度分量的修改后的重构用于亮度分量的经滤波的重构图像样本的剪裁范围可以是[_2^15,2^15_1]或[_2^7,2^7_[0865]要由CCALF过程滤波的亮度分量的重构图像样本可以是与色度分量的当前重构图[0866]在该方面中公开的过程可以减少存储经滤波的图像样本值所需的硬件内部存储[0868]图102是根据第二方面的使用定义的信息来应用CCALF过程对图像进行解码的过[0873]剪裁参数可以指示下限和上限，如图104(ii)所示。在此示例中，_ccalf_luma_[0881]图105是根据第三方面的使用滤波器系数应用CCALF过程对图像进行解码的过程程的滤波步骤中使用滤波器系数来生成亮度分量的经滤波[0885]在步骤S3004中，滤波的输出用于修改不同于第一分量的第二分量的重构图像样[0899]图111和图112是指示将在CCALF过程中使用的滤波器系数的位置的进一步示例的[0900]图113是示出根据实施例的由编码器和解码器执行的CCALF过程的功能配置的框生成的滤波器系数的滤波器应用于SAO亮度输出图片。然后将滤波后的样本(CCALFCb和[0902]图114是根据第四方面的使用从多个滤波器中选择的滤波器应用CCALF过程对图像进行解码的过程流程4000的示例的流程图。过程流程4000可以例如由图67等的解码器知。例如，如果在亮度重构图像中检测到强梯度或边缘，则可以推导出与短抽头滤波器该参数指示应用颜色空间RGB，则可以选择来自图117的滤波器。可以颠倒来自图116和图[0916]在步骤S4004中，使用滤波的输出修改不同于第一分量的第二分量的重构图像样[0919]可以用信号通知多于一组的滤波器。不同的滤波器组可能具有不同的形状和大[0921]图118是根据第五方面的使用参数应用CCALF过程对图像进行解码的过程流程色度子采样格式指示为4:4:4、4:2:0、4:2:2或4:1:1。第一参数可以将颜色空间指示为S5002和步骤S5003的第一数量和第二数表示使用Cb修改Cr或使用Cr修改Cb时的[0937]图120是根据第六方面的使用参数应用CCALF过程对图像进行解码的过程流程[0943]图121、图122和图123是示出通过计算相邻样本的加权平均值来生成当前色度样的亮度样本的CCALF值是通过计算位于色度样本的相邻区域中的亮度样本的加权和来生成网格图案的相邻亮度样本的平均值来推导出与CCALF的位置(curr)相对应的值。白色亮度[0945]图122描述了用于计算CCALF值的样本等式。CCALF值可以通过使用滤波器系数值计算中使用的亮度样本可以位于与当前色度样本相邻的位置处。等式的形式可以与ALF滤[0947]图124和图125是示出了通过计算相邻样本的加权平均值来生成当前样本的亮度[0949]图126和图127是示出通过将位移位应用于加权计算的输出值来生成亮度分量的[0952]图128是根据第七方面的使用参数应用CCALF过程对图像进行解码的过程流程[0956]一个或多个参数可以在APS中。切片首先根据在切片中被编码的APS_id定位AP[0963]第一参数可以取决于色度子采样类型或CTU大小或两者。如果色度子采样类型为的参数进行解析的算术编码的初始化可以被应用。[0974]如果要使用滤波器，则在步骤S7003中，至少对来自第一分量的重构样本进行滤[0975]在步骤S7004中，使用来自与第一分量不同的分量的至少一个滤波的重构样本来[0977]本公开说明了用于滤波的多个级别处的一个或多个参数的特性，包括生成方法、大小不同的大小时，指示分区是否被滤波的第二参数不被编码并且该分区的滤波被禁用。[0982]图134是根据第八方面的使用参数应用CCALF过程对图像进行解码的过程流程[0990]图135是根据第八方面的使用参数应用CCALF过程对图像进行解码的过程流程[0994]在S8104中，使用滤波的输出来修改来自不同于第一分量的分量的重构样本。例[1011]在S8002的一个示例中，如果色度样本类型等于4或5，并且虚拟边界在C0和C2之[1012]在S8002的另一个示例中，如果色度样本类型等于4或5并且虚拟边界在C15和C17[1014]在S8002的另一个示例中，如果色度样本类型等于4或5并且虚拟边界在C11和C15[1031]本公开说明基于色度样本类型和滤波器中的虚拟边界位置来填充或复制滤波器[1043]图156是示出根据示例的编码器和解码器的功能配置的框图，其中对称填充用于[1044]图157是示出根据另一示例的编码器和解码器的功能配置的框图，其中对称填充[1049]本文公开的一个或多个方面可以与本公开中的其他方面的至少一部分组合来执述的各方面可以由解码器的对应构成元素类例如读取并执行记录在诸如ROM之类的记录介质上的软件(程序)的处理器。软件可以被分[1053]本公开的实施例不限于上述示例性实施例；可以对示例服务的区域被划分为期望尺寸的小区，并且作为示出示例中的固定无线站的基站ex106、器ex114和智能手机ex115的设备经由互联网服务提供商ex102或通信网络ex104和基站ex111、游戏设备ex112、相机ex113、家用电器ex114和智能手机ex115的设备。流服务器ex103还可以经由卫星ex116连接到例如飞机ex117中的热直接连接到通信网络ex104而不是经由互联网ex101或互联网服务提供商ex102，并且可以直接连接到飞机ex117而不是经由卫星e[1059]相机ex113可以是能够捕捉静止图像和视频的设备，例如数码相机。智能手机得的数据传输到流服务器ex103。换句话说，终端用作根据本公开的一个方面的图像编码[1062]流服务器ex103将传输的内容数据流送到请求流的客户端。客户端示例包括能够能手机ex115和飞机ex117内的终端。接收流送的数据的设备可以解码和再现接收到的数[1064]流服务器ex103可以实现为多个服务器或计算机，在这些服务器或计算机之间划有相对高处理负荷的编码(例如，上下文自适应二进制算术必要时在未捕获视频的其他终端和服务器之间在每单位的基础上划分处理任务来分散编[1072]通过诸如相机ex113和/或智能手机ex115之类的多个终端，越来越多地使用从同时捕获的不同场景或从不同角度捕获的相同场景的图像或视频组合的图像或视频。例如，欣赏通过从根据多个图像或视频重构的三维数据中提取所选视点处的视频而获得的内容。[1075]近年来，是现实世界和虚拟世界的复合的内容(例如，虚拟现实(VR)和增强现实(AR)内容)也变得流行。在VR图像的情况下，服务器可以从左眼和右眼二者的视点创建图以使用诸如MPEG_DASH之类的流送系统标准来无缝地接收内容。用户可以在自由选择解码器或显示装置(包括用户终端、布置在室内或室外的显示器等)的同时在数据之间实时切像内容的链接的多个图像链接，并且网页的外观可以取决于用于查看网页的设备而不同。[1081]当用户选择图像链接时，显示装置在例如给予基本层最高优先级的同时执行解的时间点和解码图片被显示的时间点之间的[1083]当针对汽车自主驾驶或辅助驾驶发送和接收诸如二维或三维地图信息之类的静器)。相同的编码处理和解码处理可以应用于使用例如卫星发送和接收叠加有复用的音频[10