CN113557730B 用于利用基于子块的局部光照补偿的视频编码和解码方法和装置 （交互数字Vc控股公司）

2021.09.10PCT/US2020/0211292020.03.05WO2020/185496EN2020.09.17US2016366415A1,2016.US2013121416A1,2013.US2017230673A1,2017.用于利用基于子块的局部光照补偿的视频响应于邻近样本的线性模型的视频编码和解码在第一实施例中，重建样本的数量N随着针对子2针对画面中正被编码的块，基于所述块的空间邻近重建像素和对应参访问所述块的所述空间邻近重建像素中的所述当前子块的空间邻近重建像素和所述访问所述块的所述空间邻近重建像素中的一个或多个子块的空间邻近重建像素和所基于所述一个或多个子块和所述当前子块的空间邻近重建像素和所述对应参考像素基于所述模型参数来使用局部光照补偿对所述其中，对所述块进行编码包括使用基于针对所述当前子块的所述细化模型参数的模2.根据权利要求1所述的方法，其中，确定针对所述当前子块的所述细化模型参数包于一个或多个子块的最接近所述当前子块的像素的所有子块和所述当前子块的空间邻近处理来自所述一个或多个子块的所有子块和所述当前子块的空间邻近重建像素和对基于所述当前子块的空间邻近重建像素和对应参考像素来确根据针对所述一个或多个子块的所有子块的部分模型参数的加权和来确定细化模型针对画面中正被解码的块，基于所述块的空间邻近重建像素和对应参访问所述块的所述空间邻近重建像素中的所述当前子块的空间邻近重建像素和所述访问所述块的所述空间邻近重建像素中的一个或多个子块的空间邻近重建像素和所3基于所述一个或多个子块和所述当前子块的空间邻近重建像素和所述对应参考像素基于所述模型参数来使用局部光照补偿对所述其中，对所述块进行解码包括使用基于针对所述当前子块的所述细化模型参数的模7.根据权利要求6所述的方法，其中，确定针对所述当前子块的所述细化模型参数包8.根据权利要求6所述的方法，其中，确定针对所述当前子块的所述细化模型参数包处理来自所述一个或多个子块的所有子块和所述当前子块的空间邻近重建像素和对根据针对所述一个或多个子块的所有子块的部分模型参数的加权和来确定细化模型针对画面中正被编码的块，基于所述块的空间邻近重建像素和对应参访问所述块的所述空间邻近重建像素中的所述当前子块的空间邻近重建像素和所述访问所述块的所述空间邻近重建像素中的一个或多个子块的空间邻近重建像素和所基于所述一个或多个子块和所述当前子块的空间邻近重建像素和所述对应参考像素基于所述模型参数来使用局部光照补偿对所述其中，为了对所述块进行编码，所述一个或多个处理器配置为4个或多个子块的所有子块和所述当前子块的空间邻近重建像素和对应参考像素来确定针多个子块的最接近所述当前子块的像素的所有子块和所述当前子块的空间邻近重建像素处理来自所述一个或多个子块的所有子块和所述当前子块的空间邻近重建像素和对基于所述当前子块的所述空间邻近重建像素和对应参考像素确根据针对所述一个或多个子块的所有子块的部分模型参数的加权和来确定细化模型针对画面中正被解码的块，基于所述块的空间邻近重建像素和对应参访问所述块的所述空间邻近重建像素中的所述当前子块的空间邻近重建像素和所述访问所述块的所述空间邻近重建像素中的一个或多个子块的空间邻近重建像素和所基于所述一个或多个子块和所述当前子块的空间邻近重建像素和所述对应参考像素基于所述模型参数来使用所述局部光照补偿对所述其中，为了对所述块进行解码，所述一个或多个处理器配置为个或多个子块的所有子块和所述当前子块的空间邻近重构像素和对应参考像素来确定所多个子块的最接近所述当前子块的像素的所有子块和所述当前子块的空间邻近重建像素5处理来自所述一个或多个子块的所有子块和所述当前子块的空间邻近重建像素和对基于所述当前子块的所述空间邻近重建像素和对应参考像素来确根据针对所述一个或多个子块的所有子块的部分模型参数的加权和来确定细化模型6multimediasystems,infrastructureofaudiovisualservices-codingofmovingvideo,Highefficiencyvideocoding,Recommendation相关性，然后对原始图像和预测图像之间的差(通常表示为预测误差或预测残差)进行变[0004]最近对高压缩技术的添加包括一个基于响应正被处理的块的邻域的线性建模的有基于空间邻域确定的预测参数的预测模型在局部光照补偿(LocalIllumination子块。这个流水线的解码过程引起了关于LIC中使用的块的空间邻域中样本的可用性的问7数据变得可用并且由子块执行LIC时使用邻接近当前子块的样本的先前访问的空间邻近重建样本和对应参考样本来确定细化线性模且根据针对子块的先前确定的部分线性模型参数的加权和来确定细化8[0019]根据至少一个实施例的另一个一般方面，重建样本和对应参考样本相对于L形是根据针对块的运动预测因子而不是针对块的运动补偿[0021]根据至少一个实施例的另一个一般方面，提出了一种非[0024]图1示出了用于表示压缩的HEVC画面的编解码树单元(CTU)和编解码树(CT)概念[0025]图2示出了现有技术中从邻近重建样本和利用正方形和矩形块的运动矢量转换的[0029]图9示出了根据现有技术的包括在流水线的基于子块的运动补偿中使用线性模型[0031]图11示出了根据至少一个实施例的一般方面的包括在流水线的基于子块的运动[0032]图12、13和14示出了根据至少一个实施例的一般方面的与当前子块LIC线性模型9[0038]关于画面的编码/解码描述了各种实施例。它们可用于编[0040]至少一些实施例涉及用于在流水线架构中以并行处理的每个子块导出和应用LIC[0042]在第2节中，公开了用于导出与流水线过程兼容的用于光照补偿的线性模型参数[0046]基于线性模型的工具局部光照补偿(LIC)用于使用缩放因子a和偏移b补偿正被编动信息MV在参考画面中识别的当前CU(图2上的当前块)的邻近样本和对应参考CU(图2上的右侧上的邻近重建样本)与由帧间预测确定的它们的对应参考样本的顶部和左侧邻近重建[0053]其中current_block是要预测的当前块，pred(current_blo并且ref_block是利用常规运动补偿(MV)过程构建并且用于对当前块的时间预测的参考[0055]邻近重建样本集合和参考样本集合(见图3中的灰色样本)具有相同的数量和相同基于块的仿射变换运动补偿预测。块的仿射运动场由两个控制点(4个参数)或三个控制点(6个参数)的运动矢量(CPMV)描述。对当前16×16块的每个4×4亮度子块应用基于子块的[0065]VVC的最新发展还支持基于子块的时间运动矢量预测(SbTMVP)方法。与HEVC中的[0069]在VVC的最新发展中，解码器侧运动矢量细化(DMVR)是用于合并具有两个初始用基于初始MV周围每个MV候选的2个参考块之间的SAD。具有最低SAD的MV候选成为细化的MV图9示出了根据现有技术的包括在流水线子块运动补偿中使用线性模型的示例编码或解码并行地(图9的第二条线)，使用与先前用于当前子块相同的硬件资源(存储器访问)来访问[0072]由于LIC参数的导出使用细化运动信息来确定针对子块的参考样本，因此流水线对计算块的LIC参数所必需的样本的可用性施加根据子块的邻近样本导出的部分LIC参数导出LIC参数、针对每个子块独立导出LIC参数或[0077]为了应对第1节中提出的限制，至少一个实施例的一般方面旨在通过按子块细化和应用LIC参数来提高流水线实现方式中的[0080]编码或解码方法10基于正被编码或解码的空间邻近重建样本和对应参考样本来块的空间邻近重建样本和参考子块(16×16(1)的参考块)的空间邻近样本。根据运动补偿和第二子块的基于子块的运动补偿产生的新可用数据来确定针对第二子块的细化线性模对第二子块重复步骤13：然后像等式3那样将基于细化LIC参数的线性模型应用于参考子邻近样本的任何组合用于确定针对第三子块的细化LIC参数。然后，对第三子块重复步骤先前可用的邻近样本的任何组合来确定针对第四子块的细化线性模型参数。如图12所示，地，根据至少一个实施例的一般方面的LIC导出和应用与流水线式基于子块的运动补偿容[0086]图11示出了根据至少一个实施例的一般方面的包括在流水线的基于子块的运动[0089]邻近样本或运动信息并非都可用于一次计算针对整个块的LIC参数，而是可用于一个子块LIC参数是从上面一行邻近样本的左侧样本和左列邻近样本的顶部样本导出的；所描述的任何方法对视频数据进行编码或解码的指令的计算机可读存储介质和/或其上存储有根据所描述的任何方法生成的比特流的计算机步骤和/或动作的顺序和/或使用。的视频编码器100和解码器200的运动补偿(170、275)、运动估计(175)、熵编解码、帧内器决定(105)使用帧内模式或帧间模式中的哪一个来对单元进行编码，并通过例如预测模他语法元素被熵编解码(145)以输出比特流。编码器可以跳过变换并将量化直接应用于未块被重建。环路滤波器(165)被应用于重建的画面以执行例如去块/SAO(样本自适应偏移)常还执行视频解码作为对视频数据进行编码的[0137]特别地，解码器的输入包括视频比特流，该视频比特流可以由视频编码器100生[0138]解码的画面还可以经过后解码处理(285)，例如逆颜色变换(例如从YCbCr4:2:0到RGB4:4:4的转换)或者执行在预编码处理(101)中执行的重映射过程的逆过程的逆重映统1000的元件可以单独或组合地体现在单个集成电路(IC)、多个IC和/或分立组件中。例器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器备1040可以包括内部存储设备、附加存储设备(包括可拆卸和不可拆卸存储设备)和/或网[0141]系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供编码的器/解码器模块1030表示可以被包括在设备中以执行编码和/或解码功能的模块。众所周[0142]要加载到处理器1010或编码器/解码器1030以执行本文档中描述的各个方面的程备外部的存储器(例如，处理设备可以是处理器1010或编码器/解码器模块1030)用于这些称为H.265和MPEG-H第2部分)或VVC(通用视频编解码，一种由联合视频专家组JVET开发的分量(COMP)输入端子(或一组COMP输入端子)，(iii)通用串行总线(USB)输入端子，和/或口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无号通过适用于Wi-Fi通信的通信信道1060和通信接口1050接收。这些实施例的通信信道访问，以允许流传输应用和其他过顶(over-the-top)通信。其他实施例使用通过输入框他组件集成(例如，像在智能电话中那样)，或分开(例如，用于膝上型计算机的外部监视器)。在实施例的各种示例中，其他外围设备1120包括独立数字视频盘(或数字多功能盘)或没有用户干预的情况下进行设备到设备控制的其他通信协议在系统1000与显示器1100、扬声器1110或其他外围设备1120之间通信控制信号。输出设备可以通过各选择第二个列出的选项(B)，或仅选择第三个列出的选项(C)，或仅选择第一个和第二个列出的选项(A和B)，或仅选择第一个和第三个列出的选项(A和C)，或仅选择第二个和第三个[0179]·在信令中插入语法元素，该语法元素使解码器能够识别要使用的光照补偿方[0181]·包括传达根据所描述的实施例中的任何一个生成的信息的语法的比特流或信[0187]·根据所描述的实施例的任何一个执行LIC参数的适配并显示(例如，使用监视