CN112673631B 利用运动矢量进行空间块级像素活动提取优化的系统、方法及设备 （Ati科技无限责任公司）

2021.03.11PCT/IB2019/0579452019.09.19WO2020/065468EN2020.04.02US2017339390A1,2017.11.23US2018109804A1,2018.04.19利用运动矢量进行空间块级像素活动提取公开了用于利用运动矢量实施空间块级像码器的控制逻辑基于来自参考帧的先前计算的块级像素活动数据生成新帧的块级像素活动度述控制逻辑生成对所述块的像素活动度量的估前计算的像素活动度量外推来生成对所述像素2所述新视频帧的运动估计数据，其中所述运动估计数据用于识别与所来自所述参考视频帧的先前计算的块级像素活动，其中所述先前计处于比用于生成所述新视频帧的所述块级像素活动的所述估计的第二粒度更精细的第一编码器，所述编码器被配置成基于所述估计生成编2.如权利要求1所述的系统，其中对于所述新视频帧的每个块，所述控制逻辑被配置将所述新视频帧的所述块相对于所述参考视频帧的相应块的成本与第一阈值进行比生成对所述块的像素活动的估计，其中如果所述成本小通过将所述校正因子应用于所述参考视频帧中所述相应块的所述先前计算的像素活5.如权利要求1所述的系统，其中所述控制逻辑被配置成基于所述估计来对所述新视对于第一像素值定义的相对位移处对所述第一像素值和第二像素值进行的数学运算的结7.如权利要求6所述的系统，其中所述控制逻辑还被配置为基于对齐误差对所述估计通过控制逻辑基于以下项生成对所述视频流的所述新视频帧的块级所述新视频帧的运动估计数据，其中所述运动估计数据用于识别与所3来自所述参考视频帧的先前计算的块级像素活动，其中所述先前计处于比用于生成所述新视频帧的所述块级像素活动的所述估计的第二粒度更精细的第一通过编码器基于所述估计生成编码的视频帧，其中所述编码的视频将所述新视频帧的所述块相对于所述参考视频帧的相应块的成本与第一阈值进行比生成对所述块的像素活动的估计，其中如果所述成本小通过将所述校正因子应用于所述参考视频帧中所述相应块的所述先前计算的像素活立于所述先前计算的像素活动来计算所述块的所义的相对位移处对所述第一像素值和第二像素值进行的数学运算的结果汇总于所述新视14.如权利要求13所述的方法，还包括通过对来自所述参考视频帧的多个块的像素活动进行求和来生成对所述新视频帧的每个块的所耦合至所述编码器的控制逻辑，其中所述控制逻辑被配置成所述新视频帧的运动估计数据，其中所述运动估计数据用于识别与所来自存储在所述存储器中的所述参考视频帧的先前计算的块级像前计算的块级像素活动处于比用于生成所述新视频帧的所述块级像素活动的所述估计的其中所述编码器被配置成基于所述估计生成编码的视频4将所述新视频帧的所述块相对于所述参考视频帧的相应块的成本与第一阈值进行比生成对所述块的像素活动的估计，其中如果所述成本小通过将所述校正因子应用于所述参考视频帧中所述相应块的所述先前计算的像素活19.如权利要求15所述的设备，其中所述控制逻辑被配置成基于所述估计来对所述新相对于第一像素值定义的相对位移处对所述第一像素值和第二像素值进行的数学运算的5动来确定图像中的纹理类型。块的实例包括用于高效视频译码(HEVC)标准的译码树块基于以下项生成对所述新视频帧的块级像素活动的估计：所述新视频帧的运动估计数据，6素活动处于比用于生成所述新视频帧的所述块级像素活动的所述估计的第二粒度更精细[0012]图4是示出了用于利用运动矢量来实施空间块级像素活动提取优化的方法的一个[0013]图5是示出了用于为新帧的块生成块级像素活动的方法的另一实施方案的通用流[0014]图6是示出了用于确定像素活动度量生成方案的方法的一个实施方案的通用流程[0017]图9是示出了以不同的粒度计算像素活动度量的方法的一个实施方案的通用流程7包括经由网络110连接到服务器105的多个客户端，其中多个客户端接收由服务器105生成的相同位流或不同位流。系统100还可包括用于为多个客户端生成多个位流的一个以上服置—每个位置具有水平位移dx和垂直位移dy。运动估计会在搜索区域中找到具有最小SAD表示块i和j的位移为dx和dy且成本为C的运动矢量。基于块(i-dx,j-dy,f1)的像素活动度8[0026]服务器105包括用于渲染视频/图像帧并将帧编码成位流的软件和/或硬件的任何和/或其它组件。服务器105的处理器包括任何数量和类型的处理器(例如，图形处理单元地，客户端115包括用于对位流进行解码并将帧驱动到显示器120的软件和/或硬件的任何中的每一者使用硬件和/或软件的任何适当组合来实施。运动矢量单元210基于新帧205与在存储器240中。存储器240代表用于存储与编码过程相关联的数据和/或指令的任何数量[0028]运动矢量215被提供给控制逻辑220和编码器230。控制逻辑220基于运动矢量215应运动矢量215标识的相应块之间的计算出的差异成本之和。如果块的差异成本之和小于第一阈值，则控制逻辑220将所述块的估计的像素活动225生成为参考帧207的相应块的先[0029]如果块的差异成本之和大于或等于第一阈值但小于第二阈值，则控制逻辑220通过基于块的运动矢量215从参考帧207中相应块的像素活动222外推来生成块的估计的像素的相应块的此更新的像素活动用作新帧205的块的估计的像素活动225。在一个实施方案[0030]现在参考图3，示出了用于一系列视频帧305A-D的一组运动矢量315A-C的一个实9已知运动。箭头315A所示出的已知运动可通过运动矢量来定义。应注意，尽管运动矢量参考帧的相应块的比较而生成新帧的块的运动矢量(框410)。编码器控制逻辑接收新帧的的块级像素活动有助于对新帧的编码，用于对新帧进行分类和/或用于执行对新帧的进一假设当控制逻辑接收到要进行编码的新帧时，已经针对新帧的块计算了运动估计数据(例逻辑将对块的像素活动的估计生成为等于一个或多个参考帧中相应块的先前计算的像素支)，则控制逻辑通过基于块的运动估计数据从参考帧中相应块的先前计算的像素活动外推来生成对块的像素活动的估计(框530)[0038]现在转向图6，示出了用于确定像素活动度量生成方案的方法600的一个实施方A1,2如果与帧705的匹配像素相比的块(1,2,t-1)的成本小于第一阈值，则运动矢量715匹配被w0的百分比贡献给块(1,2,t-1)并且块(1,2,t-2)将其像素的w于参考帧的块的像素活动度量来生成估计(框910)。作为以第二粒度为新帧的块生成像素[0045]在各种实施方案中，使用软件应用程序的程序指令来实施本文所述的方法和/或