CN113874916B 一种视频处理方法、装置以及计算机可读存储介质 （阿里巴巴集团控股有限公司）

2021.11.25PCT/US2020/0316422020.05.06WO2020/242738EN2020.12.03US2018139456A1,2018.05.17US2019075301A1,2019.03.072确定所述多个输入视频帧的第一信息，所述第一信息包其中，所述可编程硬件编码器为第一编码器，所述控制接收第二编码器所使用的编码参数，该编码参数用于编码所述多个调整所述编码参数并将已调整编码参数发送给所述可编件编码器被配置为基于所述已调整编码参数执行所将所述初始运动向量和所述搜索范围发送到所述可编程硬件编码器，程硬件编码器被配置为使用所述初始运动向量和所述搜索范围执行所中的某个输入视频帧中的ROI区域信息，且所述控制器被配置为执行所述指令集以使所述述第一计算复杂度不同的第二计算复杂度对非ROI将所述分割的信息发送给所述可编程硬件编码器，所述可编程硬件编3从所述解码器接收信息，该信息示出所述多个输入视频帧中的某个根据所述比特数或平均量化参数中的至少一个，确定所述输入视频帧的计算复杂度；从解码器接收信息，该信息示出多个输入视频帧中的某个输入视频分别基于所述初始运动向量或所述初始编码模式中的至少一基于所述目标运动向量或所述目标编码模式中的至少一个，从所述解码器接收信息，该信息示出用于所述多个输入视频帧中的基于与所述输入视频帧关联的音频信息，为所述多个输入视频帧的某从所述可编程硬件编码器接收运动向量或估算速率失真信息中的基于所述接收的运动向量或所述估算速率失真信息，确定编码模将所述编码模式或运动向量中的至少一个发送到所述可编程硬件编码器被配置为根据所述编码模式或所述运动向量的至少一个执行所述编码4码器被配置为根据编码树单元结构对输入的视从所述解码器接收信息，该信息示出用于对所述多个输入视频帧编码的内部编码单将所述位预算发送到所述可编程硬件编码器，所述可编程硬件编码器被21.根据权利要求1所述的视频处理装置，其中，所将所述一个或多个参考帧的信息发送到所述可编程硬件编码器，所器被配置为使用所述一个或多个参考帧对所述多个输23.根据权利要求1所述的视频处理装置，其中，所识别所述多个输入视频帧的某个输入视频帧中的一个或多将所述编码单元或预测单元中的至少一个的信息发送到所述可24.根据权利要求1所述的视频处理装置5将所述编码单元或预测单元中的至少一个的信息发送到可编程硬件编码程硬件编码器被配置为使用所述编码单元或预测单元中的至少一个执行所25.一种非临时的计算机可读存储介质，存储一组可由耦合于可编程硬件编码器的一确定多个输入视频帧的第一信息，所述第一信息包括所述基于所述第一信息，调整所述可编程硬件编码器对所述多个输入其中，所述可编程硬件编码器为第一编码器，控制器配接收第二编码器所使用的编码参数，该编码参数用于编码所述多个调整所述编码参数并将已调整编码参数发送给所述可编件编码器被配置为基于所述已调整编码参数执行所通过可编程硬件编码器对多个输入视频帧执行通过与可编程硬件编码器耦合的控制器，确定所述多个输入视频其中，所述可编程硬件编码器为第一编码器，所述控制接收第二编码器所使用的编码参数，该编码参数用于编码所述多个调整所述编码参数并将已调整编码参数发送给所述可编件编码器被配置为基于所述已调整编码参数执行所6[0002]本申请要求优先于2019年5月26日提交的第62/853,049号美国临时专利申请，并[0003]本发明主要涉及视频处理，特别是人工智能(AI)辅助的可编程硬件视频编解码器可以作为运行在一个或多个中央处理单元(cpu)上的软件实现。许多商业应用程序机可读介质,并被一个或多个处理器执行,所述计算机可读介质被配置并适于履行和执行或多个处理器执行，这些处理器配置为基于用逻辑和指令编写的软件指令的专用处理器，[0009]所公开实施例的附加对象和优点将部分在下列描述中阐7[0010]需要理解的是，如上所述的一般描述和下面的详细描述都只是示例性和解释性[0015]图4B示出与本申请实施例一致的控制器和可编程硬件编码器的交互作用的原理[0017]图6是与本申请公开的实施例一致的使用语义分割来指导编码处理的过程的流程[0018]图7是与本申请公开的实施例一致的示出在转码处理中估计计算复杂度的过程的[0019]图8是与本申请公开的实施例一致的说明在转码处理中映射编码参数的过程的示[0020]图9是与本申请公开的实施例一致的说明在转码处理中增强像素的过程的示意[0021]图10是与本申请公开的实施例一致的示出在并行编码处理中映射编码参数的过[0022]图11是与本申请公开的实施例一致的示出在已解码的视频数据中执行视频稳定[0023]图12是示出适用于图1中的人工智能辅助和基于硬件的视频处理系统的示例AI控8集设备(如摄影机)可以用来以一个时间序列来捕获和储存这些图片,而视频播放设备(如或多个微处理器、数字信号处理器(DSPs)、专用集成电路(ASIC)、现场可编程门阵列[0032]基于硬件的编解码器是专门为执行特定的视频编码和/或解码过程而设计的专用但是传统的基于硬件的编解码器的功能不能被重新编程以提供新的特性或适应[0034]根据某些公开的实施例，图1示出AI辅助和基于硬件的视频处理系统100的原理9的输入数据130或输出数据140。AI算法122可能包括但不限于机器学习算法、人工神经网[0036]在某些公开的实施例中，控制器120可执行AI算法122以确定编码或解码决策150[0037]在某些公开的实施例中，控制器120还可以执行AI算法122以从输入数据130或输编码器200可以作为系统100中可编程硬件编解码器110的一部分(图1)。视频编码器200可[0040]空间预测单元260使用包含当前CU的同一图片/切片上的信息对当前CU执行空间内部预测或运动补偿预测)可以使用来自已编码视频图像的样本来预测当前视频块。时间[0041]时间预测单元262使用与包含当前CU的图片/片段不同的图片/片段信息对当前CU索引可用于识别参考图像来自参考图像库或解码图像缓冲区(DPB)264中的哪个参考图像，将所述重构视频块放入参考图像库264并用于编码未来视频块之前，可以对其进行循环滤[0043]图3示出与公开的实施例一致的示例性硬件解码器300可以在系统100中用作可编程硬件编解码器110(图1)。请参考图3，视频比特流考图片库364中的所述重建视频可用于驱动显示设备或用于预测后续视频块。已解码视频执行的编码处理，访问可编程硬件解码器300执行的解码处理(图3)。控制器120可以从编[0047]图4A示出与公开的实施例一致的控制器120与可编程硬件编码器200相互作用的运动向量等)。控制器120可以将所述非像素信息作为编码器输入202提供给可编程硬件编可以执行人工智能算法以提取非像素信息(如编码处理中使用的预测模式和运动向量)作[0048]图4B是示出与本申请公开的实施例一致的控制器120与可编程硬件解码器300相编码视频帧中出现的错误的信息)提供给可编程硬件编码器200，使可编程硬件解码器300算速率失真。控制器120可以根据已接收的估算运动向量或估算速率失真确定优化编码模式或优化运动向量。控制器120将优化后的编码模式或优化后的运动矢量发送到可编程硬[0053]作为另一个例子，控制器120可以为可编程硬件编码器200提供一个编码树单元[0054]在某些实施例中，控制器120可以为可编程硬件编码器200识别输入视频帧中的码器200被规划为对ROI区域使用更高的图像质量(即更高的计算复杂度)，对非ROI区域使照图5，控制器120接收到某个输入视频帧(步骤502)，并识别输入的视频帧中是否有任何述分割的信息作为编码器输入提供给可编程硬件编码器200，该编码器可以根据所述分割分割边界周围使用较小的CU/TU，而在分割内部使用较大的CU/TU(除非所述分割是一个非制器120可以将分割图的信息发送给可编程硬件编码器200，并对可编程硬件编码器200编解码所述先前编码的位流时，控制器120从解码器接收示出用于编码视频帧的比特数和平接收到指示用于视频帧的至少一种初始运动向量或初始编码模式的信息。控制器120然后制器120可以接收并行视频编码处理中所涉及的第一个可编程硬件编码器所使用的编码参以将从第一个可编程硬件编码器接收的编码参数映射到并行视频编码过程中涉及的其他200中的所述编码处理。具体地说，控制器120可以确定多个输入视频帧中的第一非编码I[0064]在一些实施例中，控制器120可以使用人工智能算法(如强化学习算法)来分析可预算发送给可编程硬件编码器200，后者根据相应的比特预算对所述多个输入视频帧进行多个参考帧的信息发送到可编程硬件编码器200，后者使用该一个或多个参考帧对所述多以根据所述输入视频帧的分割设置编码单元或预测单元中的至少一个。控制器120还可以进一步将所述编码单元或预测单元的至少一个信息发送给可编程硬件编码器120，后者使用所述编码单元或预测单元的至少一个执行编[0067]在一些实施例中，控制器120可以使用已解码信息(即解码器输出)来实现视频稳个编码块相关联的多个运动向量(步骤1102)。控制器120可以根据所述多个运动向量为所制器120推断所述已编码帧对应的所述图像可以正常显示(步骤1106)。如果全局运动参数表明存在全局运动，控制器120可以进一步确定已解码数据中是否存在摄像机抖动(步骤[0068]在某些实施例中，控制器120可以使用解码信息(即解码器输出)跟踪已解码视频经网络处理单元(NPU)。如图12所示，AI控制器1200可以包括多个内核1202、命令处理器1204、直接存储器访问(DMA)单元1208、JTAG(联合测试工作组)/TAP(测试访问端)控制器一个或多个处理单元，配置为基于从命令处理器1204接收到的命令执行一个或多个操作[0072]命令处理器1204可以与主机1220交互，并将命令和数据传递到相应的内核120在某些实施例中，命令处理器1204可以在核心模式驱动程序(KMD)的监控下与主机进行交器1204可被配置为协调一个或多个内核1202[0073]DMA单元1208可以协助在主机存储器1221和AI控制器1200之间传输数据。例如，元1208还可以协助在多个AI控制器之间传输数据。DMA单元1208可以允许片外设备访问片第二个DMA单元，可以用于与其他AI控制器之间的数据传输，以允许多个AI控制器直接通[0074]JTAG/TAP控制器1210可以指定一个专用的调试端口，实现串行通信接口(例如，[0076]总线1214(如I2C总线)即包括芯片内总线也包括芯片间总线。芯片内总线根据系可以管理来自另一个AI控制器的内核(例如，来自另一个AI控制器对应的DMA单元)或来自O)设备)、传输单元的大小、一个字符串的字节数或存储控制器的其他典型特征的某种组各种处理架构，如神经网络处理单元(NPUs)、图形处理单元(GPUs)、现场可编程门阵列[0087]第二操作单元1322可以配置为执行调整大如本文所述的缩放运算，ROI区域运算[0088]内存引擎1324可以被配置为在相应的内核1202内或两个内核之间执行数据复核1202的组件。例如，序列发生器1326可以将卷积命令或乘法命令分发到第一运算单元根据存储在指令缓冲区1328中的指令在顺序发生器1326的控[0090]指令缓冲区1328可以被配置为存储相应的内核1202所属的指令。在某些实施例[0091]常量缓冲区1330可以配置为存储常量值。在某些实施例中，存储在常量缓冲区1330中的常量值可以被操作单元——如第一操作单元1320或第二操作单元1322——用于[0093]本发明公开的视频处理系统的AI计算架构不限于以上描述的AI控制器1200架例如,人工智能算法可以托管在一个服务器，某个数据中心的一个或多个节点在,台式电通用处理单元上，例如中央处理单元(CPU)、图形处理单元(GPU)或通用图形处理单元[0094]此外，本发明披露的视频处理系统的人工智能计算还可以以云计算的形式实何其他光学数据存储介质，任何打孔的物理介质,RAM,PROM,EPROM,FLASH-EPROM或者其他或硬件和软件的组合来实现。该领域的普通技术人员也会理解以上描述的多个模块/单元可编程硬件编码器被配置为使用初始运动向量和所述搜索范围执[0111]所述多个输入视频帧中的某个输入视频帧中的ROI区域信息，且所述控制器被配[0113]配置所述可编程硬件编码器，以使用第一计算复杂度对ROI区域进行编码，并以频转码处理中由解码器生成，所述控制器被配置为执行所述指令集以使所述视频处理装[0121]根据所述比特数或平均量化参数中的至少一个，确定输入视可编程硬件编码器被配置为基于所述已调整编码参数执行[0139]配置所述可编程硬件编码器，以根据所述已确定图像质量对输入视频帧进行编编程硬件编码器配置为根据所述编码模式或运动向量中的至件编码器被配置为根据编码树单元结构对输入的视频[0159]基于所述多个输入视频帧的相似度，为多个输入视频帧中的编码器被配置为使用所述一个或多个参考帧对[0170]将所述编码单元或预测单元中的至少一个的信息发送到所述可编程硬件编码器配置为使用所述编码单元