CN114596339B 一种帧处理设备、方法及帧处理器 （联发科技股份有限公司）

US2020327639A1,2020.US2017353666A1,2017本发明公开了帧处理设备、方法及帧处理估计当前帧和先前帧之间的运动数据；变形电帧，当所述当前帧和所述变形后的先前帧一致2变形电路，耦接至所述运动估计电路，被配置基于所述运动数据耦接到所述临时决定电路的帧处理器，被配置为处理包括超分辨率和抗混叠引擎，被配置为增强训练帧的分辨率并消除所述训练帧的混叠伪关注参考帧生成器，耦接到所述超分辨率和抗混叠引擎，被配置为基于人工智能神经网络，耦接到所述关注参考帧生成器，被配置帧融合引擎，耦接到所述临时决定电路，被配置为融形后的所述先前帧连接到所述当前帧来融合所述当前帧和所述变形后的所生成输出帧，当所述当前帧和所述变形后的先前帧一致时，所处理包括所述当前帧和所述变形后的先前帧的所述输出帧，以消除3增强训练帧的分辨率并消除所述输出帧的混叠伪像，以生成具有4[0003]图像(image)或帧(frame)可以显示在移动电话上。所述帧可以包括通过互联网[0008]图1根据本发明的一些实施例示出了示例性的虚拟高分辨率图像110如何被显示[0009]图2根据本发明的一些实施例示出了示例性的三角形110如何能够在应用了MSAA[0010]图3根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性5[0011]图4根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性[0012]图5根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性[0013]图6根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性[0014]图7根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在此包含任何直接及间接的电性连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电性连接于该第二装置，或通过其它装置或连接手段间接地电性连接至该第二装置。以下所述为实施本发明的较佳方式，目的在于说明本发明的精神[0017]超分辨率(Super-Resolution，SR)技术可以从低分辨率所述低分辨率图像可由包括的传感器数量不足的图像捕获设备捕获。抗混叠(Anti-将分辨率被增强后的帧与消除了混叠伪像的帧进行比较，以生成关注参考帧(attention6如像素分辨率(pixelresolution)，空间分辨率(spatialresolution)，时间分辨率(temporalresolution)和光谱分辨率(spectralresolution)。空间分辨率可能会受到图图像将具有失真伪影或锯齿状边缘(称为混叠)，每当使用位于精确行(row)和列(column)[0020]图1根据本发明的一些实施例示出了示例性的虚拟高分辨率图像110如何被显示在低分辨率的光栅显示器100上。显示器100可以具有位于行和列中的多个像素120。十字形110覆盖，也不会为具有取样点130A的像素120A生成片段；当取样点130B被三角形110覆[0021]抗混叠是一种通过以比预期最终输出速率高的速率对图像进行过取样从而消除(MultisampleAnti-Aliasing，MSAA)是为解决出现在三角形110边缘的混叠而提出的超取发明的一些实施例示出了示例性的三角形110如何能够在应用了MSAA的情况下显示在低分角形110仅覆盖两个子取样点230C时，具有取样点230C的像素120C将具有比像素120B暗的7其中所述五个子取样点中的四个分别与其他四个其他像素共享。随着子像素数量的增加，计算变得昂贵并且需要大的内存。MSAA可以通过诸如卷积加速器和图形处理单元为加速旨在输出到显示器的图像在图像缓冲区中的创建，以便从中央处理器(CPU)上卸除和图块中间状态)存储到主存储器中，这将牺牲(compromise)一部分用于图像缓冲区数据[0023]图3根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性[0024]运动估计电路310可以接收至少包括当前帧和一先前帧的多个连续图像或帧。例率信号并具有混叠特性。作为另一示例，当前帧和先前帧可以是由移动电话的处理器(例资料可以包括先前帧移动到当前帧的方向以及从先前帧移动到当前帧需要多远(例如，多间的运动数据的神经网络。在另一实施例中，运动估计电路310可以使用绝对差之和(Sum8得变形后的先前帧与当前帧对齐。例如，变形电路320可以基于运动数据将先前帧的结构像素，然后再沿着列插入，以将先前帧中最接近S的四个像素的双线性函数(bilinear定电路330可以进一步耦接到运动估计电路310，并且当运动数据等于或超过运动阈值时，可以通过逐信道(channel-wise)方式将变形后的先前帧连接到(concatenate)当前帧。作变形后的先前帧也可以由变形电路320生成并且在变形后的先前帧与当前帧一致时被输出[0028]图4根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性9强低分辨率帧的分辨率，并使用低分辨率帧增强后的分辨率消除低分辨率帧的混叠伪像，其中仅关注低分辨率帧中与包括在关注参考帧中的关键信息相对应的一部分来增强所述[0029]图5根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性擎501耦接的关注参考帧生成器430以及AINN440。SR和AA引擎501可以生成具有混叠伪像两个帧(具有混叠伪像的帧和AA引擎520消除混叠伪像的帧)将透过SR引擎510增强它们的分辨率，由此得到具有混叠伪像的第一高分辨率帧和消除了混叠伪像的第二高分辨率帧。关注参考帧生成器430可基于增强分辨率的帧(也即，具有混叠伪像的第一高分辨率帧)和参考帧生成器430可以将增强分辨率的帧和消除抗混叠的帧进行比较以捕获增强分辨率的[0030]图6根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性训练后的AI神经网络)以生成消除了混叠伪像的AA帧或AA+S[0034]图7根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性法步骤。方法700的各方面可以由前面基于附图示出或描述的帧300处理器400和500来实[0035]在步骤710，接收具有混叠伪像的第一高分辨率帧和混叠伪像被消除的第二高分率帧的原始输入可为在训练AI神经网络的阶段提供至SR和AA引擎501所生成的输出帧)和所述关注参考帧来训练A330和帧融合电路340可以包括被配置为与软件结合或在没有软件的情况下执行本文描述电路(ApplicationSpecificIntegratedCircuit，ASIC)，可编程逻辑器件(ProgrammableLogicDevice，PLD)，现场可编程门数组(FieldProgrammable动估计电路310，变形电路320，临时决定电路330和帧融合电路340