CN113947528B 一种基于多帧融合的实时超分辨率重建方法及系统 （芯动微电子科技(珠海)有限公司）

一种基于多帧融合的实时超分辨率重建方本发明公开了一种基于多帧融合的实时超2对历史帧进行非线性特征提取，使用非线性函数激活的卷积核补偿每一将补偿后的非线性特征图与当前帧的非线性特征图拼接后，使用基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧4.如权利要求1至3中任一项所述的超分辨率重建方法，其特根据实时的运动数据，渲染在初始分辨率和目标分辨率下的输出录利用训练集中初始分辨率和目标分辨率的图像数据，根据预设的损失函数计算损失值，在所述损失值和/或所述训练集的准确率和/或所述测试集的准确率达到预设标准时，非线性特征提取模块，用于对当前帧进行非线性特征提取，获3所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理9.一种计算机可读存储介质，所述计算机可读存机指令被处理器执行时实现如权利要求1至6中任一项4法为代表的超分辨率方法虽然对算力的要求不高，但是其本质还是对局部进行色彩填充，5集的准确率为训练集中利用网络模型实现从初始分辨率到目标分辨率重构的像素点数占到目标分辨率重构的像素点数占测试集的像素线性特征提取，还用于使用非线性函数激活的卷积核对当前帧的前N帧分别进行非线性特线性函数激活的卷积核补偿当前帧的前N帧中的每一帧与当前帧的帧间运动，获得补偿后模块用于将补偿后的N幅非线性特征图与当前帧的非线性特征图拼接后，使用非线性函数征融合后的非线性特征图和当前帧的线性特征图叠加并进行像素6[0031]2.每帧超分所需要算力小。例如，将(540*96明的技术方案执行相同任务所需算力约仅为DUF7[0042]如图1所示，本发明实施例的基于多帧融合的实时超分辨率重建方法包括如下步7:3的比例划分为训练集和测试集，同时将训练集中初始分辨率数据对应的目标分辨率数[0050]在一些实施方式中，使用无激活函数的卷积核对当前帧F(i)进行线性特征提8[0051]在一些实施方式中，使用非线性函数激活的卷积核补偿当前帧的前N帧中的每一的高分辨率图像，然后将预测得到的高分辨率图像与训练集的目标分辨率图像(例如再重复上述计算过程，不断迭代直至损失值以及训练集和测试集的准确率均达到预设标9[0063]测试集的准确率与真实场景中的准确率近似，可以预见到真实场景下的模型表[0067]下面结合具体的实例对本发明的基于多帧融合的实时超分辨率重建方法进行详时使用tanh函数激活的卷积核对前2帧F(i-2)和F(i-1)分别进行非线性特征的提取，并使用tanh函数激活的卷积核补偿当前帧之前的2帧中的每一帧与当前帧的帧间运动。完成特征提取和运动补偿之后，将3幅非线性特征图拼接后使用tanh函数激活的卷积核进行非线性特征融合，特征融合后的非线性特征图和当前帧的线性特征图叠加并进行像素重排[0073]本步骤采用了当前帧和历史N帧进行特征提取(N满足≥1即可)，在进行线性和非线性卷积的过程中，基本卷积核数量n不限定值(一般取n＝2a，a≥4或n＝3a*u2，a为正整由16个3x3的tanh激活的卷积核构成的卷积层进行非线性的特征融合，与当前帧的线性特的3x3卷积核构成的卷积层进行特征修正后得到最终超分辨率[0078]采用步骤1构建的数据集对前述模型使用反向传播算法进行训练，迭代直到损失染王者荣耀游戏获得流畅稳定的高分辨率高画质实时结果的同时保持原生渲染540P的低和第三数据集按照预定的比例划分为训练集和测试集。例如，用于输入为1080P、输出为7:3的比例划分为训练集和测试集，同时将训练集中初始分辨率数据对应的目标分辨率数的非线性特征图和当前帧的线性特征图叠加并进行像素重排(PixelShuffle)，得到当前[0097]在一些实施方式中，预设标准包括：训练集的损失值≤1[0099]图7为根据本申请一实施例的电子设备的结构框图。本申请实施例还提供了一种者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field[0103]本申请实施例提供了一种计算机可读存储介质(如上述的存储器703)，其存储有领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特一个或多个(两个或两个以上)用于实现特定逻辑功能或过程的步骤的可执行指令的代码备而使用。熟悉本技术领域的技术人员在本申请