CN114155152B 一种基于历史特征融合的实时超分辨率重建方法及系统 （芯动微电子科技(珠海)有限公司）

US2016071007A1,2016.03.10一种基于历史特征融合的实时超分辨率重本发明公开了一种基于历史特征融合的实征提取是基于对历史帧进行运动补偿之后的图2对历史帧中的每一帧，与当前帧进行拼接后，使用无激活函数的卷积对运动补偿之后的历史帧进行非线性特征提取，得到历史帧的运动补偿之后的N幅非将历史帧的运动补偿之后的N幅非线性特征图和当前帧的非线性特征图拼接后，进行基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧根据实时的运动数据，渲染在初始分辨率和目标分辨率下的输出录利用训练集中初始分辨率和目标分辨率的图像数据，根据预设的损失函数计算损失值，在所述损失值和/或所述训练集的准确率和/或所述测试集的准确率达到预设标准时，非线性特征融合模块，用于将运动补偿之后的非线性特征图与当前3所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理8.一种计算机可读存储介质，所述计算机可读存储介质4法为代表的超分辨率方法虽然对算力的要求不高，但是其本质还是对局部进行色彩填充，5辨率网络RTSR2(Real-timeSuperResolutionII)仅需要DUF网络1/的超分辨率重建造成至少N帧的延迟。本发明提出的RTSR2网络仅利用当前帧和历史N帧渲6[0030]如图1所示，本发明实施例的基于历史特征融合的实时超分辨率重建方法包括如77:3的比例划分为训练集和测试集，同时将训练集中初始分辨率数据对应的目标分辨率数[0040]在一些实施方式中，使用非线性函数激活的卷积核对运动补偿之后的历史帧F’性函数激活的卷积核对当前帧F(i)进行非线性特征提取，获得当前帧F(i)的非线性特征[0041]在一些实施方式中，使用无激活函数的卷积核对当前帧F(8[0045]下面结合具体的实例对本发明的基于多帧融合的实时超分辨率重建方法进行详进行线性卷积提取特征备用，使用激活函数AFunc对当前帧进行卷积核大小为k*k的n核卷积、卷积核大小为k*k的3au2核卷积提取非线性活函数AFunc对F’(i-t)进行卷积核大提取得到历史帧F(i-t)的运动补偿之后的非线性特[0047]将历史N帧F(i-1)～F(i-N)的运动补偿之后的非线性特征图和当前帧F(i)的非线性特征图拼接后再次使用激活函数AFunc进行卷积核大小为k*k的n核卷积、卷积核大小为k*k的3au2核卷积得到所有非线性特征，将此非线性特征图与当前帧的线性特征相加后再足≥1即可)，在进行线性和非线性卷积的过程中，基本卷积核数量n不限定值(一般取n=9的高分辨率图像，然后将预测得到的高分辨率图像与训练集的目标分辨率图像(例如再重复上述计算过程，不断迭代直至损失值以及训练集和测试集的准确率均达到预设标[0056]测试集的准确率与真实场景中的准确率近似，可以预见到真实场景下的模型表低频信息丰富的特征图，接来下进行像素重排以恢复特征图为待重建的图像分辨率尺寸，最后对像素重排后的图像进行特征的进一步修正得到当前帧的超分辨率[0069]将历史帧F(i-1)和F(i-2)的运动补偿之后的非线性特征图和当前帧F(i)的非线包含1层卷积核大小为3*3的3核线性卷积的特征修正模块，得到超分辨率帧的实时重建结染王者荣耀游戏获得流畅稳定的高分辨率高画质实时结果的同时保持原生渲染540P的低和第三数据集按照预定的比例划分为训练集和测试集。例如，用于输入为1080P、输出为7:3的比例划分为训练集和测试集，同时将训练集中初始分辨率数据对应的目标分辨率数线性函数激活的卷积核对当前帧F(i)进行非线性特征的提取，得到当前帧的非线性特征图。非线性特征提取模块还用于使用非线性函数激活的卷积核对运动补偿之后的历史帧F’[0085]网络模型构建模块还包括非线性特征融合模块，用于将运动补偿之后的N幅非线线性特征图和当前帧的线性特征图叠加并进行像素重排(PixelShuffle)，得到当前帧的[0095]在一些实施方式中，预设标准包括：训练集的损失值≤1[0097]图7为根据本申请一实施例的电子设备的结构框图。本申请实施例还提供了一种者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field[0101]本申请实施例提供了一种计算机可读存储介质(如上述的存储器703)，其存储有领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特一个或多个(两个或两个以上)用于实现特定逻辑功能或过程的步骤的可执行指令的代码备而使用。熟悉本技术领域的技