CN115100337B 一种基于卷积神经网络的全身人像视频重照明方法和装置 （北京邮电大学）

一种基于卷积神经网络的全身人像视频重本申请公开了一种基于卷积神经网络的全像帧和目标照明场景输入至预先训练的图像处型用于将图像帧和目标照明场景渲染为目标照2将所述待处理视频图像的多个图像帧和目标照明场景输入至预先训练的图像处理模其中，所述预先训练的图像处理模型包括第一卷积神经网络述将所述待处理视频图像的多个图像帧和目标照明场景输入至预先训练的图像处理模型，将所述图像帧中的每个图像帧逐帧输入至所述第一卷将相邻的多个图像帧的人像反照率图像和法线贴图以及所述目标照明环境图同时输对所述图像帧中的背景图像和所述多个重照明帧进行合成，生成所述渲染图像帧序将两种不同照明场景下的视频图像数据分别输入至预先构建的第一初始卷积神经网计算所述两种不同照明场景下的视频图像数据对应的反照率图像和法线贴图的欧式将所述反照率图像和法线贴图的欧式空间距离和所述特征空间距离共同作为损失函根据所述帧间注意力机制对预先构建的多个第二初始卷积神经网络进行时间一致性将所述两种照明场景下的任一种照明场景下对应的所述相邻的多个图像帧的人像反基于所述多个重照明帧和所述相邻的多个图像帧的目标照明环境图对多个所述第二渲染模块，用于将所述待处理视频图像的多个图像帧和3其中，所述预先训练的图像处理模型包括第一卷积第一输入单元，用于将所述图像帧中的每个图像帧逐第二输入单元，用于将相邻的多个图像帧的人像反照率图合成单元，用于对所述图像帧中的背景图像和所述多个重照明渲染图像帧序列。第二获取模块，用于获取训练数据，所述训练数据包括第一输入模块，用于将两种不同照明场景下的视频计算模块，用于计算所述两种不同照明场景下的视频线贴图的欧式空间距离，以及所述第一初始卷积神经网络的卷积层特征图的特征空间距第一训练模块，用于将所述反照率图像和法线贴图的欧式空间编码模块，用于根据所述帧间注意力机制对预先构第二输入模块，用于将所述两种照明场景下的任一种照明场个图像帧的人像反照率图像和法线贴图同时分别输入至所述多个第二初始卷积神经网络，第二训练模块，用于基于所述多个重照明帧和所述相邻图对多个所述第二初始卷积神经网络进行训练，得到训练后的多个所述第二卷积神经网其中，所述处理器被配置为执行所述指令，以实现如权利要求145[0012]将所述待处理视频图像的多个图像帧和目标照明场景输入至预先训练的图像处6渲染为所述目标照明场景下的所述渲染图像帧，并对所述渲染图像帧进行时间一致性处[0015]将所述图像帧中的每个图像帧逐帧输入至所述第一卷积神经网络进行去光照处[0016]将相邻的多个图像帧的人像反照率图像和法线贴图以及所述目标照明环境图同[0020]将两种不同照明场景下的视频图像数据分别输入至预先构建的第一初始卷积神经网络，分别得到所述两种不同照明场景下的视频图像数据对应的反照率图像和法线贴[0021]计算所述两种不同照明场景下的视频图像数据对应的反照率图像和法线贴图的[0022]将所述反照率图像和法线贴图的欧式空间距离和所述特征空间距离共同作为损[0024]根据所述帧间注意力机制对预先构建的多个第二初始卷积神经网络进行时间一[0025]将所述两种照明场景下的任一种照明场景下对应的所述相邻的多个图像帧的人[0026]基于所述多个重照明帧和所述相邻的多个图像帧的目标照明环境图对多个所述7所述多个第二卷积神经网络之间通过帧间注意力机制编码所述渲染图像帧序列。的多个图像帧的人像反照率图像和法线贴图同时分别输入至所述多个第二初始卷积神经8计算机程序被处理器执行时实现如第一方面中任一项所述的基于卷积神经网络的全身人[0053]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0054]图1为根据本申请实施例的基于卷积神经网络的全身人像视频重照明方法的流程[0057]图4为根据本申请实施例的基于卷积神经网络的全身人像视频重照明装置的结构员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范9使得人眼无法区分生成图像与同一场景相机拍摄图像的差异。真实感的标准主要有三点：在播放时往往能观察到画面部分区域细微的不自然震荡现象,称之为时间不一致性。考虑[0067]下面参照附图描述根据本申请实施例提出的基于卷积神经网络的全身人像视频[0068]图1是本申请一个实施例的基于卷积神经网络的全身人像视频重照明方法的流程渲染图像帧序列。[0081]将相邻的多个图像帧的人像反照率图像和法线贴图以及目标照明环境图同时输[0088]将两种不同照明场景下的视频图像数据分别输入至预先构建的第一初始卷积神[0089]计算两种不同照明场景下的视频图像数据对应的反照率图像和法线贴图的欧式[0090]将反照率图像和法线贴图的欧式空间距离和特征空间距离共同作为损失函数以艺场景下复杂多变的环境照明，包括白光、有色光。通过单目RGB-D(RedGreenBlue-帧B表示上述两组照明环境不同的图像序列，可以构建两组结构相同的第一初始卷积神经[0094]计算帧A和帧B各自对应的反照率图像和法线贴图的欧式空间距离，以及网络A和网络B各自对应的卷积层特征图的特征空间距离，将欧式空间距离和特征空间距离作为损的图像帧编码为1*1的特征向量表示。第一卷积神经网络的解码器通过一系列的转置卷积[0097]根据帧间注意力机制对预先构建的多个第二初始卷积神经网络进行时间一致性[0098]将两种照明场景下的任一种照明场景下对应的相邻的多个图像帧的人像反照率[0099]基于多个重照明帧和相邻的多个图像帧的目标照明环境图对多个第二初始卷积完成后两种照明场景下的任一种照明场景下对应的相邻的多个图像帧的人像反照率图像[0106]渲染模块420，用于将待处理视频图像的多个图像帧和目标照明场景输入至预先释说明也适用于该实施例的基于卷积神经网络的全身人像视频重照明装置，此处不再赘502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息和/或通信单元509而被载入和/或安装到电子设备500上。当计算机程序加载到RAM503并由计算单元501执行时，可以执行上文描述的基于卷积神经网络的全身人像视频重照明方机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0129]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器[0132]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关