CN113706577B 一种图像处理方法、装置和计算机可读存储介质 （腾讯科技（深圳）有限公司）

用于动作迁移的目标图像和目标图像对应的至和关键点特征信息，确定关键点对应的动作信2获取用于动作迁移的目标图像和所述目标图像对对所述源图像和目标图像进行多维度特征提取，得到所述源图像和所述光流信息用于指示所述关键点从源图像至目标图基于所述光流信息和所述源图像和目标图像中关键点的关键点特征将所述动作信息与外观特征信息进行融合，以得到处理后图像，所所述目标图像中对象的动作迁移至所述源图像根据所述透视变换参数和关键点位置信息，对所述关键点进行透视基于所述关键点透视信息和关键点形变信息，分别构建所述源将所述第一初始透视变换参数与第二初始透视变换参数进行融合，得在所述关键点透视信息中筛选出所述源图像中关键点的第一透视信息和所述目标图在所述关键点形变信息中筛选出所述源图像中关键点的第一形变信息和所述目标图将所述第一透视信息与所述第一形变信息进行融合，得到所述在所述关键点位置信息中分别筛选出所述源图像中关键点的第一位置信息和所述目3采用训练后处理模型对所述融合后源图像信息进行多维度特征提取将所述加权后动作特征信息进行融合，得到所述目标图像中对象的采用预设处理模型对所述源图像样本和目标图像样本中的对根据所述目标动作图像和目标图像样本对所述预设处理4对所述目标动作图像和目标图像样本的尺寸进行调整，以得对所述目标图像样本进行空间变换，并计算所述目标图像样本与将所述特征损失信息与同变性损失信息进行融合，得到所述目标对所述目标图像样本和空间变换后图像进行关键点特征提取，得根据所述第一关键点位置信息和第二关键点位置将所述关键点位置损失信息和关键点形变损失信息作为所述目标图像样本与空间变获取单元，用于获取用于动作迁移的目标图像和所述目标图像对应的至少一张源图提取单元，用于对所述源图像和目标图像进行多维度特征提取确定单元，用于基于所述光流信息和所述源图像和目标图理后图像为将所述目标图像中对象的动作迁移至所述源图像中15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指述处理器用于运行所述存储器内的应用程序以执行权利要求1至13任一项所述的图像处理56标图像中对象的动作迁移至另一张图像，从而在另一张图像中呈现出相同动作序列的效7述处理后图像为将所述目标图像中对象的动作迁移至所述源图像第二初始透视变换参数；将所述第一初始透视变换参数与第二初始透视变换参数进行融息中筛选出所述源图像中关键点的第一透视信息和所述目标图像中关键点的第二透视信源图像的第一初始透视变换参数，并将所述第二透视信息与所述第二形变信息进行融合，别筛选出所述源图像中关键点的第一位置信息和所述目标图像中关键点的第二位置信息；8特征提取，得到所述目标图像样本的关键点特征信息和空间变换后图像的关键点特征信息，所述目标图像样本的关键点特征信息包括第一关键点位置信息和第一关键点形变信键点位置损失信息和关键点形变损失信息作为所述目标图像样本与空间变换后图像的同[0032]本申请实施例在获取用于动作迁移的目标图像和目标图像对应的至少一张源图9[0046]其中，本申请实施例提供的图像处理方法涉及人工智能领域中的计算机视觉方一步进行图像处理，使图像经过计算机处理成为更适合人眼观察或传送给仪器检测的图[0055]其中，目标图像为动作迁移提供对象的关键点对应的动作信息(姿态信息)的图中和均为1×2矩阵。在关键点形变信息中筛选出源图像中关键点的第一形变信息和目标图像中关键点的第二形变信息，比如，在Jk中筛选出源图像(S)对应的和目标图像充公式如下公式(1)所示，将和分别作为源图像(S)的第一初始透视变换参数和目标[0069]将第一初始透视变换参数与第二初始透视变换参数进行融合，得到透视变换参在关键点位置信息中分别筛选出源图像中关键点的第一位置信息和目标图像中关键点的k中筛选出源图像(S)中关键点的第一位置信息和目标图像(D)[0073]其中，为透视变换操作后得到的初始光流信息，为关键点的光流信息，为满足的单位光流信息，代表反向扭曲(backwardwarping)操变换。[0084]例如，基于每对关键点所对应的稀疏动作场(sparsemotionfield)的反向光流对每一源图像进行扭曲(warping)操作，从而得到K个扭曲图像S的稠密动作网络(DenseMotionNetwork，DM)对融合后源图像信息进行多维度特征[0100](2)采用预设处理模型对源图像样本和目标图像样本中的对象进行动作迁移，得[0102](3)根据目标动作图像和目标图像样本对预设处理模型进行收敛，得到训练后处像样本之间的特征损失信息，特征损失信息的计算过程可以如公式(7)所示，具体可以如到pk和Jk，在pk中筛选出目标图像样本的作为间变换后图像的作为第二关键点位置信息，在Jk中筛选出目标图像样本的作为第一[0112]将关键点位置损失信息和关键点形变损失信息作为目标图像样本与空间变换后[0113]将特征损失信息与同变性损失信息进行融合，得到目标图像样本的目标损失信络参数进行更新的算法可以为梯度下降算法或OF(TS-o)(11)F表示反向扭曲T-o为姿态信息。′些外观特征，用于学习源图像S(n)与目标图像D各像素之间的相关性，通过软最大化处理A而为加权参数。光流基于每对关键点所对应的稀疏动作场的反向光流对源图像S进行了扭曲案对目标图像和源图像的关键点进行透视变换来表征动作，可以准确的捕捉局部动作细数据库或网络中获取一张包含对象动作的目标图像样本和目标图像样本对应的至少一张[0137](2)服务器采用预设处理模型对源图像样本和目标图像样本中的对象进行动作迁[0139](3)服务器根据目标动作图像和目标图像样本对预设处理模型进行收敛，得到训[0140]例如，服务器可以将目标动作图像和目标图像样本被缩放至原始分辨率的1.0、[0141]服务器对目标图像样本(D)执行一项已知的空间变换比如，空间变换可以本和空间变换后图像的关键点进行特征提取，得到pk和Jk，在pk中筛选出目标图像样本的作为第一关键点位置信息，并在pk中筛选出空间变换后图像的作为第二关键点位置k中筛选出目标图像样本的JR作为第一关键点形变信息，在Jk中筛选出空间变换采用公式(8)计算出关键点位置损失信息。根据第一关键点形变信息和第二关键点形变信张包含对象动作的图像为目标图像，在爬取至少一张其他图像作为目标图像对应的源图息作为关键点特征信息。服务器采用外观特征网络(G)的编码网络对源图像的外观特征进的扩充公式如下公式(1)所示，将和分别作为源图像(S)的第一初始透视变换参数和信息和目标图像(D)中关键点的第二位置信息pf。将单位光流信息、第二位置信息变换操作具体可以参见公式(3)和公式(4[0159]例如，服务器采用稠密动作网络(DM)对融合后源图像信[0166]获取单元301，用于获取用于动作迁移的目标图像和目标图像对应的至少一张源[0175]确定单元304，用于基于光流信息和关键点特征信息，确定关键点对应的动作信处理后图像为将目标图像中对象的动作迁移至源图像[0184]由以上可知，本实施例在获取单元301获取用于动作迁移的目标图像和目标图像[0186]该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上[0187]处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401[0188]存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402案对目标图像和源图像的关键点进行透视变换来表征动作，可以准确的捕捉局部动作细机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存