CN114638754B 一种虚拟试衣视频生成方法、装置、设备及介质 （北京奇艺世纪科技有限公司）

本申请实施例提供了一种虚拟试衣视频生取该视频帧的上一视频帧与该视频帧之间的光该视频帧对应的光流信息对该视频帧对应的第对应的第二像素坐标图，生成一个变形衣服图2获取待试衣视频和第一像素坐标图序列，所述第一像针对所述待试衣视频中的每一视频帧，获取该视频帧的上一针对所述待试衣视频中的每一视频帧，基于该视频帧对应的光基于所述待试衣视频中的每个视频帧对应的第二像素坐标图，生成一个变形衣服图基于所述变形衣服图像序列和所述待试衣视频生成所述针对所述待试衣视频中的每一视频帧，基于该视频帧对应的光流所述基于该视频帧对应的光流信息对所述第括:将该视频帧的上一视频帧对应的第一像素坐标图转根据所述第三向量和该视频帧与上一视频帧之间的光流信息′当所述差值小于或等于预设阈值时，使用所述预测向量对所述第一向量进行矫正计针对所述待试衣视频中每一视频帧，获取该视频帧的第一关键点3背景区域图像和待试穿衣服图像输入变形warp模块得到该将所述变形衣服图像序列、所述待试衣视频的第一关键点图像第一获取模块，用于获取待试衣视频和第一像素坐标图序列第二获取模块，用于针对所述待试衣视频中的每一视频帧矫正模块，用于针对所述待试衣视频中的每一视频帧，基于该第二生成模块，用于基于所述变形衣服图像序列和所述待试衣视频生成虚拟试衣视矫正模块，具体用于：将该视频帧的上一视频帧对应的第一像素坐标8.一种计算机可读存储介质，其特征在于，所4[0003]然而，目前生成的每一张变形衣服图像都是根据原始视频中的单个视频帧得到5)ft-1表示第t-1帧视频帧对应的第一[0023]在一种可能的实现方式中，所述基于所述预测向量对所述第一向量进行矫正计频中的人物姿态，所述背景区域图像包括所述待试衣视频中除待试衣区域之外的背景区图像、背景区域图像和待试穿衣服图像输入变形warp模块得到该视频帧的第一像素坐标[0036]第一生成模块，用于基于所述待试衣视频中的每个视频帧对应的第二像素坐标6[0053]本申请实施例提供了一种虚拟试衣视频生成方法，该方[0054]其中，Warp模块101用于基于待试穿衣服图像和待试衣视频生成待试衣视频包括(appearance-flow-basedwarp)方法可以学习待试穿衣服图像中的像素点与每一视频帧[0055]矫正模块102，用于对Warp模块101生成的每一视频帧对进而Warp模块101还用于基于矫正后的每一视频帧对应的像素坐标图对于待试穿衣服图像7[0057]基于图1所示的装置，以下对本申请实施例提供的虚拟试衣视频生成方法进行详[0058]本申请实施例提供了一种虚拟试衣视频生成方法，该方个视频帧的待试衣区域与待试穿衣服图像的像素点之间的映射服图像为用户选择的要进行虚拟试穿的衣服在平铺8点图像为包含人体关键点的pose图像，第二关键点图像为包含人体各部位形状的关节的关键点的人体姿态识别算法，Densepose算法是一种2D人体图像转换为3D人体图像[0073]背景区域图像为通过将待试衣视频中每一视频帧的人像的待试衣区域处理为同[0075]本申请实施例中，可以得到待试衣视频中的每一视频帧这些第一像素坐标图可组成第一像素坐标图序列。[0084]第二关键点图像序列为待试衣视频的每一视频帧对应的第二关键点图像组成的9算机视觉国际会议上被提出的一种特征保留虚拟试穿网络(CP-VTON)，VITON-HD是一种基[0090]一种实现方式中，可以通过重塑(reshape)函数将第一像素坐标图转换为一维向)ft-1表示第t-1帧视频帧对应的第一[0102]δt＝衣视频中t-1帧到t帧的光流信息得到的光流预测函数，δt表示第t帧视频帧对应的第一像素坐标图的第一向量与第t帧视频帧对应的预测向量之间的差值，ε表示差值δt的预设阈值，Ω表示待试衣视频中第t帧视频帧中衣服区域和第一像素坐标图的变形衣服图像的重t帧视频帧对应的第一像素坐标图的第一向[0106]当差值δt小于或等于预设阈值ε时，使用预测向量对第一像素坐标图的第一向量[0109]使用该公式时，只对第一像素坐标图中属于重合区域Ω的点的像素坐标进行矫)ft-1表示第t-1帧视频帧对应的第一背景区域图像和待试穿衣服图像输入变形warp模块得到该[0144]上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandard[0147]上述的处理器可以是通用处理器，包括中央处理器(CentralProce简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessor，简称DSP)、专用集成电路(ApplicationSpecific