CN119399805A 基于文本控制的人脸遮挡融合方法、系统及可读存储介质 （盛视科技股份有限公司）

道莲花一村社区彩田路7018号新浩壹本申请公开一种基于文本控制的人脸遮挡标图像；获取包含人脸的背景图像B的下半脸遮型将前景目标融合至背景图像B的下半脸遮挡区2基于下半脸遮挡提示文本和扩散模型将前景目标融合至背景图像B的下半脸遮挡区域对背景图像B进行人脸关键点检测，获得人脸的三个关键点坐标：左眼区域中心点根据所述三个关键点坐标定位出下半脸遮挡区域：下半脸遮挡区域在X轴上的坐标范点纵坐标、右眼区域中心点横坐标、右眼区域中心点纵坐标；y.min＝min(right.y,基于下半脸遮挡提示文本驱动扩散模型对前背景编码图像进行去噪解码获得下半挡提示文本驱动扩散模型对背景编码图像进行去噪解码获得下半脸遮挡的融合图像S，将背景编码图像下半脸遮挡提示文本信息、前景目标信息输入至扩散模型的叠加其中，下半脸遮挡提示文本信息包括提示文本信息指示的所述背景图像B中的人脸区3分别为时间步为t时l层时网络提取的前景目标图像F和背景区域B的空间特征，背景区域B进行处理时提取的第l层的查询向量和键向量，和kft为时间步为t时UNET网络的注分别为向量kft和的转置；d1和d2分别为(kf"和中的向量维度和华=foxp+⃞O(1-xn)+ZO(X,BXP),4[0007]基于下半脸遮挡提示文本和扩散模型将前景目标融合至背景图像B的下半脸遮挡[0010]根据所述三个关键点坐标定位出下半脸遮挡区域：下半脸遮挡区域在X轴上的坐[0013]获取前景目标图像的编码图像5[0014]对编码图像f和编码图像进行融合获得前背景编码图像If:[0015]基于下半脸遮挡提示文本驱动扩散模型对前背景编码图像进行去噪解码获得[0018]其中，下半脸遮挡提示文本信息包括提示文本信息指示的所述背景图像B中的人脸区域和所述背景图像B的下半脸遮挡区域，前景目标信息为提取的关于前景目标的掩码[0022]其中，t表示扩散模型的去噪求解融合图像S的时间步，l表示UN景区域B进行处理时提取的第l层的查询向量和键向量，和为时间步为t时UNET网络的注意力模块对前景目标图像F进行处理时提取的第l层的查询向量和键向量，(kf)"和[0023]在一申请实施例中，对编码图像和编码图像进行融合获得前背景编码图像为：半脸遮挡区域上的前景图像对应的掩码图且该掩码图中前景目标区域的像素6[0029]本申请还提供一种计算机可读存储介质，所述计算机可基于文本控制的人脸遮挡融合方法能够为模训练型提供丰富等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有[0041]请参照图1，本申请实施例提供的基于文本控制的人脸遮挡融合方法包括如下步7[0044]步骤S300：基于下半脸遮挡提示文本和扩散模型将前景目标融合至背景图像B的[0045]在一实施例中，在一前景图像中进行图像分割获得关于前景目标区域的rgba图[0046]对于步骤S200，获取包含人脸的背景图像B的下半脸遮挡区域包括如下步骤S210心点(righ.x,right.y)和鼻尖轴上的坐标范围为(0,x.up)且在Y轴上的[0057]利用扩散模型对前景目标图像F和背景图像B分别进行编码获得编码图像和编码图像前述编码过程中，是利用扩散模型从0时刻的图像x0到步长t时刻的xt的求解过t,p,0)+底xx0.8[0061]其中，z为高斯噪声，z为由S310中扩散模型扩散过程推演的步长t时刻的噪声图码图像且该掩码图像中主背景区域的像素值为1，XF为融合在下半脸遮挡区域上的前景图像对应的掩码图且该掩码图中前景目标的区域X,B衔接边缘过度区域，z的结合通过利用文本驱动扩散模型的基于文本提示信息的先验知识[0066]其中，下半脸遮挡提示文本信息包括提示文本信息指示的所述背景图B中的人脸[0070]其中，t表示扩散模型的去噪求解融合图像S的时间步，l表示UN景区域B进行处理时提取的第l层的查询向量和键向量，af和为时间步为t时UNET网络的注意力模块对前景目标图像F进行处理时提取的第l层的查询向量和键向量，(kf)"和分别为向量kft和的转置；d1和d2分别为(kf)"和中的向量维度；9和ft为时间步为t时UNET网络的注意力模块对前景目标图像F进行处理时w"