CN119516059B 一种文物讲解的aigc视频创作方法 （电子科技大学成都学院）

号US2022319055A1,2022.10.06本发明提供了一种文物讲解的AIGC视频创2获取真人实拍视频，利用交互式分割与追踪模型、视频对象消除模获取文物实拍视频，采用基于纯计算机视觉的3D建模技术对文物基于真人实拍视频，使用人声音轨分割技术将视频的环境声音去将所述人物视频、文物视频和音频数据，进行同步融合，得到基于使用SegmentandTrackAnything模型对真人实拍视频视频的每一帧进行图像分割将生成的图像帧和掩码输入到ProPainter模型，使用SMPLer_X模型对含有人体数据的图像帧进行处理，生成每帧图像的点云数据和S2中，使用现场录制的文物讲解视频和四周环绕使用MossFormer2模型对现场录制的文物讲解视频中的音频进行分离和提取，得到不使用语音转文本技术将语音数据转化为能够被TTS模型识33.根据权利要求1所述的文物讲解的AIGC视频创作方法，其特征在于，所述Segment利用Grounding_DINO根据文本提示进行开通过DeepAutomaticObjectTracking接收交互式跟踪板块生成的掩码作为参考帧全段落分割：交互式跟踪板块为关键参考帧中的每个对象生成掩码，DeepObjectTracking合并注释兴趣对象分割：利用Grounding_DINO根据预定文本提示检测新N＝T0*S；互式跟踪板块标注结果；只有在交互式跟踪板块的标注和DeepAutomaticObject确定新对象的标准是基于每个对象在交互式跟踪板块的标注结果S和新对象掩码N之s代表在S中的物体尺寸,xn代表在N中的物体尺寸,t代表定义新对象的最小阈s和xn的比例大于t,则该对象将被定义为新对象。循环光流补全：ProPainter使用一个循环网络来完成遮罩区该网络采用可变形对齐，基于可变形卷积来双向传播光双域传播：模型在图像和特征域同时进行全局和局部传播，利用完成的4掩码引导的稀疏视频变换器：使用一个由遮罩引导的稀疏Transformer模块来精细化使用Transformer架构中的自注意力机制来捕捉视频中的长距离依赖关系；引入掩码SparseQuerySpace：仅对与遮罩区域相交的查询窗VisionTransformer:作为图像特征提取器，能够处理大规模数据并提取丰富的视觉PositionalEncoding:添加位置编码以BoxNet:利用背骨网络提取的特征预测手部和面RegionofInterestModule:根据预测的边界框从特征图中裁剪出BodyHead:身体部位使用额外的任务令牌与背骨网络的特征结关键点和边界框预测：使用颈部网络预测手部和面部的边界框，5将渲染的3D网格添加贴图进行离屏渲染，与原视频进行像素叠加，体积渲染：NeRF沿着每条相机光线采样3D点，并使用MLP网络来预测3D点的颜色和密优化过程：NeRF通过最小化观察到的图像和从NeRF5--1,其中K1是卷积核大小；R为重复次数，T为输入序列长度；6使用GCU层和扩张FSMN模块捕获复杂时间依赖性8.根据权利要求2所述的文物讲解的AIGC视频创作方法判别器D：判别器接收htext和从MonotonicAlignmentSearch获取的对数时长d或预测单调对齐搜索：在所有可能的单调对齐中找到文本和音频之间7归一化流：使用卷积块来捕捉相邻数据，并加入一个带残差连接的小型Transformer说话人条件文本编码器：在多说话人模型中，根据说话人条对抗学习：使用生成器G和判别器D进行对抗训练，以提高时长预测8[0001]本发明涉及AIGC视频创作技术领域，尤其是涉及一种文物讲解的AIGC(生成式人工智能ArtificialIntelligenceGeneratedConten[0004]复杂场景分割精度：在复杂背景下，SAM等分割模型可能无法准确区分文物与背[0012]本发明提供一种文物讲解的AIGC视频创作方法，以解决上述中的一个或多个问9[0024]使用SegmentandTrackAnything模型对真人实拍视频视频的每一帧进行图像[0026]将生成的图像帧和掩码输入到ProPainter模型，进行视频对象的消除和背景补[0033]使用MossFormer2模型对现场录制的文物讲解视频中的音频进行分离和提取，得[0043]通过DeepAutomaticObjectTracking接收SAM生成的掩码作为参考帧注释，并通过GatedPropagationModule初始[0046]兴趣对象分割：利用Grounding_DINO根据预定文本提示检测新对象，SAM生成掩[0047]其中，新对象的掩码的计算方法涉及比较SAM的分割结果和DeepAutomaticS是SAM标注结果；只有在SAM的标注和DeepAutomaticObjectTracking的跟踪结果存在[0050]确定新对象的标准是基于每个对象在SAM的标注结果S和新对象掩码N之间的比[0061]3.掩码引导的稀疏视频变换器：使用一个由遮罩[0066]通过自注意力机制提取的精炼特征被用于后续模块，以生成最终的修复视频序[0069]VisionTransformer:作为图像特征提取器，能够处理大规模数据并提取丰富的[0070]Embedding:输入图像被分割成固定大小的patches，并通过嵌入层转换为特征向[0076]HandHead和FaceHeads:对于手部和面部的ROI，使用可变形卷积网络进行特征为s--1,其中K1是卷积核大小；[0141]判别器D：判别器接收htext和从MonotonicAlignmentSearch获取的对数时长d[0148]2.单调对齐搜索：在所有可能的单调对齐中找到文本和音频之间概率最高的对[0152]3.归一化流：使用卷积块来捕捉相邻数据，并加入一个带残差连接的小型[0168]本发明可以增加高精度视频处理效果和音频真实性处理效[0171]图2为本发明中一些实施例所涉及的文物讲解的AIGC视频创作方法的流程示意[0176]下文的公开提供了许多不同的实施方式或例子用来实现本发明实施例的不同结[0182]获取文物实拍视频，采用基于纯计算机视觉的3D建模技术(NeRF)对文物进行重[0184]基于真人实拍视频，使用人声音轨分割技术(MossFormer2)将视频的环境声音去入文本生成语音模型(VITS2)得到意向音色音频(如懒羊羊声音)的音[0190]使用SegmentandTrackAnything模型对真人实拍视频视频的每一帧进行图像[0192]将生成的图像帧和掩码输入到ProPainter模型，进行视频对象的消除和背景补[0199]使用MossFormer2模型对现场录制的文物讲解视频中的音频进行分离和提取，得[0201]使用语音转文本技术将语音数据转化为能够被TTS(文本转语音)模型识别的文本跟踪算法模式，其包括交互式跟踪板块SAM(SegmentAnythingModel)和自动跟踪板块[0206]用户通过鼠标点击与SAM交互(如点击需要分割人物的身体)，以在关键帧中分割[0209]通过DeepAutomaticObjectTracking接收SAM生成的掩码作为参考帧注释，并通过GatedPropagationModule初始AutomaticObjectTracking合并注释以跟踪新[0212]兴趣对象分割ObjectofInterestSegmentation：利用Grounding_DINO[0213]其中，新对象的掩码的计算方法涉及比较SAM的分割结果和DeepAutomaticS是SAM标注结果；只有在SAM的标注和DeepAutomaticObjectTracking的跟踪结果存在[0216]确定新对象的标准是基于每个对象在SAM的标注结果S和新对象掩码N之间的比[0223]该网络采用可变形对齐(DeformableAlignment)，基于可变形卷积(DCN)来双向[0228]3.掩码引导的稀疏视频变换器Mask_GuidedSparseVideoTrans使用一个由遮罩引导的稀疏Transformer模块来精细化传播特征，并通过自注意力机制来[0233]通过自注意力机制提取的精炼特征被用于后续模块，以生成最终的修复视频序[0237]Embedding:输入图像被分割成固定大小的patches，并通过嵌入层转换为特征向[0241]RegionofInterest(ROI)Module:根据预测的边界框从特征图中裁剪出感兴趣[0243]HandHead和FaceHeads:对于手部和面部的ROI，使用可变形卷积网络(DeformableConvolutionalNetworks,DCN)进行特征对齐，然后通过全连接层回归得到[0255]本说明书的一些实施例中，NeRF(NeuralRadiance[0268]本说明书的一些实施例中，MossFormer2是一种用于语音分离和提取的深度学习[0307]本说明书的一些实施例中，VITS2(VariationalInferenceText_to_Speech)是[0312]判别器D：判别器接收htext和从单调对齐搜索MonotonicAlignmentSearch[0320]2.单调对齐搜索：在所有可能的单调对齐中找到文本和音频之间概率最高的对μi为正态分布的均值，σi为正态分布的标准差，Qi,j为单调对齐搜索的对数最大似然值。Qi-1,j-1和Qi,j-1为先前计算的对齐[0323]3.归一化流：使用卷积块来捕捉相邻数据，并加入一个带残差