CN119516059A 一种文物讲解的aigc视频创作方法 （电子科技大学成都学院）

号本发明提供了一种文物讲解的AIGC视频创2获取真人实拍视频，利用交互式分割与追踪模型、视频对象消除模获取文物实拍视频，采用基于纯计算机视觉的3D建模技术对文物基于真人实拍视频，使用人声音轨分割技术将视频的环境声音去将所述人物视频、文物视频和音频数据，进行同步融合，得到基于使用SegmentandTrackAnything模型对真人实拍视频视频的每一帧进行图像分割将生成的图像帧和掩码输入到ProPainter模型，使用SMPLer_X模型对含有人体数据的图像帧进行处理，生成每帧图像的点云数据和S14.使用Pthon的PYrender库对SMPLer_X模型生成的3D数据进行渲染，将渲染的3D数使用MossFormer2模型对现场录制的文物讲解视频中的音频进行分离和提取，得到不使用语音转文本技术将语音数据转化为能够被TTS模型识35.根据权利要求2所述的文物讲解的AIGC视频创作方法，其特征在于，所述Segment利用Grounding_DINO根据文本提示进行开通过DeepAutomaticObjectTracking接收交互式跟踪板块生成的掩码作为参考帧全段落分割：交互式跟踪板块为关键参考帧中的每个对象生成掩码，DeepObjectTracking合并注释兴趣对象分割：利用Grounding_DINO根据预定文本提示检测新;互式跟踪板块标注结果；只有在交互式跟踪板块的标注和DeepAutomaticObject确定新对象的标准是基于每个对象在交互式跟踪板块的标注结果S和新对象掩码N之;其中，代表在S中的物体尺寸,代表在N中的循环光流补全：ProPainter使用一个循环网络来完成遮罩区该网络采用可变形对齐，基于可变形卷积来双向传播光4双域传播：模型在图像和特征域同时进行全局和局部传播，利用完成的掩码引导的稀疏视频变换器：使用一个由遮罩引导的稀疏Transformer模块来精细化使用Transformer架构中的自注意力机制来捕捉视频中的长距离SparseQuerySpace：仅对与遮罩区域相交的查询窗VisionTransformer:作为图像特征提取器，能够处理大规模数据并提取丰富的视觉PositionalEncoding:添加位置编码以BoxNet:利用背骨网络提取的特征预测手部和面RegionofInterestModule:根据预测的边界框从特征图中裁剪出BodyHead:身体部位使用额外的任务令牌与背骨网络的特征结关键点和边界框预测：使用颈部网络预测手部和面部的边界框，5将渲染的3D网格添加贴图进行离屏渲染，与原视频进行像素叠加，场景表示：NeRF将场景表示为一个连续的5D函数，该函数的输入是3D空间中的坐标(xy,z)和2D观察方向,输出是该位置处的RGB颜色和体积密度(o,c)；神经网络：NeRF使用一个多层感知器作为神经网络来近似5D函数，输入是5D坐标体积渲染：NeRF沿着每条相机光线采样3D点，并使用MLP网络来预测3D点的颜色和密;优化过程：NeRF通过最小化观察到的图像和从NeRF;函数g(p)分别应用于3D坐标(xy,z)和观察方向的单位向量d；6判别器D：判别器接收hex和从MonotonicAlignmentSearch获取的对数时长或预;7;单调对齐搜索：在所有可能的单调对齐中找到文本和音频之间;归一化流：使用卷积块来捕捉相邻数据，并加入一个带残差连接的小型Transformer说话人条件文本编码器：在多说话人模型中，根据说话人条单调对齐搜索：使用单调对齐搜索进行文本和音频的对对抗学习：使用生成器G和判别器D进行对抗训练，以提高时长预测8复杂场景分割精度：在复杂背景下，SAM等分割模型可能无法准确区分文物与背[0008]本发明提供一种文物讲解的AIGC视频创作方法，以解决上述中的一个或多个问9使用SegmentandTrackAnything模型对真人实拍视频视频的每一帧进行图像将生成的图像帧和掩码输入到ProPainter模型，进行视频对象的消除和背景补S14.使用Pthon的PYrender库对SMPLer_X模型生成的3D数据进行渲染，将渲染的使用MossFormer2模型对现场录制的文物讲解视频中的音频进行分离和提取，得使用语音转文本技术将语音数据转化为能够被TTS模型识通过DeepAutomaticObjectTracking接收SAM生成的掩码作为参考帧注释，并通过GatedPropagationModule初始兴趣对象分割：利用Grounding_DINO根据预定文本提示检测新对象，SAM生成掩其中，新对象的掩码的计算方法涉及比较SAM的分割结果和DeepAutomatic;S是SAM标注结果；只有在SAM的标注和DeepAutomaticObjectTracking的跟踪结果存在确定新对象的标准是基于每个对象在SAM的标注结果S和新对象掩码N之间的比;3.掩码引导的稀疏视频变换器：使用一个由遮罩引导的稀疏Transformer模块来使用Transformer架构中的自注意力机制来捕捉视频中的长距离通过自注意力机制提取的精炼特征被用于后续模块，以生成最终的修复视频序VisionTransformer:作为图像特征提取器，能够处理大规模数据并提取丰富的Embedding:输入图像被分割成固定大小的patches，并通过嵌入层转换为特征向PositionalEncoding:添加位置编码以BoxNet:利用背骨网络提取的特征预测手部和面HandHead和FaceHeads:对于手部和面部的ROI，使用可变形卷积网络进行特征标(xy,z)和2D观察方向,输出是该位置处的RGB颜色和体积密度(o,c)；;;函数g(p)分别应用于3D坐标(xy,z)和观察方向的单位向量d；计算为s--1,其中是卷积核大小；判别器D：判别器接收hex和从MonotonicAlignmentSearch获取的对数时长d;;2.单调对齐搜索：在所有可能的单调对齐中找到文本和音频之间概率最高的对;3.归一化流：使用卷积块来捕捉相邻数据，并加入一个带残差连接的小型[0023]本发明可以增加高精度视频处理效果和音频真实性处理效[0026]图2为本发明中一些实施例所涉及的文物讲解的AIGC视频创作方法的流程示意[0031]下文的公开提供了许多不同的实施方式或例子用来实现本发明实施例的不同结获取文物实拍视频，采用基于纯计算机视觉的3D建模技术(NeRF)对文物进行重使用SegmentandTrackAnything模型对真人实拍视频视频的每一帧进行图像将生成的图像帧和掩码输入到ProPainter模型，进行视频对象的消除和背景补S14.使用Pthon的PYrender库对SMPLer_X模型生成的3D数据进行渲染，将渲染的使用MossFormer2模型对现场录制的文物讲解视频中的音频进行分离和提取，得跟踪算法模式，其包括交互式跟踪板块SAM（SegmentAnythingModel）和自动跟踪板块击、绘制或文本输入精确标记出感兴趣的对象；所述自动跟踪板块用于跟踪视频中后续帧中出现的新对象；用户通过鼠标点击与SAM交互（如点击需要分割人物的身体以在关键帧中分割通过DeepAutomaticObjectTracking接收SAM生成的掩码作为参考帧注释，并通过GatedPropagationModule初始AutomaticObjectTracking合并注释以跟踪新兴趣对象分割ObjectofInterestSegmentation：利用Grounding_DINO根据预其中，新对象的掩码的计算方法涉及比较SAM的分割结果和DeepAutomatic;S是SAM标注结果；只有在SAM的标注和DeepAutomaticObjectTracking的跟踪结果存在确定新对象的标准是基于每个对象在SAM的标注结果S和新对象掩码N之间的比;3.掩码引导的稀疏视频变换器Mask_GuidedSparseVideoTransformer使用Transformer架构中的自注意力机制来捕捉视频中的长距离通过自注意力机制提取的精炼特征被用于后续模块，以生成最终的修复视频序Embedding:输入图像被分割成固定大小的patches，并通过嵌入层转换为特征向PositionalEncoding:添加位置编码以BoxNet:利用背骨网络提取的特征预测手部和面RegionofInterest(ROI)Module:根据预测的边界框从特征图中裁剪出感兴趣HandHead和FaceHeads:对于手部和面部的ROI，使用可变形卷积网络3D关键点和形状参数；[0041]本说明书的一些实施例中，NeRF(NeuralRadiance;r的某个点上的颜色。r(t)=o+t-d是从;函数rp)分别应用于3D坐标(xy,z)和观察方向的单位向量d；20为位置编码中最低[0046]本说明书的一些实施例中，MossFormer2是一种用于语音分离和提取的深度学习[0050]本说明书的一些实施例中，VITS2(VariationalInferenceText_to_Speech)是判别器D：判别器接收hex和从单调对齐搜索MonotonicAlignmentSearch;;;2.单调对齐搜索：在所有可能的单调对齐中找到文本和音频之间概率最高的对;其中e是从标准正态分布中采样的噪声与p的标准差乘积；在位置i和i之间计[0053]3.归一化流：使用卷积块来捕捉相邻数据，并加入一个带残差连接的小型[0055]通过这些步骤，VITS2模型能够在多说话人环境中高效地生成自然且高质量的