CN119091362B 基于多模态融合的可控视频生成方法及系统 （中科南京人工智能创新研究院）

基于多模态融合的可控视频生成方法及系统本发明公开了一种基于多模态融合的可控视频序列。本发明保持了视频序列的时空连贯2S2、使用预定义的分词器将多模态特征矩阵转置编码信息；应用上下文感知权重调节器对特征序列中的各模态特征进行动态权重分配，对姿态图数据，使用骨骼关键点检测算法提取人体关键点坐标，3对于预处理后的文本数据，使用预训练的BERT模型作为编码器，提取文本对于预处理后的RGB图像数据，使用预训练的ResNet模型作为编码器对于预处理后的音频数据，使用预训练的VGGish模型作为编码列；45.根据权利要求4所述的基于多模态融合的可控视S121、对音频数据进行去噪处理，得到去噪后的信6.根据权利要求4所述的基于多模态融合的可控视频生成57.根据权利要求4所述的基于多模态融合的可控视S12i、对边缘算子图数据进行初步分析，计算图S12v、计算每个归一化的特征的重要性得分，8.根据权利要求4所述的基于多模态融合的可控视频6所述存储器存储有可被所述处理器执行的指令，所述指令用于被所现权利要求1~8任一项所述的基于多模态融合的可78[0027]对RGB图像数据，将其调整为统一的尺寸并进行色彩空间转换，得到转换后的图9[0035]S13、将预处理后的多模态数据分别输入到相应的特征提取模块中，提取特征向特征序列；图的拓扑结构分析来动态调整各模态特征的权重，能够根据当前任务和输入数据的特性，自适应地调整不同模态特征的重要性，从而在视频生成过程中更好地利用最相关的信息。态调整梅尔刻度的非线性映射函数。对压缩后的频谱图应用动态特征增强（Dynamic[0075]根据本申请的一个方面，步骤S12中处理红外图像数据时还可以构建多尺度热量的复杂度自动划分图像区域。对每个区域应用改进的热量流动分析（EnhancedThermal在不同空间尺度上计算热量梯度。应用热量模式识别（ThermalPatternRecognition，模态融合的可控视频生成提供了丰富和精确的热量特征输入。多尺度热量动态特征提取统能够根据热量分布的复杂度自动划分图像区域，特别适合处理复杂的热场景，如在生成包含多个热源或热量分布不均匀的视频时，能够精确地捕捉每个区域的热特性。增强的热动态变化。这对于生成涉及热量变化的视频至关重要，例如在模拟火灾场景或展示工业过在不同空间尺度上计算热量梯度，这种多尺度分析使得系统能够同时捕捉大尺度的热量分质量的热量特征表示增强了系统在生成涉及温度和热量变化的视频时的表现力。例如，在还为多模态融合提供了宝贵的输入，使得生成的视频在视觉、音频和热量信息上都能达到高度的一致性和真实感。本实施例提升了系统在处理和生成涉及复杂热量分布的视频时的能力，为多模态融合的可控视频生成任务提供了强有力的支持，提高了生成视频在特定应[0084]根据本申请的一个方面，步骤S12中的对边缘算子图数据，使用高斯平滑去除噪实现了更加精确和连贯的边缘检测。这对于生成具有清晰轮廓和结构的视频内容至关重描述符。这种高质量的边缘特征为后续的视频生成过程提供了强有力的结构和形状指导。[0106]S238、网络结构固化和知识提取。分析网络中每个连接和节点的重要性，使用和特征重要性，动态生成新节点；使用自适应节点生成阈值（AdaptiveNodeGenerationThreshold，ANGT该阈值根据网络性能和资源限制动态调整。应用启发式连接搜索网络复杂度和性能。贝叶斯优化，从预定义的激活函数库中选择最优函数。构建动态学习率调节（Dynamic梯度流调节器（GradientFlowRegulator，GFR确保在动态变化的网络中梯度能够有效用结构剪枝（StructurePruning，SP）算法，移除不重要的连接和节点。使用知识蒸馏定结构网络中。动态拓扑重构算法通过动态调整网络结构，可以更好地适应不同的输入数的网络结构使系统能够更好地处理和融合来自不同模态的复杂特征，从而生成质量更高、有特定风格和内容的动画，系统可以自动调整网络结构以最佳地映射文本语义到视觉特中的坐标。[0132]将经过各自编码器处理后的多模态特征通过分词器(tokenizer)进行处理，将不态权重分配不仅提高了特征融合的精度，还增强了模型对不同模态输入的适应性和灵活确保了不同模态的信息能够在同一个序列中进行交互和融合。本实施例用到了DiT[0137]本实施例在实际应用中具有广泛的有益效果，能够提升视频生成的质量和可控计的编码器可以高效提取各模态的关键特征，并通过tokenizer将这些特征拼接成统一的是在远程教育中，多模态视频生成技术能够提供更直观和生动的教学资源。在虚拟现实户的沉浸感和交互体验。通过结合深度图像和点云图等数据，生成的虚拟场景更加逼真和立体。在医疗影像和健康监测中，通过多模态数据融合生成高质量的诊断视频和可视化报康监测视频更加全面和准确。输入的处理能力，还为后续的融合过程提供了更加丰富和精确的特征表示。在分配和多层次深度融合。能够根据当前任务和输入数据的特性，自适应地调整不同模态特上精确控制视频内容的生成，同时保持了视频序列的时空连贯性。自适应分辨