CN119450146A 视频的合成方法及装置 （湖南快乐阳光互动娱乐传媒有限公司）

司用户观看视频时的表情视频输入至优质视频片优质视频片段的一致性评分的差异在一致性阈点对这两个具有一致性标记的优化视频片段进2将用户观看的视频和用户观看所述视频时的表情视频输入至优质视频片段识别模型，针对每一个优质视频片段，基于所述优质视频片段的位置信息，若两个优质视频片段的一致性评分的差异在一致性阈值内，则将针对每一个优质视频片段，基于所述优质视频片段的位置信息在所述最佳过渡点对这两个具有一致性标记的优化视频片段进行合并，得到目标视根据所有用户观看所述优质视频片段时的表情视频和所有的用针对所述优质视频片段中的每一个情绪高点，所述情绪高点位置插入所述目标情绪类型对应的后将所述训练样本原始视频和用户观看所述训练样本原始视频时的表情视频输入至深利用所述训练样本原始视频中的优质片段的预测位置信息与所述训练样本原始视频述训练样本原始视频中的优质片段的预测位置信息与所述训练样本原始视频中的优质片4.根据权利要求1所述的视频的合成方法，其特征在于，所述针对每一个优质视频片针对每一个优质视频片段，基于所述优质视频片段的位置信息，35.根据权利要求1所述的视频的合成方法，其特征在于，所述针对每一个优质视频片针对每一个优质视频片段，根据所述优质视根据开始帧集合的目标特征向量和整体帧集合的目标特征向量确定开始分根据结束帧集合的目标特征向量和整体帧集合的目标特征向量确定根据所述开始分镜相似度和所述结束分镜相似度，确定所述优质视针对每一个帧集合中每一帧的图像，将该帧的图像进行颜针对每两个具有一致性标记的优化视频片段，根据优化视将第一优化视频片段的结束帧集合与第二优化视频片段的开始帧集合中最相似的帧质视频片段时的表情视频和所有的用户互动数据，确定所述优质视频片段中的情绪高点，根据所有用户观看所述优质视频片段时的表情视频，确定所述针对所述优质视频片段的每一帧，根据该帧的用户平均情绪强若该帧的用户综合情绪评分大于情绪高点阈值，将该帧的时4针对所述优质视频片段中的每一个情绪高点，判断所述情绪高若判断出所述情绪高点位置的用户互动数据中有文本数据，则若判断出所述情绪高点位置的用户互动数据中没有文本根据所述情绪高点的情绪类型和所述情绪高点的总互动情绪强度，根据所述目标情绪类型的编号确定目标情绪类型对应的在所述情绪高点位置插入所述目标情绪类型对优质视频片段确定单元，用于将用户观看的视频和用最佳过渡点确定单元，用于针对每两个具有一致性标记的优合并单元，用于在所述最佳过渡点对这两个具有一致性标记的优化视频片段进行合5[0007]将用户观看的视频和用户观看所述视频时的表情视频输入至优质视频片段识别情视频以及训练样本原始视频中的真实优质片[0016]针对所述优质视频片段中的每一个情绪高点，根据所述情绪高点的目标情绪类6括训练样本原始视频用户观看所述训练样本原始视频时的表情视频以及训练样本原始视[0019]将所述训练样本原始视频和用户观看所述训练样本原始视频时的表情视频输入[0020]利用所述训练样本原始视频中的优质片段的预测位置信息与所述训练样本原始至所述训练样本原始视频中的优质片段的预测位置信息与所述训练样本原始视频中的优[0028]根据开始帧集合的目标特征向量和整体帧集合的目标特征向量确定开始分镜相[0029]根据结束帧集合的目标特征向量和整体帧集合的目标特征向量确定结束分镜相7[0036]将所述帧集合中的所有帧的融合向量进行特征聚合，得到所述帧集合的特征向[0042]将第一优化视频片段的结束帧集合与第二优化视频片段的开始帧集合中最相似[0045]根据所有的用户互动数据，确定所述优质视频片段每一帧的用户总互动情绪强8[0059]一致性标记单元，用于若两个优质视频片段的一致性评分的差异在一致性阈值9义将在下文描述中给出。[0079]其中，优质视频片段识别模型为根据训练样本集对深度学习原始视频时的表情视频以及训练样本原始视频中的真实观看训练样本原始视频时的表情视频以及训练样本原始视频中的优质片段的真实位置信训练样本原始视频中的优质片段的真实位置[0088]其中，深度学习模型针对用户观看训练样本原始视频时[0094]其中，o为第i个表情特征的权重，始视频中的优质片段的真实位置信息之间的误差满足预设的收敛条件，则执行步骤S204；若判断出训练样本原始视频中的优质片段的预测位置信息与训练样本原始视频中的优质[0105]可选的，在本申请的另一实施例中，步骤S102的一种实施方式，包括步骤S301~[0111]在本申请的具体实现过程中，优质视频片段的人物相似度的计算方式可以基于优质视频片段中主要人物的面部特征，使用深度学习模型提取人物特征向量和[0113]在本申请的具体实现过程中，优质视频片段i的场景相似度c,的计算方式可以可[0115]在本申请的具体实现过程中，优质视频片段的分镜相似度的计算方式可以[0125]可选的，在本申请的另一实施例中，步骤S104的一种实施方式，包括步骤S401~i帧，[0130]可选的，在本申请的另一实施例中，步骤S402的一种实施方式，包括步骤S501~[0132]首先将图像从RGB色彩模式转换到HSV色彩空间，H代表色调（HueS代图拼接成一个特征向量，即第一特征向量，Fan=(Histn,Hists,Histv]。其中，Hist、Hist分别为归一化的H通道直方图、归一化的S通道直方图和归一化的V输出作为第二特征向量Fien，Faep=CNNiarmes(I)，其中，CNNieatures表示提取特征a是第一特征向量的权重，p是第二特征向量的权一化得到结束帧集合的目标特征向量，将Fmmn进行归一化得到整体帧集合的目标特[0177]可选的，在本申请的另一实施例中，步骤S105的一种实施方式，包括步骤S601~[0180]那么类似步骤S104中的分镜柔滑处理部分，对于优化视频片段，从结Naa帧，记，对于优化视频片段i+1，从开头部分取Ns。。度学习特征以及针对第二优化视频片段的开始帧集合中的每一第二优化视频片段i+1的开始帧集合中最大相似度的帧对的帧索引，将最大相似度的帧[0191]续接上述实例，若第一优化视频片段i的结束帧集合与第二优化视频片段i+l的[0192]若第一优化视频片段i的结束帧集合与第二优化视频片段i+1的开始帧集合中最k'与i'）处对第一优化视频片段i的结尾过渡帧与第二优化视[0203]可选的，在本申请的另一实施例中，步骤S702的一种实施方式，包括步骤S801~设定u个用户在进度时间t的“真”表情分数为E,()，则所有用户在时间t的平均情绪强本数据的情绪类型确定这个文本数据的情绪强度，然后，计算总文本数据的情绪强度IU()：Type;(t)为第i条文本数据对应的情绪强度分数。[0213]首先，使用训练好的自然语言模型对每条文本数据cz(t)进绪类型EmotionType,(i)，EmotionType,(t)=fwup(ci(t))，其中，fxup为训练好的自然语[0214]统计进度时间t所有文本数据中每种情绪类型的出现次如表2所示为本发明提供的一种情绪类型到基本情绪维度的映度为+1，即senotion(1)=×A1=(+1)x(+1)=+1；a(8)=VXA=(-0.8)x(-0.4)=+0.32。为进度时间t的点赞次数。ite为点赞t拖拽据数据的情绪强度Iingsay(t)=1angsmyxNngsay(t)，其中，ldrag.away为拖走情[0235]当Nragro(t)≥Nihreshola时，拖拽数据的情绪强度Iingo(t)=iangoxNngol(t)，其中，lldragto为拖拽情绪强度权重，其大于0，表示正面情Iingolt)=0。[0238]那么该帧的总互动情绪强度为I(t)=IU(t)+Ia(t)+Iang(t)。定该帧的用户综合情绪评分s(i)的具体计算方式可以采用以下计算公式：[0248]可选的，在本申请的另一实施例中，步骤S703的一种实施方式，包括步骤S901~t为情绪高点在视频中的时间点，(m为插定优质视频片段的一致性评分；若两个优质视频片段的一致性评分的差异在一致性阈值[0273]优质视频片段确定单元201，用于将用户观看的视频和用户观看视频时的表情视[0274]其中，优质视频片段识别模型为根据训练样本集对深度学习原始视频时的表情视频以及训练样本原始视频中的真实观看训练样本原始视频时的表情视频以及训练样本原始视频中的优质片段的真实位置信[0279]其中，深度学习模型针对用户观看训练样本原始视频时至训练样本原始视频中的优质片段的预测位置信息与训练样本原始视频中的优质片段的[0281]本申请上述实施例公开的单元的具体工作过程，可参见[0287]本申请上述实施例公开的单元的具体工作过程，可参见[0288]一致性标记单元203，用于若两个优质视频片段的一致性评分的差异在一致性阈[0289]分镜柔化单元204，用于针对每一个优质视频片段，基于优质视频片段的位置信[0298]本申请上述实施例公开的单元的具体工作过程，可参见[0305]本申请上述实施例公开的单元的具体工作过程，可参见[0311]最佳过渡点确定子单元将第一优化视频片段的结束帧集合与第二优化视频片段[0312]本申请上述实施例公开的单元的具体工作过程，可参见[0313]合并单元206，用于在最佳过渡点对这两个具有一致性标记的优化视频片段进行[0314]本申请上述实施例公开的单元的具体工作过程，可参见[0319]本申请上述实施例公开的单元的具体工作过程，可参见[0321]用户平均情绪强度确定单元，用于根据所有用户观看优质视频片段时的表情视[0325]本申请上述实施例公开的单元的具体工作过程，可参见[0334]本申请上述实施例公开的单元的具体工作过程，可参见201将用户观看的视频和用户观看视频时的表情视频输入至优质视频片段识别模型，输出视频片段的一致性评分的差异在一致性阈值内，则一致性标记单元203将两个优质视频片