CN114694070B 一种自动视频剪辑方法、系统、终端及存储介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中本发明公开了一种自动视频剪辑方法、系述关键帧的无监督向量表示以及语料信息的无述相似度大于设定相似度阈值的相邻视频片段进行合并，生成所述待剪辑视频的视频剪辑结2获取待剪辑视频的关键帧，并采用图像对比算法对所述关键帧获取待剪辑视频的语料信息，并采用文本对比算法获取所并将收集到的ASR语音信息切割为设定长度的ASR文本信息；采用OCR技术从抽帧后的图像根据所述关键帧对所述待剪辑视频进行分割，生成与所述关键帧数根据所述关键帧的无监督向量表示以及语料信息的无监督向量表示计算相邻视频片基于获取的关键帧，采用无监督算法训练Selflabel模型，所述Selfla记，输出所述关键帧的selflabel(framex)，其中，framez表示第k幅关键帧图像。基于所述语料信息训练SimCSE模型，所述SimCSE模型采用文本对比算法学习ASR文本信息和OCR文本信息的无监督向量表示，输出待剪辑视频的文本向量simcse(asrp)和simcse(ocrp)；其中，asrk表示待剪辑视频的第k个ASR文本信息，ocrk表示第k幅关键帧将每一个关键帧分别作为一个切割点，将所述待剪辑视频分割成与所述5.根据权利要求2或3所述的自动视频剪3其中，simi1、simi2以及simi3分别表示相邻视频片段中关键帧、ASR文本信息以及根据所述关键帧、ASR文本信息以及OCR文本信息的相似度计算相邻视频片段的相似第一获取模块：用于获取待剪辑视频的关键帧，并采用图像第二获取模块：用于获取待剪辑视频的语料信息，并采用文技术从抽帧后的图像中获取OCR文本信息；将切割后的ASR文本信息和OCR文本信息作为待视频分割模块：用于根据所述关键帧对所述待剪辑视频进行分割，生视频合并模块：用于根据所述关键帧的无监督向量表示以及语料所述存储器存储有用于实现权利要求1至5任一项所述的自动视频剪辑方法的程序指所述处理器用于执行所述存储器存储的所述程序指令以执行所述自动视4[0010]根据所述关键帧的无监督向量表示以及语料信息的无监督向量表示计算相邻视5[0017]采用ASR技术收集待剪辑视频的ASR语音信息，并将收集到的ASR语音信息切割为[0021]基于所述语料信息训练SimCSE模型，所述SimCSE模型采用文本对比算法学习ASR文本信息和OCR文本信息的无监督向量表示，输出待剪辑视频的文本向量simcse(asrk)和6[0040]所述处理器用于执行所述存储器存储的所述程序指令以执行所述自动视频剪辑7向量表示，通过聚类和表示学习对关键帧进行自我标记，输出关键帧的self__label将收集到的ASR语音信息切割为设定长度的ASR文本信息；采用OCR技术从抽帧后的图像中[0057]采用文本对比算法获取语料信息的无监督向量表示具体为：基于语料信息训练8[0070]本发明第一实施例的自动视频剪辑方法通过获取待剪辑视频的关键帧和语料信[0076]本步骤中，Selflabel模型是一种通过最大化数据和标签之间的互信息来标定label的自监督算法，Selflabel模型借助于图像对比算法学习关键帧图像的无监督向量表示，通过聚类和表示学习对关键帧图像进行自我标记，输出关键帧的self__label[0077]S204：采用ASR(AutomaticSpeechRecognition，自动语音识别技术)技术以及OCR(OpticalCharacterRecognition,光学字符识别)识别技术收集待剪辑视频的语料信后的图像中获取OCR文本信息，将切割后的ASR文本信息和OCR文本信息作为待剪辑视频的dropout保持语义等价的自然语言数据增强，借助于文本对比算法学习文本的无监督向量9并使每个视频片段中分别包括一幅关键帧以及该视频片段对应的ASR文本信息和OCR文本要信息由所述的自动视频剪辑方法的结果进行散列处理得到，比如利用sha256s算法处理帧图像的无监督向量表示，通过聚类和表示学习对关键帧进行自我标记，输出关键帧的从抽帧后的图像中获取OCR文本信息；将切割后的ASR文本信息和OCR文本信息作为待剪辑别包括一幅关键帧图像以及视频片段对应的ASR文本信息和O表示计算相邻视频片段的相似度，将相似度大于设定相似度阈值的相邻视频片段进行合