CN118334677B 一种密集视频描述训练方法、装置、设备及介质 （上海人工智能创新中心）

算事件描述文本和原始视频帧之间的相似度矩伪事件边界作为密集视频描述模型优化过程中2S3，基于预训练的视觉一语言模型，计算事件描述,为正值，distance=max(left-cx,index-righit)，left表示伪边界的左边S4，将生成的事件描述文本和对应的伪事件边S6，在下游给定的带有事件边界标注的密集视2.根据权利要求1所述的一种利用未标注视频的基于伪边界增强和精炼的密集视频描使用真实标注事件描述对大语言模型进行测试，通过模型反馈设将原始字幕文本追加到任务提示文本后输入3.根据权利要求1所述的一种利用未标注视频的基于伪边界增强和精炼的密集视频描34.根据权利要求1所述的一种利用未标注视频的基于伪边界增强和精炼的密集视频描5.根据权利要求1所述的一种利用未标注视频的基于伪边界增强和精炼的密集视频描基于密集视频描述模型在每个候选边界的中间结果，对每个候选边界进6.一种利用未标注视频的基于伪边界增强和精炼的密集视,4密集视频描述模型优化模块，用于执行以下步骤模型微调模块，用于在下游给定的带有事件边界标注的密集视7.一种电子设备，包括存储器和处理器，所述存储5[0002]密集视频描述在长视频分析、视频理解及视频推荐等众多领域发挥着重要作们进一步收集了大量的未标注视频，将这些视频中的音频对话转录为对应的字幕和时间67[0037]基于密集视频描述模型在每个候选边界的中间结果，对8[0052]3、利用大语言模型和预训练的多模态模型，本发明高效地利用大量的无标签数[0056]图4为一种实施例中的本发明优化后的密集视频描述模型的视频描述结果示意[0058]本实施例提供一种利用未标注视频的基于伪边界增强和精炼的密集视频描述训[0060]视频数据主要于公开数据集HowTo100M中挑选和收集，该数据集收集于视频网站YouTube，视频类型主要为带步骤的教学视频，如厨房场景下的做菜教学等。本实施例从9每个step的平均长度，即平均每一个事件描述对应多少帧图像，width＝num_frame/num_[0103]其中的现有技术1采用的是以下文献中的方案：TengWang,RuimaoZhang,ZhichaoLu,FengZheng,RanCheng,andPingLuo.End_to_enddensevideocaptioningwithparalleldecoding.InProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision,pages6847–6857,2021.[0104]现有技术2采用的是以下文献中的方案：AntoineYang,ArshaNagrani,PaulHongsuckSeo,AntoineMiech,JordiPont_Tuset,IvanLaptev,JosefSivic,andCordeliaSchmid.Vid2seq:Large_scalepretrainingofavisuallanguagemodelfordensevideocaptioning.InProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition,pages10714–10726,2023.[0105]现有技术3采用的是以下文献中的方案：ShaoxiangChenandYu_GangJiang.Towardsbridgingeventcaptionerandsentencelocalizerforweaklysuperviseddenseeventcaptioning.InProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition,pages8425–8435,20[0108]本实施例提供一种利用未标注视频的基于伪边界增强和精炼的密集视频描述训programmablegatearray，FPGA)、专用集成电路(applicationspecificintegratedcircuit，ASIC)、片上系统(systemonchip，SoC)、中央处理单元(centralprocessingprocessor，DSP)、图形处理器(graphicsprocessingunit，GPU)以及神经网络处理器的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令，来[0118]本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例[0119]用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控