CN115529378B 一种视频处理方法及相关装置 （荣耀终端股份有限公司）

街道东海社区红荔西路8089号深业中本申请提供了一种视频处理方法及相关装2中发生场景转换的转场位置和转场类别，将所述第一视频的音频流划分成多个音频片段；于所述第三视频片段的开始时刻，所述第一视频片段的时长大于所述第三视频片段的时所述电子设备确定出所述多个音频片段在所述第一视频的图像流中对应的多个音频所述电子设备基于所述第一视频的图像流中每个画面帧的场景类别所述电子设备基于所述多个画面片段的片段主题，从所述多个画效片段为只有转场但无有效声音的画面片段以及无有效声音无转场也无场景类别的画面所述电子设备基于所述多个精彩画面片段在所述第一视频的图像在所述第二视频生成过程中，所述电子设备基于所述第一视频中每个画面帧的场景类别、所述第一视频的图像流中发生场景转换的转场位置和转场类所述电子设备显示视频相册界面，所述视频相册界面包括一个或所述电子设备确定出第一视频的图像流中每个画面帧的场景类别、所3所述电子设备显示第二界面，所述第二界面包括所述第一视频的展示区域和第一窗在所述第二视频生成后，所述电子设备显示第三界面，所所述电子设备将所述第一视频中的所述第一视频片段和所述第三视频片段拼接在一所述电子设备将所述第一视频片段的结束位置和所述第三视频片段的所述电子设备将所述第一视频片段的结束位置和第一特效片段的开始位置拼接在一4所述电子设备显示拍摄界面，所述拍摄界面包括预览框和录制开始控件所述电子设备检测到对所述录制开始控件的所述电子设备显示录制界面，所述录制界面包括录制结束控件和所述电子设备检测到对所述录制结束控件的所述录制界面还包括抓拍控件，在所述电子设备显示所述录制界所述电子设备接收用户针对所述抓拍控件的采集到所述第一视频的第一视频画面保存为第理器执行所述计算机指令时，使得所述电子设备执行如权利要求1_16中任一项所述的方5[0006]通过本申请提供了一种视频处理方法，可以通过对用户子设备将该第一视频中的该第一视频片段和该第三视频片段拼接在一起，得到该第二视6[0010]在一种可能的实现方式中，该第一视频片段和该第三视彩场景且不包括有噪音或无声音的转场片段第一视频的第一视频展示界面包括该第一视频的第一展示区域和该第二视频的第二展示7视频的图像流中每个画面帧的场景类别以及该第一视频的图像流中发生场景转换的转场[0021]这样，可以通过在用户录制视频过程中对录制的视频中进行场景分析和转场分片段对应的音频事件类别；该电子设备基于该第一视频的图像流中每个画面帧的场景类片段中每个画面片段的片段主题；在该电子设备检测到针对该录像结束控件的第二输入8[0038]图8A图8C为本申请实施例提供的一组视频通话场景生成精彩视频的界面示意9受形式之间的转换。用户界面是通过java、可扩展标记语言(extensiblemarkup(applicationprocessor，AP)，调制解调处理器，图形处理器(graphicsprocessing[0056]在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路晶显示屏(liquidcrystaldisplay，LCD)。显示屏面板还可以采用有机发光二极管light_emittingdiode，FLED)，miniled，microled，micro_oled，量子点发光二极管[0061]摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元[0063]视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种[0066]内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括[0068]音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风[0072]耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是蜂窝电信工业协会(cellulartelecommunicationsindustryassociatio[0075]加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大[0077]指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹[0078]温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器[0084]应用程序框架层为应用程序层的应用程序提供应用编程接口(application[0088]其中，相机硬件抽象层可以提供相机设备1(第一摄像头)以及相机设备2(第二摄硬件抽象层中的相机设备1(第一摄像头)发送启动录像的指令，相机硬件抽象层将该指令发送到内核层的相机设备驱动，该相机设备驱动可以启动摄像头的第一摄像头的传感器[0102]3.电子设备100对处理流中的图像帧进[0106]5.电子设备100可以基于精彩画面片段的位置从原视频中截取出多个精彩视频片[0107]相机算法库可以调用剪辑算法和融合算法基于精彩画面片段的位置从视频流中片段可以包括原视频中拍摄场景为精彩场景且不包括有噪音或无声音的转场片段的视频[0112]在一些应用场景中，用户可以在使用电子设备100的相机应用中普通录像模式录显示的页面与其他页面的位置关系。页面指示符的下以在开始录制后的0～3s时间段内拍摄人物A。在开始录制后的3s～5s时间段内从人物A转结束控件333可用于触发电子设备100结束录制视频。该拍摄控件334可用于响应于用户的9s时间段内从人物B转场拍摄摩天轮、在开始录制后的11s～13s时间段内画面缩放拍摄摩[0121]如图3H所示，电子设备100可以接收用户作用于录制结束控件333的第二输入(例将原视频中的多个精彩视频片段融合成一个精彩视频。电子设备100可以保存原视频和精设备100生成和保存精彩视频之后，电子设备100可以在拍摄界面340上显示提示信息335 从录制的原视频中生成并保存了精彩视频。其中，该提示信息335可以是文字提示(例如，片段后，电子设备100可以将这多个精彩视频片段融合成一个精彩视频。在生成精彩视频视频片段1的尾部和精彩视频片段2的头部可以拼接在一起，精彩视频片段2的尾部和精彩精彩视频片段4的尾部和精彩视频片段5的头部可以拼接在或者用户的手抖或者路人路过遮挡或者其他障碍物遮挡，导致该精彩视频片段4为无效片[0128]在一些实施例中，电子设备100在保存上述原视频和从原视频中生成的精彩视频该图库应用界面410的下方显示有图库菜单411。其中，该图库菜单411中包括有照片控件[0132]电子设备100可以接收用户针对视频相册416的输入(例如上述实施例中用户录制的原视频对应的选项421(本申请实施例中可以被称为第一选项)。视频文件的选项上可以显示有视频文件中指定帧画面的缩略图和视频时间长度信息，例如，该选项421中可以显示有上述用户录制的原视频中首个画面帧的缩略图和视频时间长[0135]在一种可能的实现方式中，电子设备100也可以接收并响应于用户针对上述图3I所示中的回显控件321的输入(例如单击)，显示上述图4D所示的视频展示界面430(本申请[0136]如图4D所示，该视频展示界面430可以包括有原视频的展示区域431(本申请实施例中可以被称为第一展示区域)、从该原视频中生成的精彩视频的展示区域433(本申请实示区域433上可以显示有精彩视频中的帧画面和精彩视频的时间信息435(例如，时间长度除按钮可用于触发删除该原视频和/或精彩视频。更多按钮可用于触发打开更多与该原视[0138]在一些实施例中，电子设备100在保存上述原视频和从原视频中生成的精彩视频个视频文件的选项包括上述原视频的选项421(本申请实施例中可以被称为第一选项)和基项421上可以显示有上述用户录制的原视频中指定画面帧的缩略图和视频时间长度信息应于该第五输入，电子设备100可以显示如图4G所示的视频展示界面450(本申请实施例中彩视频的展示区域451上可以显示有精彩标记453，该精彩标记453可用于提示用户该展示[0143]在一些应用场景中，用户可以在使用电子设备100的相机应用中特殊的录像模式[0148]在一种可能的实现方式中，电子设备100可以预先设置用户在录像过程中需要的如单击)，响应于该输入，电子设备100可以显示在拍摄界面510上如图5D所示的设置窗口[0152]在一些应用场景中，电子设备100可以在录制完原视频并将原视频保存至视频相发从原视频中生成精彩视频后，电子设备100可以识别并剪辑出原视频中有精彩场景的多[0154]电子设备100可以接收用户针对视频相册416的输入(例如出原视频中多个精彩视频片段、以及将多个精彩视频片段融合成一个精彩视频的具体过频的展示区域616上可以显示有精彩视频中的帧画面和精彩视频的时间信息618(例如，时617可用于提示用户该展示区域616中展示的是从该原视频中生成[0162]在一种可能的实现方式中，用户在电子设备100上显示的原视频的展示界面中确可以基于用户设置的精彩场景，识别并剪辑出原视频中精彩场景下的多个精彩视频片段，电子设备100可以从原视频中识别出用户的设置的精彩场景类型集合a对应的多个精彩视原视频的视频展示界面610上显示精彩视频a的生成进度615和精彩视频a的场景类型。其频a的展示区域616上可以显示有精彩视频a中的帧画面、精彩视频a的时间信息618(例如，彩视频的展示区域616上可以显示有精彩标记617，该精彩标记617可用于提示用户该展示[0173]电子设备100可以接收用户针对该确定控件716的输入(例如单击)，响应于该输频b的展示区域721上可以显示有精彩视频b中的帧画面、精彩视频b的时间信息723(例如，视频的展示区域721上可以显示有精彩标记722，该精彩标记722可用于提示用户该展示区域721中展示的是从该原视频中生成的精彩视频b。[0177]电子设备100可以接收用户针对接听控件813的输入(例如电子设备100可以显示如图8B所示的视频通话界面820，并接收通话对方发过来备100将视频通话转换为语音通话。镜头切换控件825可用于触发电子设备100实时拍摄视可用于触发电子设备100切换画面821和画面822输入，电子设备100可以识别电子设备100实时通过摄像头和麦克风拍摄的视频流和/或通录的视频直播的账户关联的存储空间中。用户也可以使用电子设备100通过直播服务器将[0186]该精彩视频片段包括该第一视频中拍摄场景为精彩场景且不包括转场片段的视[0195]电子设备100可以使用训练好的场景分类模型识别图像流中每个画面帧的场景类子设备100可以在将图像流输入到场景分类模型中之前，可以先将实时采集的图像流进行时的图像流中的画面帧号，并将采样图像流输入到神经网络分类模型中，识别采样图像流中每个采样图像帧的场景类别。在识别出采样图像流中每个采样图像帧的场景类别后，电子设备100可以将基于采样图像帧的场景类别和画面帧号，将图像流中与采样图像帧的画面帧号相同以及相邻的多个画面帧都标注成该采样图像帧对应场景类别。例如，电子设备100可以将图像流中第77号画面帧以及第76号画面帧和第78号画面帧的场景类别都标注为可以降低图像流的分辨率(例如，从4K降低到[0201]电子设备100可以使用训练好的转场识别模型对识别图像流中发生场景转换的转[0204]S904、电子设备100基于图像流中每个画面帧的场景类别以及图像流中发生场景[0209]电子设备100可以剔除多个画面片段中的无效主题片段，保留剩下的精彩画面片视频中时间线为t0～t1的视频片段截取出来作为精彩视频片段1，将时间线为t3～t4的视频片段截取出来作为精彩视频片段2，将时间线为t6～t7的视频片段截取出来作为精彩视频片段3，将时间线为t8～t9的视频片段截取出来作为精彩视频片段4、将时间线为t11~[0215]其中，电子设备100可以直接将多个精彩视频片段按照时间先后顺序拼接在一起的结束位置和精彩视频片段2的开始位置之间可以有拼接区1、精彩视频片段2的结束位置和精彩视频片段3的开始位置之间可以有拼接区2、精彩视频片段3的结束位置和精彩视频位置之间可以有拼接区4、精彩视频片段5的结束位置和精彩视频片段6的开始位置之间可的开始部分区域可以为拼接区2、精彩视频片段3的末尾部分区域和精彩视频片段4的开始部分区域可以为拼接区3、精彩视频片段4的末尾部分区域和精彩视频片段5的开始部分区域可以为拼接区4、精彩视频片段5的末尾部分区域和精彩视频片段6的开始部分区域可以区可以是两个精彩视频片段中前一个精彩视频片段的末尾部分区域和后一个精彩视频片[0221]在一种可能的实现方式中，电子设备100可以基于拼接区前后两个精彩视频片段[0222]在一种可能的实现方式中，电子设备100可以在将多个精彩视频片段按照时间先[0223]在一种可能的实现方式中，电子设备100可以基于多个精彩视频片段的片段主题[0226]在一些实施例中，电子设备100可以在图库应用中对已拍摄好的原视频生成精彩[0233]感知模块1202可以将每个画面帧的场景类别以及图像流中发生场景转换的转场特征。电子设备100可以基于图像流中的音频特征，识别图像流中的语音信号的起止时间点。电子设备100可以基于音频流中语音信号的起止时间点，将音频流划分为多个音频片权倒谱系数(weightedcepstral)[0251]其中，电子设备100可以使用训练号的音频事件分类模型识别音频片段的音频事(recurrentneuralnetwork，RNN)分类模型、长短期记忆(longshort_termmemory，[0255]具体的，电子设备100可以基于音频事件图像片段的位置和图像流中发生场景转[0262]其中，电子设备100可以将多个画面片段中预设的精彩主题下的画面片段确定为[0270]其中，电子设备100可以直接将多个精彩视频片段按照时间先后顺序拼接在一起的结束位置和精彩视频片段2的开始位置之间可以有拼接区1、精彩视频片段2的结束位置和精彩视频片段3的开始位置之间可以有拼接区2、精彩视频片段3的结束位置和精彩视频区可以是两个精彩视频片段中前一个精彩视频片段的末尾部分区域和后一个精彩视频片[0276]在一种可能的实现方式中，电子设备100可以基于拼接区前后两个精彩视频片段[0277]在一种可能的实现方式中，电子设备100可以在将多个精彩视频片段按照时间先[0278]在一种可能的实现方式中，电子设备100可以基于多个精彩视频片段的片段主题[0285]感知模块1502可以将每个画面帧的场景类别以及图像流中发生场景转换的转场[0286]融合模块1503可以基于音频片段对应的音频事件图像片段的位置和图像流中发