CN114461423B 一种多媒体流处理方法、设备、存储介质及程序产品 （腾讯科技（深圳）有限公司）

A,2019.05.28A,2020.09.15本申请提供了一种多媒体流处理方法、设事件标记时刻是指编码前的多媒体流中的事件2接收服务端设备发送的待解码多媒体流，并获取所述待解码多所述事件触发时刻为所述待解码多媒体流中的事件的发生时至少一个所述事件触发时刻，是通过融合至少一个所述事所述服务端设备，用于通过标记操作、神经网络模型和标记信息中的所述服务端设备，还用于获取所述编码前的多媒体流的目标帧信息接收所述服务端设备发送的所述流时间变化信息和至少一个所述事件标基于所述流时间变化信息调整至少一个所述事件标记时刻所述基于所述流时间变化信息调整至少一个所述事件标记时刻，得到至融合所述时间变化量与每个所述事件标记时刻，得到与至少一所述基于所述流时间变化信息调整至少一个所述事件标记时刻，得到至3融合所述时间变化量与每个所述事件标记时刻，得到与至少一接收所述服务端设备发送的与所述待解码多媒体流对应的至少一个所述事件触发时6.根据权利要求1至4任一项所述的方法，其特征在于，所述通过标记操作、神经网络模型和标记信息中的至少一种，对待编码多对所述待编码多媒体流进行编码，得到待解码多媒体流，所述待解码多获取所述待编码多媒体流的目标帧信息对应的待编码时间基于至少一个所述事件标记时刻和所述流时间变化信息，向播放在所述待播放多媒体流播放至目标事件触发时刻时播放与所述目标事件触发时刻对应的至少一个所述事件触发时刻，是通过融合至少一个所述事基于所述流时间变化信息调整至少一个所述事件标记时刻4或者，将所述待编码时间戳和所述编码时间戳之间码方式是指在编码过程中基于同步的时间信息确定播第一处理器，用于执行所述第一存储器中存储的可执行指令时算机程序或指令被第二处理器执行时，实现权利要求7至11任一项所述的多媒体流处理方信息获取模块，用于接收服务端设备发送的待解码多媒5处理触发模块，用于当所述待播放多媒体流播放至目标事件触发所述目标事件触发时刻为至少一个所述事件触发时刻中至少一个所述事件触发时刻，是通过融合至少一个所述事所述服务端设备，用于通过标记操作、神经网络模型和标记信息中的所述服务端设备，还用于获取所述编码前的多媒体流的目标帧信息事件标记时刻，且所述神经网络模型是基于多媒体流样本和标注的事件时刻训练得到的，时间获取模块，用于获取所述待编码多媒体流的目标信息发送模块，用于基于至少一个所述事件标记时刻和所至少一个所述事件标记时刻或至少一个所述事件触发时刻；至少一个所述事件触发时刻，是通过融合至少一个所述事件标记时刻和所述流时间变化信息对应的时间6[0001]本申请涉及计算机应用领域中的信息处理技术，尤其涉及一种多媒体流处理方述事件标记时刻是指编码前的多媒体流中的事件时待解码多媒体流，以使所述播放端设备通过解码所述待解码多媒体流播放待播放多媒体7述事件触发时刻是基于所述流时间变化信息调整至少一个所述事件标记[0020]在本申请实施例中所述流时间变化信息包括目标帧信息的待编码时间戳和编码是由所述服务端设备基于所述流时间变化信息调整至少一个所述事件标8序或指令被第一处理器执行时实现本申请实施例提供的应用于播放端设备的多媒体流处9[0063]3)人工智能(ArtificialIntelligence，AI)，是利用数字计算机控制的要在服务端设备标记多媒体信息中的事件时刻，并将标记的事件时刻传输至播放端设备，以使播放端设备在多媒体信息播放至事件时刻刻携带在多媒体信息中帧信息的补充增强信息(SEI，SupplementalEnhancement示例性示出了终端400-1和终端400-2)通过网络300连接服务器200(称为服务端设备)，网化信息和待解码多媒体流，以使终端400基于流时间变化信息调整至少一个事件标记时刻放多媒体流播放至目标事件触发时刻时执行与目标事件触发时刻对应的指[0072]基于图1，参见图2，图2是本申请实施例提供的多媒体流处理系统的架构示意图个事件触发时刻；通过网络300向终端400发送至少一个事件触发时刻和待解码多媒体流，以使终端400通过解码待解码多媒体流播放待播放多媒体流，并在待播放多媒体流播放至但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，总线系统440用于实现这些组件之间的连接通信。第一总线系统440除包括数据总线之外，[0077]第一处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理[0080]第一存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失[0082]第一操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统[0088]第二处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理[0091]第二存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失本申请实施例描述的第二存储器250旨在包括任意适合类[0093]第二操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统[0100]下面，将结合本申请实施例提供的播放端设备和服务端设备的示例性应用和实事件标记时刻的时间轴与待编码多媒体流的时间[0111]S503、服务端设备获取待编码多媒体流与待解码多媒体流之间的流时间变化信[0116]在本申请实施例中，服务端设备可以将至少一个事件标记时刻和流时间变化信件标记时刻和流时间变化信息获得至少一个事件触发时刻的处理，可以由服务端设备执定至少一个事件触发时刻；服务端设备如果向播放端设备发送的为至少一个事件触发时法的流程示意图；其中，该示例性的多媒体流处理方法描述了游戏服务器(称为服务端设备)向终端(称为客户端设备)上的游戏客户端下发游戏直播视频流(称为待编码多媒体流)[0132]S5b03、游戏服务器获取游戏直播视频流与待下发的游戏直播视频流之间的流时本申请实施例中的至少一个事件触发时刻。间变化信息调整至少一个事件标记时刻，得到至少一个事件触发时刻，包括S50511和[0154]在本申请实施例中，播放端设备将获得的时间变化量作以基于编码过程中对待编码多媒体流的时间戳的改变情况对每个事件标记时刻进行适应性地调整，使得通过调整获得的每个事件触发时刻均与待解码多媒体流中的事件内容对端设备获取待编码多媒体流与待解码多媒体流之间的流时间变化信息，包括S5031至间信息)确定播放时间戳的方式，第三种指定编码方式是指在编码过程中基于指定的时间目标帧信息在待解码多媒体流中对应的编码时间戳；当编码方式为第二指定编码方式时，数)个编码服务器10-4(编码服务器10-41至编码服务器10-4n，称为编码设备)发送直播流41至编码服务器10-4n中的任一个)用于将直播流10-1编码为多种不同的直播流(直播流H.264编码格式下清晰度为540P的直播流和H.264编码格式下清晰度为360编码服务器i能够透传直播流ID_0，不改变直播流ID_0的帧信息对应的播放时间戳(PTS，和首帧音频中的至少一种，称为目标帧信息)对应的播放时间戳PTS_is(称为编码时间戳)供的同步时间(称为同步时间戳)作为直播流ID_i的起始帧信息对应的播放时间戳PTS_is0)直播流ID_i的起始帧信息对应的播放时间戳PTS_is(对应于第三指定编码方式)。从而，起始帧信息对应的播放时间戳PTS_is组成时间戳对<PTS_i0，PTS_is>(称为流时间变化信于等n，编码服务器10-41至编码服务器10-4n对应的输出依次为(ID_1,PTS_10,PTS_1s)，任一种可通过CDN分发或点对点(P2P)服务实现向终端10-[0188]广播服务器10-5将每个标记时刻广播至终端10-7；播放服务器10-8(称为播放服4向终端10-7下方与直播流地址匹配的编码后的游戏[0207]下面继续说明本申请实施例提供的第一多媒体流处理装置455的实施为软件模块[0212]在本申请实施例中所述流时间变化信息包括目标帧信息的待编码时间戳和编码时刻是由所述服务端设备基于所述流时间变化信息调整至少一个所述事件标记时刻获得播放端设备)的第一处理器从计算机可读存储介质读取该计算机指令，第一处理器执行该[0216]下面继续说明本申请实施例提供的第二多媒体流处理装置255的实施为软件模块[0220]信息发送模块2554，用于基于至少一个所述事件标记时刻和所述流时间变化信备基于所述流时间变化信息调整至少一个所述事件标记时刻获得至少一个所述事件触发服务端设备)的第二处理器从计算机可读存储介质读取该计算机指令，第二处理器执行该保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，HyperTextMarkupLanguage)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件设备即播放端设备和服务端设备)，或者在位于一个地点的多个计算机设备上执行(此时，且通过通信网络互连的多个计算机设备上执行(此时，分布在多个地点且通过通信网络互