CN117651169B 音视频数据的传输方法、装置、设备、介质及程序产品 （北京百度网讯科技有限公司）

本公开提供了音视频数据的传输方法、装帧的帧属性，确定所述候选传输顺序的损失参2为待传输音视频数据中的数据帧确定候选传顺序中音频帧和视频帧之间的显示时间距离根据所述损失参数从所述候选传输顺序中确定目标传输顺序，并采根据预设的客户端播放条件和所述候选传输顺序，确定所述候选根据所述目标帧的帧尺寸和网络传输速度为所述所述根据所述目标帧的帧尺寸和网络传输速度为所述候选传输顺序确定播放起始时根据所述第一帧尺寸和所述网络传输速度的商确定所述所述数据帧的播放时间和传输到达时间之间的冗余根据所述数据帧的冗余时间差为所述候选传输顺序确定冗余损失根据所述前序帧的帧尺寸、所述数据帧的帧尺寸和所述网络传输速根据所述播放起始时间、所述数据帧的显示时间戳和所述数据3根据所述播放时间和所述传输到达时间之间的差值确定所述数据帧的冗根据所述总冗余时间与所述数据帧的总数量的商为所述候选传输顺序确定冗余损失根据所述数据帧的帧尺寸和所述前序帧的帧尺寸之和确定第根据所述第二帧尺寸和所述网络传输速度的商确定所述数据帧的根据所述数据帧的显示时间戳和所述数据帧对应类型的起始帧的显示时间戳之间的根据所述显示时间差和所述播放起始时间之和确定所述数据根据所述参考帧的显示时间戳、所述数据帧的显示时间戳和所述数根据所述数据帧的类型和所述候选传输顺序，确定与所述数据帧相根据所述候选传输顺序确定所述前一帧和所述数据帧之间的帧以及所述数据帧与所根据所述数据帧的显示时间戳和各参考帧的显示时间戳之间的差值平方和确定交错根据所述交错时间差和所述数据帧对应的同类型帧的总数量的商确损失参数确定模块，用于根据所述数据帧的帧属性，确定4失参数表征不同候选传输顺序中音频帧和视频帧之间的显示目标顺序确定模块，用于根据所述损失参数从所述候选传输顺序中确定目标传输顺播放起始时间确定单元，用于根据所述目标帧的帧尺寸和网络传根据所述第一帧尺寸和所述网络传输速度的商确定所述冗余损失确定单元，用于根据所述数据帧的冗余时间差为所述候传输到达时间确定子单元，用于根据所述前序帧的帧尺寸、所述播放时间确定子单元，用于根据所述播放起始时间、所述数据冗余时间差确定子单元，用于根据所述播放时间和所述传输到达冗余损失确定子单元，用于根据所述总冗余时间与所述数据帧的总根据所述数据帧的帧尺寸和所述前序帧的帧尺寸之和确定第根据所述第二帧尺寸和所述网络传输速度的商确定所述数据帧的5根据所述数据帧的显示时间戳和所述数据帧对应类型的起始帧的显示时间戳之间的根据所述显示时间差和所述播放起始时间之和确定所述数据参考帧确定单元，用于根据所述候选传输顺序中所述数据帧的位交错损失确定单元，用于根据所述参考帧的显示时间戳根据所述数据帧的类型和所述候选传输顺序，确定与所述数据帧相根据所述候选传输顺序确定所述前一帧和所述数据帧之间的帧以及所述数据帧与所根据所述数据帧的显示时间戳和各参考帧的显示时间戳之间的差值平方和确定交错根据所述交错时间差和所述数据帧对应的同类型帧的总数量的商确所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被使所述计算机执行根据权利要求1-11中被处理器执行时实现根据权利要求1-11中任一项所述6频中的音频帧和视频帧的传输顺序进行合理规划。机程序在被处理器执行时实现根据本公开中任一实施例所述的音视频数据7[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特[0028]图1是根据本公开实施例的一种音视频数据的传输方法的示意图，本实施例可适景中或者视频直播的初始缓存下发场景中，客户端需要从服务器中获取待传输音视频数频数据中的顺序相同，同样视频帧序列中视频帧的顺序与待传输音视频数据中的顺序相8[0032]如图2所示为待传输音视频数据的候选传输顺序示意图，在待传输音视频数据中i=1,2,…na,xnst1表示在音频帧序列中的第na个音频帧后的视频帧数量，xi和xna+1可以等于0，用一个长度为na+1的向量xeRpa+1表示视频帧的视频候选传输顺序，其中，X=[X1,X2,…1xns+1],其中，X满足na+1个连续视频帧集合为SY,S,…,S⃞。+1,该集合与V,V2,…vn,相同。则向量X中不同的数值组合代表了对应的帧尺寸为显示时间戳(PresentationTimeStamp，PTS)用于表示该数据帧在客户端中的播放时间，音频帧序列A,A2,…Ans对应的显示时间戳为网络传输速度是指数据帧在从服务器传输到客户端时的发[0035]损失参数是指按照不同的候选传输顺序对音频帧序列和视频帧序列进行传输时[0038]根据预设的客户端播放条件和候选传输顺序，确定候选传输9音频帧和视频帧的数量根据候选传输顺序中音频帧和视频帧的排列[0047]根据目标帧中所包括的所有数据帧的帧尺寸之和确定客户端开始播放时从服务[0048]本实施例以客户端播放条件为客户端在接收到至少一个音频帧和至少一个视频顺序中的第j个视频帧的帧尺寸；xm表示候选传输顺序中第m-1个音频帧和第m个音频帧之[0054]根据不同候选传输顺序对应的损失参数的比较结果从候选传输顺序中确定目标[0056]图3是根据本公开实施例的另一种音视频数据的传输方法的示意图，本实施例是传输顺序中每一个数据帧的位置信息以及客户端播放起始时间确定每一个数据帧的播放时间，根据各候选传输顺序中每一个数据帧的位置信息确定每一个数据帧的传输到达时满足客户端播放条件的情况下已接收的音频帧和/或视频帧；根据目标帧的帧尺寸和网络[0072]根据数据帧的帧尺寸和该数据帧对应的前序帧的帧尺寸的和确定的第二帧尺寸根据第二帧尺寸和网络传输速度的商得到该数据帧的传输到客户端上的顺序中第i-1个音频帧和第i个音频帧之间的第k个视频帧的传输到达时间；SIZE表示候选传输顺序中的第j个音频帧的帧尺寸；SIZE"表示候选传输顺序中的第j个视频帧的帧尺qq[0081]根据数据帧的显示时间戳和数据帧对应类型的起始帧的显示时间戳之间的差值示戳和对应类型的起始帧的显示时间戳之间的差值可以确定该数据帧在对应类型帧序列起始条件为客户端在接收到至少一个音频帧和至少一个视频帧的情况下开始播放进行说中的第i个音频帧的显示时间戳；表示候选传输顺序中的第个[0091]根据待传输音视频数据中各数据帧的冗余时间差确定该候选传输顺序对应的冗[0095]根据待传输音视频数据中各数据帧的冗余时间差之和确定待传输音视频数据按有数据帧的总数量的商确定的冗余时间平均值作为该候选传输顺序对应的冗余损失参数，即冗余损失参数表征了待传输音视频数据中数据帧redundancy"=B-L⃞;redundancy"x表示候选传输顺序中第i-1个音频帧和第i个音频帧之间的第k个视频帧的冗余时间差，redundancy⃞"x-xi表示候[0103]本实施例的方案，通过数据帧的帧属性确定不同候选传冗余损失参数表征该候选传输顺序对应的数据帧播放时间和传输到达时间差值的总体水[0104]图4是根据本公开实施例的又一种音视频数据的传输方法的示意图，本实施例是[0111]根据候选传输顺序确定前一帧和数据帧之间的帧以及数据帧与后一帧之间的帧[0112]与数据帧相同类型的前一帧和后一帧分别与该数据帧之间的帧即为目标音频帧[0117]根据数据帧的显示时间戳和各参考帧的显示时间戳之间的差值平方和确定交错差值平方和确定交错时间差，交错时间差反映了音频帧和视频帧之间的显示时间距离信过交错损失参数表征音频帧和视频帧之间交错即和对应第个视频帧到第个视频帧，对应第[0129]本实施例的方案，通过数据帧的帧属性确定不同候选传[0133]示例性的，在上述示例的基础上，总损失参数的表达式为α1Lfirst-α2Lredundancy+α3Ldistance失参数从候选传输顺序中确定目标传输顺序即是对m的求解问题。向量xeRIlat1表示视频帧的视频候选传输顺序，[0134]图5是根据本公开实施例的一种音视频数据的传输装置的结构示意图，该装置可[0137]目标顺序确定模块430，用于根据所述损失参数从所述候选传输顺序中确定目标[0145]根据所述目标帧中目标音频帧的帧尺寸和目标视频帧的帧尺寸之和确定第一帧[0157]总冗余时间确定子单元，用于根据所述数据帧的冗余时间差之和确定总冗余时[0163]根据所述数据帧的显示时间戳和所述数据帧对应类型的起始帧的显示时间戳之[0171]根据所述候选传输顺序确定所述前一帧和所述数据帧之间的帧以及所述数据帧[0173]根据所述数据帧的显示时间戳和各参考帧的显示时间戳之间的差值平方和确定[0174]根据所述交错时间差和所述数据帧对应的同类型帧的总数量的商确定交错损失[0175]上述音视频数据的传输装置可执行本公开任意实施例所提供的音视频数据的传的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执因特网的计算机网络和/或各种电信网络与其他设备交换信机程序的部分或者全部可以经由ROM502和/或通信单元509而被载入和/或安装到设备500机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0183]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在[0186]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部