CN112383771B Ip化视频制播系统中音视频监测方法 （中国传媒大学）

US2006093045A1,2006.05.04本发明提供IP化视频制播系统中音视频监软件层面实现了便于我们的研究与数据包层面本发明可根据不同视频格式适应性队列长度的丢包率的实时视频解析和监测。该方法适用于SMPTEST2022-6或SMPTEST2110-20标准下的21)利用WinPcap嗅探网卡捕获数据包，首先创建一个网络设备链表以获取本机的适配2)通过自适应性队列长度算法确定阻塞队3)将采集到的视频数据缓存入阻塞队列；解析4)ST2022-6和ST2110系列标准的视频封装协议从外到内包装的次序依次为：以太5)视频监测与显示系统装置采用SDL多媒体开阻塞队列的输入速率λ是指每秒采集经网络传输后到达队列的视频数据包的速率，由计算机直接根据一段时间内接收的数据包个数n除以相应时间t得到；输出速率μ是指视频和由ST2110-20标准封装的逐行扫描视频每帧的数据包数等于两个连续帧中具备标志位M的数据包序列号Seq_num2和Seq_num1的差值；其中标志位M在代表这一个数据包为这一帧3当输入速率约等于输出速率时，队列长度L2等于输入抖动input_jitter,加初始解析在获取数据包后，根据SMPTEST2022-6标准或ST2110系列标准4字节填充。SMPTEST2110系列标准将信号的视频、音频及辅助数据各个部分放入不同的传输视频流的区别之在于，为接收和解释流所必需的图像技术元数据定义了专门的基于体类型参数和隔行扫描、逐行分段、TCS等带默认值的媒体参数类型。SMPTEST2022和[0003]我们研究团队设计研发了一套具有自主知识产权的运行在普通性能通用计算机[0004]本发明目的在于提供一种新的基于通用计算机运行的软件装置实现IP视频流实流解析与监测则为本发明的一大重点和亮点，它需要对数据存储进行更深层次的复杂操5且该装置可以自动判断是否为视频流数据包。该装置可打破国外专业设备一体机的限制，[0008]在视频流数据处理解析层面，本发明在遵从ST2022-6和ST2110-20标准的基础[0016](4)一次抓取一个包，每嗅探到一个数据包就调用回调函数对数据包进行相应的6无限存储方案，该方案相比实时写读PCAP文件数据共享方案(即将视频流数据存储在本地[0023]阻塞队列的输入速率λ是指每秒采集经网络传输后到达队列的视频数据包的速指视频播放时每秒解析播放数据包的速率，可由视频播放的帧频(F)*每帧的数据包数得扫描和隔行扫描)和由ST2110-20标准封装的逐行扫描视频每帧的数据包数等于两个连续帧中具备标志位M的数据包序列号Seq_num2和Seq_num1的差值。其中标志位M在代表这一频中标志位M表示一场的最后一个数据包，因此该隔行扫描的一帧数据包数需要一场的数[0024]当输入速率小于输出速率时，队列长度L1等于视频流输出速率μ减去输入速率λ7拟合多种数学模型，求出拟合度最高的到达数学模型，求出最大抖动队列长度input_志位M的数据包序列号Seq_num2和Seq_num1的差值(ST2110-20封装的隔行扫描视频时[0040]以3G-SDI的源数据是由两个10bit并行数据流组成的虚拟接口为例说明SDI数据8[0042]从以太网中捕获的数据包根据SMPTEST2022-6标准或ST2110系列标准封装而起始行的数据包，进而读取属于同一帧的数据包。然后根据SAV中的数字消隐信息封装格频帧的首包及同一帧的所有数据包。接着通过相邻字节拼接恢复出原始取样像素值元组，[0045]我们的监测系统装置中采用SDL(SimpleDirectMediaLayer)，SDL是一套由C语他函数库特别是支持10比特以上HDR的函数库可用于视UpdateTexture()设置纹理的像素数据，SDL_RenderCopy()将纹理数据复制给渲染目标，9[0061]实验系统物理拓扑的搭建如图3所示的物理拓扑。本实验拓扑中应用到的设备主缩的基带视频便可以在十分庞大的网络中灵活传播，从而突破传统同轴电缆传输布线复文件数据共享的初始方案与我们自主设计研发的阻塞队列数据共享改键入万兆网卡适配器所属的编号，打开该适配器并开始捕获数据。指定捕获长度为65535(若路径原先不存在则会新建一个堆文件)，通过PCAP_dump函数将每次捕获到的数据包写际网络中传输的数据则位于数据包头后的数据包中,在实际解析中，解析多余的数据包头身便是一个比较耗时的操作，而多次写入少量数据又比一次写入大量数据所需时间更长，实时监测，用PCAP_setbuffer和PCAP_setuserbuffer函数分别调整内核缓存区和用户缓列存取数据来代替文件读写实现线程间通信，减少了数据写入磁盘和解析数据包头的时有标志位M的数据包中间的所有数据包和第二个具有标志位M的数据包组成一帧的数据包[0075]输入速率可以由图7中绿色框内的首末数据包的序列号和时间戳两列得出：[0081]线程2在完成各数据结构的初始化后，便以只读的方式打开缓存队列或存储捕获程2处获取图像缓存区内存储的完整帧数据作为纹理参数调用，图像缓存区以帧为单位更[0086]图5为由ST2022-6协议封装的RTP有效载荷标头中的字段内容，其中FRcount表[0089]RTP标头中的字段sequencenumber表示低16位的RTP序列计数器，当发送节点每约5.5而队列无限存储方案在20次实验测试中帧均丢包率均为0，对比初始方案效果有[0092]首先通过PTP达到网络的同步，然后通过视频数据源端与视频播放端二者之间的[0095]实验中队列有限存储方案在丢帧率与帧均丢包率指标上与初始方案表现基本一方案是以设置为能够存储5帧视频数据包长度为例。当我们采用队列长度优化算法调整队