（计算机科学与技术专业论文）h264视频流实时传输系统的研究与应用.pdf

北京邮电大学硕士研究生论文 h 2 6 4 视频流实时传输系统的研究与应用 摘要 互联网上的实时视频传输是当前多媒体通信领域的热点问题，视 频压缩是其核心技术之一。新一代视频压缩标准h 2 6 4 ，具有比以往 标准更出色的压缩效率和良好的网络适应性，正逐渐成为多媒体通信 业务中的主流标准。因此对h 2 6 4 编码技术和网络传输技术的研究具 有重要的意义。 本文主要研究面向会话型视频通信业务的h 2 6 4 视频流实时传输 的问题。首先深入研究了h 2 6 4 标准的编码特性和码流结构，以及目 前在多媒体通信系统中广泛应用的实时传输协议r t p ，在此基础上设 计并实现了基于r t p 传输h 2 6 4 视频流的实时传输系统。系统在实 现过程中引入了d i r e c t s h o w 技术，基于构件的思想，采用纯软件的 实现方法，具有一定的通用性；既可以作为独立的系统，也可以非常 方便地应用于视频会议、视频监控等系统中。最后，通过本系统与一 个基于s i p 视频会议系统的集成，验证了系统的灵活性和有效性。 关键词：h 2 6 4 ，r t p r t c p ，实时传输 北京邮电大学硕士研究生论文 r e s e a r c ha n da p p l i c a t i o no fr e a l t i m e t r a n s m i s s l 0 ns y s t e m0 fh 2 6 4v i d e o a b s t r a c t r e a l t i m ev i d e ot r a n s m i s s i o no v e ri n t e r n e ti sn o wah o tt o p i ci n m u l t i m e d i ac o m m u n i c a t i o na r e a ，a n dv i d e oc o m p r e s s i o ni so n eo fi t sk e y t e c h n o l o g i e s a st h en e w e s tv i d e o - c o d i n gs t a n d a r d ，h 2 6 4h a sh i g h e r c o d i n ge f f i c i e n c yt h a no t h e rs t a n d a r d sa n db e t t e ra d a p t a b i l i t yt ov a r i o u s n e t w o r k s i th a sb e e nb e c o m i n gam a j o rv i d e oc o d i n gs t a n d a r do ft h e m u l t i m e d i ac o m m u n i c a t i o ns e r v i c e s c o n s e q u e n t l y , i ti ss i g n i f i c a n tt o s t u d yt h et e c h n o l o g i e so fc o d i n ga n dn e t w o r kt r a n s m i t t i n go fh 2 6 4 t h i sp a p e rm a i n l yf o c u s e so nt h er e a l - t i m et r a n s m i s s i o no fh 2 6 4 v i d e os t r e a m sf o rc o n v e r s a t i o n a lv i d e os e r v i c e s t h ef e a t u r e sa n dt h e s t r u c t u r eo fh 2 6 4a n dr t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) a r ef i r s t l y i n t r o d u c e d t h e nw ed e s i g na n di m p l e m e n tar e a l t i m et r a n s m i s s i o n s y s t e mo fh 2 6 4v i d e os t r e a mb a s e do nr t pp r o t o c 0 1 t h i ss y s t e m i n t r o d u c e sd i r e c t s h o w t e c h n o l o g y , a n d f o l l o w st h e p r i n c i p l e s o f c o m p o n e n t b a s e dd e s i g n s oi ti so f c e r t a i nu n i v e r s a l i t y , a n dc a nb ee i t h e r u s e da sas i n g l es y s t e mo ra p p l i e di n t ov i d e oc o n f e r e n c es y s t e m so rv i d e o m o n i t o rs y s t e m s f i n a l l y , t h i sp a p e rg i v e sa ne x a m p l eo fi t sa p p l i c a t i o ni n av i d e oc o n f e r e n c es y s t e m k e y w o r d s ：h 2 6 4 ，r t p r t c p , r e a l - t i m et r a n s m i s s i o n 北京邮电大学硕上研究生论文 创新性声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：鱼握 日期： 圣：蔓： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学 校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段 保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文注释：本学 位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 日期： 弓，5 北京邮电大学硕士研究生论文 1 1 研究背景 第一章引言 随着全球跨入数字化、网络化、全球一体化的信息时代，人们之间的信息交 流越来越频繁，方式越来越多样。从原始的纸笔书信，到传统的语音通信，再到 新兴的数字通信，无不体现着人们对通信方式多样化的追求。而“百闻不如一见 ， 视觉是人类获取信息的最重要的方式，这使得通信的可视化需求越来越高。视频 通信刚起步之时，仅仅是少数人能够享受的奢侈品，设备昂贵、成本高，产品再 好，人们也只能望而却步。而计算机技术、多媒体技术的迅猛发展以及互联网的 日趋普及，让这个尴尬的问题迎刃而解。尤其是近几年来，互联网以惊人的速度 遍布我们生活的各个角落，给我们的生活方式和通信方式都带来了前所未有的变 化，已经逐渐成为我们的信息社会的基本工具。所以基于互联网的网络视频通信 已经成为当前通信领域的热点，并在视频会议、视频监控、远程教育、视频点播 等方面得到越来越广泛的应用。 不同的通信业务对传输网络的要求差异很大，视频业务要求实时传输，对时 延非常敏感，但可以容忍一定程度的误码。根据对实时的要求，视频通信一般有 以下三种典型应用： 会话型应用，比如视频会议、视频电话等，这类系统有非常严格的延迟要求。 为有效的通信，等待时间和抖动必须保持在一定的限度内，1 5 0 - 4 0 0 m s 是可以接 受的。 流媒体服务应用，比如视频点播等，现场或预先压缩的视频源被传送到一个 或多个接收端。用户可以边下载边播放，而不需要将视频数据完全下载，这样用 户仅需等待几秒钟时间的延迟，就可以快速获取音视频等连续多媒体内容。由于 没有交互式通信，所以等待时间可以稍长。 下载服务，由于这种应用的非实时性，对时延没有特殊要求。 对前两种应用来说，要解决的最核心问题，就是视频的实时传输。由于视频 媒体流的传输数据量是相当大的，通常都是经过压缩后再进行传输。因此视频传 输技术的发展，离不开视频编码技术的进步。 经过人们几十年的研究，视频压缩编码技术已经取得了许多成果。从19 8 4 年以来，r r u - t 等国际标准化组织陆续颁布了将近十个视频编码国际标准【l j ，大 大推动了视频通信及其它视频相关领域的发展。然而，现有的视频压缩标准由于 存在种种局限和不足，难以满足互联网对视频传输提出的更高要求，主要是视频 北京邮电人学硕上研究生论文 压缩与视频质量之间的矛盾不能很好解决，迫切需要具有更高压缩效率的技术出 现。 2 0 0 3 年3 月，i t u tv c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 和i s o i e cm p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 成立的联合视频专家组正式公布了h 2 6 4 视频压 缩标准【2 1 。h 2 6 4 是新一代低比特率视频标准，与现有的任何标准相比，它有着 更高的压缩性能，能够在较低带宽提供高质量的图像传输，对网络传输有更好的 支持。具体讲，与m p e g - 4 相比，相同质量下，采用h 2 6 4 标准能降低码率5 0 左右；或者说同样码率下，其信噪比明显提高。而且，h 2 6 4 的授权费用更加合 理，受到广泛的重视和欢迎，具有广阔的应用前景，比如实时视频通信、i n t e r n e t 视频传输、视频流媒体服务、压缩视频存储等，被认为是最具发展潜力的下一代 视频压缩技术。 1 2 研究目的和意义 视频流的传输是一个复杂而特殊的问题，既与网络的发展和条件有关，也受 视频编码标准自身特点的约束。因此针对不同的网络环境和编码方法，应采取不 同的传输机制和网络适配方法。本文主要研究面向会话型视频业务的h 2 6 4 视频 流在互联网中实时传输的问题。 前面已经提到，会话型视频业务，如视频会议系统，对传输时延有非常严格 的要求，对于这类系统，必须实时实现编码和解码，因此编解码复杂度不能太高， 双向预测帧就不宜使用，而且编解码器的缓冲区一般很小。重传一般是不可接受 的，抖动也必须受限。由于有这些限制，视频会议等应用系统被认为是视频通信 系统中要求最苛刻的。然而幸运的是，该类应用在空间和时间分辨率方面要求不 是很高，例如5 1 0 f p s 的q c i f 对视频电话系统是可以接受的，1 0 2 0 f p s 的c i f 对于大多数视频会议系统是足以令人满意的，而且通常可以容忍中等程度的压 缩，并允许一定的误码率。 在此类系统中，尽管h 2 6 1 、h 2 6 3 、m p e g 4 等视频压缩技术已成熟，但 因编码效率不高，占用带宽大，使得视音频数据经常出现抢占带宽的问题，造成 视频质量不高，出现图像或声音不连续等现象。而h 2 6 4 的高压缩比，可以有效 地节省带宽，在低码率视频传输上取得了突破性的进展。因此，对h 2 6 4 的编码 技术和网络传输技术进行研究具有重要的意义。 由于h 2 6 4 在压缩编码算法的新特点，尤其是在系统层面上与传统标准有很 大差异，使其网络传输具有一定的特殊性，因此基于以往视频标准实时传输的研 究成果不能直接拿来套用，必须针对h 2 6 4 在网络实时传输中的应用做更深入的 研究。 2 北京邮电大学硕士研究生论文 目前h 2 6 4 视频流实时传输的研究主要是面向流媒体应用系统，如文献【3 】， 对于视频会议等系统，有很大参考价值，但缺乏针对性。虽然h 2 6 4 已经出现在 一些视频会议、视频监控系统中，但大部分以硬件视频卡为主，灵活性差，如文 献 4 】。 本文在研究上述问题的基础上，设计并实现了一个具有一定通用性的h 2 6 4 视频流实时传输系统。此系统主要针对视频会议等交互式会话型多媒体应用系 统，基于实时传输协议r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 对h 2 6 4 视频流进行 封装传输，并采用d i r e c t s h o w 流媒体应用框架技术，纯软件实现，对硬件要求 低，只需普通的摄像头就可以实时采集传输。所以系统可重用性强，扩展性好， 既可以作为独立的系统使用，也可以方便地集成到其它应用系统之中，比如视频 会议、视频监控系统等。 1 3 论文的总体结构 论文其余的部分组织如下： 第二章介绍视频实时传输所涉及到的关键技术，并深入分析了h 2 6 4 视频编 码标准的编码特性、码流结构及其网络传输适应性。第三章在分析r t p r t c p ( r e a l t i m et r a n s p o r t c o n t r o lp r o t o c 0 1 ) 以及视频传输q o s 的基础上，提出了h 2 6 4 视频流传输方案，重点探讨了参数集传输、h 2 6 4 的r t p 封装，并对基于r t c p 的q o s 控制机制进行了设计。第四章根据传输方案设计并实现了h 2 6 4 视频流 实时传输系统，系统各功能模块以d i r e c t s h o w 的f i l t e r 组件形式实现，最后给出 了系统运行结果。第五章通过本系统与一个现有的基于s i p 视频会议系统的集 成，验证了本系统的实用性和通用性。第六章对本文进行了总结，提出了目前工 作的不足以及今后继续努力的方向。 北京邮电大学硕十研究生论文 第二章视频流实时传输相关技术 2 1 视频流实时传输的特点 视频流的实时传输在互联网上得到了越来越多的应用。视频信息的传输与传 统的文本数据等非实时信息的传输不同，它对于网络带宽、传输延迟、抖动等都 有严格的要求。 一般来说，视频流的实时传输有以下特尉5 】： ( 1 ) 网络带宽要求高。视频数据的信息量大，即使用视频压缩编码技术进 行压缩后，仍远远大于其他媒体数据。为了获得可接受的视频质量，网络视频流 传输需要一定的带宽。 ( 2 ) 实时性要求高。传统的非实时信息传输不允许数据丢失，但可以有一 定的延迟和抖动。而视频传输则相反，可以容忍一定的数据丢失，但有非常严格 的延迟要求，延迟和抖动必须保持在一定的限度内，以保证其实时性。尤其在视 频会议系统等应用中，视频数据的时延应控制在4 0 0 m s 以内。 ( 3 ) 具有突发性。采集到的视频数据，需要经过压缩后，再通过网络传输 到接收端。由于数据本身和压缩算法的影响，输出的比特流速率不恒定，即所谓 变比特率传输，具有突发性的特点。 2 2 视频传输关键技术 2 2 1 视频压缩技术 视频压缩技术是视频通信技术的核心问题之一，i s o 、i e c 、i t u 制定了一 系列的视频压缩编码标准，在视频实时传输系统中应用比较广泛的有： ( 1 ) h 2 6 1 【6 j 。h 2 6 1 是规范i s d n 网上的视频会议和可视电话应用中的视 频编码技术，基于混合编码框架，包括基于运动补偿的帧间预测，基于离散余弦 变换的空域变换编码，有效的压缩了视频序列时间和空间上的冗余度，是第一个 实用的数字视频编码标准。 ( 2 ) h 2 6 3 和h 2 6 3 + 0 。h 2 6 3 是在h 2 6 1 基础上开发的电视图像编码标准， 用于低码率通信的电视图像编码，目的在于改善调制解调器上传输的图像质量， 并增加了对电视图像格式的支持。h 2 6 3 + 是对h 2 6 3 的扩展。 ( 3 ) m p e g 4 瑙】。m p e g 4 是基于内容的压缩编码方法，突破了m p e g 1 和 4 北京邮电大学硕十研究生论文 m p e g 2 以矩形方块处理图像的方法。m p e g - 4 支持基于对象的互操作性，是一 种高效率的压缩标准，与之前的m p e g 系列编码标准比，更适于交互音视频服 务。 ( 4 ) h 2 6 4 9 。h 2 6 4 在h 2 6 x 的基础上发展而来，继承了以往标准的优良 特性，采用了很多全新的编码技术。其出色的压缩效率及对网络传输更好的支持， 已经吸引了通信和广播行业的广泛关注，必将成为网络实时传输领域的主流压缩 标准之一。本文将在后面章节对h 2 6 4 视频编码标准进行详细介绍。 2 2 2 流媒体技术 流媒体技术【l o 】是当前十分流行的多媒体技术，其基础就是多媒体通信技术。 流媒体是指在网络上使用流式传输技术的连续时基媒体，是通过网络传输的音 频、视频或多媒体文件。流媒体实现的关键技术之一就是流式传输。所谓的流式 传输技术，现在主要指通过网络传送媒体( 如视频、音频) 的技术总称，其特定 含义是通过网络将音视频节目传送到终端机。实现流式传输有两种方法：实时流 式传输方式( r e a l t i m es t r e a m i n g ) 和顺序流式传输方式( p r o g r e s s i v es t r e a m i n g ) ， 视频会议等会话型系统主要利用实时流式传输方式。 2 2 3 多媒体传输协议 多媒体信息在网络中传输必然涉及到网络传输协议，这是制约多媒体传输系 统性能的最重要因素。在面向无连接的口网络中，为了保证对网络拥塞、时延 和抖动极其敏感的多媒体业务的服务质量，必须采用合适的协议。以下是多媒体 传输中常用的几个协议： ( 1 ) s d p ( s e s s i o nd e s c r i p t i o np r o t o c 0 1 ) i ll 】。会话描述协议s d p 用于协商 在会话中双方的媒体流信息，为会话通知、会话邀请和其它形式的多媒体会话初 始化等目的提供多媒体会话描述。s d p 基本上在i n t e m e t 上工作，它定义了会话 描述的统一格式，但并不定义多播地址的分配和s d p 消息的传输，也不支持媒 体编码方案的协商，这些功能均由下层传送协议完成。 ( 2 ) r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 1 2 j 。实时流协议r t s p 是一个用 来控制实时多媒体传输的应用协议，它建立并控制一个或几个时间同步的连续多 媒体流，如音频和视频，并能够提供诸如播放、暂停、快进等操作。r t s p 本身 并不发送连续流，仅充当多媒体服务器的网络远程控制，由其它协议( 如r t p ) 负责发送媒体流。r t s p 可以实现双向实时流的控制，即客户机和服务器都可以 发出请求。 5 北京邮电人学硕上研究生论文 ( 3 ) r s v p ( r e s o u r c er e s e r v a t i o np r o t o c 0 1 ) l l 川。资源预留协议r s v p ，属 于i n t e r n e t 本身的多媒体传输协议。由于实时多媒体流比传统数据对网络的延迟 更敏感，要在网络中传输高质量的流信息，除了带宽要求之外，还需要很多其他 的条件。r s v p 协议预留一部分网络资源，能在一定程度上为数据流的传输提供 q o s ，它对于需要保证带宽和时延的业务，如视频会议等具有十分重要的作用。 ( 4 ) r t p 1 4 】。实时传输协议r t p 是一个i n t e m e t 协议标准，它描述了程序 管理多媒体数据实时传输的方式。r t p 协议由两个紧密相关的部分组成：实时传 输协议r t p 和实时传输控制协议r t c p 。本文将在第三章对r t p r t c p 协议进行 详细分析。 2 3h 2 6 4 视频编码标准 2 3 1 标准概述 h 2 6 4 视频压缩标准，是由r r u - tv c e g 和i s o i e cm p e g 成立的联合视频 专家组共同开发的。在i s o i e c 中，该标准作为m p e g 4 标准的第十部分，正式 名称为m p e g - 4a v c ( a d v a n c e dv i d e oc o d i n g ) ，以区别于第二部分的编码标准 ( 也即本文中所指m p e g 4 视频编码标准) 。该标准在i t u - t 的正式名称为 h 2 6 4 。因此常常被称为h 2 6 4 止w c ，本文仅称其h 2 6 4 。 一方面，h 2 6 4 集中了以往标准的优点，吸取了许多标准制定过程中积累的 经验；另一方面，h 2 6 4 又加入了一些新的研究成果，在系统结构、编码方法、 变换、运动估计和运动补偿等方面提出了许多新的概念。因此h 2 6 4 具有更高的 压缩效率，编码性能也显著提高。同时，h 2 6 4 还提供了友好的网络接口和抗误 码措施，具有良好的网络传输适应性。h 2 6 4 的应用面十分广泛，兼顾广播和电 信，覆盖低码率通信到高清晰电视。 h 2 6 4 标准定义了三个档次：基本档次、主要档次和扩展档次。 ( 1 ) 基本档次( b a s e l i n ep r o f i l e ) 。支持i 片帧内编码和p 片帧间编码，支 持基于上下文的自适应的变长编码( c a v l c ) 作为熵编码。主要用于视频电话、 视频会议、无线通信等实时视频通信。 ( 2 ) 主要档次( m a i np r o f i l e ) 。支持i n t e r l a c e 隔行视频，支持b 片的帧间 编码和采用加权预测的帧内编码；支持基于上下文的自适应的算术编码 ( c a b a c ) 作为熵编码。主要用于数字广播电视与数字视频存储。 ( 3 ) 扩展档次( e x t e n d e dp r o f i l e ) 。支持s p s i 片、支持数据分割，但不支 持隔行视频和c a b a c 。主要用于流媒体服务。 6 北京邮电大学硕上研究生论文 2 3 2h 2 6 4 编码新特性 2 3 2 1 帧内编码预测 在以往标准中，预测编码主要用于帧间。h 2 6 4 在帧内编码方面，提出了帧 内预测技术，与变换编码一起用于减少空间冗余。对于亮度块，提供了i n t r a4 4 和i n t r a1 6 1 6 两种帧内编码模式，前者对每个4 x 4 亮度块分别进行预测， 适于表现图像细节部分；后者对整个1 6 1 6 亮度块进行预测，适合平滑图像区。 对于每个4 4 块，可以选择9 种预测模式。除了“d c ”预测，图2 1 给出 了其余8 种方向预测模式，并以模式5 为例给出了具体的预测方式。 巡钐 砀。r q abcdefgh 预测模式5 ( 右垂直) 图2 。1i n t r a4 x4 的8 个预测方向( 左) 及模式5 ( 右) 在使用h l 劬1 6 x1 6 模式的时候，宏块的亮度成分被整体预测。支持4 种预 测模式，如图2 2 所示。 0 垂直预测l 水平预测2 直流预测3 平面预测 丽厍 图2 2i n t r a1 6 1 6 的4 种预测模式 宏块中色度使用8 8 块预测，预测技术与宏块1 6 1 6 的亮度成分类似，因 为色度块一般来说在很大一块区域内都比较平滑。 2 3 2 2 帧问编码预测 帧间预测是h 2 6 4 相对于以前编码标准压缩效率提高最大的一个模块，对许 7 北京邮电大学硕i ：研究生论文 多现有技术进行了改进。p 帧利用前面已编码的帧作为参考图像，b 帧利用双向 的参考图像进行预测。对于实时视频传输系统，由于编码速度的要求，一般只选 择i 帧和p 帧，不采用b 帧，所以仅分析p 帧的帧间预测工具和方法。 ( 1 ) 树状结构运动补偿 每个p 宏块按照一定的方式划分，用于运动补偿预测。图2 3 说明了亮度块 的划分情况。这种分区下的运动补偿，称为树状结构运动补偿【1 5 】。每个分区或子 块都有独立的运动补偿。宏块的色度成分为相应亮度的一半，采用和亮度块相同 的分区方式，只是尺寸减半。 m t y p e 8 x 8 t y p e 口目田田 8 x 88 x 44 x 8 口目田田 图2 3 宏块及子宏块的划分 ( 2 ) 亚像素运动矢量 h 2 6 4 标准中采用亮度1 4 像素精度，色度1 8 像素精度的运动矢量，这一 技术进一步提高了运动估计的精确度。亚像素位置的亮度和色度像素在参考图像 中并不存在，需要利用邻近整像素点进行内插获得。 ( 3 ) 多参考帧 h 2 6 4 支持多图像运动补偿预测，也就是说，运动补偿可以参考多个已编码 图像，如图2 4 所示。 图2 4 h 2 6 4 的多参考帧 多参考帧运动补偿预测，需要编码器和解码器在多图像缓存中存储参考图 北京邮电大学硕士研究生论文 像。解码器根据码流中的控制信息与编码器同步( 复制编码器的多图像缓存) 。 除非多图像缓存的大小设置1 ，否则就必须要传送参考图像在缓存中的索引号。 每一个运动补偿的1 6 x1 6 、1 6 8 、8 1 6 亮度块的参考索引参数都要发送。小 于8 x 8 的所有小区域使用该8 8 块的参考索引。 2 3 2 3 整数变换和量化 与以往标准类似，h 2 6 4 对预测残差进行变换编码。但h 2 6 4 没有采用传统 的离散余弦变换( d c t ) ，而是采用与离散余弦变换特性相似的整数变换，通常 被称为整数d c t 变换。传统d c t 进行的是实数运算，解码时会不可避免的出现 偏差，即图像漂移现象。h 2 6 4 采用整数d c t 变换，通过整数的加减和移位操 作就能完成，所以反变换没有偏差，不会出现数据失配的问题。 此外，h 2 6 4 的变换编码基于4 4 块，而不是以往常用的8 8 块。因为用 于变换块的尺寸缩小，运动物体的划分更精确。这样不但变换计算量比较小，而 且在运动物体边缘处的衔接误差也大为减小。 h 2 6 4 中对变换系数的量化依据量化参数来进行，量化步长q s t e p 共有5 2 个值。量化参数q p 是量化步长的序号，q p 值每增加l ，代表量化步长增加1 2 。 色度编码一般使用与亮度编码同样的量化步长，为避免在较高量化步长时出现颜 色量化人工效应，最后的草案规定，亮度q p 的最大值是5 1 ，色度q p 的最大值 是3 9 。 2 3 2 4 熵编码 视频编码处理的最后一步就是熵编码，在h 2 6 4 中采用了两种不同的熵编码 方法：基于上下文的自适应可变长编码c a v l c 和基于上下文的自适应二进制算 术编码c a b a c 。 c a v l c 根据已编码语法元素的情况动态调整编码中使用的码表，并充分利 用残差经过整数变换、量化后数据的特性进行压缩，取得了极高的压缩比。 如果使用c a b a c ，熵编码的效率将会有更大的提高。一方面，算术编码的 应用允许给每一个字母符号指定非整数比特位，这样非常适合大于o 5 的符号概 率。另一方面，自适应编码的应用可以为非固定的符号统计提供适应性。 与c a v l c 相比，c a b a c 可以减少5 1 0 的码率，对于隔行扫描视频， 增益效果更加明显。但c a b a c 复杂度比较高，因此在h 2 6 4 的基本应用中，通 常采用c a v l c 编码。 9 北京邮电大学硕上研究生论文 2 3 3i - i 2 6 4 码流结构分析 在网络中传输h 2 6 4 视频流，必须针对其码流结构采用特殊的传输机制，因 此本节将对h 2 6 4 的码流结构进行详细的分析。 2 3 3 1h 2 0 4 的分层设计 h 2 6 4 在系统层面上与以往标准有很大不同，它提出了一个新的概念，即提 出两个概念性的编码层：视频编码层( v c l , v i d e oc o d i n gl a y e r ) 和网络提取层 ( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) 。如图2 5 所示： v c l 层 n a l 层 传输层 片宏块 块 一 c u r b r + ( 1 + p ) b r t h r e d s h o l d ) c u r b r - - m i n ( p d e s t b r b r t h r e d s h o l d ， m a x b i t r a t e ) ； l 如果带宽不能保证编码器当前的输出码率 调整码率为目标码率，不能低于最小码率 e l s ei f ( d e s t b r c s e n d e r g r a p h s e t c a p f o r m a t ( ) a f f i l i a t e c a p t u r e ( ) a f t i l i a t e e n c o d e r f ) a f f i li a t e s e n d e r ( 1 c v i d e o s e n d e r g r a p h s e t c a p f o r m a t 人m l i a t e c a p t u r e ( ) a f - f i l i a t e p u l s e r f ) a f f i l i a t e e n c o d c r ( ) a 币l i a t e v l d c o r e n d e r e r ( ) a f f i i l a t e v i d e o t e e ( ) 一a f n i i a t e s e n d e r ( ) 图4 - 5 发送端类图 3 5 c g r a p h mu l d e s t i p mu s d e s t p o r t mu s b a s e p o r t mr a t e + e n u m p i n s ( ) + r e l e a s e p i n a r r a y ( ) + g e t m o n i k e r ( ) + t n c o n n e c t i o n ) + c r e a t e v i d c o n t a i n e r ( ) + b i n d f i l t e r ( ) 北京邮电大学硕上研究生论文 各个f i l t e r 类将在本章后面详细描述，因此图4 5 中画的比较简单，管理f i l t e r g r a p h 的相关类也仅给出了部分成员。 4 3 4 发送端活动图 图。 活动图用于描述执行的各项任务或活动的顺序安排。图4 - 6 为发送端的活动 初始化枚举系统采集设备 是否有采集 设备? y 设置目的i p 和端口 接入视频采集f i l t e r 卜h 创建视频发送f i l 衙g r a p h 接入s m a r tt e ef i l t e r 接入视频回放f i l t e r 接入帧率控制f i l t e r 接入r t p 发送f i l t e rk 一接入h 2 6 4 编码f i l t e r 运行f i l t e rg r a p h 是否终止? 图4 6 发送端活动图 在系统进行初始化以及采集设备枚举后，如果检测系统能力能够满足要求， 则建立视频发送f i l t e rg r a p h ，将所有要用到的f i l t e r 加入到f i l t e rg r a p h ，并进行 连接。然后通过f i l t e rg r a p hm a n a g e r 运行f i l t e rg r a p h ，开始本地的视频预览， 以及数据发送。在数据发送过程中，发送端还会接收反馈控制信息，对发送速率 进行调整，实现自适应拥塞控制，q o s 实现部分将在本章后面小节详细说明。 竺一 北京i t t l j i 【1 人学坝1 5 0 1 究生论史 4 4 接收端设计 4 4 1 接收端用例图 接收端对于用户来说功能非常简单，即接收视频。接收端彳i 必设胃参数，仁l 接收视频数据前也必须进行系统初始化。接收端用例图如图4 7 所示。 、 心竺二 i 、 弋接收视频) 图4 7 接收端用例图 4 4 2 接收端f i l t e r s 及f i l t e rg r a p h 根据接收端的功能，需要丌发的f i l t e r 为：r t p 接收f i l t e r ，h 2 6 4 解码f i l t e r 。 ( 1 ) 采用的d i r e c t s h o wf i l t e r ： v i d e or e n d e r e rf i l t e r ：负责将视频显示出来。 ( 2 ) 接收端新增f i l t e r s ： h 2 6 4r t pr e c e i v e rf i l t e r ：r t p 接收f i l t e r ，负责接收数据包，发送反馈信息。 h 2 6 4d e c o d e rf i l t e r ：h 2 6 4 解码f i l t e r ，实时解码h 2 6 4 视频数据。 系统接收端的f i l t e r 链路图如图4 - 8 所示。 4 4 3 接收端类图 图4 8 接收端f i l t e r 链路图 接收端电要用到f i l t e rg r a p h 基本操作类c g r a p h ，从该类派牛 c r e c e i v e r g r a p h 及其子类c v i d e o r e c e i v e r g r a p h 。接收端创建的f i l t e r 为r t p 接 收f i l t e r ，h 2 6 4 解码f i l t e r ，对应各自的类。接收端书要类的类幽如图4 - 9 所示。 北京邮电大学硕士研究生论文 4 4 4 接收端活动图 图4 9 接收端类图 图4 1 0 为接收端的活动图。 图4 1 0 接收端活动图 3 8 ic h 2 6 4 d e c o d e r l l ic r t p r e c e i v e 巾u t p i n i lc r t p r e c e i v e r i l 北京邮电大学硕十研究生论文 如图4 - 1 0 ，首先进行系统初始化，检测系统能力，完成后建立视频接收f i l t e r g r a p h ，将所有要用到的f i l t e r 加入到f i l t e rg r a p h ，并进行连接。然后通过f i l t e r g r a p hm a n a g e r 运行f i l t e rg r a p h ，开始接收数据。接收端在接收数据的过程中， 定期向发送端发送r t c p 包，由发送端根据r t c p 反馈消息进行发送速率调整。 4 5 系统实现 4 5 1 系统接口 系统把底层软件封装成动态链接库，实现文件为h 2 6 4 t r a n s d l l ，以实现h 2 6 4 视频实时传输的基本功能，对外提供的接口函数主要有： ( 1 ) 传输参数设置 m s y s c o n f i gc o n s t 宰c h 2 6 4 t r a n s ：c o n f i g u r e ( m s y s c o n f i g 幸p m s y s c o n f i g ) 根据用户输入的参数对系统进行配置，输入参数可以设置为n u l l ，此时将 对系统采用默认参数进行配置，该函数返回值为系统的实际配置。m s y s c o n f i g 的数据结构为： s t r u c tm s y s c o n f i g u i n t u v i d e o f r e q 歹f r e q u e n c ya tw h i c hw es e n dv i d e op a c k e t u i n t u v i d e o s i z e i n d e x ；r e s o l u t i o nf o rv i d e oc a p t u r e p s t r p s z v i d e o 工n p u t d e v i c e jv i d e oc a p t u r ed e v i c ec l s i d u i n t u k e y i n t e r v a l ， r a t eo fk e yf r a m e s b o o l b h e a d e r r e p e a t ； p a r a m e t e rs e t st r a n s p o r tm e t h o d ； ( 2 ) 视频发送 u i n tc h 2 6 4 t r a n s ：v i d e o s e n d ( c h a r d e s t _ i p ，u n s i g n e ds h o r t d e s t _ p o r t , i v i d e o w i n d o w 木m _ v w n d ) 启动发送端流程，实时采集视频并编码，然后发送视频流到接收端，d e s ti p 和d e s tp o r t 为接收端的i p 地址和端1 2 1 号，d e s ti p 是格式为如“1 2 7 0 0 1 ”的字 符串。mv w n d 为返回的视频窗口，用于视频预览。 ( 3 ) 视频接收 u i n tc h 2 6 4 t r a n s ：v i d e o r e c e i v e ( c h a r d e s t _ i p ，u n s i g n e ds h o r td e s t _ p o r t ， i v i d e o w i n d o w 宰m _ v w n d ) 应用程序调用该函数接收视频流，解码后进行视频回放。d e s t 为发送端ip i p 地址，d e s tp o r t 为发送端发送到本机的端口，在接收端会话中，将此端口设为 会话的监听端口( p o r t b a s e ) ，用于接收r t p 包。mv w n d 为视频回放窗口。 此外，本系统开发的f i l t e r ，封装在h 2 6 4 f i l t e r s a x 中，注册后就可以使用， 北京邮电大学硕- _ t ：i i j f 究生论文 包括h 2 6 4e n c o d e r ，h 2 6 4d e c o d e r ，f r a m er a t ec o n t r o l l e r ，h 2 6 4r t ps e n d e r ， h 2 6 4r t pr e c e i v e r 等五个f i l t e r 。所以，应用程序既可以使用本系统的发送接收 接口完成h 2 6 4 视频流的实时传输，也可以将本系统提供的f i l t e r 加入到自身的 f i l t e r g r a p h 中，单独使用。 接下来将对系统中主要模块的设计和实现进行详细介绍。其中，由于帧率控 制模块的实现( 帧率控制f i l t e r ) 比较简单，只是将采集模块采集的帧按指定的 间隔传送给编码模块，在此不做详细介绍。 4 5 2 视频采集模块 d i r e c t s h o w 对视频采集硬件设备的支持通过特定的f i l t e r 封装来实现。只要 采集设备正确安装，d i r e c t s h o w 就把它封装成一个f i l t e r ，并在一定类型目录下 注册。视频采集设备一般注册在v i d e oc a p t u r es o u r c e 目录下。本文在实现该模 块时，并没有开发视频采集f i l t e r ，而是借助d i r e c t s h o w 系统组件 c l s i ds y s t e m d e v i c e e n u m ，用枚举的方式将采集设备f i l t e r 加入到视频发送 f i l t e rg r a p h 中。图4 1 1 说明了枚举系统中所有视频采集设备的流程。 ( 开始 ) 一 获得i c 诧a t e d e v e n u m 接口 ， 调用接口方法 c r e a l e c l a s s e n u m e r a t o r 获取 视频输入设备枚举对象 唁 调用l e n u m m o n i k e r ：n e x t 获得一个设备 l n 调用i m o n i k e r ：b i n d t o s t o r a g e 0 读取设备属性 ， l 将设备f r i e n d l y n a m e 平l l lc l s i d 加入设备数组 r 结束 、_ 图4 1 1 枚举设备流程图 北京邮电大学硕士研究生论文 4 5 3 视频编码解码模块 本文基于d i r e c t xs d k 将视频编解码模块分别封装成h 2 6 4 编码f i l t e r 和 h 2 6 4 解码f i l t e r 。由于编码f i l t e r 和解码f i l t e r 在实现上没有本质区别，二者互 为逆过程，因此本文将这两个模块结合起来介绍。 具体的编解码功能，采用开源编解码器x 2 6 4 作为实现的基础。x 2 6 4 是网上 自由组织联合开发的，目前在国际上应用的最广泛的h 2 6 4