（信号与信息处理专业论文）基于dsp的远程视频实时网络传输实现.pdf

基于1 ) s p 的远程实时视频网络传输实现 摘要 视频通信系统是通信应用研究的热点方向之一。近年来，随着超大 规模集成电路和嵌入式技术的不断发展，嵌入式终端处理大数据量、运 算复杂的视频信息的能力不断提高，嵌入式视频通信终端系统日益受到 业内的重视。基于嵌入式系统平台设计网络接口、实现视频流的实时、 可靠传输，已成为嵌入式视频通信系统开发过程中的重要环节之一。 本论文基于t i 的d s p - - d m 6 4 2 平台，设计以太网网络接口系统， 并采用r t p r t c p 实时传输协议将视频终端采集到的视频数据通过以太 网传送到p c 机端，以实现远程监控功能。 充分利用d m 6 4 2 芯片上资源，结合i n t e ll x t 9 7 及外围接口电路， 设计并实现了d s p 以太网通信模块的硬件接口。i n t e ll x t 9 7 是快速以太 网物理层自适应收发器，能够与d m 6 4 2 片内集成的以太网接口模块 e m a c 瓜d i o 无缝集成。在嵌入式操作系统d s p b i o s 架构上，运用网 络开发包n d k 提供的t c p i p 协议栈，实现了底层硬件驱动程序的编制 及其与协议栈接口，搭建了网络传输的软件平台。 在d s p 应用层软件中移植了面向低比特率的h 2 6 3 标准，对实时采 集到的视频数据进行编码传输。利用d m 6 4 2 的资源，针对其特点优化算 法，以提高算法的运行效率。针对h 2 6 3 视频流数据在u d p 传输中出现的 问题，提出了u d p 、r t p r t c p 相结合的视频传输方案，在d s p 平台上 实现了r t p r t c p 协议，解决了实现过程中的关键问题，并根据系统的 实际要求对该协议进行了适当的剪裁，提供传输质量控制以及网络状况 自适应的机制。 为了接收嵌入式视频终端的数据，在p c 机端开发了支持实时h 2 6 3 码流的播放软件，完成与d s p 终端的双机通信。主要包括r t p 视频流实 时接收线程模块与解码线程模块。 充分利用d s p 系统的主要测试模块，完成了d s p 实时视频网络传输 的软件测试，并实现了p c 机与d s p 终端的实时视频通信。 关键词：d s p ；以太网接口；实时视频传输；r t p r t c p ；t c p i p 协议栈 r e a l t i m er e m o t e d e on e t w o r k c o m m u n i c a t i o nb a s e do nd s p a b s t r a c t v i d e oc o m m u n i c a t i o nt e c h n o l o g yv i ai n t e r n e th a sb e e nb e c o m i n gav e r y h o tt o p i ci nr e c e n ty e a r s w i t ht h ed e v e l o p m e n to fv l s ia n de m b e d d e d t e c h n o l o g i e s ，e m b e d d e dv i d e oc o m m u n i c a t i o nt e r m i n a l sa r eb e c o m i n gm o r e a n dm o r ea t t r a c t i v e t h en e t w o r ki n t e r f a c ea n dr e a lt i m ev i d e ot r a n s m i s s i o n a r et h ec o m p a r a t i v e l yi m p o r t a n tm o d u l e s t h et h e s i sd e v e l o p e da ne t h e m e tn e t w o r ki n t e r f a c eb a s e do nt i sd i g i t a l m e d i ad s pd m 6 4 2 i u 甲用呵c pw e r ee m p l o y e dt ot r a n s f e rt h ev i d e os t r e a m s f o rr e m o t ev i d e om o n i t o r i n gi nr e a l - t i m e t h eo nc h i pc i r c u i t sw e r em a t c h e dw i t ht h ei n t e ll x t 9 7 1p h y ，a n e t h e m e tp h y s i c a ll a y e rf a s t e ra d a p t e ra n do t h e rc o m p o n e n t st of o r mt h e h a r d w a r ei n t e r f a c e i n t e ll x t 9 71c a nb ec o m b i n e ds e a m l e s s l yw i t ht h ed s ；p e t h e m e tm o d u l e se n 队c ) i o b a s e do nd s p b i o s ，t h et in e t w o r k d e v e l o p i n gk i tf n - d k ) w a se m p l o y e dt os u p p o r tt h et c p i pp r o t o c o ls t a c ka n d t h en e t w o r kd r i v e rw a sf i n i s h e dw i t hs u i t a b l ei n t e r f a c ec o n f i g u r a t i o n t h ea p p l i c a t i o ns o f t w a r eo nd m 6 4 2e m p l o y e dh 2 6 3v i d e oc o d e c s t a n d a r dw h i c hw a so p t i m i z e df o re f f i c i e n c ya n dr o b u s t n e s sb a s e do nt h e h a r d w a r ep l a t f o r m t oo v e r c o m et h ei s s u e sr e l a t e dt ov i d e ot r a n s m i s s i o n b a s e do nu d p r t p 王汀c pw e r ec o m b i n e dt od e l i v e rv i d e od a t at oi m p r o v e t h er a p i d i t ya n dq o s i na d d i t i o n ，t h eh 2 6 3d e c o d e rr u n n i n go nt h ep cw a s i m p l e m e n t e ds u p p o r t i n gi u p r t c pd a t ac o m m u n i c a t i o n a n dm a i n l yi n c l u d e d t w om o d u l e so fr t pv i d e od a t ar e c e i v i n ga n dd e c o d i n g d s pc o d et e s tt o o l sw e r eu t i l i z e dt ot e s tt h ec o d e sr u n n i n go nd s et h e e x p e r i m e n t a lr e s u l t so fr e a lt i m ev i d e oc o m m u n i c a t i o nw e r ei l l u s t r a t e d k e y w o r d s ：d s p ；e t h e r n e tc o m m u n i c a t i o ni n t e r f a c e ；r e a l t i m ev i d e o t r a n s p o r t i n g ；r t p r t c p ；t c p i pp r o t o c o l 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 申请学位论文与资料若有不实之处， 本人签名：冯匆级华： 本人承担一切相关责任。 日期：啦么：丕：缘 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： & 丕盗望日期：2 翌! 圣：兰壁： 导师签名： 导d 至：! 蘧： 日期： 趔i ：盟 基于d m 6 4 2 的远程视频监控系络接口的开发和实现 1 1 课题背景 第一章绪论 随着网络技术、多媒体信息处理技术的迅猛发展和日益融合，整个世界对网络视 频方面的投入逐年加大，其相关应用也越来越广泛，各种多媒体通信系统不断涌现， 如i p 可视电话、数字摄像机、网络视频会议、视频监控系统、数字视频播放器点播 机等等。其中，视频监控技术融合了计算机、多媒体、通信及网络等多项技术，已被 广泛地应用在科学研究、工农业生产、交通运输、资源的遥感探测、医疗卫生、空间 探测、航天探测等各种领域和场合n 1 ，成为人们研究的热点之一，具有广阔的应用前 景和研究价值幢1 。 目前，应用比较广泛的视频监控系统主要是模拟系统或以p c 机插入视频采集卡 构成的。这些视频系统难以满足实时处理和稳定可靠的要求，且不便于无人职守的现 场使用。随着超大规模集成电路和嵌入式软硬件技术的迅猛发展，研制嵌入式视频通 信终端成为可能n 1 。基于嵌入技术的监控系统不需处理模拟视频信号的p c ，而是把摄 像机输出的模拟视频信号通过嵌入式视频编码器直接转换成数字信号。嵌入式视频编 码器具备视频编码处理、网络通信、自动控制等强大功能，直接支持网络视频传输和 网络管理，使得监控范围达到前所未有的广度。除了编码器外，还有嵌入式解码器、 控制器、录像服务器等独立的硬件模块，它们可单独安装，不同厂家设备可实现互连。 此外，基于嵌入式设备的监控系统的硬件是一个同处理器和操作系统捆绑较为紧 密、功能专一、专门设计的独立设备，不像插卡系统那样受通用计算机系统中其它软、 硬件的影响，因此性能上更稳定，易于实现系统的模块化设计，且便于安装、维护。 这些优点大大弥补了传统的模拟系统或p c 插卡视频系统的不足，是新一代视频监控 系统的发展方向h 1 。 随着网络的日渐普及，在i p 网络上传输视频和音频已成为一种趋势。嵌入式视 频监控系统的网络化也成为远程视频监控系统今后发展的主要目标之一，系统的网络 化将实现整个网络系统软、硬件资源共享以及任务和负载共享、提高网络的利用效率， 这也促使视频监控系统成为新的网络应用热点。因此，如何让嵌入式系统实现高效的 外部通信，尤其是与i n t e r n e t 融合、完成视频信息的网络传输已成为众多嵌入式视 北京邮电大学硕士研究生论文 频系统设计者研究的主要内容之一。 1 2 视频通信技术的发展现状与研究热点 近年来，多媒体通信已经成为通信业务发展的必然趋势，数字视频传输也已成 为现代通信系统所应提供的基本业务。这得益于数字视频压缩标准、新的支持多媒体 通信的网络协议以及流媒体技术的产生和发展。目前，视频通信技术的研究主要集中 于视频流传输技术、视频压缩算法两方面。 1 2 1 视频网络传输技术研究现状 网络视频传输技术的发展离不开一系列支持多媒体通信的网络协议的应用。从 9 0 年代初期至今，i p 网络技术得到了广泛的应用。目前i p 网的骨干网、接入网的速 率正在高速增长，而i p 寻址方式易于与智能布线、局域网技术结合起来，可以很好 地解决宽带接入的问题。i p 网上的业务正在从非实时业务向实时业务演变，从窄带 业务向宽带业务发展1 ，并成为未来网络技术研究的热点。在i p 网络上发展各种多 媒体业务已是大势所趋。从某种意义上说，多媒体网络的另一含义其实就是互联网一i p 网络。 t c p i p 作为i n t e r n e t 中最基本的协议口1 ，广泛地应用于互联网中，使得分布在 各地、承载着不同系统的计算机能够相互通信。其传输层的t c p 协议是一种较复杂的 传输协议，属于“面向连接，可靠传输”的类型；而u d p 属于“面向无连接，不可靠 传输”的类型。使用u d p 可以减少网络开销，快速地传输数据，但却不能提供传输的 可靠性和q o s 保障。而t c p 虽然能够提供数据的可靠性，却过分依赖数据重发进行差 错恢复、基于窗口控制流量以及超时重发等可靠性保证机制，不可避免地会引起传输 延迟、耗用网络带宽，不适合传输实时、连续的音视频数据。 为了使网络视频的传输更加流畅，弥补t c p i p 在实时多媒体通信中的缺陷，一 种新兴技术一流媒体( s t r e a m i n gm e d i a ) 技术应运而生。流媒体运用可变带宽技术， 以“流”的传输方式在网络上播放音频、视频或多媒体文件，即可以使视频、音频及 其它多媒体在i n t e r n e t 及i n t r a n e t 上以实时的、无需下载等待的方式进行播放。与 传统的需要从服务器下载完多媒体文件之后才能播放的方式相比，这种边下载边播放 的流式传输使得启动延时大幅度地缩短，：且对系统缓存容量的需求也大大降低。 2 基于d m 6 4 2 的远程视频监控系络接口的开发和实现 流媒体技术的出现，使得在窄带互联网中传播多媒体信息成为可能。流媒体技术 的巨大市场吸引了全球众多宽带运营商、电信运营商以及各i t 厂商的目光，他们都 希望在该新兴的网络媒体市场争取更大的份额。2 0 0 0 年1 2 月，a p p l e ，c i s c o ，l a s e n n a ， p h i l i p s 和s u n 宣布成立互联网流媒体联盟( i s m a ) ，意在共同推动流媒体市场，并制 定相应的开放标准和实施协议。流媒体技术已成为一个跨区域、跨国界、跨文化的信 息传播平台，人们通过互联网，不但能够传播文字图像信息，还能通过互联网实时地 传播一些重要的影视、新闻节目，如实况转播新闻、重要会议、球赛、领导人讲话等。 实际上，流媒体技术是网络音视频技术发展到一定阶段的产物，是一种解决多媒 体播放时的网络带宽问题的“软技术 1 。流媒体技术并不是单一的技术，它涉及到 流媒体数据的采集、压缩、存储、传输以及网络通信等多项技术，是融合很多网络技 术之后所产生的技术。目前，流媒体技术领域主要采用一系列的实时协议，包括实时 传输协议( r t p ) 、实时传输控制协议( r t c p ) 、实时流协议( r t s p ) 等实现流式传输。这 些协议已经在需要音、视频流传输的场合得到了广泛的应用。因此，在互联网中发展 流媒体传输系统对推广互联网的运用有着重要的意义。此外，在嵌入式视频通信领域， 越来越多的产品也开始支持r t p 协议来实现视频流的网络传输。 1 2 2 视频压缩技术的国内外研究现状 图像视频的编码技术是多媒体技术的关键，也是视频通信的保障。为了促进行业 的规范化发展，许多标准化组织制定了若干图像视频压缩标准，这些标准的制定使视 频编码技术得到了迅速发展和广泛运用。在视频传输领域应用较广的是有国际标准化 组织i s o i e c 推出的m p e g 2 、m p e g 4 以及国际电信联盟i t u - t 推出的h 2 6 3 、h 2 6 4 等标 准睁1 刚。 m p e g - 2 标准于1 9 9 4 年提出，它提供了3 m l o m b p s 的传输速率，其目标是达到d v d 质量的图像标准和更高的传输率。m p e g - 2 广泛地应用于有线电视、卫星转播等广播 级质量的视频质量需求的场合。 m p e g - 4 把众多的多媒体应用集中在一个完整的框架中，为不同性质的视频、音 频数据制定通用的编码方案，代表视频编码技术发展的方向n 1 | 。m p e g - 4 目前已应用 于i n t e r n e t 流媒体领域，并逐步开展新的应用，例如移动通信和个人通信中的声像 业务，以及各种基于无线网络环境的手持式电子产品。 h 2 6 3 标准是i t u 组织为了满足码率低于6 4 k b s 的应用而提出的一个低码率视 北京邮电大学硕士研究生论文 频压缩编码建议；但后来，i t u 取消了h 2 6 3 中关于码率的要求，使其能广泛适合各 种应用场合。它采用帧间编码的方式去除时域冗余，以变换编码( d c t 变换) 方式去空 域冗余，能够在较低码率的情况下达到较好的图像质量，因此广泛应用于远程监控、 电视会议以及可视电话等领域，尤其在视频监控领域，它已经可以在嵌入式系统中达 到实时、稳定的压缩效果，是应用较多的视频压缩算法。 为了迸一步提高数字视频编码的效率，i t u t 于2 0 0 3 年3 月公布了h 2 6 4 新标准， 称作h 2 6 4 a v c 或n i p e g - 4v i s u a lp a r ti 0 。与以前的视频编码标准不同，h 2 6 4 不仅含有一个规定视频编码算法的视频编码层( v c l ) ，还包括一个规定网络传输规范 的网络抽象层( n a l ) 。h 2 6 4 允许在因特网中以i m b i t s 的速率传送电视质量的视频 信号，它可以使8 m l l z 的模拟带宽中容纳两倍于m p e g 一2 编码的数字电视频道，这使得 无线视频通信成为可能。 目前，虽然h 2 6 4 标准是视频实时监控领域讨论的热点n 2 13 l ，但是2 6 4 性能的提 高是以增加复杂性为代价而获得的，尤其是2 6 4 中对运动估计算法的改进部分。据估 计，2 6 4 编码的计算复杂度大约相当于2 6 3 的7 倍，解码复杂度大约相当于2 6 3 的4 倍。这种较高的复杂度成为2 6 4 在实时通信应用中的一个瓶颈。此外，目前的芯片处 理能力还不能够实现完整的h 2 6 4 算法，仅能实现h 2 6 4 算法中的部分功能，但是， 随着芯片技术的不断发展，这个问题会逐步得到解决。 除了上述国际标准之外，中国也在制定具有自主知识产权的音视频编码标准一 a v s 标准，由中国国家信息产业部数字音视频编解码标准组在2 0 0 3 年1 1 月底正式发 布草案。a v s 是“信息技术先进音视频编码”系列标准的简称，a v s 标准资料中宣称 其视频编码效率为m p e g - 2 的2 到3 倍，超过了h 2 6 4 标准，与之相比，算法复杂度 还有所降低。目前a v s 标准正在通过正式程序提请成为新的国际音视频编码标准。 1 2 3 嵌入式视频监控通信终端系统现状 近年来，数字信号处理技术不断更新，d s p 芯片被广泛得应用于各种需要大量重 复运算的场合，如通讯，医疗仪器，多媒体和雷达信号处理等领域。对于嵌入式视频 通信终端系统而言，既要求完成复杂的视频压缩编解码算法运算，处理大量的视频数 据，又须响应实时事件，一般的处理器无法达到这些要求。而众多d s p 厂商都十分看 好视频通信系统发展的前景，不断地扩展d s p 性能以满足视频处理终端系统的要求。 新型的d s p 媒体处理器( m e d i ap r o c e s s o r ) 应运而生，并很快得到业界的广泛关注 4 基于d m 6 4 2 的远程视频监控系络接口的开发和实现 该种媒体处理器继承了通用d s p 芯片的特点，针对多媒体应用扩充了各种接口功能， 优化了中央处理器结构。飞利浦、a d i ，t i 等半导体供应商都十分看好媒体处理器市 场，并推出了具有竞争力的产品。例如t i 公司的t m s 3 2 0 d m 6 4 2 、飞利浦的t r i m e d i a 和e q u a t o r 的m a p c a ，它们集成了丰富的多媒体信号接口，针对多媒体信号的特点优 化了处理器结构，甚至内嵌了特殊协处理器用于进行专门操作，缓解通用处理器的压 力。因此功能强大的d s p 媒体芯片处理器渐渐地成为嵌入式视频通信终端系统开发的 首选。 随着数字视频压缩技术的日益成熟，网络通信技术以及大规模集成电路的发展， 网络化成为嵌入式视频监控系统的发展趋势n4 l 。各大d s p 厂商还陆续推出了各自的通 信协议栈。作为全球最大的d s p 制造商的德州仪器( t i ) 公司基于c 6 0 0 0 系列d s p 推出了网络开发包n d k ，内嵌t c p i p 协议栈，能够提供诸如t c p u d p ，i c m p 、s n m p 、 t e l n e t 、t f t p 、n f s 等常用网络服务。而且，t i 公司2 0 0 4 年初推出的高性能媒体处 理器t m s 3 2 0 d m 6 4 2 内还集成了以太网网络接口芯片，p c i 通信接口模块。这些进一步 推动了嵌入式系统网络化的进程，使得网络接口的开发及通信模块的设计渐渐成为众 多嵌入式视频系统开发工作中不可或缺的一部分。 1 3 课题目标与主要研究内容 本课题拟研究网络接口系统的开发及视频实时传输的嵌入式实现机制，实现t i d s p 系统的网络视频实时传输。 主要内容包括： 1 以d m 6 4 2 为核心处理器的嵌入式视频通信终端的以太网网络接口开发。主要 利用d m 6 4 2 的片内以太网接口和其它资源、结合片外的p h y 芯片i n t e ll x t 9 7 1 以及 简单的外围电路，扩展系统的以太网通信接口。完成以太网驱动设计、t c p i p 协议 栈搭建等工作，实现d s p 与p c 机之间的网络数据通信功能。 2 h 2 6 3 视频编码算法移植及优化。在d s p 平台上移植并优化h 2 6 3 视频编码算 法，对d s p 采集到的海量视频数据进行压缩，以满足实时视频通信的要求。 3 嵌入式视频r t p r t c p 传输协议 根据本监控系统的特点，对r t p r t c p 实时传输协议进行剪裁，并在d s p 端、p c 端分别予以实现，确保实时采集到的视频监控数据- - h 2 6 3 码流在网络上的连续、可 靠的传输。 北京邮电大学硕士研究生论文 4 p c 机端实时视频通信软件的设计 在p c 端，在v c + + 环境下设计与d s p 进行网络视频通信的h 2 6 3 实时解码播放 软件，实现系统的远程监控功能。 本文的章节结构安排如下： 第二章给出了课题背景，论述了实现嵌入式视频通信系统所需的各项关键技术， 并分析了视频通信系统的国内外研究现状。 第二章介绍本课题涉及到的主要专业基础知识，包括视频压缩标准、视频流传输 协议以及d m 6 4 2 软件开发的环境、嵌入式视频通信终端的设计框架等。 第三章阐述了基于d m 6 4 2 的以太网通信接口模块的设计过程，包括硬件电路的设 计、软件实现两方面。最终实现了一个基于d m 6 4 2 的应用通信软件开发平台。 第四章具体讨论了系统软件设计，包括d s p 终端总体软件框架，p c 机程序开发 等，并给出了详细的设计思想、软件流程图及某些关键问题的解决方案。 第五章介绍了系统在i ) s p 和p c 机程序调试的过程，并介绍了所采用的调试手段。 最后对本课题所做的主要工作进行了总结，给出论文工作的主要结论和不足。 6 基于d m 6 4 2 的远程视频监控系络接口的开发和实现 第二章基于d s p 的网络视频传输技术 2 1 视频传输技术 2 1 1 视频编解码标准 为了促进多媒体通信行业的规范化发展，许多标准化组织制定了若干图像视频压 缩标准。这些标准的制定促使视频编码技术得到了迅速发展和广泛运用。 其中，h 2 6 3 是在h 2 6 1 标准的基础上发展起来的，其视频编码算法的核心仍然 是h 2 6 1 标准中采用的d c t + m c ( 帧间d p c m ) 混合编码。它主要面向低比特率通信的 视频编码，适合视频流的实时传输，比h 2 6 4 算法成熟、稳定，也是本课题d s p 视频 采集终端采用的视频压缩标准。 ， 2 1 1 1 低比特率的视频编码技术h 2 6 3 h 2 6 3 标准以i t u - t 指定的h 2 6 1 标准为基础，以混合编码为核心技术，按照分 层的形式组织码流。图2 ：1 是h 2 6 3 编解码器的框图。 图2 1h 2 6 3 编解码器的框图 为了使h 2 6 3 能够适用于6 2 5 行或者5 2 5 行标准的电视信号，其信源编码器基于 c i f 格式进行工作。 h 2 6 3 采用的是混合编码技术，即用帧间预测减少时域冗余，用变换编码减少残 北京邮电大学硕士研究生论文 余信号的空域冗余，其解码器具有运动补偿能力。 1 视频源的格式 视频信源编码器的处理对象必须是非交织的图像，产生频率为3 0 0 0 0 1 0 0 1 ( 约 2 9 9 7 ) 帧秒。帧频误差要求在一5 0 x l o 一6 至u + 5 0 x l o 一6 。待处理图像需在y - c b c r 空间 中描述，即一个亮度分量y 和两个色度分量c b 、c r ，而不是使用其他色度空问，如 r g b 空间。 h 2 6 3 定义了五种标准化的图像格式： s u bq c i f ：亚四分之一的公共中间格式 q c i f ：公共中间格式 4 c i f ：四倍公共中间格式 1 6 c i f ：十六倍公共中间格式 图像各分量的采样分辨率如下：如果亮度分量按照每行d x 个象素点，每帧d y 行采样，则每个色度分量按照每行d x 2 个象素点，每帧d y 2 行采样，具体如表2 - 1 所示。 表2 - 1 几种标准分辨率下图像的行数和列数 图像格式亮度分量亮度分量色度分量色度分量 ( d x ) ( d y ) ( d x 2 ) ( d y 2 ) s u b q c i f 1 2 89 66 44 8 q c i f 1 7 61 4 48 87 2 c i f3 5 2 2 8 81 7 61 4 4 4 c i f7 0 45 7 63 5 22 8 8 1 6 c i f1 4 0 81 1 5 27 0 45 7 6 h 2 6 3 要求所有的解码器必须能够处理s u b - o c l f 和q c i f 两种格式的图像，但 不要求一定支持c i f 、4 c i f 、1 6 c i f 三种格式。编码器必须支持s u b q c i f 和q c i f 中的一个，是否支持其他格式由用户决定。 2 h 2 6 3 语法结构 h 2 6 3 定义的码流结构是分级结构，共四层。自上向下分别是：图像层( p i c t u r e l a y e r ) 、块组层( g o bl a y e r ) 、宏块层( m a c r o b l o c kl a y e r ) 和块层( b l o c kl a y e r ) 。每 帧图像可以分成多个块组( g o b s ) ，每个块组包含k x l 6 行，k 的取值依赖于图像格式 ( x cs u b q c i f ，q c i f 和c i f 格式，k = i ：对4 c i f ，k = 2 ：对1 6 c i f ，k = 4 ) 。每帧图像包 含的块组个数分别是：s u b - - q c i f 格式为6 ，q c i f 格式为9 ，c i f ，4 c i f ，1 6 c i f 格式 基于d m 6 4 2 的远程视频监控系络接口的开发和实现 为1 8 。块组的标号顺序是自上而下，由0 开始。 每个块组分成多个宏块，每个宏块中亮度信号y 的分辨率为1 6 x 1 6 ，色度信号 c b ，c r 的分辨率为8 x 8 。每个宏块包含4 个亮度块和2 个色度块。对于s u b q c i f ，q c i f 和c i f 格式，一个块组( g o b ) 包含一行宏块；对于4 c i f ，包含两行宏块；对于1 6 c i f ， 包含四行宏块。宏块的标号顺序是先自左向右，再自上而下。宏块数据按宏块编号的 顺序发送，块数据也是按照块的编号顺序发送。 块编码模式的选择不属于编码标准的定义范围，在实际中可以根据具体编码策略 动态调整。被传输的块要经过变换、量化和熵编码等环节。 3 h 2 6 3 视频编码算法基础 视频编码器框图如图2 2 所示，主要包括预测、分块变换和量化几部分。 p t q z q v 菠：覃一爱攥：可叫一度鬻歉：粒麓f 艺嚣：心1 一阪鬣化 p 一翔1 ：逡动静偿随图+ 缫存德躐：j 一帧内缡两啦麓霸鳓豁惠 i 一凳譬i 菠送的繇惑：q 7 - - 聚纯拣惑：一辍化系数：、一遴钠舞澄 图2 2h 2 6 3 源编码器框图 1 ) 预测 帧间预测是指图像问的预测，它可以通过运动补偿加以实现。采用了帧间预测方 法的编码为帧间编码；没有采用帧间编码预测方法的编码为帧内编码。n 2 6 3 标准允 许在图像层选择编码模式，此时，采用帧内编码模式的图像称为i 帧，采用帧间编码 模式的图像称为p 帧。p 帧图像中还可以在宏块层选择编码模式，即允许宏块采用帧 间编码或帧内编码。在p b 帧模式下，b 帧图像中的所有宏块都是采用帧间编码方式， 9 北京邮电大学硕士研究生论文 而且部分宏块可以采用双向预测技术，采用双向预测技术的宏块称为b 宏块。 2 ) 运动补偿 在编码标准的缺省框架下，每个宏块使用一个运动矢量作运动补偿；在高级预测 模式下，一个宏块可以使用一个或者四个运动矢量作为运动补偿。 需要指出的是，宏块的运动矢量采用了差分编码技术。差分编码值是当前宏块的 运动矢量和“预测因子( p r e d i c t o r ) ”之差；而预测因子取自三个候选预测因子的中 值。三个候选预测因子指三个相邻宏块的运动矢量，具体位置如图2 3 所示。预测因 子的两个分量是分别计算得出的。 ：- 一t i v 2 一f m v 一：i ： 卜_ t 一 ：i 卜t m v ：畿藏露块豹运动袋最 飘v l ：整边密块昭运凌燕篷 埘2 ：上方滋块鹤运精矢凝 m v 3 ：右e 剪凌块的运动炙跫 r 。孚：- ：_ ：! 至；学t 一一i ! v ； 一一一一1 蝈髂醺者g ( h 效羚 图2 3 运动矢量的预测 3 ) 量化 在h 2 6 3 缺省框架下，帧内编码块中的第一个系数( 即直流系数) 采用统一的量 化器，量化步长为8 。其它各种系数( 帧内编码块的交流系数和帧间编码块的交流系 数) 可选择的量化器有3 1 个，但一个宏块内的量化器必须一致。 4 h 2 6 3 的发展 为了适应人们在现有窄带网络环境( 如p s t n 网和无线移动信道等) 上传输视频 信息的需求，i t u - t 在指定了h 2 6 3 标准( 有4 个高级模式) 之后，1 9 9 8 年1 月通过 了h 2 6 3 标准的第2 版，通常称为h 2 6 3 + ，增加了1 2 个新的高级模式，并修正了第 一版中的一个模式。2 0 0 0 年1 1 月又推出了第3 版，通常称为h 2 6 3 + + ，新增加了3 个高级模式。h 2 6 3 标准版本升级主要体现在增加或修正一些高级编码模式，既保持 了对旧版本的兼容，又增加了新的功能。其压缩效率、抗误码能力以及重建图像的主 观质量等均得到了提高，应用范围进一步扩大。 l o 一3一鏊；l r 一2 一嗲 i，iil 基于d m 6 4 2 的远程视频监控系络接口的开发和实现 2 1 2 视频流传输协议 目前，i p 网被广泛使用在各种场合，其中基于i p 传输的t c p i p 协议是异构网 网际互连和通信的标准。但是，单纯的t c p i p 难以适应多媒体通信。与传统的文本 数据等非实时信息的传输不同，网络多媒体信息的传输，尤其是实时音视频流的传输 对实时性的要求远高于可靠性。流量控制、资源分配和管理问题成为网络音视频流传 输必须解决的问题。 为此，i e t f ( i n t e r n e te n g i n e e r i n gt a s kf o r c e ) 的视频音频传输工作组制订 了r t p r t c p 实时传输和控制协议，在r f c l 8 8 9 中详细得定义了实时数据传输和控制 协议的基本内容。 目前，r t p 已在因特网上得到了广泛使用，尤其是需要传输大量、连续、实时数 据的音视频流媒体服务和视频会议。一些实时多媒体播放器上也采用了r t p ，如 r e a l n e t w o r k 的r e a l p l a y e r 、a p p l e 的q u i c k t i m e 、m i c r o s o f t 的n e t m e e t i n g 。 本课题中的视频传输模块采用了r t p 实时传输协议。 2 1 1 1 实时传输协议r t p i r t c p r t p 被定义为在一对一或一对多的传输情况下工作，其目的是提供时间信息并实 现流同步。r t p 通常使用u d p 来传送数据，但r t p 也可以在t c p 或a t m 等其他协议之 上工作。当应用程序开始一个r t p 会话时将使用两个端口：一个给r t p ，一个给r t c p 。 r t p 本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞 控制，它依靠r t c p 提供这些服务。 r t p r t c p 的协议栈结构如图2 - 4 所示。通常r t p 算法并不作为一个独立的网络 层来实现，而是作为应用程序代码的一部分。 实时传输控制协议r t c p ( r e a 卜t i m e t r a n s p o r t c o n t r 0 1 p r o t o c 0 1 ) 和r t p 一起提供 流量控制和拥塞控制服务。在r t p 会话期间，各参与者周期性地传送r t c p 包。r t c p 包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，服务器可以利用 这些信息动态地改变传输速率，甚至改变有效载荷类型。 北京邮电大学硕士研究生论文 图：2 - 4r t p r t c p 的协议栈结构 r t c p 主要提供4 个功能： 1 拥塞控制和q o s 监控。这是r t c p 的一个重要功能。用反馈信息的方法提供传 输质量监控和拥塞控制，以适应不同的网络状况。 2 为r t p 源提供一个永久性的c n a m e ( 规范性名字) 的传送层标志。在发现网 络冲突或者程序更新、重启时，s s r c ( 同步源标识) 会发生改变，接收方需要一个运作 痕迹。此时，接收方在一组相关的会话中通过c n a m e 从所有发送方中捕捉到相联系的 数据流( 如音频和视频) ； 3 根据与会者的数量来调整r t c p 包的发送率； 4 传送会话控制信息，是可选功能。 为了实现上述的四个功能，r t c p 中定义了5 种携带不同控制信息的r t c p 包类型： s r ：发送报告，当前活动发送者发送、接收统计。 r r ：接收报告，非活动发送者接收统计。 s d e s ：源描述项，包括c n a m e 。 b y e ：表示结束。 a p p ：应用特定函数。 由于r t c p 报文的发送是周期性的，随着参与者不断增加，r t c p 报文频繁发送将 占有过多的网络带宽，因此，r t p 规定r t c p 报文最多占用5 的实时传输带宽。r t c p 报文的传送间隔需要根据网络的实际情况和要求来确定。 r t p 和r t c p 配合使用，它们能以有效的反馈和最小的开销使传输效率最佳化， 因而特别适合传送网上的实时数据。 正常工作时，r t p 协议从上层接收流媒体信息码流( 如h 2 6 3 ) ，封装成r t p 数据 包发送给下层，下层协议提供r t p 和r t c p 的分流。如在u d p 中，r t p 使用一个偶数 号端口，则相应的r t c p 使用其后的奇数号端口。r t p 数据包没有长度限制，它的数 据包最大长度只受下层协议的限制。 基于d m 6 4 2 的远程视频监控系络接口的开发和实现 2 2d m 6 4 2 系统开发技术 近年来，数字信号处理器( d s p ) 已经成为嵌入式高速计算平台的主要实现工具。 基于d s p 等嵌入式系统的开发因其特定的硬件资源和开发环境，与p c 机的开发有着 很大的不同，必须充分了解并合理配置硬件资源才能获得良好的效果。包括d s p 芯片 的片上资源、d s p 的集成开发环境以及其他第三方的技术资料。 本文以d m 6 4 2 平台为例介绍相关的d s p 开发技术。 2 2 1t id m 6 4 2 t m s 3 2 0 d m 6 4 2 是t i 公司于2 0 0 4 年初推出的一款面向多媒体数据处理的高性能、 数字视频定点信号处理器。其核心处理器主频为6 0 0 m h z 。 为了满足视频和图象处理的需要，c 6 4 x 系列的d s p 采用v e l o c i t i 体系结构。此 外，t m s 3 2 0 d m 6 4 2 还采用高级超长指令字结构，以在一个指令周期内能够并行处理多 条指令。d m 6 4 2c p u 的组成部分： 两个通用寄存器组( a 和b ，各3 2 个3 2 一b i t 通用寄存器) ； 8 个功能单元( l 1 ，l 2 ，s 1 ，s 2 ，m 1 ，m 2 ，d 1 ，d 2 ) ： 两个从内存读数据的数据通道( l d l 和l d 2 ) ； 两个写内存的数据通道( s t i 和s t 2 ) ： 两个数据地址通道( d a i 和d a 2 ) ： 两个寄存器组数据交叉通道( 1 x 和2 x ) 如图2 - 5 所示，d m 6 4 2 片内采用可配置的双级c a c h e 结构；提高了数据的存取速 度。c p u 与一级程序高速缓存和_ 级数据高速缓存直联，两块c a c h e 分别为1 6 k b ，工 作在c p u 全速访问状态。二级缓存有2 5 6 k b ，而且可以由用户编程设置成部分为普通 片内r a m 、其余为二级c a c h e 的结构。因此二级缓存的分段和大小分配也有很多种情 况。d m 6 4 2 的e m d a 能提供超过2 g b s 的外部带宽。e d m a 支持6 4 路独立触发的事件传 输。 此外，作为数字媒体处理器，d m 6 4 2 芯片内部集成了丰富的外设资源。如图2 5 所示。包括可配置的音、视频接口( v p ) ，以太网接1 3 ( e m a c m d i o ) 、p c i 接口、h p i 接口、多通道缓冲串口( m c b s p ) 、j t a g 仿真器接口等等。这使得d m 6 4 2 的外围电路 变得简单，更适合于的视频监控终端的平台开发。 6 4 位e m i f v i c i： 一级程序 c a c h e i 1 p c i 或h p i e d 或 m 二级存储区 h | j 1 戥a ( 2 5 6 k 字 l d s p 、r 内核 e m a c m d i o 控 节) 、m n i i 恃1 d c n 1 制 v h u p 戥m c b s h器 i j 1r n l = 悔l i _ n f nl 。 v r l 戥m c 跄r一级数据 c a c h e v p 2p 图2 - 5d m 6 4 2 片内外设结构及接口复用 为了节约接口资源，d m 6 4 2 片内部分外设接口复用。如以太网模块e m a c m d i o 与 p c i 模块及h p i 是接口复用的。在具体设计过程中，只需对片内的配置寄存器进行设 置即可激活不同的外设模块。 2 2 2 开发环境c c s c c s ( c o d ec o m p o s e rs u t d i o ) 是t i 公司推出的一个集成性d s p s 软件开发工具。 在一个开放式的插件( p l u g - i n ) 结构下，c c s 内部集成了诸多软件工具，如c 6 0 0 0 代码生成工具( 包括c 6 0 0 0 的c 编译器、汇编优化器、汇编器和连接器) 、软件模拟 器( s i m u l a t o r ) 、实时基础软件d s p b i o s 、主机与目标机之间的实时数据交换软件 r t d x 、实时分析和数据可视化软件等。以下是一些具体功能的描述： 集成可视化代码编辑界面，可直接编写c 、汇编、h 文件、c m d 文件等。 基本调试工具，如装入执行代码( o u t 文件) ，查看寄存器窗口，存储器窗口， 反汇编窗口，变量窗口等，支持c 源代码级调试。 支持多d s p 调试。 断点工具，包括硬件断点、数据空间读写断点，条件断点( 使用g e l 编写