（信号与信息处理专业论文）dsp平台上的实时视频rtprtcp传输实现.pdf

d s p 平台上的实时视频r t p r t c p 传输实现 摘要 随着网络技术的迅猛发展和全球信息化的加深，多媒体实时通信 已成为网络通信中的一个非常重要的业务，这些业务主要包括视频点 播、可视电话、会议电视、远程教育、流媒体等，而这些应用关键技 术在于数字视频的实时采集和传输。基于嵌入式系统平台设计网络接 口、实现视频流的实时、可靠传输，已成为嵌入式视频通信系统开发 过程中的重要环节之一。根据多媒体数据要求实时性高、延迟小、可 容忍适当的丢包率等特点，我们研究了基于d s p 平台的r t p 协议的视 频传输实现及控制方法。 本论文基于t i 的d s p - d m 6 4 2 平台，在以太网网络传输系统上， 采用r t p r t c p 实时传输协议将视频终端采集到的视频数据通过以太 网传送到p c 机端，以实现远程监控功能。 充分利用d m 6 4 2 芯片上资源，在嵌入式操作系统d s p b i o s 架构 上，运用网络开发包n d k 提供的t c p i p 协议栈，在实现底层硬件驱 动程序的编写的基础上实现底层硬件与协议栈接口，搭建了网络传输 的软件平台。在d s p 应用层软件中利用面向低比特率的h 2 6 3 标准， 对实时采集到的视频数据进行编码传输。针对h 2 6 3 视频流数据在 u d p 传输中出现的问题，提出了u d p 、r t p r t c p 相结合的视频传输方 案，在d s p 平台上实现了r t p r t c p 协议，解决了实现过程中的关键 问题，并根据系统的实际要求对该协议进行了适当的剪裁，提供传输 质量控制以及网络状况自适应的机制。 为了接收嵌入式视频终端的数据，在p c 机端利用支持实时h 2 6 3 码流的播放软件，完成与d s p 终端的双机通信。充分利用d s p 系统的 主要测试模块，完成了d s p 实时视频网络传输的软件测试，并实现了 p c 机与d s p 终端的实时视频通信。 关键词：r t p r t c pd m 6 4 2c c sh 2 6 3 实时视频传输 r t p r t c pa c c o m p l i s h m e n to fv i d e o t r a n s m i s s i o nb a s e do nd s ；p a b s t r a c t a l o n gw i t ht h er a p i dd e v e l o p m e n to fn e t w o r k ，r e a l - t i m em u l t i - m e d i a c o m m u n i c a t i o nh a sb e e nav e r yi m p o r t a n to p e r a t i o na m o n gn e t w o r k c o m m u n i c a t i o no p e r a t i o n s t h e s eo p e r a t i o n si n c l u d ev i d e oo nd e m a n d 、 p i c t u r et e l e p h o n e ，v i d e o c o n f e f e n c e ，r e m o t ee d u c a t i o n ， s t r e a m m u t i - m e d i ae t c ，a n dt h ek e yt e c h n o l o g i e so ft h e s ea p p l i c a t i o n sa r ed a t a c o l l e c t i o na n dt r a n s m i s s i o no f d i g i t a l v i d e o e m b e d d e dv i d e o c o m m u n i c a t i o nt e r m i n a l sa r eb e c o m i n gm o r ea n dm o r ea t t r a c t i v e t h e n e t w o r ki n t e r f a c ea n dr e a lt i m e v i d e ot r a n s m i s s i o na r et h ec o m p a r a t i v e l y i m p o r t a n tm o d u l e s t h et h e s i sw a sb a s e do nt i sd i g i t a lm e d i ad s pd m 6 4 2 r t p r t c p w e r ee m p l o y e dt ot r a n s f e rt h ev i d e os t r e a m sf o rr e m o t ev i d e om o n i t o r i n g i nr e a l t i m eu p o ne t h e r n e tn e t w o r ki n t e r f a c e b a s e do nd s p b i o s t h et i n e t w o r kd e v e l o p i n gk i t ( n o k ) w a se m p l o y e dt os u p p o r tt h et c p i p p r o t o c o ls t a c ka n dt h en e t w o r kd r i v e rw a sf i n i s h e dw i t hs u i t a b l ei n t e r f a c e c o n f i g u r a t i o n t h ea p p l i c a t i o ns o f t w a r eo nd m 6 4 2e m p l o y e dh 2 6 3v i d e oc o d e c s t a n d a r d t oo v e r c o m et h ei s s u e sr e l a t e dt ov i d e ot r a n s m i s s i o nb a s e do n u d er t p r t c pw e r ec o m b i n e dt od e l i v e rv i d e od a t at oi m p r o v et h e r a p i d i t ya n dq o s i na d d i t i o n ，n eh 2 6 3d e c o d e rr u n n i n go nt h ep cw a s i m p l e m e n t e ds u p p o r t i n gr t p r t c pd a t ac o m m u n i c a t i o na n dm a i n l y i n c l u d e dt w om o d u l e so fr 皿v i d e od a t ar e c e i v i n ga n dd e c o d i n g d s p c o d et e s tt o o l sw e r eu t i l i z e dt ot e s tt h ec o d e sr u n n i n g0 1 1d s p , t h e n a c c o m p l i s ht h er e a l t i m ev i d e oc o m m u n i c a t i o nb e t w e e nd s pt e r m i n a l a n dp c k e yw o r d s ：i 删r t c pd m 6 4 2c c s h 2 6 3r e a l - t i m ev i d e o t r a n s m i s s i o n 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处， 本人签名：豢勉敏本人签名：籀锐敏 本人承担一切相关责任。 日期：坳磕3 ，珲一 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：塾盈。纽 日期： 导师签名：与耳3 卜日期： 北京邮电大学硕上研究生论文 1 1 课题背景 第一章绪论 目前，多媒体技术和计算机网络通信技术都有7 ：f l 大的发展。主要表现在视 频压缩编码算法的不断完善，i p 网规模的进一步扩展。伴随着流媒体技术的出 现，诸如视频会议、视频点播之类的网络多媒体应用开始进入人们的生活。人们 又一次体会到了信息技术带来的方便和乐趣。 但在实际应用中，许多网络多媒体应用的视频传输还存在着模拟信号的传 输。采用模拟信号传输带来的问题就是系统的造价高，建设周期长，适应性不强。 当系统的规模很大时，需要铺设的电缆线又粗又长。一旦系统结构变化，还要铺 设新的管线，有时还需要更改现有的线路。这使得系统的实施和更新变得非常不 方便n 1 。 近两年随着远程监控系统被越来越多地应用于各个领域，对多媒体监控系统 的要求也越来越高，操作简单、实时可靠、多功能、数字化、经济实用的多媒体 监控系统的开发和设计正越来越多地受到人们的瞩目。基于嵌入式技术的多媒体 远程监控系统应运而生。嵌入式系统以其本身体积小、实时性高、稳定性好、支 持以太网等优点，成为工控领域的新热点。基于嵌入式技术的多媒体远程监控系 统有效地将嵌入式技术和多媒体技术结合在一起，可以很好地解决基于p c 的多 媒体监控系统中存在的问题。 另一方面随着网络的日渐普及，许多研究人员将目光投向了规模不断扩大的 i p 网。基于分组交换的i p 网具有良好的扩展性，也不需要专门铺设视频电缆和 控制电缆，成本低，可充分利用现有的网络资源。然而，t c p 协议严格的建立连 接、断开连接的三次握手和差错重发机制并不适合数据量大、实时性强的视频数 据。面向无连接的u d p 协议由于毫无数据纠错和排序，似乎也不太符合要求。而 且，网络还不够强大，带宽资源有限，不能很好的保证服务质量。因此，提出了 研究i p 网络中的视频传输控制，希望利用现有的网络协议和网络资源，对服务 质量加以控制以获得较好的视频传输效果。此外，为了实现视频传输控制的策略， 视频的捕捉和回放也是应解决的问题之一 在i p 网络上传输视频和音频已成为一种趋势。嵌入式视频监控系统的网络 化也成为远程视频监控系统今后发展的主要目标之一，系统的网络化将实现整个 网络系统软、硬件资源共享以及任务和负载共享、提高网络的利用效率。因此， 北京邮电大学硕七研究生论文 如何让嵌入式系统实现高效的外部通信，尤其是与i n t e r n e t 融合、完成视频信 息的网络传输已成为众多嵌入式视频系统设计者研究的主要内容之一。随着科学 技术的日益发展和人民生活水平的日益提高，人们对视频传输的实时性要求越来 越高，因此如何在网络上实现音视频数据的实时传输越来越成为研究的热点之 1 2 视频通信的发展现状与研究热点 近年来，多媒体通信已经成为通信业务发展的必然趋判副，数字视频传输也 已成为现代通信系统所应提供的基本业务。这得益于数字视频压缩标准、新的支 持多媒体通信的网络协议以及流媒体技术的产生和发展。目前，视频通信技术的 研究主要集中于视频压缩算法与视频流传输技术两方面；而视频通信的硬件平台 在集中在嵌入式视频通信终端的研究方面。 1 2 1 嵌入式视频监控通信终端系统现状及发展方向 嵌入式网络视频监控系统是一种提供网络视频传输和共享的嵌入式设备。它 采用嵌入式一体化结构，以面向实时处理的硬件平台，集成了多通道视频和网络 传输等多种功能，将视频信号进行采集、压缩、复合后转换为网络i p 包，采用 合适的网络协议实现了视频压缩数据流的实时网络传输。监控系统发展经历了如 下两个阶段： 1 、集散系统 最初诞生的传统监测控制系统是单片机、p c 机、工控机为核心的多个分散 单元的集合体，形成早期集散控制系统的雏形。当总线出现以后，一般借助p c 总线形成测控系统。但由于连线过长和过多，用这些总线形成的测控系统的稳定 性较差，且抗干扰能力较弱，难以实现大范围的有效测控。随后出现的是集散控 制系统( d c s ) ，它由多台微处理器分散在现场的不同位置，彼此之间以高速数据 通信进行连接，可以进行计算机反馈系统和顺序控制，但是，o e s 的连网技术较 为复杂，联网手段和网络结构均不灵活，并明显缺乏开放性，因此未得到很好的 发展。 2 、现场总线系统 随着计算机局域网( l a n ) 的出现，产生了基于l a n 系统。与此同时，由两线 制电流4 - 2 0 m a 标准信号发展而来的智能化现场设备和控制自动化设备之间的通 信标准的确立，使现场总线与智能化测控仪器非常容易连接，随之使得网络监控 2 北京邮电人学硕十研究生论文 得以形成。其实，现场总线网络既是一种信息网络，又是一种自动化系统。作为 信息网络，它所传送的数字，例如可以是接通电源、关断电源、开闭阀门等指令 和数据；作为自动化系统，与原来的自动化系统相比，其在结构上有较大的变化， 最显著特征是通过网络传送信号进行联络。可由单个结点或多个网络结点共同完 成所要求的自动化功能。因此，它是一种由网络集成的自动化系统。现场总线技 术对测控领域的技术进步起到巨大的推进作用，但给公司、企业基于不同现场总 线形成的测控网络之间的互连又设置了不少障碍口1 。 在2 0 世纪9 0 年代以后，随着网络应用技术的高速发展，开始出现了集计算 机技术、控制技术、网络技术为一体的高新技术产品，它具有控制功能强、操作 简便和可靠性高等特点，可以方便的用于工业生产和经营管理等各方面的监控。 由于近年信息的交换传输，嵌入式技术，电源集成等先进技术的发展为集中监控 系统、远程管理和设备网络化打下了基础。因此，现代监控系统的发展方向可以 说是前端一体化、采集数字化、监控网络化、系统集成化，而数字化是网络化的 前提，网络化又是系统集成化的基础。所以，现代监控系统有以下几个特征： l 、数字化 监控系统的数字化是系统中的信息( 包括视频、音须、控制等) 从模拟状态转 为数字状态的过程，监控系统从信息采集、数据处理、数据传输到系统控制都与 此相关。信息流的数字化，编码压缩，加上开放式的协议，才能使监控系统与信 息管理系统实现无缝连接，并在统一的操作平台上实现管理和控制。 2 、网络化 监控系统的网络化将意味着系统的结构将由集中式向集散式过渡，集散式系 统采用分级的结构形式，用具有微内核技术的实时多任务、多用户、分布式操作 系统实现抢先任务调度算法的快速响应。系统的网络化在某种程度上打破了布控 区域和设备扩展的区域和数量的界限。系统网络化将使整个系统的硬件和软件资 源得以共享，从而实现对系统的远程监控。 3 、智能化 采用计算机为控制中心，通过对系统软件实现控制界面的可视化、统一化， 达到对视频切换、音频切换、报警输入、数据采集等的智能化控制，进而实现自 动对现场信号的采集、分析、统计、处理。 而近年来，数字信号处理技术不断更新，d s p 芯片被广泛地应用于各种需要 大量重复运算的场合，如通讯、医疗仪器、多媒体和雷达信号处理等领域。对于 嵌入式视频通信终端系统而言，既要求完成复杂的视频压缩编解码算法运算，处 理大量的视频数据，又须响应实时事件，一般的处理器无法达到这些要求。而众 多d s p 厂商都十分看好视频通信系统发展的前景，不断地扩展d s p 性能以满足视 3 北京邮电大学硕士研究生论文 频处理终端系统的要求。新型的d s p 媒体处理器( m e d i ap r o c e s s o r ) 应运而生， 并很快得到业界的广泛关注该种媒体处理器继承了通用d s p 芯片的特点，针对 多媒体应用扩充了各种接口功能，优化了中央处理器结构。飞利浦、a d i ，t i 等 半导体供应商都十分看好媒体处理器市场，并推出了具有竞争力的产品。例如 t i 公司的t m s 3 2 0 d m 6 4 2 、飞利浦的t r i m e d i a 和e q u a t o r 的m a p c a ，它们集成了 丰富的多媒体信号接口，针对多媒体信号的特点优化了处理器结构，甚至内嵌了 特殊协处理器用于进行专门操作，缓解通用处理器的压力。因此功能强大的d s p 媒体芯片处理器渐渐地成为嵌入式视频通信终端系统开发的首选。 随着数字视频压缩技术的日益成熟，网络通信技术以及大规模集成电路的发 展，网络化成为嵌入式视频监控系统的发展趋势h 1 。各大d s p 厂商还陆续推出了 各自的通信协议栈。作为全球最大的d s p 制造商的德州仪器( t i ) 公司基于c 6 0 0 0 系列d s p 推出了网络开发包n d k ，内嵌t c p i p 协议栈，能够提供诸如t c p u d p ， i c m p 、s n m p 、t e l n e t 、t f l i p 、n f s 等常用网络服务。而且，t i 公司2 0 0 4 年初推 出的高性能媒体处理器t m s 3 2 0 d m 6 4 2 内还集成了以太网网络接口芯片，p c i 通信 接口模块。这些进一步推动了嵌入式系统网络化的进程。 1 2 2 视频压缩技术的国内外研究现状 多媒体信息的编码技术是多媒体信息处理技术中的一个关键问题，多媒体数 据的压缩标准为多媒体技术的广泛应用提供了前提。 数字化的视音频信息，其数据量非常大。不仅需要大容量的存储设备，而且 对网络的传输和数据的处理也提出了很高的要求。即使硬件技术发展得再快，如 果不对信息进行压缩，多媒体技术也很难有大的发展，多媒体技术的应用也会受 到很大的限制。另外以视频和音频为典型代表的多媒体信息本身具有很大的压缩 潜力。在一个视频帧中，像素与像素之间无论是在横向还是竖向上都有很大的相 关性，而且，帧和帧之间的相关性很大，如对前一个帧的数据作微小的变化，可 能就能够得到当前的信息1 。 数字视频技术广泛应用于通信、计算机、广播电视等领域，诸如会议电视、 可视电话以及数字电视、媒体存储等等，而一系列的应用促使了许多视频编码标 准的产生。i t u - t 与i s o i e c 是制定视频编码标准的两大组织，i t u - t 的标准主 要应用于实时的视频通信领域，如会议电视，其标准包括h 2 6 1 ，h 2 6 3 ，h 2 6 4 ： m p e g 系列标准是由i s o i e c 制定的，主要应用于视频存储( d v d ) 、广播电视、因 特网或无线网上的流媒体等方面。两个组织也共同制定了一些标准，h 2 6 3 标准 等同于m p e g - 2 的视频编码标准，而最新的h 2 6 4 标准则被纳入m p e g - 4 的第1 0 部分。图i - i 表示了视频编码标准的发展历史1 。 4 北京邮电大学硕上研究生论文 i s p i e cm 【p e g 1m p e g - 4 1 9 8 4 1 9 8 81 9 9 21 9 9 62 0 0 0 2 0 0 4 图i - 1 视频编码标准的发展 1 2 3 视频网络传输技术研究现状及发展 在人类的通信活动中，有效性的6 0 9 6 依赖于面对面的视觉感觉，3 5 依赖于 说话者的声音，只有5 依赖于内容。随着信息技术的发展，人们对信息的需求 已不满足于传统的电报电话业务及传统的文件传输、电子邮件等数据业务，而是 追求更高品质的集视频、图像、声音、文字、甚至动画等为一体的多媒体应用服 务。 视频技术是多媒体技术中的一个重要组成部分。视频信息以其数据量大、实 时性强、冗余多等特点倍受研究人员的关注。为了提高视频数据的传输效率，针 对不同的视频信号产生了不同的视频数据压缩标准，如：m p e g - 1 ，m p e g - 2 ，m p e g - 4 ， h 2 6 3 ，h 2 6 4 。最新的视频压缩标准h 2 6 4 于2 0 0 3 年3 月发布，h 2 6 4 a v c 在 压缩编码效率、视频内容自适性处理能力方面及网络层面，特别是对i p 网络及 移动网络的自适应处理能力、抗干扰能力与健壮性等方面，相比n 2 6 3 m p e g - 4 均有大幅度提高，为视频传输领域注入了最新最强的力量。 另外，视频信息的传输正从模拟向数字化方向转变。早期的i n t e r n e t 带宽 窄、路由瓶颈、接入速率低、延迟大而不确定，使得实时性强的视音频流质量不 能得到保证，限制了i p 多媒体的广泛应用。我国第四代i p 多媒体通信技术已被 武汉大学成功攻克，并自主成功地研制了视讯会议系统、e p 可视电话等一系列 产品，并应用于上海a p e c 会议多媒体通信系统、酒泉卫星指挥中心等2 0 多个单 位，从而使我国成为世界上少数几个全面掌握第四代i p 多媒体通信技术平台核 心技术的国家之一。第四代基于i p 网络的多媒体通信技术是当前尖端的通信技 术，此前基于电视广播技术交换的通信技术、基于电路交换的通信技术、基于分 组交换的通信技术，被称为第一代、第二代和第三代。数据压缩标准的不断完善， 多媒体视频技术和i p 技术的发展和成熟，都为网络多媒体的应用发展提供了基 5 北京邮电大学硕上研究生论文 础，带来了新的发展机遇。 多媒体网络技术协议，也是网络视频传输的一个重要方面。采用好的传输协 议，能够增强传输质量，提高传输的实时性。为满足日益增长的网络实时视频传 输的要求，国际标准组织制定了一些新的协议，如i m ，r s v p ( 资源预留协议) 、 r t t r t c p ( 实时传输协议实时传输控制协议) 。i m 与i p v 4 相比，可以更快地处 理数据，更好地支持实时数据：9 0 年代产生的r s v p ，使得路由器可以针对应用 流的资源要求进行预留，从而预防网络的拥塞，提高网络的使用率；r t p r t c p 则是网络多媒体的核心协议之一，一般网络视频传输领域应用程序是采用具有较 好实时性的u d p 协议，还可在u d p 协议基础上运行r t p r t c p 实现反馈拥塞控制， 来保证视频传输质量。r t p r t c p 同样需要其它的协议来满足实际情况下的服务 质量( q o s ) 的要求。因此，怎样针对实际的要求选择网络传输协议，使得在不同 的数据帧、视频对象甚至各个宏块间合理地分配带宽，以获得最优的视频质量， 是视频实时传输需要解决的问题。 在容许恶意竞争的网络环境下，必须提供一种保障机制，来尽可能地减少这 种不稳定因素带来的负面影响，使得实时视频传输的质量得到稳定的保证。综合 利用和优化结合现有的技术，是进一步的研究方向。 1 3 课题目标与主要研究内容 本文的研究目标是：在基于基于d m 6 4 2 系统的嵌入式平台上，实现t id s p 系统的网络视频实时传输；研究基于r t p 的源端视频传输控制方法。通过对发送 方发送速率的控制，使视频信息的传输能够适应网络状态的变化，减少网络拥塞。 本论文的主要内容包括： 1 以d m 6 4 2 为核心处理器的嵌入式视频通信终端为平台，在已有代码的基 础上，完成以太网驱动设计、t c p i p 协议栈搭建等工作，实现d s p 与p c 机之间 的网络数据通信功能，测试并通过。 2 嵌入式视频r t p r t c p 传输协议 根据本监控系统的特点，对r t p r t c p 实时传输协议进行剪裁，并用c 语言 在d s p 端、p c 端分别予以实现，确保实时采集到的视频监控数据( h 2 6 3 码流) 在网络上的连续、可靠的传输并对通信实现o o s 保证。 3 p c 机端实时视频通信软件的搭建 在p c 端，利用开源的h 2 6 3 实时解码播放软件，在v c + + 环境下设计网络 线程与d s p 进行网络视频通信，实现系统的远程监控功能。 本文的章节结构安排如下： 6 北京邮电人学硕士研究生论文 第一章给出了课题背景，论述了实现嵌入式视频通信系统所需的各项关键技 术，并分析了视频通信系统的国内外研究现状。 第二章介绍本课题涉及到的主要专业基础知识，主要包括视频压缩标准以及 视频流传输协议等，并重点介绍了本系统所采用的视频编解码标准叫2 6 3 。 第三章首先介绍了t i 公司的c 6 0 0 0 系列d s p 的结构特点，重点介绍了 t i - d m 6 4 2 。然后介绍了t id s p 的集成开发环境c c s 。最后阐述了基于d m 6 4 2 的 以太网通信开发技术和以太网通信的软件实现。最终搭建了一个基于d m 6 4 2 的应 用网络通信软件开发平台。 第四章重点介绍了r t p 与r t c p 协议的格式及各个字段的意义，并在此基础 上用c 语言实现r t p r t c p 库的编写。 第五章具体讨论了系统软件设计，包括d s p 终端总体软件框架，p c 机程序 开发等，并给出了d s p 终端总体软件详细的设计思想、软件流程图及某些关键问 题的解决方案。 第六章介绍了系统在d s p 和p c 机程序的测试任务，对课题的主要工作做了 总结，给出了不足之处，并指出了下一步的研究方向。 7 北京邮电大学硕士研究生论文 第二章网络视频传输技术 2 1视频编解码标准 多媒体信息的编码技术是多媒体信息处理技术中的一个关键问题，多媒体数 据的压缩标准为多媒体技术的广泛应用提供了前提。数字化的视音频信息，其数 据量非常大。不仅需要大容量的存储设备，而且对网络的传输和数据的处理也提 出了很高的要求。即使硬件技术发展得再快，如果不对信息进行压缩，多媒体技 术也很难有大的发展，多媒体技术的应用也会受到很大的限制。另外以视频和音 频为典型代表的多媒体信息本身具有很大的压缩潜力。在一个视频帧中，像素与 像素之间无论是在横向还是竖向上都有很大的相关性，而且，帧和帧之间的相关 性很大，如对前一个帧的数据作微小的变化，可能就能够得到当前的信息。 为了促进多媒体通信行业的规范化发展，许多标准化组织制定了若干图像视 频压缩标准。这些标准的制定促使视频编码技术得到了迅速发展和广泛运用。 2 1 1m p e g 系列标准 运动图像专家组( m o v i n gp i c t u r ee x p e r t sg r o u p ，m p e g ) ，成立于1 9 8 8 年， 任务是研究开发活动图像及其声音的数字编码国际标准。m p e g 从开始的1 5 家单 位发展到现在的1 0 0 多家单位参加。i s o m p e g 在1 9 9 1 年1 1 月提交了i s o1 1 1 7 2 标准“用于数字存储媒体的码率为1 5 m b i t s 的活动图像及其声音编码建议草 案，即通常所说的m p e g - 1 。该标准于1 9 9 2 年1 1 月通过，1 9 9 3 年8 月公布。在 影视和多媒体计算机领域中得到了广泛应用。 m p e g - 1 标准主要是为了视频存贮媒体如v c d 而制定，该标准能够适应变码 流的处理，其主要目的是在l 1 5 m b i t s 的情况下，提供3 0 帧c i f ( 3 5 2x 2 8 8 ) v h s 的质量的图像。m p e g 一1 的实时编码通常需要硬件才能完成，解码可以用软件来 完成。i p e g - 1 不能提供分级图像编码，也不能在丢包率高的情况下应用h 1 。 1 9 9 2 年7 月m p e g 开始制定m p e g 一2 ，而在此之前，i t u - t 也成立了一个a t b l 环境下图像编码的专家组，由此开始了j t c1 和i t u _ t 的合作。m p e 6 - 2 是m p e g 制定的第二个国际标准。m p e g 一2 标准扩展了m p e g - 1 标准，能够支持高分辨率图 像和声音。目标码率是在3 1 5m b i t s 传输速率条件下提供广播级的图像，而且 能够提供信噪比( s n r ) 、时间和空间三种分级编码。该标准应用于卫星广播时， 8 北京邮电大学硕士研究生论文 在当前的一个模拟信道中，不牺牲质量的情况下能提供5 路数字的编码节目阳1 。 m p e g - 4 是i s o m p e g1 9 9 1 年5 月提出并于1 9 9 3 年7 月得到确认，其目标是 极低码率的音频视频压缩编码。考虑到低损耗、高性能技术提供的机会和面临 迅速扩展的多媒体数据库的挑战，m p e g 一4 将提供灵活的框架和开放的工具集， 这些工具将支持一些新型的和常规的功能。m p e g 一4 支持逐行扫描和隔行扫描， 是基于视频对象的编码标准，通过对象识别提供了空间的可伸缩性，m p e g 一4 标 准是今后一段时间压缩标准的主流。m p e c , - 4 标准既能够支持码率低于6 4 k b i t s 的视频应用，也能够支持广播级的视频应用。与其他压缩标准相比，m p e g - 4 标 准在d c t 的基础上引入了图像模型的概念从而具有更高的压缩效率，m p e c r - - 4 的 工作集中于发展m s d l ( m p e g 一4s y n t a c t i cd e s c r i p t i o nl a n g u a g e ) 语言。m s d l 和 j a v a 的思想一样，能够通过下载功能模块部分建立新编解码器m n 们。 m p e g - 7 是针对存储形式或流形式的应用而制定的，不仅仅用于多媒体信息 的检索，更能广泛地用于其他与多媒体信息内容管理相关的领域，并且可以在实 时和非实时环境中操作。 2 1 2i - i 2 6 x 系列标准 h 2 6 1 与h 2 6 3 标准主要面向于低码率的视频应用，如可视电话和会议电视。 h 2 6 1 是最早出现的视频编码标准，它的输出码率是6 4 k b i t s 的倍数。 h 2 6 1 视频压缩编码是图像压缩编码领域4 0 年研究成果的结晶，是第一个 在国际上产生广泛影响的视频压缩编码标准，随后的m p e g 系列标准中的视频压 缩编码算法无论从原理和基本框图来看都是以h 2 6 1 为基础的，是对n 2 6 1 的重 要发展和改进。h 2 6 1 主要是为了i s d n 的会议电视和可视电话的应用，它采用 的算法结合了可减少时间冗余的帧问预测和可减少空间冗余的d c r 变换的混合 编码方法。和i s d n 信道相匹配，其输出码率是p x 6 4 k b i t s 。当p 取值较小时， 只能传清晰度不太高的图像，适合于面对面的电视电话；当p 取值较大时( 如 p 6 ) ，可以传输清晰度较好的会议电视图像。其基本算法与m p e g 标准类似，但 h 2 6 1 所需要的计算量显著下降。这种算法通过均衡图像质量和运动来优化带宽， 所以对于快速运动的图像，图像重建质量会下降。h 2 6 1 的输出速率是恒定的， 而图像质量非恒定。 h 2 6 3i t u 关于码率低于6 4 k b s 的窄带信道视频编码建议，它是在h 2 6 1 建议的基础上发展起来的，其帧频为每秒1 0 帧以上，图像分辨率为1 7 6 x 1 4 4 ( q c i f 格式) 或者1 2 8 6 4 ( s q c i f 格式) 。h 2 6 3 是为了支持低速率的通信而制 定的标准，但同时希望码流能够适应较大的动态范围，而又不仅限于低码率，能 够取代h 2 6 1 。h 2 6 3 的容错能力很强，能适应误码率高的信道。h 2 6 3 和h 2 6 1 9 北京邮电大学硕士研究生论文 的主要区别在于：h 2 6 3 在运动估计时采用了半像素精度，h 2 6 1 是整像素精度。 同时h 2 6 3 还增加了四个选项：搜索范围不受限的运动估计、算术编码、高级预 测和类似于m p e g 的前向和后向预测帧( p ，b 帧) h i 。 h 2 6 3v e r s i o n 2 ( 或称h 2 6 3 + ) 是在h 2 6 3 的基础上以增加编码的可选项的 形式改进的，在语法上与h 2 6 3 兼容，但编码效率有很大提高，适用范围也更大。 其主要的应用方向仍是低码流的视频业务，用于p s t n 以及无线接入的高误码比 的通信环境，因此在h 2 6 3 十中既增加了一些改进编码效率的方法，同时也提高 了抗误码性能的能力。 h 2 6 4 a v c 是目前由i t u - t 的视频编码专家组( v c e g ) 及i s o i e c 的活动图像 专家组( m p e g ) 大力发展研究的、适应于低码率传输的新一代压缩视频标准。2 0 0 3 年3 月由两个专家组组成的联合视频专家组( j v t ) 公布了这一压缩视频标准的最 终草案，此标准被称为i t u - t 的h 2 6 4 协议或i s o e e c 的m p e g 一4 的高级视频编 码部分u 。 2 1 2 1 低比特率的视频编码技术h 2 6 3 h 2 6 3 是在h 2 6 1 标准的基础上发展起来的，其视频编码算法的核心仍然是 h 2 6 1 标准中采用的d c t 4 - m e ( 帧间d p c m ) 混合编码。它主要面向低比特率通信 的视频编码，适合视频流的实时传输，比h 2 6 4 算法成熟、稳定，也是本课题 d s p 视频采集终端采用的视频压缩标准。 h 2 6 3 标准对愉入图像的分割和输出码流数据的语法结构分为图像层、块组 层、宏块层、块层四个层；有i ( 帧内帧) 帧、p ( 预测帧) 帧和b ( 双向预测帧) 帧三种帧类型；有帧内编码( i n t r a ) 、帧间编码( i n t e r ) 两种宏块编码模式，它 的编码框图如图2 - 1 所示。 原始视 图2 - 1h 2 6 3 编码框图 1 0 输出 北京邮电人学硕士研究生论文 图2 - 1 中的切换开关指示系统工作于帧内( i n t r a ) 或帧间( i n t e r ) 编码模 式。每帧编码开始时先将原始视频图像进行宏块( 佃) 分割，若当前帧为i 帧， 则将帧内每个宏块直接送入d c t 变换模块，进行帧内( i n t r a ) 模式编码；若为p 帧，则首先在参考帧中，对当前帧的待编码宏块进行运动估计匹配搜索，用估计 的结果判决此宏块的编码模式，即i n t r a 模式或i n t e r 模式，若为i n t e r 模式则 先用估计结果求得参考帧中的匹配宏块( 运动补偿块) ，再用原始图像宏块与匹 配块作差，将残差送至d c i 变换单元，同时将得到的运动矢量送入熵编码部分进 行编码。在变换单元中，对宏块中的8 8 的数据块( 原始数据块或预测残差块) 进行二维d c i 变换，变换后的系数大多集中在变换系数矩阵的左上角( 低频部 分) ，然后再对这些系数进行量化，量化后的系数经由熵编码部分进行编码处理。 量化步长的改变受控于编码控制器。 量化器的输出不仅要作为熵编码器的输入，还需进行反量化和反变换操作， 即重构过程。若为i n t r a 模式，直接将重构数据作为重构图像数据送入帧存储 单元；若为i n t e r 模式，则将重构数据与匹配块( 运动补偿块) 数据之和作为重 构图像数据送至帧存储单元。在完成整帧图像编码后，帧存储单元中的数据即为 下个编码帧的参考帧数据。 从图2 1 中看出h 2 6 3 编码器除了编码量化后的变换系数外，还包括运动估 计矢量和编码控制部分送出的附加控制信息，这些信息被编码后将按照规定的码 流语法形成统一的复合视频数据流输出。 为了适应人们在现有窄带网络环境( 如p s t n 网和无线移动信道等) 上传输 视频信息的需求，i t u t 在指定了h 2 6 3 标准( 有4 个高级模式) 之后，1 9 9 8 年 1 月通过了h 2 6 3 标准的第2 版，通常称为h 2 6 3 + ，增加了1 2 个新的高级模式， 并修正了第一版中的一个模式。2 0 0 0 年1 1 月又推出了第3 版，通常称为h 2 6 3 + + ， 新增加了3 个高级模式。1 t 2 6 3 标准版本升级主要体现在增加或修正一些高级编 码模式，既保持了对旧版本的兼容，又增加了新的功能。其压缩效率、抗误码能 力以及重建图像的主观质量等均得到了提高，应用范围进一步扩大。 2 2视频流传输协议 为了在i n t e r n e t 环境下实现对远程嵌入式设备的实时监控，实现一个实时 控制协议是必要的。该协议必须具备实时性特征，同时也具备可靠性特征。 北京邮电人学硕士研究生论文 2 2 1 实时网络协议 实时网络协议是能够为通信双方提供特定网络通信性能指标的协议| 1 2 | 0 这 些性能指标包括：较高吞吐量、较低延迟、较小延迟抖动以及高可靠性1 3 1 0 目 前实现实时网络协议的思路主要有两个。 第一个思路为：建立新的网络协议标准。以t e l n e tn 4 。1 7 1 为典型代表。t e l n e t 实时网络协议族由美国加州大学的伯克利分校t e l n e t 小组开发。该研究成果基 于如下假设：实时网络协议无法构建于不能确保在特定时间内分发数据的数据链 路层之上。正是出于上述考虑，t e l n e t 实时协议并不是建立在以太网之上，而 是建立在f d d i 、a t m 之上。该协议于目前的t c p i p 协议族不兼容。 第二个思路为：对u d p i p 进行扩展。以r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 、 r t c p ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) n 8 1 为典型代表。r t p 是一个介于传输 层与应用层之间的网络协议，主要用于传输实时媒体数据流。其数据报头部中的 序列号、时间戳、同步源标识等信息为错误修复、包丢失估计、传输复用等手段 提供了可能性。但是，r t p 本身没有提供任何有关错误恢复。时延控制、抖动平 和、流量和拥塞控制等机制。上述这些机制都留给使用r t p 协议的应用层软件来 实现。r t p 数据传输的实时性是由下层协议完成的。r t p 属于不可靠传输协议， 它并不能确保数据传输的可靠性。仍然会发生数据传递的乱序现象。因此，r t p 并不适用于实时控制系统。因此需要与r t c p 协议结合起来使用。r t c p 是r t p 协 议中的控制功能部分。它本身并不提供服务质量保证，而是负责监视网络服务质 量、带宽等信息。 2 2 2 实时控制领域t c p 与u d p 性能比较 虽然t c p 使用不可靠的i p 服务，但是它能够为应用层提供有序的、可靠的、 面向连接的全双工数据流服务，并能够完成自动的错误处理。t c p 通过采用可变 滑动窗口机制，实现了流量控制功能，将数据流量限制在接收端能够处理的限度 之内。t c p 通过采用慢启动及其相关机制，实现了网络的拥塞控制。但是，t c p 并不适用于实时控制系统，因为t c p 的超时重传会导致很高的网络延迟以及延迟 抖动。另外，t c p 报文的数据到达时间是不可预测的。由于t c p 是面向连接的， 建立一个t c p 连接需要3 次握手，拆除一个t c p 连接需要4 次握手，共需要传递 7 个t c p 报文，这对于实时应用系统而言，“费用( o v e r h e a d ) 一太高了。 采用u d p ，通信双方在进行数据交换之前无需先建立网络连接。因此，系统 的通讯“费用一很低。简单的u d p 可以获得更高的数据传输效率。但是，由于 u d p 仅为应用层提供“竭尽所能( b e s te f f o r t ) 一的网络服务，它并不能确保数据 1 2 北京邮电大学硕上研究生论文 传输的可靠性。另外，u d p 并不能确保数据传递的有序性。 i n t e r n e t 环境下，t c p 的r t t ( r o u n d - t r i pt i m e ，往返时间) 延迟比u d p 的r 1 v r 延迟要大得多 1 9 1 0 因此，相比较而言，u d p 更适合应用于实时控制系统。 2 2 3 实时传输协议r t p 胛c p 目前，i p 网被广泛使用在各种场合，其中基于i p 传输的t c p i p 协议是异 构网网际互连和通信的标准。但是，单纯的t c p i p 难以适应多媒体通信。与传 统的文本数据等非实时信息的传输不同，网络多媒体信息的传输，尤其是实时音 视频流的传输对实时性的要求远高于可靠性。流量控制、资源分配和管理问题成 为网络音视频流传输必须解决的问题。 为此，i e ? r f ( i n t e r a c te n g i n e e r i n gt a s kf o r c e ) 的视频音频传输工作组制订 了r t p r t c p 实时传输和控制协议，在r f c 3 5 5 0 中详细得定义了实时数据传输和 控制协议的基本内容。第四章详细介绍了视频流实时传输控制协议r t p r t c p 。 2 3本章小结 为了d m 6 4 2 的嵌入式平台上实现视频实时传输的功能，本章介绍了涉及到的 主要专业基础知识，主要包括视频压缩标准以及视频流传输协议等，并重点介绍 了本系统所