（计算机软件与理论专业论文）低速率视频编码与传输系统的研究与实现.pdf

北京邮电大学硕士毕业论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽 我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书 面使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了谢意。 申请学位论文与瓷料若有不实之处，本人承担一切相关责任。 本人签名： 羞鱼盈j 日期： ；丛辁；：g 鱼 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有 关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学 位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论 文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密 北京邮电大学硕士毕业论文 低速率视频编码与传输系统的研究与实现 一一理论研究及其在基于龙芯的平台的应用 摘要 嵌入式系统是一种以应用为中心的，软硬件可裁减的专用计算机 系统，具有很强的灵活性，形势各样的数字化设备如手机，p d a ，机 项盒，数码相机等都是广泛使用的嵌入式产品，这是一个充满商机的 巨大产业。嵌入式系统由嵌入式处理器，外围硬件、操作系统和应用 软件组成，嵌入式处理器是系统的核心组成部分，龙芯处理器是我国 自主研发的面向嵌入式的处理器，处理器的发展离不开应用，因此开 发基于龙芯的应用将大大促进我国c p u 产业的发展。 在互联网高度普及的今天，视频通信将成为人们最迫切希望的应 用。本文讨论了龙芯平台上基于i p 的实时视频通信系统的设计和实 现。实时视频传输的关键技术是采集，压缩，实时协议，本文将分别 讨论各个相关模块，最后讨论试验结果，由于龙芯的性能还不是很强， 本文进一步讨论了如何在软件上改进系统的视频质量。 实时视频的传输有延时和可靠性方面的要求，但是i p 网络没有 提供足够的支持。因此设计一个有效的、能充分利用网络带宽的视频 传输系统是一个很有挑战性的工作，系统的设计主要从编码和传输两 方面来考虑。实时视频采用了h 2 6 3 编码，这是目前应用很广泛的一 种编码标准，也是3 g 无线采用的标准之一，适合低码率的网络环境， 而且算法相对简单，扩展性强。而传输则采用了r t p 协议，并实现 了r f c 2 1 9 0 应用文档定义的规范，使得这一传输系统具有较大的兼 容性，能和任意符合该规范的接收端软件互通( 如j m f ) ，在对软件 的改进时，通过利用r t c p 提供的反馈信息，实现动态调节h 2 6 3 视 频压缩的参数的功能。 关键词 r t ph 2 6 3v 4 lr t c p 龙芯 ! ! 塞墼皇奎兰堡圭量些至兰 ； l o w b i tv i d e oc o m p r e s s i o na n d t r a n s p o r t r e s e a c ha n d a p p l i c a t i o no ng o d s o n ic p u a b s t r a c t e m b e d d e d s y s t e m i sa s p e c i a l i z e da p p l i c a t i o n c e n t e r e ds y s t e m w i t h s c a l a b l es o f t w a r ea n dh a r d w a r e m a n y d i g i t a le q u i p t m e n t s s u c ha sh a n d s e t ， p a d ，d i g i t a l c a m e r aa r e c o m m o n l y u s e de m b e d d e d s y s t e mp r o d u c t s a n da r e p o t e n t i a l i n d u s t r i e sw i t h g r e a tm a r k e t s e m b e d d e d s y s t e m i s c o m p o s e d o f e m b e d d e d p r o c e s s o r ，p e r i p h e r a li n t e r f a c e ，o p e r a t i o ns y s t e m a n d a p p l i c a t i o n s o f t w a r ei nw h i c he m b e d d e dp r o c e s s o ri st h ec o r e c o m p o n e n t ，g o d s o n - i i sa e m b e d d e d p r o c e s s o rd e v e l o p e di no u rc o u n t r y s ot h ed e v e l o p m e n to fa p p l i c a t i o n s o f t w a r eo ng o d s o n 1w i l lp u s ht h ec p u i n d u s t r yo f o u rc o u n t r y t o d a y ，w i t h t h e p r e v a l e n c e o f i n t e r n e t ，v i d e o c o m m u n i c a t i o nis b e c o m i n gh u m a nb e i n g sd e s i r o u sa p p l i c a t i o n t h i sa r t i c l ew i l ld i s c u s st h ed e s i g n a n d a p p l i c a t i o n o fi p - b a s e dr e a l - t i m ev i d e oc o m m u n i c a t i o ho ng o d s o n i p r o c e s s o r t h ek e yt e c h n o l o g i e s o fv i d e o t r a n s p o r t a t i o n a r ev i d e o c a p t u r e ， c o m p r e s s i o n a n dr e a l t i m e p r o t o c o l s t h i s a r t i c l ew i l ld i s c u s se a c ho ft h e s e t e c h n o l o g i e sa n dm ye x p e r i m e n tr e s u l t ，a n da tl a s ti m p r o v e m e n tm e t h o dw i l lb e d i s c u s s e d r e a l - t i m ev i d e ot r a n s p o r t a t i o nh a ss o m er e q u i r e m e n t ss u c ha sr e l a yl i m i t s a n dr e l i a b i l i t y s ot h ed e s i g no fah i g h q u a l i t yv i d e o s y s t e ms h o u l dt a k ee n c o d i n g a n dt r a n s p o r t a t i o n p r o t o c o l i n t oa c c o u n t a saw i d e l yu s e d e n c o d i n gs t a n d a r d ， h 2 6 3i s d e s i g n e df o rl o w b i te n v i r o n m e n t i th a sam e r i to fs i m p l ea l g o r i t h ma n d e x t e n s i b i l i t y t h es y s t e ma l s ou s e sr t pa si t st r a n s p o r t a t i o np r o t o c o lw h i c hh e l p e n a b l ei t s e l fc o m p a t i b l ew i t hr f c 219 0a n do t h e ra p p l i c a t i o ns o f t w a r e ( s u c ha s j m f ) t h ei m p r o v e m e n tm e t h o da d j u s t sh 2 6 3v i d e o c o m p r e s s i o np a r a m e t e rw i t h t h ef e e d b a c km e s s a g eo fr t c p k e yw o r d s r t ph 2 6 3v 4 lr t c pg o d s o n i 北京邮电大学硕士毕业论文 第一章绪论 1 1 本文的背景和意义 视频通信是进行面对面交流的一种手段，它除了提供人们远距离的面对面 交流外，还可以作为由于某些因素( 如一些需要隔离或密封的场所与公共场所 之间) 造成近距离需要面对面，但又不能实现真正的面对面交流时进行面对面 交流的一种手段。例如，今年在我国突如其来的s a r s ，我们借助于视频通信 设施解决了患者与其亲属、医护人员与其亲属、现场医护人员与场外医护人员 面对面的交流问题。同时，远程会议电视系统为不同地区之间的信息交流提供 了很好的手段。 1 1 1 视频通信的应用现状 一视频会议 这是指在两点或多点之间通过会议系统进行的“面对面”的会议或讨论。这 是目前视频通信应用最广泛的领域。2 0 年前，世界首台商用数字会议电视系统 问世后，视频会议开始了漫长的发展历程。共经历了两个主要阶段： ( 1 ) h 3 2 0 和基于传统的电路交换网的电视会议； 这是第一代的视频通信应用，基于传统的电路交换网的会议电视是利用以 e l 和t l 网为代表的直联数字线路连接终端会议电视设备进行实时音频、视频 和数据信息的传送。h 3 2 0 是同步电路交换网( 如i s d n ) 上视频传输的标准。 这些网络适用于实时应用，如长时间和具有确定延迟的音频和视频信号传递。 这些基于h 3 2 0 构建的系统只能在专网中运行，造价不菲，预算往往以百万、 千万，令绝大多数企业和个人望而却步。 ( 2 ) h 3 2 3 视频会议标准 h 3 2 3 是国际电信联盟制定的局域网上的多媒体通信系列标准，且专门为 不提供服务质量( q o s ) 保证的局域网技术制定，譬如运行于以太网，快速以太 网和令牌环网( t o k e nr i n g ) 上的t c p i p 和i p x 。尽管该协议特别为局域网 制定，它也支持在本地网、城域网、地区网以及广域网上实时视频、音频、数 据传输。h 3 2 3 包含了非常复杂的特性和功能，除了定义了终端之外，还定义 其三个主要部分：网关、网闸、多点控制单元。 北京邮电大学硕士毕业论文 音视频采集播ln 4 n 议 r t p r t c pi t c p u d p 层 i p 层 数据链路层 物理层 图1 1h 3 2 3 分层结构 二远程医疗 从技术和实现方式来讲远程医疗是视频会议系统在医疗领域的一种应用。 根据所讨论的不同病情，对视频图像的质量要求有些许的不同。通常情况下， 在进行医疗讨论和诊断过程中需要附以x 一光片或病人的影像和病历。因而远程 医疗系统除了配备比会议系统分辨率高的显示系统外，还需要有检索系统来配 合。 三远程教学 远程教学是视频会议系统在教育系统的一种应用，其主要目的是充分利用 优秀的师资资源，让更多的人在不受地域限制的情况下获得更好教育。尤其是 对分布在不同地点的人员需要掌握特定技能的情况下，远程教育系统将是一种 很好的手段。教学通常是以教师为中心的，因此教师对学生的通道可以用类似 与广播的方式，而学生的反馈信息可以对带宽要求较低的通道传送，没有特别 需要可不传送学生的视频图像。 四视频点播 根据用户的选择在视频信息存储服务器中点播用户所选择的电影、电视节 目、m t v 等视频信息。视频信息源以广播( 或组播) 的方式发送视频信息。 它允许用户接入到由一个信息源或多个信息源提供信息的信道。 1 1 2 视频通信产业趋势 早期的视频会议系统还只是政府、金融、电信等行业的奢侈品。这些基于 h 3 2 0 构建的系统只能在i s d n 专网中运行，新的视频会议标准协议h 3 2 3 ， 开始由专网进入i p 宽带网络，但是依然需要专用硬件，而且设备还是很昂贵， 9 北京邮电大学硕士毕业论文 动则几十万元，这样的视频系统不但不容易拓展业务，而且运营维护也很复杂， 目前仅限于企业和政府使用。 正如在创造网络价值上，电话会议的应用价值远远比不上个人的点到点的 语音通信一样，视频通信正从高价位专用市场向低价位普通用户市场转移，产 品重心下移，应用走向普及。 1 1 3 视频通信的关键技术 不论是哪种视频通信应用，从原理上看，都由如图所示的功能模块构成。 【望翌竺竺竺兰兰i 磊丽赢磊 1，一 i信令控制模块 i竺堡竺竺竺苎f 图1 2 视频通信功能模块 不是所有的视频通信系统都包含数据会议模块，但大部分会包含其他的所 有模块。视频编解码、音频编解码、信令控制和网络接口，构成了视频通信系 统的基本组成结构。原理性的功能模块必须在实际的软硬件平台上实现，方可 形成实际的产品。可以说，基本功能模块在实际平台上的体现，决定了产品的 基本功能和性能，是不同终端间进行比较分析的基础。 一网络接口 从物理层网络接口来看，适合视频应用的网络类型相当多，有传统的电话 网络( p s t n ) 、专线网络( d d n ) 、i s d n 网络、i p 网络、卫星网络乃至移动 网络( c d m a 、3 g ) 。视频终端产品能够提供的网络接口越丰富，自然应用范 围就越广，功能就越强大。在中国，基于专线网络和i p 网络的视频应用占主 流地位，特别是近三年来，后者占据了越来越多的市场份额。一般来说，基于 专用硬件平台的产品在网络适用性方面，有着先天的优势，像v t e l 的g a l a x y 北京邮电大学硕士毕业论文 系列，p o l y c o m 的v i e w s t a t i o n 系列，中太数据的p e n t e v i e w 系列，既能够支持 专线网络和卫星网络，也能够支持i p 网络，带宽范围有的可到2 m 左右。而基 于软件的终端产品，则适用于i p 网络，带宽范围一般在5 1 2 k 以下。 从传输层网络接口来看，对于不同的网络，不同的带宽，视频传输所采用 的传输协议有所不同。在i s d n 中，网络提供了固定的带宽，视频可以直接传 输。在高带宽i p 网络中，视频也可以直接采用u d p 协议或者t c p 协议传输， 而在互联网的环境下，网络变化剧烈，带宽可能降至几十k 以下，需要采用低 速率的视频压缩算法和实时协议来保证视频传输的实时性，可靠性，如广泛使 用的r t p r t c p 协议。 二信令控制 它是与应用的网络密切相关，是否符合国际标准至关重要。做为通信产品 来说，符合国际标准的终端具有更广泛的互通性、扩展性，另外，也保障了技 术上的不断进步。 i t u t 早在1 9 9 7 年7 月就发布了h 3 2 0 系列协议，定义了应用于专线网 络上的视频会议系统：在1 9 9 8 年2 月，又公布了h 3 2 3 系列协议，定义了应 用于包交换网络上的视频会议系统，并不断进行添加和更新；到2 0 0 3 年7 月， h 3 2 3 协议已经发布到第五版，涉及内容包括系统框架、功能定义、互连互通、 加密安全等各个方面。事实证明，国际标准的制定，极大地促进了产品的发展， 鼓励各个厂商加大投入到新产品开放中去。在中国，1 9 9 9 年前，符合h 3 2 0 协 议的产品占据主导地位，而随着i p 网络化，符合h 3 2 3 协议的视频会议是市 场的主流。 、 三视频音频编解码 这是视频通信的技术重点所在，也是衡量性能和先进性的关键指标。如同 信令控制一样，是否符合国际标准也是至关重要的。特别是视频编解码方面， i t u t 投入了大量的精力进行标准的研发和制定工作。在视频会议系统中，衡 量视频编解码算法的性能一般从这几个方面考虑：图像分辨率、运动图像效果、 占用带宽和复杂程度。 i t u t 从19 9 3 年起，陆续制定了h 2 6 1 、h 2 6 3 图像编解码标准及相关附 件。这些标准为主流厂商，如v t e l 、v c o n 、p o l y c o m 、t a n d b e r g 、中太、中 兴等产品所支持，成为视频终端图像互通的基础。业界也有另外一些厂商，提 供基于m p e g 2 标准的视频终端。m p e g 2 支持4 c i f 格式韵高清图像，提供 优越的图像效果，但为此付出的代价是高带宽( 4 6 m ) 和相对长的编码时延。 而i s o 组织1 9 9 8 年公布的m p e g 4 标准，针对m p e g 2 的这些缺点进行了改 进，m p e g 4 适用带宽为4 8 k 1 0 m b p s 之间，分辨率从q c i f 到4 c i f ，可以利 北京邮电大学硕士毕业论文 用很窄的带宽通过帧重建技术压缩和传输数据，从而能以最少的数据获得最佳 的图像质量。与m p e g 1 和m p e g 2 相比，m p e g 4 更适于多媒体通信业务。 2 0 0 3 年5 月，i t u t 和i s o 联合发布了h 2 6 4 ( m p e g 4 的p a r t l 0 ) 。h ，2 6 x 和m p e g 两大阵营在h 2 6 4 上完成了统一。新的h 2 6 4 将超越以往的视频编解 码标准，成为各个厂商竞争的焦点。 四硬件平台 视频会议所需的昂贵硬件设备一直是视频通信发展的一个瓶颈。如今，嵌 入式技术发展十分迅速。嵌入式系统是一种以应用为中心的，软硬件可裁减的 专用计算机系统，具有很强的灵活性。它可以作为视频通信中的硬件平台，大 大降低产品价格，使视频通信应用能够转向普通用户。嵌入式系统由嵌入式处 理器，外围硬件、系统和应用软件组成，其中嵌入式处理器是系统的核心组成 部分。我国的处理器市场一直被外国垄断，现在已经出现几种国产处理器，虽 然和国外的处理器相比还有一定的差距，但是国产处理器已经达到几百兆赫兹 的频率，有一定的处理能力，价格方面也有很大的竞争力，在嵌入式应用上有 一定的市场。但是目前却还没有相关的应用支持。如果没有应用支持，我国的 处理器产业发展将会非常地困难，从这一点上看，研究和实现基于国产处理器 的应用有着积极意义。 本文研究的视频传输系统是一种端到端结构的传输系统，它主要包含了采 集模块、视频编解码模块、网络接口模块、嵌入式平台，其中把网络接口模块 细分为传输模块和传输适配模块，系统基于i p 网络，硬件平台采用国产的处 理器一一龙芯一号。该处理器支持m i p s i i i 指令集，主要面向嵌入式应用。工 作频率为2 0 0 2 6 6 m h z ，相当于英特尔奔腾i i 的性能，它还提供了一种新的安 全机制，可有效防止缓冲溢出攻击。 1 2 方案分析 i p 网络最初是为数据应用设计的，它的实现相对比较简单，提供一种被称 为尽力而为的服务，但是设计和实现简单同样也是它的一个弱点，它没有考虑 到实时数据传输的特点，如果直接将现有的数据传输框架应用于实时的视频通 信往往不能满足视频通信实时性、时延和抖动等方面的要求。视频应用同普通 的数据应用相比对i p 网络主要提出了以下几个方面的要求，而现在的网络硬 件和软件还不能很好的满足： 带宽的要求：为了获得可接受的解码图像质量，实时视频通信一般都有一 个最小带宽要求，然而现在的i p 网络一般不提供这样的带宽保证。同时视频 信息的数据量比其他类型的数据要大，一般需要较高的带宽。 北京邮电大学硕士毕业论文 时效性的要求：同没有严格的时延限制的数据传输相比，实时视频通信是 对延时敏感的，但是i p 网络的拥塞往往造成不可预测的网络时延。 可靠性的要求：数据包的丢失将造成解码图像质量的严重的下降，因此视 频通信中也同样对网络的可靠性提出了要求。可是作为提供尽力而为服务的网 络，i p 网络的数据包丢失在实时视频应用中往往是不可避免的。 为了解决i p 网络上进行实时视频通信所面临的上述问题，目前的研究主 要集中在如下两个大的方面，即以网络为中心的方案和以终端为中心的方案。 以网络为中心的方案通过对路由器进行配置使其支持服务质量q o s 的要 求，主要解决了视频应用的时延、抖动和数据传输的可靠性等问题。他主要针 对i p 网络由于提供尽力而为服务而产生的问题提出的，目的是使i p 网络不仅 能够提供当前尽力而为服务，而且还能提供类似于专用链路所能提供的服务。 i e t f 先后提出了集成服务和区别服务两种网络结构。集成服务结构包括r s v p 信令协议和一组服务类型定义，目标是为单个连接提供端到端服务质量保证。 一个集成服务网络连接，首先向网络提出资源要求，网络内部节点执行r s v p 协议，为网络应用预先分配端到端网络资源，然后当数据包到达每个网络节点 时，网络节点采用适当的调度策略，保证满足网络应用的服务质量要求。但集 成服务结构存在很大的局限性：一个是集成服务结构同当前尽力而为网络结构 相比，差别太大，但以前经验和教训表明，循序渐进的改进网络结构更容易取 得成功；另一个是集成服务结构扩展性差，当网络内部存在大量集成服务连接 时，网络内部节点为维护各连接状态所需开销迅速增大。区别服务结构同集成 服务相比，是一种循序渐进的改进网络结构来提供区别服务的方法。他首先考 虑网络扩展性，使用i p 数据包报头中的服务类型比特标识服务等级，主要为 聚合连接提供粗粒度的服务质量保证。 在以终端为中一t h , 的方案中，终端系统利用控制技术，在即使没有路由器任 何服务质量q o s 保证的情况下，使接收端获得尽可能好的解码视频质量。由 于以终端为中心的方案主要研究的问题包括拥塞控制、差错控制、错误恢复和 数据打包等，对于这些问题的研究又可从传输和编码两方面来考虑。终端为主 的拥塞控制研究的问题包括码率控制、码率自适应调整的视频编码的角度来考 虑的。拥塞控制研究的问题包括视频流本身在拥塞发生时所采取的控制算法。 差错控制主要包括前向差错控制和出错重传，这两种方法的主要目标都是在有 数据包丢失发生时使解码端可以得到尽可能好的视频质量。错误恢复机制是使 视频流具有稳健性的一种重要手段，它的目标是使视频流在有数据包丢失的情 况下，仍能够很好的从错误中恢复，提取有效的视频信息，从而使解码端获得 尽可能好的视频质量。视频数据打包是指将编码压缩好的视频数据流转换成适 合于在i p 网络上传输的数据包。适当的选择数据打包算法对于视频数据在i p 网络上传输的效率和稳健性是非常关键的，比如数据包的大小可能会影响到传 北京邮电大学硕士毕业论文 输的效率，而数据包的打包方式不同将导致存在数据包丢失时视频流的稳健性 不同。数据包打包方式往往同编码算法和错误恢复机制相结合来提高视频流在 i p 网络上的稳健性。 实现简单、设备成本低，使i p 网络在数据通信方面已经取得了广泛的成功， i p 网用户数量飞速扩展，经过一些多媒体数据通信尝试，如i p 电话业务的开 展，发现利用现有的网络环境经过一些软件与简单的硬件改造，基本上可以满 足人们进行多媒体通信的初步需求。但是要使i p 网络同现有的电信网络进行 有效的竞争，仍然需要一个较长的过程。其中要解决的一个关键问题是服务质 量q o s 的保证问题，要解决这个问题需要从网络结构和协议方面作出较大的 改动，这也是本文上面所提出的以网络为中心的解决方案要解决的问题，而 以终端为中心的方案则是在现有的网络结构基础上提出的，同时他又可以扩展 到未来的网络环境结构中，比如在区别服务的相同级别的业务中，以终端为中 心的视频传输方案仍然可以得到有效的应用。从实用价值的角度出发，本文研 究的重点是以终端为中心的方案。 1 3 本文的主要工作 一在基于龙芯的嵌入式平台上实现一个端到端的符合r f c 2 1 9 0 规范的 h 2 6 3 视频传输系统，它可以与符合该规范的其他软件进行互通，如 j m f 。 。 二，针对龙芯进行软件的改进，使其成为龙芯上的一个多媒体应用。 本文内容包括七部分。 第一章是绪论，第二章介绍本系统的体系结构和各个组成部分，传输系统 的结构有各种各样，基本结构是相同的，但是没有统一的标准，不利于各个开 发者的协作，我认为有必要定义传输系统的统一的基本框架和结构间的接口。 第三章介绍嵌入式l i n u x 操作系统平台上的视频数据捕获接口，捕获数字视频 是项极其复杂的工作，通过操作系统提供的a p i 可以简化采集过程。第四章 讨论了图像压缩编码发展概况及各种压缩标准的区别，并着重介绍h ，2 6 3 标准。 第五章分析实时传输协议r t p 的功能及在i p 视频通信中应用。第六章研究与实 现r t p 协议与h 2 6 3 的结合应用。第七章给出系统的试验效果与改进。第八章进 行总结。 j 4 ! ：塞墅曼奎兰堡圭兰兰丝圣 第二章系统设计 2 1 硬件平台 下图显示了端到端的视频传输系统的硬件平台的结构： 酗2 i硬件平台 t 1 摄像头，主要负责视频的数字化采集。通过u s b 接口与龙芯开发板相连。 2 嵌入式设备，设备主要是有龙芯一号开发板和存储设备组成。操作系统是 嵌入式l i n u x 。龙芯一号开发板是一款嵌入式系统开发板，它采用i t 8 1 7 2 g 芯 片组，此芯片组支持p c i2 1 总线规范，并集成了u s b1 1 ，a c 9 7 音频、p c i i d e 通道以及读卡器等多种外围设备。开发板的处理器采用我国独立自主研发的 c p u 一一龙芯号，龙芯处理器支持m p s i i i 指令集，兼容通用和嵌入式应用需 求，但主要是面向嵌入式应用。工作频率为2 0 0 2 6 6 m h z ，它还提供了一种新 的安全机制，可有效防止缓冲溢出攻击。基于龙芯的应用对于龙芯c p u 的发展 会产生很大的推动作用。 3 接收端采用普通的p c 机，运行j m f 软件作为客户端。 2 2 软件体系结构 下图显示了本文所实现的端到端的实时视频传输系统的逻辑结构。 犀斗：画 芦到 圊一 攀 图2 2 软件逻辑结构 发送端，原始的运动图像通过采集模块后，进行压缩处理。压缩后的位流 在传输适配模块被封装并到达传输模块( 本模块采用r t p 协议) ，最后进入 i n t e r n e t ，封包可能会被路由器和交换机丢弃，因为会存在拥塞的情况，或者在 接收端被丢弃，因为可能会超时，而成功到达接收端的包首先将进入传输模块， 这时的数据包的先后次序得到保证，再进入传输适配模块解封，最后进行解码。 在上述的传输结构中，有一个传输适配模块在接收端，负责视频压缩数据 到传输协议的适配，而r t p u d p i p 传输模块根据接收到的数据报的行为来推 断网络的拥塞情况，比如包的丢失率，延时等。这些信息也将用在帧速率控制 模块中，依靠这些反馈信息，发送端估计可用的网络带宽，调整压缩编码的参 数以控制压缩码流的速率。 下图表示h 2 6 3 视频流的传输适配流程图，右边的表示视频的处理流程。 发送端，压缩层压缩图像信息，产生压缩码流，它表示压缩产生的g o b 或者 m b 码流信息。压缩码流在传输适配模块进行封装打包，传输适配模块提供了 定时和同步信息。这模块之后，数据传递到r t p 层，最后通过i n t e r n e t 传输，接收端数据以相反的方式被处理。 北京邮电大学硕士毕业论文 忘习 r t p 头部h 2 6 3 数据 u d p 头部r t p 头部h 2 6 3 数据 图2 3h 2 6 3 码流的封装流程 2 3 采集 视频捕获与实时处理是目前图像处理系统中关键的技术之一，许多关于视 频的软件( 如视频会议、可视电话等) 开发都采用视频捕获技术，无论w i n d o w s 还是l i n u x 系统中都为实现视频捕获提供了标准的接口，大大降低了程序的开 发难度。由于采集和之后的压缩处理要同时进行，所以采集以线程方式实现。 2 4 帧速率控制 目前的以太网不能支持任何的q o s 保证，而且，可用带宽也是不可预知和 随时改变的。因此必须要有有效的机制保证对网络带宽的敏感，以便控制信源 的速率。 理想的情况下，希望在网络拥塞点进行反馈控制，在a t m 网这是可能的， 它通过插入拥塞和码率信息到流控制数据包中提供控制，在这样的环境下，是 有可能设计强有力的算法来传输可用带宽信息的。不幸的是，在以太网环境中， 交换机和路由器并不参与这样的反馈控制，因为以太网在网络端是尽量简单化 的，而要求终端有智能，所有的流控制和错误恢复功能都留给终端和上层应用。 本文中帧速率控制器仅仅起了数据缓冲的作用，这个模块还有很大的扩展 空间，比如根据r t c p 的反馈信息进行视频速率的控制。 2 5 h 2 6 3 视频压缩 视频技术是多媒体应用的核心。学术和应用领域一直都在致力于视频技术 的研究并且制订了几个标准，如：i t u t 的h 2 6 1 、h 2 6 3 及i s o i e c 的m p e g i 、 m p e g 2 和m p e g 4 等。这些标准包括了各种范围的应用，从静止图象、可视电 早：囱：由 主奎 北京邮电大学硕士毕业论文 话到高清晰度电视；码速率从几十k b i t s 到几十m b i t s ，覆盖了很大的视频速 率范围和应用领域，并能满足不同应用的要求：速率、图象质量、复杂度、容 错性和实时性。 低码率视频通信的码速率可以定义在6 4 1 2 8 k p s 之间，应用范围有：普通 电话线的可视电话、无线视频通信、互联网视频会议、远程监控、远程操作、 远程工作等。 h 2 6 3 是最早用于低码率视频编码的i t u t 标准，随后出现的第二版 ( h 2 6 3 + ) 、第三版( h 2 6 3 + + ) 增加了许多选项，使其拥有更广泛的适用性。 毹够在很低的码率下保证解码图像的质量。 本系统将采用h 2 6 3 的测试模型提供的算法函数，它支持h 2 6 3 视频压缩 标准及其后版本h 2 6 3 + 、h 2 6 3 + + 的选项。 2 6 r t p r t c p 协议 t c p 的重传机制引入的延时对实时视频传输来说是不可接受的，因此在传 输层，我们采用u d p 协议，然而，u d p 并不能保证数据的正确的传输，需要 依靠上层协议来检测包的丢失和进行错误恢复。 r t p 就是个为传输实时数据如音频及视频等所设计的协议。r t p 可以被 使用在v o d 点播系统上，也可以是其他交互式服务。r t p 可以分成数据及控 制两个部份。控制部份称为r t c p 。 上述结构中的r t p 模块使用的是j r t p l i b 的函数库，这时一个符合标准 协议的r t p 库，采用纯c + + 对象的方式实现，这有利于嵌入式平台的移植。 2 7 传输适配模块 h 2 6 3 的压缩码流速率可以达到几十k p s ，但是它只考虑编码方法，而没有 考虑到传输网络和传输协议的各种情况，比如可靠性，q os 保证，封装等，因 此需要做视频处理和传输的适配，r f c 2 1 9 0 规范提出了几种封装方法供开发者 选择，本系统根据该规范实现了h 2 6 3 到r t p 的封装，并与j m f ( 用j a v a 实 现的多媒体框架，j a v am u t i m e d i af r a m e w o r k ) 实现了互通。 北京邮电大学硕士毕业论文 第三章视频采集 视频采集是指由专用的视频采集卡捕获视频信息，然后将其进行数字化处 理，再进行软件的压缩、保存、回放、传输等各种操作。在桌面视频会议、可 视电话等多媒体应用中，视频捕获与实时处理是系统中关键的技术之一，能否 准确捕获指定的视频图像，进而实现准确的数据分析与处理，关系到整个系统 的成败。 捕获数字视频是一项极其复杂的工作，l i n u x 系统有相应的函数库v 4 l ( v i d e of o rl i n u x ) 来提供支持。这些接口可以被大多数的视频采集卡支持，并 有多种视频压缩驱动供选择( 当然视频压缩可以自己开发) ，采集卡支持摄像 头，tv 等多种输入。 3 1v i d e of o r l i n u x v i d e of o rl i n u x 是l i n u x 平台上的视频捕捉接口，简单而功能强大，可 以很容易实现视频数据的实时捕捉和处理，前提是设备的驱动程序符合这一接 口。 v i d e of o rl i n u x 主要的接口就是读取接口r e a d 和控制接口i c t o l ，l i n u x 下， 设备是作为文件看待的，读取接口和般的文件读取相似，而主要的控制功能 则有控制接口实现，下面介绍程序实现中使用的控制接口的各种参数。 1 设备能力集查询 查询参数是v i d e o c g c a p ，该参数用来获取视频设备的能力集信息，该参 数相应的数据结构是v i d e o c a p a b i l i t y 对象，这个结构包含了设备名字、类型、 最大图像宽度等设备信息。 2 视频捕获窗 视频捕获窗口有两个参数，v i d i o c g w i n 和v i d i o c s w i n 。参数相应的 数据结构是v i d e o w i n d o w 对象，这个结构包含了捕获窗的大小等相关信息。 3 视频源 很多视频设备都可以从一个或者多个通道捕获数据，每个通道可以用参数 v i d e o c g c h a n 进行查询，参数相应的数据结构是v i d e o c h a n n e l ，该结构保 存函数返回的通道的信息，该信息包含了通道属性。 4 图像属性 图像的属性是指图像的明暗度，色度、对比度、格式等。这些属性可以用 参数v i d e o c g p i c t 和v i d e o c s p i c t 来读取和设置，参数的数据结构是 v i d e o p i c t u r e 。 北京邮电大学硕士毕业论文 3 2 实现步骤 由于i o c t l 函数的参数比较多，为了使代码更清晰，实现过程中对该函数进行 了封装。如下所示： 视频采集具体步骤如下 图3 1捕获函数关系图 1 建立采集窗口，并设置图像属性。 v d s e t u p c a p t u r e m o d e ( ) 2 设置视频捕获源。 v d s e t u p v i d e o s o u r c e ( ) 3 采集图像，得到的图像放在缓冲区里，等待压缩模块的处理。 v d g e ti m a g e ( ) 北京邮电大学硕士毕业论文 第四章视频压缩编码 4 1 图像压缩编码发展概况 图像压缩编码从1 9 4 8 年电视信号数字化提出以来，已有五十多年的历史， 不仅在理论研究上取得了重大进步，而且在实际应用中也获得了很大成果。近 十年来，图像编码技术得到了迅速发展和广泛应用，并且日臻成熟，其标志就 是多个关于图像编码的国际标准的制定，即国际标准化组织i s o 和国际电工委 员会i e c 关于静止图像的编码标准j p e g j p e g 2 0 0 0 ，关于活动图像的编码标准 m p e g l 、m p e g 一2 、m p e g 一4 等，以及国际电信联盟i t u t 制定的视频编码标 准h 2 6 x 系列。这些标准采用的图像编码算法融合了各种性能优良的图像编码 方法，代表了目前图像编码的发展水平。表4 i 给出了近年制定的图像视频压 缩编码标准。 表4 1 近年制定的图像视频压缩编码标准 标准发布日期标题应用场合 j b i g1 9 9 1 9用于二值图像的传真等 累进压缩编码 j p e g1 9 9 2 1 0连续色调静态图数字照相、图像 像的数字压缩编视频编辑等 码 j p e g 2 0 0 02 0 0 0 1 2下代静态图像i p 网、移动通 编码标准信、传真、电子 商务等 m p e g 11 9 9 2 1 1面向数字存储的光盘存储、家用 运动图像及其伴视频、视频监控 音的编码等 m p e g 一21 9 9 4 1 1运动图像及其伴数字电视、d v d 、 音的通用编码高清晰度电视、 卫 星电视等 m p e g 41 9 9 9 5音频视频对象的i p 网、交互式视 ( 后来又有通用编码频、移动通信、 补充)专业视频等 h 2 6 11 9 9 0 1 2 px 6 4k b i t s s 的 i s d n ( 综合业务 音视频业务的编数 解码字网) 视频会议 北京邮电大学硕士毕业论文 h 2 6 31 9 9 6 3低比特率通信的桌面可视电话、 视频编码移 h 2 6 3 +1 9 9 8 1动视频等 h 2 6 3 + +2 0 0 0 1 1 h 2 6 4 a v c2 0 0 1最新的视频编码 标准 4 2 压缩编码的方案分析 视频压缩编码算法多种多样，基本上分为基于块的和基于内容的两种编码 思想，其中m p e g l 2 ，h 2 6 1 ，h 2 6 3 ，h 2 6 4 都是基于块的，而m p e g 4 则是基于内容 的编码标准。 现在在低速率视频通信中广泛应用的是h 2 6 1 ，h 2 6 3 ，k l p e g 4 编码标准，其中 h 2 6 3 和m p e g 4 也是3 g p p 2 采用的无线多媒体标准。h 2 6 4 也可以应用于低速率 场景，但是这一标准还在发展之中，有测试表明，h 2 6 4 编码效率比h 2 6 3 和m p e g 4 提高了5 0 ，但是复杂度是h 2 6 3 的2 倍左右。嵌入式系统的硬件性能一般比不 上普通p c ，多媒体能力也较低，考虑到龙芯的性能，不宜采用过于复杂的算法。 i t u t 的h 2 6 1 ，h 2 6 3 ，h 2 6 4 都是采用d c t 变换编码加d p c m 的差分编码， 即混合编码结构。它们之间具有很大的兼容性，h 2 6 3 编码在性能上比i - 1 2 6 1 要 好，而且其后的第二版( h 2 6 3 + ) 和第三版( h 2 6 3 + + ) 又增加了选项以加强编码 效率，因此，h 2 6 3 编码具有较大的扩展性，由于和h 2 6 4 都是基于块的，更容 易升级到最新的h 2 6 4 编码标准。总的来说，h 2 6 3 的压缩比较适合龙芯平台。 下面重点讨论本系统采用的视频压缩编码标准h 2 6 3 。 4 3 h 2 6 3 视频编码标准 1 9 9 6 年3 月i t u t 制定的h 2 6 3 标准是一种用于低比特率视频业务中运 动图像部分的压缩编码方法，目前在视频通信的各个领域己得到广泛的应用。 h 2 6 3 算法的基本框架是位移估值，运动补偿，离散余弦变换，量化和可变长 编码。标准分为两个部分：一是主体部分，另一部分是附加部分。附加部分是 根据不同使用目的而添加的，可由开发者自行选择。下图是h 2 6 3 编解码器的 框图。 ! ! 至墼塞奎兰堡圭兰些丝兰 i 编码控制| 一 t t _ 一 f t1 r 一源解码器h 多瓣解h 接受缓冲区卜 图4 1h 2 6 3 编解码器的框图 为了使h 2 6 3 能够适应于6 2 5 行或5 2 5 行标准的电视信号，其信源编码器基 于c i f 格式进行工作。视频输入和视频输出的电视信号标准可以是不同的，可 以是模拟的或数字的。 视频编码器生成的码流是自我格式化的，该数据流可以和其他多种信源信 号混合传输。视频解码器执行与视频编码器相逆的处理过程。h ，2 6 3 标准对视 频输出比特率没有进行限制，输出比特率既可以是恒定的，也可以是变化的。 h 2 6 3 采取的是混合编码技术，即用帧间预测减少时域冗余，用变换编码 减少残差信号的空域冗余，相应的解码器具有运动补偿能力。对于运动补偿， h 2 6 3 采用的是半像素精度。被发送的各种符号采用可变长编码技术。h 2 6 3 包 含了四个基本模式：非限制运动矢量模式、基于语法的算术编码模式、高级预 测模式以及p b 帧模式。 4 4 图像格式 h 2 6 3 标准支持五种标准的图像格式： s u b q c i f ：亚四分之一的公共中间格式 q c i f ：四分之一的公共中间格式 c i f ：公共中间格式 4 c i f ：四倍公共中间格式 1 6 c i f ：十六倍公共中间格式 图像各个分量的采样分辨率如表4 2 所示 北京邮电大学硕士毕业论文 表4 2h 2 6 3 的五种图像格式 图像格式亮度像素数亮度行数色差像素数色差行数 s u b - q c i f 1 2 89 66 44 8 q c i f 17 61 4 48 87 2 c i f3 5 22 8 81 7 61 4 4 4 c i f7 0 45 7 63 5 22 8 8 1 6 c i f1 4 0 81 1