（通信与信息系统专业论文）mpeg4视频编码的软件优化与dsp实现.pdf

华中科技太学硕士学位论文 摘要 i 随着计算机和网络技术在世界范围内的普及应用，人们对信息与通信的孺求日盏 突蕊遵域帮对潺筑双锱，多媒体按寒已残为傣惑与遁落领域中最弓l 入注嚣熬发震方潮 之一，而以视频编码、存储、处理为基础的视频技术更是多媒体技术的核心领域。 作者程研究生阶段参与了敦弯帮瑰代远疆教育关凌技术疆究重点顼露“远程教育 实时交互工凝”和国家科按部技术创新基龠项目“远程教学协同群件产品”的研究。 主蘩钛事其中多媒钵远程程频监控蓉绞熬实溪工佟。俸者黔烹要工僚任务是其中熬核 心技术“基于d s p 的m p e g - 4 视频编码器”的实现。y 本文首先对多媒体监控系统以及多媒体遗售散了整要介绍，确定了本文的研突燮 点，并对本文的选磁和主要工作做了说明。接下来介绍了基于对蒙的视频编码标礁 m p e g 一4 的祭统组成、特点，对其中的运动髂计和 偿、纹理编码等关键技术进行了 详绥分析。本文在现有算法熬础上，针对多媒体阏络漩控的敝权保护和安全性的考虑， 提出了运动捻测和基于量化的半易损水印的解决方察。 本文详鲴探讨了在两个硬件平螽薯l 公司数字信号处理芯片t m s 3 2 0 c 6 2 0 i 和p h i t i p s 公词的专用媒体处理器t r m e d i a 芯片上m p e g 4 视频编码器的实现。算法 饶化是壤璐器实嚣鹃一大关键，怎样缩舍箍疆器靛特点，实蕊高效实辩的视频编码蔑 本文的研究羹点。作者在充分利用芯片资源的同时，提出了一些有效的优化方法，如 采溻存储空闼配墨洚低数据传输对耗，零l 廷搂令字帮线毪汇编接流承线最大隈度鲮并 行，使用c a c h e 改造和d m a 传输以提高数据搬移的速度等。这些方法有效的提高了 找羁靛效率，取褥了较为满意鞠效果。最嚣对撵者在嚣令硬终平台煞工终敲了魄较秘 说明。 竣君对全文遴行总结，漪有待继续酝炎髓工终提蹬秘步设想。 关键词：m p e g - 4 ，软件优化，视频监控，d m a 传输，存储器配置 l 华中科技大学硕士学位论文 a b s t r a c t w i t ht h ew o r l d w i d e p o p u l a r i z a t i o no fc o m p u t e ra n d n e t w o r k t e c h n o l o g y , p e o p l en e e d m o r ea n dm o r ec o m m u n i c a t i o n s 确em u l t i m e d i at e c h n o l o g yh a sb e e nt h eh o t s p o ti nt h e i n f o r m a t i o na n dc o m m u n i c a t i o na r e a , a n dt h ec o d i n g , s t o r a g e , p r o c e s s i n go fv i d e oa l s oi s t h ec o r ea r e ao f t h em u l t i m e d i a i nt h i sd i s s e r t a t i o nw e c a r r yo u tar e s e a r c ha n di m p l e m e n t a t i o no nr e a l t i m em p e g ，4 v i d e oe n c o d e r t h ed i s s e r t a t i o ni so r g a n i z e da sf o l l o w s 溉s tg i v e 黼o v e r v i e wo ft h ec h a r a c t e r i s t i c sa n ds t a n d a r do fv i d e om o n i t o r i n g s y s t e m a n dm u l t i m e d i ac o n m a u n i c a t i o n ，a n di i l u m i n a t et h er e s e a r c hc o n t e n to ft h i s d i s s e r t a t i o n t h e nw e p r e s e n t s o m ek e y p o i n t s o fm p e ( 孓4v i d e oe n c o d e r t h e s e k e yp o i n t s i n c l u d em o t i o ne s t i m a t i o na n dc o m p e n s a t i o n ，t e x t u r ec o d i n g a n dw ea l s ob r i n go u tt h e m o t i o nd e t e c t i o na n d d i g i t a lw a t e r m a r k i n g t o g u a r a n t e e t h e s e c u r i t y o fm u l t i m e d i a i n f o r m a t i o n i nt h i sd i s s e r t a t i o n w ei n t r o d u c et w od s p p l a t f o r m so fm p e g 4v i d e oe n c o d e r t h e f i r s ti st m s 3 2 0 c 6 2 0 1 w h i c hi sp u b l i s h e db yt if o rt h ep u r p o s eo fh i g hs p e e dd i g i t a l s i g n a lp r o c e s s i n g 。a n o t h e ri sp n x l 3 0 0 ，w h i c hi sp h i l i p sp r o d u c tf o rs p e c i a l 糙ei n m u l t i m e d i a t h ep a p e ri n t r o d u c e st h es i m i l a r i t i e sa n dd i f f e r e n c e si nt h er e a l i z i n go ft w o v i d e oe n c o d e r sj nd e t a i l s s o f t w a r e0 p t i m i z a t i o ni st h ek e yo ft h er e a l i z a t i o no fe n c o d e r h o wt or e a l i z eh i g h - e f f i c i e n tr e a l t i m ev i d e oc o d i n gb yu s i n go ft h ec h i p sc h a r a c t e r i s t i c si st h ef o c a lp o i n to f o u rr e s e a r c h w jp u tf o r w a r ds o m ee f f e c t i v eo p t i m i z a f i o nm e t h o d sw h i l ef u l l yu t i l i z ec h i p s r e s o u r c e s s u c ha sa d o p tm e m o r yc o n f i g u r et or e d u c et h et i m ew a s t eb e c a u s eo fd a t a t r a n s m i s s i o n ，u t i l i z ei n s t r u c t i o na n dl i n e a ra s s e m b l yl a n g u a g et or e a l i z em a x i m u m s o f t w a r e p i p e l i n e 、u s ec a c h et r a n s f o r m a t i o na n dd m a t r a n s m i s s i o nt os p e e dd a t ah a n d l e ? e t c ? 历p s e m e t h o d sp e r f o r m a n c ew e l l ，a n dg e tas a t i s f i e dr e s u l t w ec o m p a r ea n di l l n m i n a t eo u r o bo n t w oh a r d w a r ep l a t f o r m s f i n a l l y l a s t l yw e c o n c l u d et h i sd i s s e r t a t i o na n dp o i n to u tf u t u r er e s e a r c hd i r e c t i o n s ， k e yw o r d s ：m p e g - 4 ，s o f t w a r eo p t i m i z a t i o n ，v i d e om o n i t o r , d m a t r a n s m i s s i o n m e m o r yc o n f i g u r e i 华中科技大学硕士学位论文 1 1 引言 1 基于网络的多媒体监控系统框架 视频监控一直是人们关注的应用技术热点之一，它以其直观、方便、信息内容丰 富，而被广泛应用于许多场合。本章介绍了多媒体通信和多媒体远程监控系统，对本 论文的选题和主要工作做了说明。 1 2 监控技术的发展 从摄像机电视机出现的那天起，原始的图像监视系统就己诞生。它被广泛应用于 保安、生产、管理等场合。本地图像监控系统主要由摄像机、视频矩阵、监视器、录 像机等组成。由视频线、控制线缆等连接本地图像。 监控系统在最初发展阶段一般采用模拟方式1 1 1 传输，采用视频电缆( 少数采用光 纤) ，传输距离不能太远，主要应用于小范围内的监控，如大楼监控等。监控图像一般 只能在本地控制中心观看。 随着数字视频压缩编码技术的日益成熟，微机的普及化，基于p c 的多媒体监控也 逐渐新兴起来。在远端监控现场有若干个摄像机、各种检测、报警探头与数据设备， 通过各自的传输线路汇接到多媒体监控终端上。多媒体监控终端可以是一台p c 机，也 可以是专用的工业机箱组成。多媒体监控终端除了处理各种信息和完成本地所要求的 各种功能外，还利用视频压缩卡和通信接口卡，通过网络，将这些信息传到一个或多 个监控中心。 在国外，多媒体远程监控系统已经得到了广泛应用【2 j ，如美国纽约及其附近地区 的海陆空公共交通系统，监控范围包括肯尼迪机场、纽瓦克国际机场、那瓜地机场、 林肯隧道、荷兰隧道、华盛顿大桥、纽约汽车站、三个港口和前世界贸易中心，系统 使用了6 0 0 多个摄像机和2 5 0 个监听器，使用t 1 信道。近年来，远程视频监控系统 在国内也有了很大的发展，并且随着通讯技术和计算机网络技术的发展，通讯费用降 低，相信在我国很多行业( 如电信局、电力局、大型水电站、银行、高速公路、城市 交通等) 将会采用这种基于网络的多媒体远程视频监控系统。 华中科技大学硕士学位论文 1 3 监控系统中的多媒体通信 所谓多媒体( m u l t i m e d i a ) ，即多种媒体。通常包含以下凡种：数字( n u m b e r ) 、文本 ( t e x t ) 、声音( v o i c e ) 、音频信号( a u d i o ) 、图形( g r a p h i c ) 、动馘( m o t i o np i c t u r e ) 、图像( i m a g e ) 、 视频信号( v i d e o ) 等等。多媒体技术就是以计算机为平台，把多种声音、图像、文本等 信息的传输潮存储媒体经过特殊处瑗，并有机的连接在一起的技术。顾名思义，多媒 体通信是指谯通信中交换的倍息的类鳖不哭一种，蔼是多种僚怠类型鲍综合俸，它怒 一种对图、文、声等多媒体信息进行表示、存储、梭索和传输的技术。 1 3 1 多媒体通信的特点 l 。集成性 。 多媒体通信系统至少应能传送2 种以上的媒体倍息，如视频图像、文本数据、语 音及溜形动躐等，势基有对这些羡意避孬存赣、黄输、楚理、显瑶豹戆力。 2 交互性 交互性援懿是在逶售孛入与系绕之闯豹提互控翱毙力。多媒体逶售系绞必须韪以 交甄方式进行工作，而不是简单地单向、双向传输或广播，因此，它能够真征实现多 点之闻、多秘媒体镶怠之闻熬自由传输襄交换。这些信息豹交换要擞到实时进行，恧 且多媒体终端用户对通信的企过程有完整的交互控制能力。 3 。嗣步性 同步性指的是禚多媒体通信终端上显现的图像、声音和文字是以同步方式工作 豹。通过网络传送的多媒体傣息必须保持它们在时间上或事件之间的同步关系。多媒 体通信系统中的同步性是多媒体通信系统中簸主要的特征之。可激这样说，信息的 同步与否决定了系统是多媒体系统述是多种媒体系统。 1 3 2 多媒体通信标准 为了实瓒多媒髂鲍雷际亿，国舔电信联鼗( 玎u 翻) 电信标准部f - ( i t u - t ) 专门成立 了跨研究组的联合协调组j c g a v m m s ( 视频多媒体业务联台协调组) 来协调公用电信 阐中多媒体遴信静酥准往活麓。参鸯嚣联舍漭谲缓豹巍疆s o l ( 犍务定义) 、s 0 2 ( 鼹络透 营) 、s g 3 ( 资费原则) 、s g 7 ( 数据网和开放系统通信) 、s g 8 ( 远程信息处理业务的终端) 、 s g 9 ( 逛褫霸声音广撩) 、s g l l ( 交换鞠蓿令) 、s g l 2 ( n 躺终蠛懿壤劐糍传输缝毙) 、 s g l 3 ( 网络总体) 、s g b ( 传输系统和设备) 等研究组，i 柳时还和无线电通信部f 1 ( i t u - r ) 熬s g i o ( 声蠹广播数务) 、s g i l ( 亳巍广撵业务) 建立了密韬会终关系。另蛰国瓣标准他 2 华中科技大学硕士学位论文 缝织( i s o 鹈餮酝电工委员会g e e 溜在送行专蘑蕊潋及信惑处建方黼静多媒蒋技术鹩 标准化活动。i s o i e c j t c i 的s c 6 ( 系统间远程通信和信息交换) 、s c l 8 ( 文件处理和 富关逶信) 、s c 2 4 ( 诗算极强德鞠墨像处理) 、s c 2 9 ( 潮冀、声啻窝多媒体虞g 媒体黢喜鹊 编码表示) 等分委员套，分别就多媒体超媒体的信息液示，茹媒体越媒体文件的显现， 多媒搭超媒体用户系统接爨，多媒体超媒体系统阅邋信_ 秘信息交换簿进褥标准化活 动。 1 。襁频编璐糖准 一般来说，多媒体信息的信息纛主要罴视频信崽的信惠基最大，在不聪缩的情况 下w 在1 4 0 m b i t s 发右，至乎裹清晰电视( t t d t v ) 更可高达1 0 0 0 m b i t s 。为了节约带宽 戬佟输更多静多媒体信惠，辩筏频僖惠盛矮进行离效豹压缩。经过泛2 0 荦的努力， 视频压缩标准逐渐成熟，出现了h 2 6 1 、h 2 6 3 、m p e o - 1 、m p e g - 4 等一系列的视频 垂缩弱国际标准。 图1 1 所示为视频编码标准的发展历稷： 强l - i 搅攘编弼檬准豹发艇掰程 口i s o ，i e c 盼m p e g 系列标准 国骣标准佬组织i s o i e c 于1 9 8 8 年成立了运动图像专家甥l ( m p e g ) ，致力于视频 压缩标准化研究工作。该专家组先精制定了m p e g - l 、m p e g - 2 和m p e g - 4 标准，并 正褒致力予m p f g 7 ： 】和m p e g - 2 1 t 朝标准的制定。 1 9 9 3 年8 兵避过酶m p e g - i ( 舔i s o t l e c i l l 7 2 ) 悬1 s m b p s 数据健椽率熬数字存键 媒体运动图像及其伴音编码的国际标准1 6 】。1 9 9 4 年1 1 月遒过的m p e g , - 2 ( 即i s o i e c l 3 8 1 8 ) 主要是锋对数字褫频广播( d v 8 ) 、离渍辙发电褪( h d t v ) 、数字壤盘( d v d ) 等制定的高于1 s m b p s 运动图像及其伴音的国际标准。现在研究的较广泛的m p e g - 4 标准静第一簇予1 9 9 9 年l 秀正式公布，梅难豹第二舨毽在1 9 9 9 霉1 2 熙公布 “。 m p e g - 4 的目的是寻求支持数字音频视频数据通信、存取和管理的新途径，它为多媒 华中科技大学硕士学位论文 体数据压缩提供了一个更为广阔的平台，它更多定义的是一种格式和框架，而不是具 体的算法，以支持各种各样新颖的和高效的功能。 口i t u t h 2 6 x 标准 i t u t 组织先后制定了h 2 6 1 8 1 、h 2 6 3 1 9 1 、h 2 6 3 + 、h 2 6 3 + + 、h 2 6 l 标准。其 中现在应用的较广泛的h 2 6 3 视频编码标准是r r u t 在1 9 9 6 年制定的专用于低比特 率通信的多媒体标准。i t u t 于1 9 9 8 年1 月颁布了“低码率视频通信”国际标准【1 伽即 h 2 6 3v e r s i o n 2 ( 又称h 2 6 3 + ) 。h 2 6 3 + 是h 2 6 3 的扩展，它的整体结构和基本算法与 h 2 6 3 相同，同时在h 2 6 3 的基础上做了一些新的改进。h 2 6 3 + + 【l l 】是对h 2 6 3 + 进一 步改进的标准。h 2 6 3 + + 在h 2 6 3 + 标准的基础上再加上若干个可选编码模式：增强参 考帧选择模式、误码恢复的数据划分模式、i d c t 误匹配减少模式。另外，仿射运动 补偿、选择系数扫描、误码控制编码及头信息重复等方法也是标准所考虑采纳的技术。 h 2 6 l 佗l 是i t u 正在制定的新的视频编码标准，它采用与h 2 6 3 不同的编码技术 以期待获得比h 2 6 3 最佳版本还要高的编码性能。所采用的技术有：在预测编码方法 中，采用自适应运动精度方法和仿射模型来提高运动估计的精度；对于预测误差编码， 采用矢量量化和小波进行编码：为了增强帧间编码的性能，采用了小波编码的方法。 同时，采用高效的变长码表的索引，提高熵编码的效率。目前，国内外有很多研究机 构在从事h 2 6 l 的研究。其中美国的u b v i d e o 已经发布其在基于1 r i 公司t m s 3 2 0 c 6 4 x 开发的h 2 6 l 编码器l ，相信凭借其卓越的性能，应用前景将会十分广泛。 i t u 与i s 0 i e c 的融合t j v t ( j o i n tv i d e ot e a m ) 是r r u 与i s o i e c 联手成立的一个新的组织，t 囊括了 这两个组织中曾经设计出m p e g - 2 和h 2 6 2 的精英，将有力地推动视频标准的发展。 现在j v t 已经接手r r u 原有的h 2 6 l ，并将在此基础上创造新一代的视频编码标准。 这个标准将被采纳为m p e g - 4 标准的一部分( p a r tl o ) ，同时也将成为i t u t 的建议之 - - ( h 2 6 4 ) 1 4 】o 2 语音编解码标准 未经压缩的一路语音信息需要6 4 k b i t s 的速率，经过压缩后可以降到3 2 k b i t s 、 1 6 k b i t s 、8 k b i t s 甚至是5 - - 6 k b i t s 。 下面是几种常用的语音编码标准： 口 g 7 2 3 1 i t u tg 7 2 3 1 【峙i 编码器在6 4 k b p s 提供长话质量语音。同时g 7 2 3 1 还包括一个 工作在5 3 k b p s 的低质量语音编码器。g 7 2 3 1 是为低比特率可视电话而设计的。在这 种应用中，由于视频编码时延通常大于语音编码时延，因此对时延的要求不是很严格。 4 华中科技大学硕士学位论文 g 7 2 3 1 编码器的帧长为3 0 m s ，还有7 5 m s 的前视。再加上编码器的处理时延， 编码器的单向总时延为6 7 5 m s 。其它时延是由系统缓冲区和网络造成的。 口g 7 2 9 g 7 2 9 0 6 1 编码器是为低时延应用设计的，它的帧长只有1 0 m s ，处理时延也是1 0 m s ， 再加上5 m s 的前视，这就使得g 7 2 9 产生的点到点的时延为2 5 m s ，比特率为8k b p s 。 g 7 2 9 有两个版本：g 7 2 9 和g 7 2 9 a 【l ”。这两个版本互相兼容但它们的性能有些不同， 复杂性低的版本( 0 7 2 9 a ) 性能较差。两种编码器都提供了对帧丢失和分组丢失的隐藏 处理机制，因此在因特网上传输语音时，这两种编码器都是很好的选择。 g 7 2 8 g 7 2 8 t 博】是低比特线性预测合成分析编码器( g 7 2 9 和g 7 2 3 1 ) 和后向a d p c m 编 码器的混合体。对于低速率( 5 6 - 1 2 8k b p s ) l 构综合业务数字网o s d n ) 可视电话，g 7 2 8 是一种建议采用的语音编码器。由于其后向自适应特性，因此g 7 2 8 是一种低时延编 码器，但它比其它的编码器都复杂，这是因为在编码器中必须重复做5 0 阶l p c 分析。 g 7 2 8 还采用了白适应后置滤波器来提高其性能。 评估编码器的性能时要考虑几个重要因素。这些因素【1 9 1 有： 帧大小：帧的大小表示语音流量的时间长度，也称为帧时延。帧是语音信号的分 立部件，且每帧是根据语音样点更新的。每帧信息各放在各语音分组中，传送给接收 端。 处理时延：处理时延也称为算法时延，它表示在编码器中对一帧语音做编码算法 处理所需时间，通常简单计入帧时延。 前视时延：编码器为了对当前帧的编码提供帮助而检查下一帧的一定长度，此长 度称为前视时延。前视的想法是为了利用相邻语音帧之间的密切相关性。 帧长度：这个值表示经编码处理后的字节数( 不包括帧头) 。 语音比特率：当编解码器的输入是标准脉冲编码调制的语音码流( 比特率为6 4 k b i t s ) 时，编解码器的输出速率。 d s pm i p s ：此值是指支持特定编码器的d s p 处理器的最低速度。 r a m 需求：它描述了支持特定的编码过程所需要r a m 的大小。 其中，评价编码器性能的关键因素是编码器工作所需时间。这个时间是指编码器 的缓存及处理时间，称为单向系统时延，解码时延大约是编码时延的半。 单向系统时延= 帧大小+ 处理时延+ 前视时延 3 多媒体通信控制协议h 3 2 x 针对不同网络上的多媒体通信，r r u 制定了一系列控制协议。其中h 3 2 0 1 2 0 1 是在 n i s d n 上进行多媒体通信的标准，h 3 2 1 是在b i s d n 上进行多媒体通信的标准， 华中科技大学硕士学位论文 h 3 2 2 是在有服务质量保证的l a n 上进行多媒体通信的标准：h 3 2 3 【2 1 描述了服务质 量( q o s ) 无保证的分组交换网络p b n ( p a c k e tb a s e dn e 咖r k s ) 中的多媒体通信标准； h 3 2 4 2 2 j 是在p s t n 和无线网络上进行多媒体通信的标准。其中h 3 2 3 标准应用最为 广泛，它为l a n 、w a n 、i n t r a n e t 、i n t e r n e t 上的多媒体通信应用提供了技术基础和 保障。如图i - 2 所示是h 3 2 3 协议栈的内容： 图1 - 2 h 3 2 3 协议栈 其中： h 3 2 3 ：基于分组的多媒体通信系统 h 2 2 5 0 ：分组多媒体通信系统的呼叫信令协议和媒体分组化 h 2 4 5 ：多媒体通信的控制协议 g 7 1 1 ：话音频率的脉冲编码调制 g 7 2 3 1 ：多媒体通信5 3 ，6 3 k b w s 双速率语音编码器 g 7 2 9 ：采用共轭结构代数码线形预测激励的8 k b i t s 语音编码 g 7 2 9 a ：低复杂度c s a c e i j8 k b i t s 语音编码 分组网包括局域网( l a n ) 、企业网、城域网等。h 3 2 3 系统由终端、网关、多 点控制单元( m c u ) 、网守( g a t e k e e p e r ) 等单元组成。我国目前m 电话网上使用的 h 3 2 3 协议基本上是第二版，而目前i t u t 已经推出h 3 2 3 v 3 和h 3 2 3 v 4 版。与 h 3 2 3 v 2 t 2 m 相比，h 3 2 3 v 3 了网关控制协议、管理域间协议、移动管理协议、h 3 2 3 系统和协议的管理信息库( m m ) 等；而h 3 2 3 v 4 则在h 3 2 3 v 3 的基础上重点对q o s 的问题进行补充。 1 3 3 多媒体通信的的要求 不同的多媒体通信业务的传输特性和对网络的要求可以相差很远。下表列出了几 种主要的多媒体业务对传输和网络的要求。 6 华中科技大学硕士学位论文 表1 - 1 几种媒体业务对传输和网络的要求 要求 最大时 最大时延 速率平均吞吐 可接受的可接受的 延( s ) 波动( m s )f m b i t s )量( m b i t s )误比特率误分组率 话音 0 2 5 1 00 0 0 5 - - 0 0 6 4 0 0 6 4 1 0 0 1o - 2 活动图像 o 2 5 1 01 0 0 1 0 0 01 0 01 0 。21 0 d 静止图像 l2 1 02 一1 01 0 一 + 1 0 4 压缩后运动图像 0 2 510 0 2 1 02 l o1 驴1 0 9 数据文件 12 1 0 02 1 0 00 0 实时数据 0 0 0 l l 1 0 1 00o 多媒体业务对传输与网络的要求大体可以分为2 类： ( 1 ) 语音和运动图像要求实时传输，对时延十分敏感，但对误码的要求不太高。 ( 2 ) 数据文件，静止图像等非实时信息传输，对时延无严格的要求，但对误码率 要求很高，这一类的业务传送速率也有较大不同。 1 4 多媒体监控系统 多媒体监控系统采用图l - 3 所示的系统结构： 第一层：信息采集控制层 第二层：传输通讯层 第三层：中心控制层 视频信号的采集、附属设备的控制 lf 视频、音频压缩、复用、传输、解 码、分用 f 视频切换、报警联动、事故处理、设 备控制、记录现场讯息 图i - 3 基于网络多媒体视频监控系统结构图【2 l 多媒体视频监控系统是一个实时网络，要求根据现场传送的实时图像和报警信 息，做出及时联动和反应。每一层为上一层的基础，中间层是连接第一层和第三层的 纽带，是实现视频监控系统的关键，各层功能如下： 华中科技大学硕士学位论文 第一层：信息采集控制层，这是视频监控系统的最低层( 如摄像机、云台、探头、 解码器等) ，如有控制设备可组成相对独立的视频监控系统。该层主要完成视频信号 的采集，接受来自控制中心的信息并做出相应的反应。 第二层：传输通讯层，包括视频传输编解码设备和传输信道，保证信息的相互传 递。该层采用符合视频标准的编解码设备和信道，实现视频的实时传输。 第三层：中心控制层，主要实现下列功能：可任意切换摄像头的画面并控制摄像 机镜头和云台：根据报警信号自动做出联动反应：可以记录视音频信息等。 1 4 1 多媒体视频监控系统框图 多媒体视频监控系统结构如图1 - 4 所示，由监控中心和多个监控点构成。 监控中心：摄像机( 彩色或黑白) ，镜头( 电动或酱通) ，全方位云台( 可选) ，解码器 等。 监控点：计算机( 5 8 6m m x l 6 6 以上) 。视音频采集压缩卡，多路视音频切换卡。 控制软件等。 图i - 4 监控系统框架图 监控点将视音频信号通过电缆传送到多路视音频切换卡，将切换后的视音频送到 视频采集卡，由计算机对采集来的信号进行显示与存储。监控计算机对镜头或云台的 控制( 如调整焦距、拉近拉远、光圈大小、转动方向等) 的实现需要通过串行口，采用 r s 4 8 5 标准将命令传送到监控点的解码器。监控计算机通过局域网、城域网、或者 广域网进行通讯，将语音、视频信息传送到监控中心，同时监控中心可以对监控点的 计算机发送控制命令。 1 4 2 监控系统的关键技术 1 视频图像压缩技术 华中科技大学硕士学位论文 在过去，通常使用的视频压缩标准是：h 2 6 3 标准和m p e g 1 标准。这两种视频 标准的基本思想都是通过减少每帧图像时间上和空间上的冗余性和相关性信息来减 少数据量。它们的核心编码算法都是采用帧问预测+ 离散余弦变换+ 可变长编码。虽然 这两种标准都是针对低带宽实时图像的传输而提出的，可是用于视频监控的实际应用 中却都有一定的局限性。首先，它们没有充分考虑远程监控的实际特点，如大多数背 景图像是静止不动的，传输的信息中仍有大量的冗余，影响了传输速率的提高；其次， 这两种标准的适应性较差，不能根据网络情况自适应地调节传输率，使得网络发生拥 塞时性能急剧下降。针对这种情况，我们提出一种基于m p e g - 4 的视频编码压缩标准 的视频监控方案，以克服这些不足。 2 软件压缩和硬件压缩 在实际应用中，要求监控多个目标，并且每路监控目标的视频都要求高帧率、高 码率。基于p c 机软件实现的以m p e g - 4 为基础的压缩编码方案，在合理的p c 工作 台面下， 用软件压缩只能实时地对1 路视频信号进行处理，所以利用p c 的c p u 进 行软件实时压缩编码已经难以达到要求。但是利用硬件进行视频编码压缩我们可以同 时处理几路的视频信息，这样可以使得性能大大提高。 目前市场上可以采用的硬件压缩芯片有很多，可以通过代码的编程灵活地实现多 种算法，作图像和语音的压缩和解压缩。目前代表性的产品有：t i 公司的1 m s 3 2 0 c 6 x 及t m s 3 2 0 c s x l 2 4 1 系列d s p 芯片，这一系列的芯片针对数字信号处理的特点，在d s p 芯片的结构上作了很多优化，而且有很好的开发工具支持它。另外p h i l i p s 的t r i m e d i a 也是一种较好的多媒体信号处理芯片，它是一种高性能的d s p 兼c p u ，能够进行高 质量的视频和音频处理。一种典型的视频压缩板卡如图l - 5 所示： j s r a m 一外存储器接口卜- ， 总 p i 线 接 ah 口 桥 l 摄像头h 视频预处理mm p e ( h 视频编码 i 呻 、 图1 5 硬件压缩图 摄像头采集数据，然后进行编码预处理，预处理将接收的视频信号处理为规定的 格式，即把视频解码输出的c c i r 6 0 1 格式的信号转化为编码器可以处理的c i f 或 q c i f 格式，然后进行m p e g - 4 编码。 图中的存储器s r a m 用于存储编码所需的帧 存和编码完成后的码流数据。p c 机软件通过总线接口和p c i 桥来控制硬件编码卡和 读取压缩后的视频码流。 9 华中科技大学项士学位论文 3 语音压缩技术 从多媒体通信终端来看，语音处理模块包括语音压缩、声控和语音合成等。在实 时通信中，语音是各种媒体的核心。在多媒体通信业务中传送的语音都是数字化语音， 如果不压缩，则一路语音需6 4 k b i t s 的速率，经过压缩后可降到8 k b i g s ，在数字语音 方面已经有i t u t 建议的g 7 1 1 ，g 7 2 2 ，g 7 2 3 ，g 7 2 8 和g 7 2 9 等标准。 4 传输信道和带宽 多媒体传输信道主要有以下几种方式： 电话线：通过m o d e m 接入或者采用x s d l 接入。x s d l 接入主要包括a s d l 和h s d l 。a s d l 下行速率为1 5 9 m b p s ，上行速率为1 6 6 4 0 k b p s ，传输距离为 5 5 k m ：h s d l 使用一对双绞线，双向速率为1 5 2 m b p s ，传输距离约为5 k m 。 d d n 2 5 】：数字数据网的简称，它是利用光纤、数字微波或卫星等数字传输通道 和数字交叉复用设备组成，能为用户提供高质量的数据传输通道，传送各种数据业务。 其线路的通信速率为2 4 - - 1 9 2 k b p s ，n 6 4 k b p s ( n = l 一3 2 ) 。 、 i s d n f 2 6 j ：专为多媒体通信而设计，可提供各种类型的信道，以传输不同速率与 类型的数字信号。i s d n 的信道类型分为信息信道与控制信道，信息信道又包括b 信 道和h 信道，控制信道为d 信道。b 信道带宽为6 4 k b p s 用于传送各种话音、数据或 位流图像：h 信道带宽为3 9 4 k b p s 或1 5 3 6 k b p s 或1 9 2 0 k b p s ，用于传输高速率数据或 高位流图像；d 信道带宽为1 6 k b p s ，用于传递控制信号 无线通道：无线信道主要指数字微波和无线扩频信道，可以提供6 4 k 2 0 4 8 m b p s 的信道带宽，通常以专线的形式提供。 v s a t 卫星线路 2 7 1 ：多应用于国防部门通信，一般用户可以租用，如将6 4 k b p s 串行数据转换为v 3 5 接口建立视频连接。 5 以太网上的实时视频传输 网络通信协议的选用对系统互连性和数据传输效率起着至关重要的作用。我们采 用的是在i n t e i e t 上广泛成熟的t c p i p 协议，传输层在大量数据发送是采用可 靠的面向连接的t c p 协议，以提高数据传输的可靠性，当传输少量数据时，为了提 高数据的传输效率，采用无连接的u d p 协议，通过超时重传等差错控制机制，来提 高传输的可靠性。 1 5 多媒体视频监控系统的性能要求 1 性能参数： 0 华中科技大学硕士学位论文 视频输入4 至1 6 路可选 视频制式p a i ，n t s c 分辨率c i f ( 3 5 2 2 8 8 ) 或者q c i f ( 1 7 6 + 1 4 4 ) 显示速度每路可调，最大2 5 帧秒 录像速度每路可调，最大2 5 帧秒 远程监控接口1 0 m 1 0 0 me t l l e m e t 远程监控传输协议t c p 远程监控速率取决于网络带宽，最大2 5 帧，秒 图像压缩m p e g - 4 标准 系统设计标准 g b4 9 4 3 1 9 9 5 信息技术设备的安全 g b t9 8 1 3 2 0 0 0 微型计算机通用规范 g b1 2 6 6 3 9 0 防盗报警控制器通用技术条件 g b1 5 2 0 7 9 4 视频入侵报警器 2 系统功能 采用嵌入式设计方案，系统稳定性高： 采用m p e g - 4 视频压缩技术，图像高清晰； 采用g 7 2 9 语音压缩标准，语音效果好； 支持单画面、多画面同时监控浏览； 支持远程和本地云台控制； + 支持多任务工作方式，图像存储、监看、远程控制可同步进行； + 体积小，便于安装。 1 6 论文选题和主要研究内容 作者从2 0 0 1 年中旬开始进入国家教育部重点科学技术项目( n o 2 0 0 0 1 7 5 ) “现代 远程教育关键技术：交互式实时教学工具软件”和国家科技部技术创新基金项目( n o 0 0 c 2 6 2 2 4 2 1 0 6 4 1 ) “远程教学协同群件产品”的研究，主要从事其中多媒体远程视频 监控系统的研究，查阅了大量的文献，对m p e g - 4 视频编码的软硬件实现有较深的接 触。 研究生学习阶段，作者参与了两个不同的硬件平台上的m p e g - 4 视频编码器的开 发，作者结合d s p 的特点对m p e g - 4 代码进行优化。研究的目标是要在可调的信道 华中科技大学硕士学位论文 上，实现实时的q c i f c i f 格式的视频编码。这不仅是视频压缩卡的重点和难点同时 也是视频监控系统中的一个关键。本文即是对基于不同硬件平台的软件算法实现的一 个总结。 本文共分五章，各章主要内容如下： 第一章对多媒体监控系统、多媒体通信的发展现状及相关国际标准做了简要介 绍，提出了一种基于网络的视频监控系统框架，介绍了其中的关键技术并对本文的选 题与主要工作做了说明。 第二章首先介绍了m p e g - 4 的原理和基本技术，然后对我们所采用的m p e g 4 算法进行了详细的介绍。 第三章描述了基于1 m s 3 2 0 c 6 2 0 1 d s p 的视频编码系统设计方案，并详细探讨了 作者在t i 的e v m 板上仿真实现中在代码优化方面所作的工作。 第四章探讨了t r i m e d i a 平台上实现实时高效的m p e g - 4 编码的过程，对基于 t r i m e d i a 的m p e g - 4 视频编码系统优化设计和编码过程进行了详细的研究。并在最后 对两个不同硬件平台上实现过程进行了比较和说明。 最后一章对全文工作进行总结，对有待继续研究的工作提出初步设想。 1 2 华中科技大学硕士学位论文 2 1 引言 2m p e g 4 视频编码技术分析 本章介绍了m p e g - 4 视频编码的原理和关键技术，并从远程视频监控系统的需求 出发，探讨了运动检测和数字水印在m p e g - 4 算法中的应用。 2 2m p e g - 4 编码标准概述 数字化电视( 自然的内容) 、交互式图形应用( 合成的内容) 及w w w ( p q 容的分布与 存取) 这三个领域的成功促进了m p e g - 4 的诞生。m p e g - 4 将提供多个标准化技术元 素，以促进上述三个领域中各种形式的内容制作、分布与存取的集成m p e g - 4 视频 编码的发展目标是在复杂多样且时时变化的网络上实现高效的、可伸缩的、健壮的和 普遍适应的多媒体通信。 m p e g - 4 标准的主要功能和特点如下： 1 编码的高效性 编码的高效性是为了满足对视频实时性的要求。在满足一定解码视频质量的前提 下，影响编码实时性的因素从源端看，主要是编码的速度和编码输出的数据量。 2 编码的可伸缩性 由于网络设备、网络用户以及网络应用等多方面的不同，使得编码端要考虑多种 复杂的情况：码率可伸缩性以适应不同的带宽需求；帧率可伸缩性以适应不同的业务 需求； 分辨率可伸缩性以适应不同的解码显示设备：复杂度可伸缩性以透应不同用户的 计算能力；内容可伸缩性以适应不同用户的内容需求。 3 编码的健壮性 视频编码的目的是压缩视频信息，减少视频数据量，但是随着视频信息冗余度的 减少，视频抗误码能力也降低了。为了有效的进行视频通讯，需要健壮性的编码技术。 健壮性视频编码需要联合考虑信源和信道两个方面，在不影响编码效率的情况下，适 当增加数据冗余来提高比特流抗误码能力。 一 4 编码的普遍适应性 1 3 华中科技大学硕士学位论文 随着多媒体业务种类的增加，视频编码方法应该能够适应多种业务平台如电视、 通信网、计算机等。 2 3 基于v o p 的编码器及其关键技术 为了支持高效的压缩、基于内容的交互( 操作、编辑、访问等) 以及基于内容可伸 缩性，必然要求m p e g - 4 以基于内容的方式表示视频数据。因此m p e g 4 引入了 v o ( v i d e oo b j e c t ) t 2 8 1 的概念来实现基于内容的表示。在m p e g - 4 的校验模型中，v o 主要被定义为画面中分割出来的不同物体，每个v o 由三类信息来描述：形状、运动、 纹理。 iv o p0 i - 1 c o d i n g 广一 阿6 闭 _ 1 c 幽g 广- m u x iv o p2 i 一1 c o d i n g r - - _ - - _ -i _ _ - l 图2 - im p e g - 4 检验模型的编码器框图 图2 - 1 为校验模型中的编码器框图。首先要从原始视频流中分割出v o ，之后由 编码控制机制为不同的v o 以及各个v o 的三类信息分配码率，之后各个v o 分别独 立编码，最后将各个v o 的码流复合成一个比特流。在某一时刻，v t o 以v o p ( v i d e o o b j e c tp l a n e ) 的形式出现，编码主要针对这个时刻该v o 的形状、运动、纹理这三类 信息来进行。其中在编码控制和复合阶段可以加入用户的交互控制或由智能化的算法 进行控制。解码器基本上为编码器的反过程。 图2 2 为基于v o p 的编码结构。基于v o p 的编码器可分为两个部分：形状编码 和传统的运动纹理编码。v o p 可以采用帧内编码( i n t r a - v o p 或i - v o p ) 和帧间预测编 码( i n t e r v o p 或p v o p ) ，帧间预测编码消除了视频信息的时间冗余。 对于每个v o p ，首先把v o p 从左到右、从上到下分成1 6 1 6 大小的宏块( m b ) ， 具体的形状、运动和纹理编码仍然是基于宏块进行的，所以一个宏块的信息是形状一 运动一纹理( s l l a p c m o t i o n t e