（通信与信息系统专业论文）基于mpeg4的网络监控系统研究.pdf

摘要 在视频监控领域中，高效视频压缩编码的实现是其应用的关键。网络监控系 统把数字监控与网络技术相结合，不但具有易于压缩、存储、查询等优点，而且 人们可以通过网络在任何时间、任何地点浏览监控场景的状态。目前存在着多种 视频编码压缩标准，考虑到m p e g 一4 的高效编码效率、高压缩比以及在低带宽条 件下的高性能，本系统选用m p e g - 4 作为视频编码标准。随着a d s l 接入网的普 及，基于a d s l 网络的视频传输问题成为一个热点问题。本文研究的核心就是基 于a d s l 接入网的网络视频监控系统，阐述了m p e g 4 视频编码系统的原理，并 对关键技术进行了系统分析，开发了基于1 1 公司的高性能多媒体处理芯片d m 6 4 2 的m p e g 4 视频编码算法，并提出了基于 2 0 2 2 网络处理芯片的a d s l 网络视频 传输方案，然后设计了整个硬件系统，最后实现了基于m p e g 4 的网络视频监控 系统。 关键词：视频编码m p e g - 4a d s l 硬件 a b s t r a c t mv i d e om o n i t o r ，t h ek e yt 0t h ea p p l i c a t i 0 i st 0f e a l i z e 也ee f f i d e n ti m a 鼯 m p r c s s i o nc o d i g tm o i t o rs y s t e m sc o n n e c t i n gd i 酉t a lv i d e om o n i t o rw i m n e 柳o r l 【，n o to n l yh a v e 也ea d v a l l t a 鸟e so fc o m p r 鼯s i o n ，s t o r a g e 卸dq u e r yw i 拙e a s j e r w a y s ，b u ta l s 0h a v et h ea d v a l l t a g c so ft h a tt h es n et 0b ec o n m e dc a l lb em o i l i t o r e d 强y w h e r c 趾d 蛆y t i i n e a tp r e s e n tt h e r ea r em 蛆y 蜘d so fv i d e o 啪p r c s s i o ns t a i l d a r d e x i s 垃n g c c m s i d e d n gt ot h eh i 曲。0 d i 芏1 9e 腼c i e n c y ，h i g hc o m p r c s s i 彻r a i oa t l dh i g l l p e r f o r m 如c eo fm p e g 一4u n d e rn a r r o wb a n dw i d i h ，t h i ss y s t e mc h 0 0 s e st h em p e g 一4 弱 t h ev i d e oc o d i n gs t a i l d 缸d w i t ht h ep 叩l l l a r i z a t i o o fa d s kv i d e o 仃a n s m i s s i o nb a s e d o nt h ea d s ln e 晰o r kb e c o m e s0 0b eah o tj s s u e t h e r e0 ft l l i st h e s i si st 0r e s e 砌 t h ev i d e o 仃a n s m i s s i o ns y s t e mb 踮e do na d s lt t 幢w h o l et h e s i sm a i n l yd i s c 晒s e st h e p 蛐l e o fm p e g 一4 “d e oc o m p r e s s i o n m n gs y s t 锄，趾a l y s 髓i t sk e yt e c h n i q u e s ， p r o p o s e saq l i i c ka r i t h i e t i c 朗s i l yt ob er e a h 髓do nd m 6 4 2 ，d e s i 掣塔t h ew h o l eh a r d w a r e s y s t 啪，如df i n a l l yi m p l e m c n t st h ev i d e om o i t o rs y s t c mw i 也m p e g - 4 y w o r d s ： v i d 帅e o d i n g ；m p e g 4 ；a d s l m r d w a n y8 5 9 1 1 2 创新性声明 本人声明所呈交的论文是我个人在导师的指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论 文中不包含其它人已经发表或撰写过的研究成果；也不包含为获得西安电子 科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同 志所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：壹走 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保 证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科 技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以 公布论文的全部或部分内容，可以允许采用影印、缩印、或其它复制手段保 存论文。( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名： 导师签名： 透座日期： 如六i ，5 。_ _ 。一 日期：兰! ! ! ! ! 、! 竺 一蔓二童缝建 1 1 1 1 监控系统简介 第一章绪论 1 1 引言 当前，随着人们生活水平的日益提高，公众对城市居住环境和公共场所的安 全要求也随之日益提高；同时随着改革开放的发展和信息时代的到来，人们对工 作环境、工作方式以及工作条件都提出了新的要求：人们需要种在办公室里就 可以对远端现场进行日常监控、控制的工作方式。监控系统就是在这种需求下产 生的。低价传感器和处理器的普及，则大大提高了人们对监控系统的兴趣。另外， 相关领域一些技术和理论算法的成熟，也使得监控系统在安全、交通、工业自动 化等领域拥有了更大的应用空间，特别是无人环境下的远程监控近年来受到了极 大的关注。目前监控系统的应用主要在以下几个方面： 交通安全：铁路、车站、机场、公路等场所的安全监控； 工业领域盼安全和质量控制：如电厂以及一些自动化设备的监控； 居住环境和公共场所安全：如银行、超市、大厦、停车场，以及对病人和 些特殊群体的远程监控等； 军事领域；空中监视、战场中对部队移动的监视等。 视频监控系统通常由3 个主要部分组成：视频采集设备、视频信号传输通道、 面向操作人员的显示和处理设备： 前端视频采集设备主要完成监控视频信号的采集和预处理。 视频通信传输设备主要完成视频传输的工作。为了有效利用现有的通信网， 普及监控的范围，现在利用i n t e r n e t 的监控视频传输方式已经成为研究与应用的 热点。 终端视频显示和处理设备用于完成视频的显示、后处理和存储工作。 根据图像处理技术发展的不同阶段，监控系统大致可以分为模拟监控、数字 监控和基于网络的监控三个阶剧1 】【2 】。 2 0 世纪9 0 年代末，随着计算机、网络、通信技术的日趋成熟，各种实用型视 频技术的不断完善，以及各种视频处理技术的出现，基于网络的监控系统才慢慢 的被人们所熟悉。如图1 1 所示，它以网络为依托，以数字视频的压缩、传输、存 储和播放为核心，以图像分析为特色，引发了视频监控行业的技术革命。所以说， 基于网络的视频监控不仅符合社会信息化整体的未来发展趋势，而且也代表了监 控行业的未来发展方向。这种监控系统利用现成网络无须重新布线，而且压缩效 率高、易存储、易查询等特点慢慢的被人们广泛应用。 三一 一茎王竺! 墅! 墼堕些堕量墨堑堑塞 一 1 1 2 视频压缩编码简舟 图1 1 基于网络的监控系统 监控系统的技术水平是和当时的视频处理水平相适应，人们把视频处理中最 先进的技术运用于视频监控系统中，所以监控系统的发展与视频压缩编码的发展 息息相关a 监控系统对视频的实时性要求高，但模拟视频数字化以后的数据容量 庞大。例如，针对一幅具有中等分辨率( 6 4 0 x48 0 ) 彩色( 2 4 b i t 咖i x c l ) 数字视频图像 的数据量约7 3 7 m b i 酬帧，i 院速率3 0 帧秒t s c 制式) ，则视频信号的传送速率大 约为2 2 1 1 m b i l s ，s ，一分钟的视频表演则需要1 3 2 6 6 m 以上的硬盘空间。因此。为 了存储、处理和传输这些数据，必须进行压缩。若不对视频数据进行压缩处理， 实时性根本就不能达到。 通过对视频数据的分析发现，原始视频数据存在的冗余度为数据压缩的实现 提供了可能。首先，对于每帧图像数据存在很大的空间冗余，视频图像帧内邻近 象素之间是空域相关的。其次，对于由每秒3 0 帧组成的视频序列信号，其相继帧 之间也具有较强的相关性，即存在时间冗余，例如，对于电视中的演讲人图像序 列，相邻帧之间可能只有由头部、眼部、嘴部的微小变动而引起的细小差别。再 次，因为在多媒体系统的应用领域中，人是主要接收者，眼睛是图像信息的接收 端，这样就有可能利用人的视觉对于边缘急剧变化不敏感舰觉掩盖效应) 和眼睛对 图像的亮度信息敏感、对颜色分辨率弱的特点实现高压缩率，从而使由压缩数据 恢复的图像信号仍有满意的主观质量。 从四十年代末开始，图像编码技术已走过了半个多世纪的发展历程。从五、 六十年代基本方法的探讨，到七十年代早期可视电话的研究，使褥这一领域中有 了长足进展，许多基本的思想和方法都相继提出。到8 0 年代前后，顺应信息化的 大趋势，面向各种应用的开发研究大力开展起来。进入9 0 年代以后，国际上致力 于标准他的工作，先后制定了一系列静止和视频图像编码标准，如用于二值图像 的j b i g 标准，用于静止图像的j p e g 标准和p e g 2 0 0 0 标准，以及用于视频存贮 和传输的h 2 6 1 、h 2 6 3 、h 2 6 4 、m p e g i 、i v 等标准。 因此，把高效的视频压缩编码算法应用于数字视频监控中有着十分重要的市场 价值和社会意义。 一一蔓二童鳖笙 i 1 2 监控中的视频编码标准 1 2 1 编码标准简介 图像数据编码技术的发展与进步，为制定通用规范化的图像数据压缩标准奠定 了基础。为了在全世界范围内促进数据压缩技术的应用，自上个世纪8 0 年代起， 国际标准化组织( i s o ) 、国际电工委员会( m c ) 和国际电信联盟( h u ) 下属的 国际电报电话咨询委员会( c c r r r ) 陆续完成了一系列数据压缩与通信的建议和标 准，包括二值图像压缩编码标准j b l g 、静止图像压缩编码标准j p e g 和j p e g 2 0 0 0 、 序列i 虱像压缩编码标准如h 2 6 1 、h 2 6 3 、m p e g i 及m p e g ，m p e g 。 1 2 2 监控中的视频压缩方法简介 图像监控系统按照压缩方法分为序列图像压缩和静止图像压缩两种，如表1 1 所示。序列图像压缩所采用的方法有h 2 6 1 、h 2 6 3 、m p e g i 及m p e g ，m p e g 。 它的特点是压缩效率高，实时性强，复杂度高。静止图像压缩方法有j p e g 和 j p e g 2 0 0 0 ，并且在其标准中也有更适用于序列图像压缩的m j p e g 和m j p e g 2 0 0 0 。 它的特点是压缩效率较高，能够适用于各种带宽，运算复杂度较低。目前大多数 监控系统都采用序列图像压缩，本文所阐述系统采用的就是m p e g 4 视频编码标 准。 1 3m p e g 一4 标准的主要特点 1 3 1 肿e g 一4 与肝e g - 1 、肝e g _ 2 的比较 御e g 1 2 最重要的目标是提高数字a v 材料存储和传输的效率，方法是对数据 进行压缩。因此它们处理的是基于帧的视频和音频，与内容的交互也仅限于帧的水 平。m p e g 1 是针对1 5 m b n p s 码率的数字存储媒体运动图像及其伴音编码的国际 标准。m p e g - 2 主要是针对数字视频广播、高清晰电视饵d 1 和数字视 盘( d v d ) 等制定的4 9 m b i t p s 运动图像及其伴音的编码标准。这两者的应用相对 单一，主要是提高压缩比，改善音频、视频质量，采用的技术主要是基于信息论的波 形编码理论。新的m p e g 4 规定了数字a v 场景用具有某种时空关系的“a v 对象” 加以描述。从这一结构出发，m p e g 。4 将能够提供一种新的交互性，在编码、解码 和物体合成阶段均可与每一a v 物体交互；同时也能够集成不同性质的物体( 例如 视频、图形、文本等) 。m p e g 4 的目标定义大致来源于两方面：一是极低比特率下 4基于m p e g 一4 的网络监控系统研究 的多媒体通信；一是多媒体通信的融合，主要有通信业、计算机业、消费电子业 和娱乐影视业。因此，一方面泞e g 4 要求有高效的压缩编码方法，另一方面m p e g 一4 要求有独立于网络的基于视频p 音频对象( a v 对象) 的交互性。m p e g 一1 、m p e g 一2 和 i p e g 一4 的比较如表1 1 所示。 表1 1m p e o 一1 尼与m p e g 4 的比较 标准m p e g 一1m p e g - 2m p e g l 4 比较方法 开始成为标准的年份1 9 9 31 9 9 51 9 9 8 最太视频分辨率3 5 2 2 8 8t 1 9 2 驴1 1 5 27 2 0 5 7 6 缺省视频分辨率3 5 2 + 2 8 87 2 0 + 5 7 67 2 0 5 7 6 f p a i ) 缺省视频分辨率3 5 2 + 2 8 86 4 0 + 艚06 4 0 + 4 8 0 ( n t s c ) 最大音频范围4 8 姐z9 6 i 正i z9 6 k h z 声频通道的最大数目2 8 8 最大数据率 3 m 咖蛳眇 8 嘶曲i t 秒5 一l m 曲i 滞 一般使用的数据率1 3 踟黼8 f 3 5 2 。2 8 曲6 5 蛐潆7 2 0 5 7 6 )8 8 m 出i l p s f 7 2 0 5 7 6 ) 帧频( p a l ) 2 5 2 5 2 5 帧频科t s c ) 3 03 03 0 视频质量满意很好好至很好 进行编码的硬件要求低 高很高 进行解码的硬件要求很低 中等高 应用场合 光盘存储数字高清晰度电视 困特网 数字电视高品质视频 交互式视频 v c d卫星电视 可视编辑 消费视频 有线电视内容操作 视频监控地面广播 消费视频 视频编辑专业视频 视频存储 2 d 毋d 计算机图形 移动通信 采用的主要编码技术j p b g 所有技术 m p e g l 所有技术m p b g 2 所有技术 自适应量化基于帧p 场运动补偿 小波变换 运动补偿预测空间可扩展编码高级运动估计 双向运动补偿时间可扩展编码 重叠运动补偿 半像素运动估计 质量可扩展编码位图形状编码 容错编码 对象编码 脸部动画 动态网格编码 第一章绪论 1 3 2 独e g 一4 简介 i s o 的m p e g 4 标准的第一版于1 9 9 9 年1 月正式公布，标准的第二版于1 9 9 9 年 1 2 月公布。较之m p e g 前两个图像压缩标准而言，肝e g 4 为多媒体数据压缩提供了 一个更为广阔的平台，它更多定义的是一种格式和框架，而不是具体的算法。m p e g 4 的出发点就是希望建立起一个更自由的通信与研发环境，人们可以在系统中加入 许多新的算法，为用计算机软件做编码、解码提供了更大的方便。它可以将各种 各样的多媒体技术充分用于编码中，除包括压缩本身的一些工具、算法，还包括 图像分析和合成、计算机视觉、计算机图形、虚拟现实和语音合成等技术。 m p e g 4 设计之初是为了在电话线上传输视频和音频数据，是一个超低比特率运 动图像和语音的压缩标准，但是随着研究下作的深入，它所包含的内容和将要起 的作用已经远远超出了最初的设计思想。 采纳了基于对象( o b j e c t _ b a s e d ) 的编码、基于模型( o d e 卜b a s e d ) 的编码等第 二代编码技术是肿e g 4 标准的主要特征，所谓的对象是在一个场景中能够访问和 操纵的实体，对象的划分可以根据其独特的纹理、运动、形状、模型和高层语义 为依据。这种编码是一种从于内容的数据压缩方式，以前的压缩算法只是去掉帧 内和帧间的冗余，m p e g 4 则要求对图像和视频作更多的分析，甚至是理解。如将图 像分割为运动物体对象和静止不动的背景对象平面，并对这两个对象进行分别处 理。背景对象采用压缩比较高、损失比较大的办法进行编码，运动物体对象采用 压缩比较低、损失较小的办法，这样就在压缩效率和解码图像质量间得到较好的 平衡。l i p e g 4 编码和解码的基木单元是对象，这些对象可以是单声道、立体声和多 声道音频，2 d 和3 d 或者单目、立体或多目视频、计算机图形、动画、文字等。基 于对象的编码除了能提高数据的压缩比，还能实现许多基于内容的交互性功能。 基于对象的分级功能是m p e g 4 提供的又一个新的功能，同时兼容于m e p g 一2 标 准中的图像分级功能，分级工具主要用于互联网和无线网等窄带的视频通信、多 质量视频服务和多媒体数据库预览等服务。肝e g 4 提供了两种基本的分级工具：时 域分级和空域分级，时域分级是降低原视频序列的帧率，空域分级是降低原视频 序列的分辨率。在每类分级工具中，视频序列都可以分为两层：基层和增强层， 基层提供了视频序列的基本信息，增强层提供了视频序列更高的分辨率和细节， 基层可以单独传输和解码，而增强层则必须与基层一起传输和解码m p e g 4 也支持 时域和空域的混合分级。 由于移动通信的迅速发展，通过无线网传输音频和视频信息变得越来越重要 了，这需要提供在易错的通信环境下实现安全的低码率编码和传输。m p e g 4 的编码 具有鲁棒性和纠错功能，它采用3 个策略来达到此目的：再同步 ( r e s y n c h r o n i z a t i o n ) 、数据恢复( d a t ar e c o v e r y ) 、错误隐藏( e r r o r c o n c e a l m e n t ) 。再同步工具在检测到误码时重新在解码器和码流间建立同步点， 前一个同步点和新建立的同步点间的码流就是发生误码的数据；数据恢复是通过 标准中提供的一种可逆变一长编码技术来恢复两个同步点之间的数据；错误隐藏 生一一 薹王! ! 堕二! 塑圈鳖堕量墨丝鲤塞 通过空间的纹理相关性和视频前后帧的相关性对错误的图像区域进行隐藏。 1 4 本文的研究内容 1 4 1 选题背景 随着网络技术的迅速发展和刀p v 6 的运用，基于网络的监控系统已经成为监控 系统的发展方向。因为将来有大量的口地址可供计算机和网络设备使用，每个设 备都具有远程维护功能和智能控制功能。当一台设备具有网络智能时，人们可以 在任 可地方、任何时间浏览实时的状态，远程实现对这台设备的监视、控制、诊 断、测试和配置。所以开发出基于网络的高效图像压缩系统变得越来越显得重要。 为适应技术发展和应用的要求，各种多媒体数据压缩编码标准也在不断发展。 从h 2 6 3 ，m p e g _ 1 到m p e g 一2 ，到现在的m p e g - 4 ，肿e g 一7 ，标准越来越成熟，覆盖 的应用领域越来越广。目前发展最迅速、影响最大的多媒体数据压缩编码国际标 准是m p 阱一4 。m p e g - 4 标准的全称是音频和视觉对象的通用编码，它是伴随互联网 产生和发展起来的。船e g 4 定义了多媒体编码和解码、互联隔上的传输以及人与媒 体交互的一整套框架，涵盖了多媒体的绝大部分应用领域。肝e g 4 基于对象的编码 思想使其具有高压缩比、可扩展性、可交互性等许多优点。m p e g 4 正在蓬勃发展， 代表着未来多媒体数据压缩编码的发展趋势。及时跟踪和了解肝e g 4 的发展动态， 掌握其核心技术，并结会实际应用在某些关键方向上有所创新和发展，是一项很 有意义的工作。 本文结合远程视频监控的实际应用背景，在全面了解m p e g 4 标准的基础上， 抓住m p e g 4 标准的核心部分视频的压缩编码进行重点研究。根据远程视频监 控的实际特点，研究压缩编码的目标是实现对原始视频源进行实时的压缩编码和 a d s l 接入网上流化传输。图1 2 给出了基于m p e g 4 豹网络视频监控系统简要框 图。 第一章绪论 图1 2 基于m 旺i g - 4 的网络视频监控系统简要框图 1 4 2 本论文的工作 本文的研究工作如下：阐述了m p e g - 4 图像编码系统的原理，并对关键技术 进行了系统分析，提出了易于d s p 实现的视频编码算法；对系统的外围接口电路 时序加以阐述，提出了基于m 2 0 2 2 网络处理芯片的a d s l 接入网络的视频传输方 案，然后设计了整个硬件系统，并在硬件平台上做了相应的软件开发及系统测试， 最后实现了整个系统平台。 第二章m p e g 一4 编码系统 第二章m p e g 一4 编码系统 2 1 引言 在m p e g 一4 制定之前，m p e g _ 1 、m p e g 2 、h 2 6 1 、h 2 6 3 都是采用第一代压 缩编码技术，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。 第一代压缩编码方案把视频序列按时间先后分为一系列帧，每一帧图像又分成宏 块以进行运动补偿和编码，这种编码方案存在以下缺陷。 1 将图像固定地分成相同大小的块，在高压缩比的情况下会出现严重的块效 应，即马赛克效应； 2 不能对图像内容进行访问、编辑和回放等操作； 3 未充分利用人类视觉系统饵 v s ，h 啪姐s u a ls y s t e 面的特性。 由i s 0 m c 于1 9 9 8 年推出并于1 9 9 9 年正式成为国际音视频压缩标准的 m p e g - 4 ，除采用第一代视频编码的核心技术，如变换编码、运动估计与运动补偿、 量化、熵编码外，还提出了一些新的有创见性的关键技术，充分利用了人眼视觉 特性，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容 的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及 操作的发展趋势。 较之m p e g 前两个图像压缩标准而言，m p b g 4 为多媒体数据压缩提供了一 个更为广阔的平台，它更多定义的是一种格式和框架，而不是具体的算法。 m p e g 一4 的编码具有鲁棒性和纠错功能，它采用3 个策略来达到此目的：再同 步( r e s y n c h 删出a t i o n ) 、数据恢复( d a t ar e 、r 蜘7 ) 、错误隐藏( e 册rc o n c c a l e t ) 。 再同步工具在检测到误码时重新在解码器和码流间建立同步点，前一个同步点和 新建立的同步点间的码流就是发生误码的数据；数据恢复是通过标准中提供的一 种可逆变长编码技术来恢复两个同步点之间的数据；错误隐藏通过空间的纹理相 关性和视频前后帧的相关性对错误的图像区域进行隐藏。 鉴于实际的数字监控应用，我们采用对完整矩形视频帧编码的m p e g 4 基本 框架，在编码模块中取消形状编码部分，只使用运动编码和纹理编码两部分。这 样可以简化编码设计，降低算法复杂度。 本章主要介绍m p e g - 4 标准的基本原理，m p e g 4 视频编码器总体框架及各 部分功能，m p e g 4 d c 】眦d c t 、曩化反量化及帧内预测的原理。 2 2m p e g 一4 视频编码基本结构 在基于对象的视频编码中，编码的基本单元是对象，主要针对纹理、形状、 1 0 基于m p e g 4 的网络监控系统研究 运动这三种信息的编码技术。从图2 1 中可以看到，视频编码框架中主要包括的三 个关键模块，也即是形状、运动和纹理编码模块。 ( 1 ) 形状编码 m p e g 一4 引入了形状信息编码，尽管形状编码在计算机图形学、计算机视觉和 图像压缩领域不是什么新技术，但将其纳入完整的视频编码标准内，这还是第一 次。v o 的形状信息有两类：二值形状信息和灰度形状信息。二值形状信息用0 ，1 来表示v o p 的形状，0 表示非v o p 区域，1 表示v o p 区域。二值形状信息编码 采用基于运动补偿块技术，可以是无损或有损编码。灰度形状信息用0 2 5 5 之间的 数值来表示v o p 的透明度，其中0 表示完全透明( 相当于二值形状信息中的0 ) ，2 5 5 表示完全不透明( 相当于二值形状信息中的1 ) 。灰度形状信息的编码采用基于块的 运动补偿：r 方法( 同纹理编码相似) ，属于有损编码。目前标准中采用矩阵的形 式来表示二值或灰度形状信息。 ( 2 ) 运动信息编码 类似于现有的视频编码标准，枷p e g 4 采用运动预测和运动补偿技术去除图像 信息中的视觉冗余度，而这些运动信息的编码技术可视为现有标准向任意形状的 v o p 延伸。v o p 编码有3 种模式，即帧内衄t r a 击a m e ) 编码模式v o p ) ，帧间 t e 弘丘锄e ) 预测编码模式口v o p ) 和帧间双向预测( b i d i c l i a d 编码模式 ( b - v o p ) 。 在m p e g 4 中运动估计和运动补偿可以是基于1 6 1 6 象素宏块，或是8 8 象 素块。为了能适应任意形状的v o p ，m p e g 4 引入了图像填充( h a g ep a d d i n g ) 技术 和多边形匹配( p o l y 9 0 nm a t c 】1 i 丑g ) 技术。图像填充技术利用v o p 内部的象素值来外 推v o p 外的象素值，以此获得运动估计的参考值。多边形匹配技术则将v 0 p 的 轮廓宏块的活跃部分包含在多边形之内，以此来增加运动估计的有效性。 o ) 纹理编码 纹理编码的对象可以是帧内编码模式( i v o p ) ，也可以是帧间编模式b v 0 p 或 p v o p 运动补偿后的预测误差。编码方法基本上仍采用基于8 8 象素块的d c t 方 法。在帧内编码模式中，对于完全位于v o p 内的象素块，则采用经典的d c t 方 法；对于部分在v o p 内，部分在v 0 p 外的象素块则首先采用图像填充技术来获 取v o p 之外的象素值，之后再进行d c t 编码。帧内编码模式中还将对d c t 变换 的d c 及a c 系数进行有效的预测。在帧问编码模式中，为了对b - v o p 和p v o p 运动补偿后的预测误差进行编码，可将那些位于v o p 活跃区域之外的象素值设为 1 2 8 。变换之后的d c t 系数还需经过量化( 采用单一量化因子或量化矩阵) 、扫描及 变长编码，这与现有标准基本相同。 第二章m p e g 一4 编码系统 图2 1 基于对象的视频编码通用框架 由上图可见，纹理编码、运动预测和运动补偿部分在原理上同现有标准是一 致的。值得注意的是形状编码，它是图像编码标准中第一次引入的技术。为了支 持基于内容的功能，编码器可对图像序列中具有任意形状的y o p 进行编码。尽管 如此，从编码方案上说，m p e g 4 仍然是以子块为基础的混合编码。因为p e g 4 的编码机制都是基于1 6 1 6 像素宏块( m a c r o b l o c k ) 来设计的，不仅可以与现有的标 准兼容，还便于对编码进行更好的扩展。标准的矩形帧可以认为是v o p 的特例， 在编码过程中其形状编码模块可以被屏蔽。 从图2 1 的编码结构框图可以看出，对任意形状的视频对象进行编码首先需要 对视频场景中的视频对象进行分割，但是目前图像分割算法运算董大且还不成熟， 故其仍处于研究过程中没有实用意义。在本篇论文中主要对纹理编码部分进行深 入的研究和实现。 2 3 1d c t i d c t 算法 2 3 忡e g 一4 关键技术 m p e g - 4 中定义的d c t 和c t 变换是以块( 8 8 ) 为单位进行的，d c t 变换公 式定义如下： f v ) 一1 4 c 。) c o ) 蠢塞，o ，y ) c o 如( 缸+ 班1 6 c 0 妇( 2 y + 咖1 6 ) ( 2 - 1 ) 相应的d c t 变换公式为 旦一一 蒸至塑竖：! 墼旦垫鳖塑墨堕丛塞 ， ，y ) # 1 4 荟荟c ) c ( v ) f o ，v ) c o s k ( 扛+ 啪1 6 c 。s k ( 2 y + 砂1 6 ( 2 2 ) 其中“，v ，上，y to ，1 ，2 7 ，毛y 为像素域的空间坐标，“，v 为变换域的坐标。 二维d c t ( i d c t ) 还可用两个一维d c t ( i d c t ) 完成： ，一q 1 但3 ) ，一c7 月c ( 2 4 ) 因为d c r m c t 这一对可逆变换的变换核是相同的，所以下面我们主要以 d c r 为例说明。 通过行列分解，式2 3 可以分解成两步乘法运算： y 9 1犯5 ) f ( 筘一c ( c ，7 ) 7 一c r( 2 6 ) 由此，二维d c t 运算可以通过两次一维d c t 变换得到， 下面我们将着重研究一维d c t 的硬件实现。 一维d c t 变换如下表示： y 阶c ) 篓c o s 鸟笋】 其中c ( t ) - j 号，女- l 2 ，3 7 ；c ) 一j 专，七。 将式2 - 7 表示为矩阵相乘的形式为 而 屯 屯 也 屯 l 。c lc 2c 3 c 4c 5 c 6c 7 三1 埋c o s 三c o s 里c o s 丝c o s 苎c o s 旦c o s 丝c o s 旦l 。i i 、i 瞄i 8 i 8 百删i 咖百娜i 螂百i ( 2 8 ) 西己&凸d&繇易 一 一 一 一 厶a繇凸以厶d岛 一 一 一 环& & 厶d d d 历 一 一 一 一 一 良凸d&d厶磊a 一 一 一 矗西&易d&d矗 一 一 一 一 西凸良g d d d 易 一 一 一 &凸&凸d厶d易 一 一 一 一 一 西a 凸凸d & n 西 k x 砭匕k k 巧 其 第二章m p e g 一4 编码系统 2 3 2 量化与反量化的原理 量化是针对d c t 变换系数进行的，量化过程就是以某个量化步长去除d c t 系数。对一个8 8 的d c t 变换块中的“个d c t 变换系数采用不同的量化精度， 以保证尽可能多地包含特定的d c t 空间频率信息，又使量化精度不超过需要。d c t 变换系数中，直流系数对视觉感应的重要性较高，因此分配的量化精度较细；交 流系数对视觉感应的重要性较低，分配的量化精度较粗，通常情况下，一个d c t 变换块中的大多数高频系数量化后都会变为零。 m p e g 量化方法如下： ( 1 ) 帧内编码的d c t 系数的d c 分量( 姐r a d c ) 括w f 一如一c d 盯咖一跏研 ( 2 - 9 ) ”表示整数除法，取最接近的整数，如果小数部分为0 5 ，则结果往绝对值大 的方向取。如s 胁取值如表2 1 所示。 d cc o e f 类型 c l cs c a l e r 1 t 0 45 t o89 t 0 2 4 2 5 t 0 3 1 亮度8 2 q pq p + 82 q p - 1 6 色度8 ( q p + 1 3 1 ，2q p - 1 6 ( 2 ) 帧内编码的d c t 系数的a c 分量邮a a c ) 倒c 6 f i j - ( 卯一5 f d + s 初( 们一d i ，玉“p q p ) 口) ) ，( 2 q p ) ( 2 1 0 ) 其中们一【 d 】= ( 1 6 + a c f d l 胛d d ，p - 3 ，吁4 。 表2 2 矸蛋矩阵 81 7 1 8 1 9 2 12 3 2 52 7 1 71 81 9 2 12 32 5 2 72 8 2 02 12 2 2 3 2 4 2 6 2 83 0 2 12 22 32 4 2 62 8 3 0 3 2 2 22 32 4 2 62 83 0 3 23 5 2 32 4 2 62 8 3 0 3 23 53 8 2 52 62 8 3 0 3 23 5 3 84 1 2 72 83 03 23 53 84 14 5 ( 3 ) 帧间编码的d c t 系数 鲥c 【f i ，】一口c d 】( 2 q 印( 2 1 1 ) 其中船一【f i ，卜( 1 6 盯c d i ，卫聊 f i 力 表2 3 - 矩阵 1 61 71 8 1 92 0 2 12 22 3 1 71 81 92 02 12 22 32 4 基于m p e g 一4 的网络监控系统研究 1 81 9加2 12 2 2 32 42 5 1 9 2 02 12 22 3 2 4 2 62 7 2 02 12 2 2 32 5 2 62 72 8 2 12 2 2 322 62 72 83 0 2 2 2 32 42 62 7 2 83 03 1 2 32 42 52 72 8 3 03 13 3 o p 为量化参数，取值范围1 3 1 ，q p 是由码流控制模块根据码流控制算法得 到的，d c c d e ，和n c i i j 】为要量化的变换系数，如一s 妨，嘲b d 】，肼 f i j 如 表2 1 、2 2 、2 3 所示。 m p e g _ 4 反量化方法如f ： 对于帧内编码的d c t 系数的d c 分量( i n t r a d c ) ： f ” 0 1 0 】如一蚴妨+ q _ 砟 1 0 对于其它d c t 系数 1 ) 熏建处理； f ”k i v 】“2 q f k p 】+ 七) w k p 】，伊删如仃一s 功3 2 童里j 。协一 掣m 。一m 。 2 ) 饱和处理：将i i v 】裁剪至1 2 位得f - i v 】 3 ) 匹配处理：除，【7 【7 外，k p 】f 恤p 】 对f 1 7 且7 j 作如下处理： ， 7 1 7 _ 勰吲：z 这里，s h m 。薹薹f “i v 】 2 3 3 帧内d c a c 预测的原理 ( 2 1 2 ) ( 2 一1 3 ) ( 2 1 4 ) 帧内d c 舱c 预测以8 8 块为基本单位，充分利用了帧内相邻块间的空间相 关性，进一步提高了编码效率。 第二章m p e g 一4 编码系统 r n 十1 黼l榭黼 霞靛 图2 2 帧内d c y a c 预测数据的位置图 ( 1 ) 帧内编码宏块的d c 预测 对于帧内编码的d c 系数使用邻近块的d c 系数进行预测，如图2 2 所示，对 于块0 ，其左块、左上块和正上块分别为a 、b 、c ，而块1 的左块、左上块和正 上块分别为0 、c 、d 。 我们假设当前编码块为x ，其左块、左上块和正上块预测块分别为a 、b 、c ， 用q d c 表示d c 系数量化后的值： q d c b c 萨d c b g 批s c a l c r( 2 - 1 5 ) q d c x 表示x 块的q d c 值，它可以用a 或者c 块的q d o 直来预测，这取决于水 平和垂直梯度比较： 若 i q d c a q d c b i l q d c b q d c c i则q d c x - q d c c 否则，q d ( k ，- q d c 此时，差分d c 即为：q d c x q d c x ， d c 预测使用下列规则： 1 ) 如果a 、b 、c 块在v o p 外部或者都不是帧内编码的宏块，那么假定它们 为1 2 8 ，并作为预测。 2 ) 亮度块和色差块的d c 预测是相似。 ( 2 ) 帧内编码宏块的a c 预测 如图2 2 所示，当前块x 第一行可以使用块c 的第一行进行预测，也可以使 用块a 的第一列进行预测，不过只能选择一个方向进行预测。具体使用哪个方向 进行预测是由其d c 系数的预测方向来决定的，即块x 的d c 系数使用块c 的d c 系数来预测，则块x 的第一行使用块c 的第一行来进行预测，第一列不进行预测， 反之与此类似。 为了补偿相邻块的量化系数的差别，在当前块的预测中我们做了一个比例缩 放。因此预测是修改的，以便使当前块和预测块使用相同的量化步长。具体策略 基于m p e g 一4 的网络监控系统研究 如f ： 1 ) 若用a 块预测( q d c x o d c ) ，则进行第一列a c 预测，a c 预测值为 q a c 桕x ，= ( q a c i 0 a q p a ) ，q p x i = 1t o7 ( 2 1 6 ) 此时，差分a c 即为：q a g 0 x c a g 0 x ， 2 ) 若用c 块预测( q d c x ，= q d c c ) ，则进行第一行a c 预测，a c 预测值为 q a c 0 j x ，- ( o a c 口i c q p 谢，q p xj = 1t o7( 2 1 7 ) 此时，差分a c 即为：q a c 缸一q l a c 知x ， a c 预测使用下列规则： 如果a 块或者c 块在v o p 外部或不是m t 糟编码块，则它们相应的q a c 设置 为o ，并且色差块和亮度块的预测方法相似，都采用和其d c 预测方向相同的预测。 ( 3 ) 帧内编码宏块a c 预测有效性的判断 当进行a c 系数预测时可能会产生较大的预测误差，这时并没有达到提高压缩 比的目的，此时就不应该进行帧内编码宏块a c 预测。因此我们要对预测的有效性 进行判断，以便确定该宏块的a c 系数是否适合用预测方法得到，我们用宏块的预 测偏差来确定是否进行a c 系数预测。 若用a 块预测，则s - ( 菩l q a 毗卜善i q h c i 眦一妇灌c i 溉1 ) ( 2 1 8 ) 77 若用c 块预测，则s - ( 善l q c o 扛i _ 善i q h c o 弦一q c o 弦i | ) ( 2 - 1 9 ) j qj 。- 将此宏块内六个块的s 相加得到z s ， 如果z s 苫o ，a c p r e da a g = 1( 执行a c 预测) 否则，a c p r e 哇- n a g = o ( 禁止a c 预测) 2 3 4 扫描及游程编码 m p e g 一4 采用霍夫曼编码和行程编码相结合的二维霍夫曼行程编码。v l c 是可 变长度编码。v l c 编码中有三种扫描方式，分别是： 1 ) 交替水平扫描：系数以水平方式轮流读出； 2 ) 交替垂直扫描：系数以垂直方式轮流读出； 3 ) 锯齿扫描：系数以对角线方式读出。 扫描方式由d c 预钡4 的方式决定。如果没有d c 预测就采用z i g z a g 扫描；如果 水平方向有d c 预测，就采用垂直方向的轮流扫描；如果d c 预测在垂直方向进行， 则采用水平方向的轮流扫描。 根据宏块的模式，游程编码采用i n t r a 模式v l c 码表和非i n t r a 模式v l c 码 表。 使用一个三参数可变长度码字来编码变换系数，一个e v e n t 是这三个参数的 结合： 第二章m p e g 一4 编码系统 l a s t o ：表示在该块中还有非零系数； l ：表示这是该块中最后一个非零系数； r u n ：当前非零系数前面的系数为o 的个数； l e v e l ：系数大小。 v l c 码表中列出的是经常出现的( l a s t ，r u n ，l e v e l ) 的码字，它们都是可变长 度的，将用这些可变长度码字进行编码，剩余的( l a s t ，r u n ，l e v e l ) 可以用固定 长度的码字编码，采用固定长度的e s c a p e 位作为非码表中的码字的标志。 2 4 实验结果 本文采用m p e g 一4 的编码算法对标准c i f 格式( 3 5 2 2 8 8 ) 图像序列m o t h e r 和p a r i s 进行了软件仿真。表2 4 给出了在比特率为9 1 0 4 k b p s 下，用本文算法 对m o t h e r 图像序列编码得到的y u v 各分量的p s n r 值；同时给出了在比特率为 2 3 2 7 8 k b p s 下，用本文算法对p a r i s 图像序列编码得到的1 f u v 各分量的p s n r 值。 其中软件运行环境为奔腾四计算机( 1 4 g h z ) 。 l 图像序列( c i f 格式)y 分| p s n r ( d b )u 分量p s n r ( d b )u 分量p s n r ( d b ) l m o t h e r3 4 1 23 9 7 84 1 3 7 p a n s 2 8 7 3 3 3 8 53 4 4 3 图2 3 接收端软件解码恢复的图像 第三章系统设计与实现 3 1 1 引言 第三章系统设计与实现 3 1 硬件平台简介 视频处理方面已经由前几年的a s i c