（信号与信息处理专业论文）嵌入式数字视频解码系统设计与实现.pdf

硕士论文 嵌入式数字视频解码系统设计与实现 摘要 视频监控系统以其直观性和实时性的优点，应用于很多领域，如：高速公路、超 市、银行、宾馆等，已经成为现代管理、监测和控制的重要手段之一。目前，视频监 控系统主要分为数字控制的模拟视频监控和数字视频监控两类。随着多媒体技术、视 频压缩编码技术以及网络通讯技术的发展，数字视频监控系统已经成为市场的主流。 本文主要通过对m p e g - 4 标准和a r m 处理器的研究，选用s i g m a d e s i g n s 公 司的e m 8 5 5 0 解码芯片，其内部集成了a r m 7 的核和m p e g - 1 2 4 解码器，加上 s d r a m 、f l a s h 、以太网接口芯片等外围功能模块，采用硬件解码方式，实现嵌入 式数字视频监控系统中的解码器系统。系统前端摄像头采集的视频信号经过编码器压 缩编码后由以太网传输，通过解码器解码成为模拟视频图像，传输到电视机，最后由 电视机来完成监视。同时，本文还探讨了用于解码器的嵌入式操作系统u c l i n u x 的移 植。 本文所设计的解码器系统可以广泛地应用于各种数字视频监控系统中，并且可以 扩展功能，增加输出不同格式的视频信号，来满足不同的需求。 关键字：视频监控系统，m p e g 4 ，a r m ，视频解码器 硕士论文嵌入式数字视频解码系统设计与实现 a b s t r a c t w i t ht h ea d v a n t a g e so fi n t u i t i o na n dr e a l - t i m e ，t h ev i d e os u r v e i l l a n c es y s t e m s ，w h i c h a r ea p p l i e di nl o t so fa r e a ss u c ha se x p r e s s w a y s ，s u p e r m a r k e t s ，b a n k s ，h o t e l s ，e t c ，h a v e b e c o m eo n eo ft h em o s ti m p o r t a n tm e a n so fm o d e mm a n a g e m e n ta n ds u r v e i l l a n c e n o w a d a y s ，t h ev i d e os u r v e i l l a n c es y s t e m sh a v et w oc a t e g o r i e so ft h ed i g i t a l c o n t r o l l e d a n a l o gv i d e os u r v e i l l a n c es y s t e m sa n dt h ed i g i t a lv i d e os u r v e i l l a n c es y s t e m s w i t ht h e d e v e l o p m e n t o fm u l t i m e d i a ,v i d e o c o m p r e s s i n g a n d e n c o d i n g , a n dn e t w o r k c o m m u n i c a t i o nt e c h n o l o g i e s ，t h ed i g i t a lv i d e os u r v e i l l a n c es y s t e m sh a v eb e c o m et h e d o m i n a n td e s i g ni nt h em a r k e t 髓ev i d e od e c o d e ro ft h ee m b e d d e dd i 百t a lv i d e os u r v e i l l a n c e s y s t e mw a s i m p l e m e n t e di nt h i sp a p e r , b a s e d0 1 1m p e g - 4a n da r mp r o c e s s o ru s i n gh a r d w a r e d e c o d i n g m a i nc o m p o n e n t so f t h es y s t e ma r ee m 8 5 5 0 ，w h i c hw a se m p l o y e d 邪d e c o d i n g c h i p ，f l a s h ，s d r a m , 嬲w e l la se t h e m e ti n t e r f a c ec h i p me m 8 5 5 0f r o ms i g m a d e s i g n si nw h i c ha na r m 7p r o c e s s o ra n dt h em p e g - 1 2 4d e c o d e ra r ei m e g r a t e di s u s e da st h ed e c o d i n gc h i pt or e a l i z et h eh a r d w a r ed e c o d i n g t h ev i d e os i g n a lc a p t u r e db ya e a l d _ e r ai se n c o d e da n dc o m p r e s s e d ，t h e nt r a n s m i t t e dv i at h ee t h e m e t , a n dd e c o d e di n t o a n a l o gv i d e oi m a g e sb yt h ed e c o d e r f i n a l l y , t h e s ei m a g e sa r ed i s p l a y e do nt vs e tt o r e a l i z et h es u r v e i l l a n c e n l et r a n s p l a n t a t i o no ft h ee m b e d d e do p e r a t i o ns y s t e mu c l i n u x u s e di nt h ed e c o d e r s y s t e mi sa l s od i s c u s s e di i lt h i sp a p e r 砧ed e c o d e rs y s t e mc a nb ew i d e l yu s e di na l lk i n d so fd i g n a lv i d e os u r v e i l l a n c e s y s t e m s i ta l s oc a nb ef u n c t i o n a l l ye x t e n d e df o rd i f f e r e n tv i d e os i g n a l s ，i f n e e d e d k e y w o r d s ：v i d e os u r v e i l l a n c es y s t e m ，m p e g 4 ，a r m ，v i d e od e c o d e r i i 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：础矽。多年占月为日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分域全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 颂七论文 嵌入式致字视频解码系统设计弓实现 1 绪论 视频监控系统是安全防范系统的组成部分，它是一种防范能力较强的综合系统。 视频监控以其直观、方便、信息内容丰富而广泛应用于许多场合，如：交通、电力、 通信、石油、码头、仓库、金融、政府机关企事业单位办事窗口及要害部门、军队、 公安、监狱、水利水厂、民航等部门。近年来，随着计算机、网络以及图像处理、 传输技术的飞速发展，视频监控技术也有长足的发展【州。 1 1 视频监控系统的现状 在国内外市场上，主要推出的是数字控制的模拟视频监控和数字视频监控两类产 品。前者技术发展已经非常成熟、性能稳定，并在实际工程中得到广泛应用，特别是 在大、中型视频监控工程中的应视频监控系统的现状用尤为广泛；后者是新近崛起的 以计算机技术及图像视频压缩为核心的新型视频监控系统，该系统解决了模拟监控系 统的部分弊端，但仍需进一步完善和发展。目前，视频监控系统正处在数控模拟系统 与数字系统混合应用并将逐渐向数字系统过渡的阶段。 1 1 1 数字信号控制的模拟视频监控系统 数字信号控制的模拟视频监控系统分为基于微处理器的视频切换控制加p c 机的 多媒体管理和基于p c 机实现对矩阵主机的切换控制及对系统的多媒体管理两种类 型。随着微处理器、微机的功能、性能的增强和提高，多媒体技术的应用，系统在功 能、性能、可靠性、结构方式等方面都得到了显著提高，视频监控系统的构成更加方 便灵活，与其它技术系统的接口更加规范，人机交互界面更为友好。但由于视频监控 系统中信息流的形态没有变，仍为模拟的视频信号，系统的网络结构仍是一种单功能、 单向、集总方式的信息采集网络，因此系统尽管已发展到很高的水平，其局限性却难 以克服，无法满足人们对视频监控系统的更高要求，所以数字化是视频监控系统发展 必由之路。模拟监控系统的主要缺点有： ( 1 ) 通常只适合于小范围的区域监控。模拟视频信号的传输工具主要是同轴电缆， 而同轴电缆传输模拟视频信号的距离不大于l k m ，双绞线的距离更短，这就决定 了模拟监控只适合于单个大楼、小的居民区以及其它小范围的场所； ( 2 ) 系统的扩展能力差。对于已经建好的系统，如要增加新的监控点，往往是牵一 发而动全身，新的设备也很难添加到原有的系统之中； 硕t 论文 嵌入式数字视频解码系统设计与实现 ( 3 ) 无法形成有效的报警联动。在模拟监控系统中，由于各部分独立运作，相互之 间的控制协议很难互通，联动只能在有限的范围内进行。 1 i 2 数字视频监控系统 9 0 年代末，随着多媒体技术、视频压缩编码技术、网络通讯技术的发展，数字 视频监控系统迅速崛起，现今市场上有两种数字视频监控系统类型，一种是以数字录 像设备为核心的视频监控系统，另一种是以嵌入式视频w e b 服务器为核心的视频监 控系统。 1 1 2 1 数字监控录像系统 数字监控录像系统通常分为两类：一类是基于p c 机组合的计算机多媒体工作方 式；另一类是嵌入式数字监控录像系统。 a ) 计算机多媒体方式的数字监控录像系统 数字视频压缩编码技术日益成熟，计算机的普及化，为基于p c 机的多媒体监控 创造了条件。这种新型视频监控系统的迅速崛起，部分地取代了以视频矩阵图像分割 器、录像机为核心，辅以其它传送器的模拟视频监控模式，其优越性主要表现在： ( 1 ) p c 机的多媒体监控主机综合了视频矩阵、图像分割器、录像机等的众多功能， 使系统结构大为简化。 ( 2 ) 由于采用计算机网络技术，数字多媒体远程网络监控不受距离限制。 ( 3 ) 由于采用大容量磁盘阵列存储器或光盘存储器，可以节省大量的磁带介质， 同时有利于系统实现多媒体信息查询。 但随着基于p c 机的视频监控录像系统的发展，在实际工程使用过程中，也暴露 出一些不足，主要是系统工作的不稳定性。基于p c 的视频监控录像系统的组成结构 为：兼容工控p c 机+ 视频采集卡+ 普通较可靠的操作平台+ 应用软件。从系统的组成 结构来分析： ( 1 ) p c 机 兼容p c 机用于2 4 小时不问断工作时，其性能不是很稳定的，工控p c 机的稳定 性比兼容p c 机高很多，适用于较复杂的工作环境。 ( 2 ) 操作系统 以w i n d o w s9 8 为操作平台的系统，大家都知道，w m 9 8 的稳定性是有一定问题 的，如果同时应用软件又不是非常规范，这样就容易在使用过程中出现工作不稳定、 死机等问题，而基于p c 机的视频监控录像系统其软件的实现是在w m d o w s 9 5 9 8 n t 、 u n i x 、l i n u x 等通用操作系统上，同时系统文件、应用软件和图像文件都存储在硬盘 2 硕士论文嵌入式数字视频解码系统设计与实现 上，视频处理必须高密度输入大量数据，普通的硬盘逻辑( 如w m d o w s 的f a t 3 2 ) 已无法适应，以致极易产生系统的不稳定性，造成死机现象。 ( 3 ) 应用软件 采用简易应用软件的系统是不能够用于安防领域的，视频监控系统的应用软件应 能支持多任务并发处理，如监视、录像、回放、备份、报警、控制、远程连接等的多 工处理能力。 ( 4 ) 视频采集卡 视频监控录像系统通常均为多路输入系统，视频采集卡可采用多卡方式，也可采 用单卡方式。一般说，单卡方式集成度高，稳定性会优于多卡方式。目前市场上也有 为追求高帧数而设计采用多卡进行迭加的多路单卡设备，但其仍在计算机的总线上进 行传输、处理，不可能会有质的飞跃。 b ) 嵌入式视频监控系统 嵌入式系统是以应用为中心，软硬件可裁减的，适应应用系统对功能、可靠性、 成本、体积等综合性严格要求的专用计算机系统，是为监控系统量体裁衣的专用计算 机系统。 嵌入式系统主要由嵌入式处理器、相关支撑硬件、嵌入式操作系统及应用软件系 统等组成，它是集软硬件于一体的可独立工作的“器件”。 嵌入式操作系统是一种实时的，支持嵌入式系统应用的操作系统软件，它是嵌入 式系统极为重要的组成部分，通常包括与硬件相关的底层驱动软件、系统内核、设备 驱动接口、通信协议、图形界面、标准化浏览器等，嵌入式操作系统在系统实时高效 性、硬件的相关依靠性、软件固态化及应用的专用性等方面具有较为突出的特点。嵌 入式系统主要有以下优缺点： ( 1 ) 系统为专用系统，所以系统小，指令精简，处理速度快； ( 2 ) 系统数据置于r o m i f l a s hm e m o r y ，调用速度快，不会被改变，稳定性 好； ( 3 ) 系统处理实时性好，性能稳定； ( 4 ) 文件管理系统更适合于大量的视频数据； ( 5 ) 该类系统目前四路以上机型还较为少见； ( 6 ) 在网络功能、音视频同步等方面也难令人满意。 1 1 2 2 嵌入式视频w e b 服务器方式 嵌入式视频w e b 服务器的主要原理： 视频服务器内置一个嵌入式w e b 服务器，采用嵌入式实时多任务操作系统。摄 硕士论文嵌入式数字视频解码系统设计与实现 像机送来的视频信号数字化后由高效压缩芯片压缩，通过内部总线送到内置的w e b 服务器，网络上用户可以直接用浏览器观看w e b 服务器上的摄像机图像，授权用户还 可以控制摄像机、云台、镜头的动作或对系统配置进行操作。 由于把视频压缩和w e b 功能集中到一个体积很小的设备内，可以直接连入局域 网，达到即插即看，省掉多种复杂的电缆，安装方便( 仅需设置一个i p 地址) ，用户 也无需安装任何硬件设备，仅用浏览器即可观看。 嵌入式视频w e b 服务器监控系统与其它监控系统的相比有如下特点： ( 1 ) 布控区域广阔 嵌入式视频w e b 服务器监控系统的w e b 服务器直接连入网络，没有线缆长度和 信号衰减的限制，同时网络是没有距离概念的，彻底抛弃了地域的概念，扩展了布控 区域。 ( 2 ) 系统具有几乎无限的无缝扩展能力 所有设备都以i p 地址进行标识，增加设备只是意味着m 地址的扩充。 ( 3 ) 可组成非常复杂的监控网络 采用基于嵌入式w e b 服务器为核心的监控系统，在组网方式上与传统的模拟监 控和基于p c 平台的监控方式有极大的不同，由于w e b 服务器输出已完成模拟到数 字的转换并压缩，采用统一的协议在网络上传输，支持跨网关、跨路由器的远程视频 传输。 ( 4 ) 性能稳定可靠，无需专人管理 嵌入式w e b 服务器实际上基于嵌入式电脑技术，采用嵌入式实时多任务操作系 统，又由于视频压缩和w e b 功能集中到一个体积很小的设备内，直接连入局域网或 广域网，即插即看，系统的实时性、稳定性、可靠性大大提高，也无需专人管理，非 常适合于无人值守的环境。 ( 5 ) 当监控中心需要同时观看较多个摄像机图像时，对网络带宽就会有一定的要 求【2 1 】。 1 2 视频监控系统的发展 前端一体化、视频数字化、监控网络化、系统集成化是视频监控系统公认的发展 方向，而数字化是网络化的前提，网络化又是系统集成化的基础，所以，视频监控发 展的最大两个特点就是数字化和网络化。 1 、数字化 数字化是2 1 世纪的特征，是以信息技术为核心的电子技术发展的必然，随着时 代的发展，我们的生存环境将变得越来越数字化。 4 硕十论文嵌入式数字视频解码系统设计与实现 视频监控系统的数字化首先应该将系统中信息流( 包括视频、音频、控制等) 从 模拟状态转化为数字状态，这将彻底打破“经典闭路电视系统是以摄像机成像技术为 中心”的结构，根本上改变视频监控系统从信息采集，数据处理，传输，到系统控制 的传统结构形式。信息流的数字化、编码压缩、开放式的协议，使视频监控系统与安 防系统中其它各子系统间实现无缝连接，并在统一的操作平台上实现管理和控制，这 也是系统集成化的含义。 2 、网络化 视频监控系统的网络化意味着系统的结构将由集总式向集散式系统过渡。集散式 系统采用多层分级的结构形式，具有微内核技术的实时多任务、多用户、分布式操作 系统以实现抢先任务调度算法的快速响应。组成集散式监控系统的硬件和软件采用标 准化、模块化和系列化的设计，系统设备的配置具有通用性强、开放性好、系统组态 灵活、控制功能完善、数据处理方便、人机界面友好以及系统安装、调试和维修简单， 容错可靠等优点。系统的网络化在某种程度上打破了布控区域和设备扩展的地域和数 量界限。系统网络化将使整个网络系统硬件和软件资源的共享以及任务和负载的共 享，这也是系统集成的一个重要概念t 2 1 1 。 今后中国的数字化网络视频监控产品在技术上将会向两个方向发展，第一个方向 是高清晰度，对图像质量的追求，始终是人们努力的方向，更是监控业内在的要求， 因此随着存储设备容量的不断增大，价格不断降低，新的存储技术的发展，采用 m p e g 2 和其他高画质图像标准的产品将投入市场，成为数字化网络视频监控的重要 产品。第二个方向是基于m p e g - 4 或更新的图像压缩标准的产品，m p e g - 4 技术对数 字化监控产品提供了新的发展空间，m p e g - 4 技术尤其适合网络监控，它的出现和应 用，将使数字化网络视频监控迈向一个新的时代。 1 3 数字视频监控系统的实现 在基于嵌入式系统的监控应用结构中，前端采用模拟摄像机，通过网络视频编码 器，将模拟视频经过数字化、压缩、打包等过程变成基于网络协议的视频流或采用一 体化的网络摄像机，在视频监控的前端完成网络化、数字化，视频流通过网络进行传 输，发送到视频需求者。视频的使用者可利用软件进行解码，在p c 机上进行显示和 处理，也可通过硬件解码，解出模拟视频信号输出到监视器，利用键盘进行控制，利 用分布在网络上的服务器或其他类型的网络存储设备进行录像，利用网管系统代替视 频矩阵。其中典型的应用有点对点应用和网络化应用。 点对点应用如图1 3 1 所示。利用一台编码器和一台解码器就可以实现简单的远 程监控图像的传输，而传输信道可以是以太网、专线等方式。 硕士论文 嵌入式数字视频解码系统设计与实现 刁。 图1 3 1 视频监控系统点对点应用图 网络化应用方式各式各样，我们现以城市道路视频监控系统为例。如图1 3 2 所 图1 3 2 城市道路视频监控系统 如上图所示，每个远端控制点配置一个编码器，可提供多路模拟视频信号的输入。 四台摄像机采用变倍自动光圈镜头和全方位云台，串口服务器提供 6 硕士论文 嵌入式数字视频解码系统设计与实现 r s 2 3 2 r s 4 2 2 瓜$ 4 8 5 接口连接镜头及云台，而串口服务器与编码器之间采用1 0 m 以 太网互联。系统还可提供两路r s 2 3 2 通道给电子警察和交通指示灯，提供一路r s 2 3 2 通道给大屏幕信息显示系统。 监控中心配备一台视频监控平台，可同时支持多个远端编码器，在视频监控平台 中集成了多路视频解码单元，直接把管理员选择的线路图像传递到电视墙。配备一台 或多台数字录像服务器，作为整个监控系统的录像及点播服务器，可2 4 小时不问断 录像。配置一台网管服务器，提供全程网管服务，同时提供w e b 服务，桌面终端可 以通过以太网访问任意线路的监控图像，并可通过授权进行远程遥控 5 4 1 。 1 4 本文主要工作 由于数字监控系统比较庞大，本文主要完成的是嵌入式视频监控系统中的 m p e g - 4 视频解码器部分，包括解码器总体方案的制定、解码器硬件电路的设计及嵌 入式u c l i n u x 操作系统的移植，实现m p e g - 4 压缩码流的解码。 本文主要工作如下： ( 1 ) 以e m 8 5 5 0 为核心芯片，设计了数字视频解码器系统方案，系统的控制和解 码都是由e m 8 5 5 0 完成。 ( 2 ) 设计e m 8 5 5 0 的外围硬件电路，包括电源、程序存储器( f l a s h ) 、s d r a m 模 块、视频输出模块、音频输出模块、串口通信模块、以太网接口模块、j t a g 口等。 ( 3 ) 采用s i g m ad e s i g n s 提供的e m 8 5 x x 的软件开发包对系统进行u c l i n u x 嵌 入式揉作系统的移植，并根据系统的实际要求进行配置。 由于在系统中要完成的m p e g 4 码流的解码，并且解码芯片e m 8 5 5 0 内部集成了 a r m 7 的核，因此，本文将从m p e g - 4 和a r m 及嵌入式系统开始介绍。 7 硕论文 嵌入式数字视频解码系统设计与实现 2 m p e g 4 标准及在视频监控中的应用+ 2 1 视频编码技术研究与m p e g 标准 人类获取的信息中7 0 来自于视觉，视频信息在多媒体信息中占有重要地位；同 时视频数据冗余度最大，经压缩处理后的视频质量高低是决定多媒体服务质量的关键 因素。因此数字视频技术是多媒体应用的核心技术，对视频编码的研究已成为信息技 术领域的热门话题。 视频编码的研究课题主要有数据压缩比、压缩解压速度及快速实现算法三方面 内容。以压缩解压后数据与压缩前原始数据是否完全一致作为衡量标准，可将数据 压缩划分为无失真压缩( 即可逆压缩) 和有失真压缩( 即不可逆压缩) 两类。 传统压缩编码建立在仙农信息论基础之上，以经典集合论为工具，用概率统计模 型来描述信源，其压缩思想基于数据统计，因此只能去除数据冗余，属于低层压缩编 码的范畴。 伴随着视频编码相关学科及新兴学科的迅速发展，新一代数据压缩技术不断诞生 并日益成熟，其编码思想由基于像素和像素块转变为基于内容( c o n t e n t - b a s e d ) 。它突 破了仙农信息论框架的束缚，充分考虑了人眼视觉特性及信源特性，通过去除内容冗 余来实现数据压缩，可分为基于对象( o b j e c t - b a s e d ) 和基于语义( s e m a n t i c s - b a s e d ) 两种，前者属于中层压缩编码，后者属于高层压缩编码郴】。 与此同时，视频编码相关标准的制定也日臻完善。视频编码标准主要由r r u t 和i s o i e c 开发。1 9 9 2 年由国际标准化组织( i s o ) 通过了m p e g 1 ( m o v m gp i c t u r e e x p e r tg r o u p ，运动图像专家组，专门从事制定多媒体视音频压缩编码标准的国际组 织) 图像编码标准，它是一种活动图像编码压缩标准；1 9 9 4 年1 1 月通过了m p e g 2 建议，m p e g - 2 建议又在m p e g 1 基础上作了重要扩展和改进，将其图像质量从基本 级到最高级分成四级；最高级图像质量可达h d t v 质量，其数码率根据图像质量等 级从2 - - 4 0 m b i f f s 不等。在相继成功定义了m p e g - 1 和m p e g - 2 之后，m p e g 专家组 于1 9 9 4 年开始制定全新的m p e g - 4 标准。m p e g 4 标准将众多的多媒体应用集成于 一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，用于实现 音视频数据的有效编码及更为灵活的存取。后来i s o 又开始制定m p e g - 7 ，m p e g 一2 1 标准。 图像压缩标准除了m p e g x 系列外，还有h 2 6 x 标准。h 2 6 x 是由国际电信联 盟( r r u ) 标准委员会提出的。m p e g 系列标准对v c d 、d v d 等视听消费电子及数 字电视和高清晰度电视( d t v & h d t v ) 、多媒体通信等信息产业的发展产生了巨大而 8 硕士论文 嵌入式数字视频解码系统设计弓实现 深远的影响。 2 2m p e g 4 标准概述 1 9 9 9 年1 2 月i s o i e c 制定了m p e g - 4 标准，m p e g - 4 支持了7 个新的功能。可 粗略地划分为以下3 类： ( 1 ) 基于内容的交互性：基于对象的多媒体存取工具；基于对象的码率控制和编 辑功能( 提供编辑视频对象的方法) ；基于对象的时域随机存取。 ( 2 ) 高压缩率：视频数据的高效编码，多个并发数据的有效编码。 ( 3 ) 通用存取功能：错误易发环境下的抗错性( r o b u s t n e s s ，鲁棒性) ；基于内容 的尺度可变性( c o n t e n t b a s e ds o _ l a b i l i t y ) 。 这些功能无疑加速了多媒体应用的发展，从而使很多应用领域受益，如：因特网 多媒体应用、广播电视、交互式存储媒体应用、远程视频监控掣1 7 l 。 2 2 1m p e g - 4 可视信息编码 m p e g - 4 不同于过去的m p e g - 2 或h 2 6 x 系列标准，其压缩方法不再局限于某 种算法，可以根据不用的应用进行系统裁剪和选择。为此，m p e g 4 提供了一个包含 各种工具和算法的工具箱，给出各种任意形状可视对象的高效表达式。可用于各种图 片和视频的高效压缩；各种纹理( 映射在各种2 d 和3 d 网格上) 的高效压缩；各种 隐含2 d 网格的高效压缩；各种网格动画时变几何流的高效压缩；所有类型可视对象 的高效随机访问；各种图片和视频序列的扩充操纵功能；图片和视频的基于内容的编 码；纹理、图片和视频的基于内容的可伸缩性；空域、时域和质量的可伸缩性；误码 环境下的坚韧性和恢复能力。 在选择算法工具时，专家们对m p e g 4 进行了大量的核心实验：对于运动估计， 实验了全局运动补偿、2 d 三角网格预测和亚像素预测；对于帧纹理编码，比较了小 波变换、3 d d c t 、重叠变换、高级的帧内编码和可变块尺寸的d c t ；对于形状编码， 验证了几何变换、形状自适应d c t 、延拓内插d c t 、小波子带编码和中值替换d c t ； 对于误差的坚韧性，尝试了重新同步、分层结构和误差掩盖，以求进一步改进甚低码 率视频编码的质量。 m p e g - 4 与m p e g 1 2 不同之处在于：m p e g 1 2 中输入、进行编码的图像区域 是标准的矩形区域，而m p e g - 4 可以是任意的形状区域。如果m p e g - 4 中输入的图 像序列没有分解成一系列不同形状的v o p ( v i d e oo b j e c tp l a n e ，视频对象平面) ，而 是传统的矩形区域，m p e g - 4 就不必对v o p 的形状信息进行编码，那么该编码过程 就和m p e g 1 2 一样了。 9 硕士论文 嵌入式数字视频解码系统设计与实现 由此可以看出m f e g = 4 的“基于内容”的编码方法可以看作是m p e g - 1 2 编码方法 的扩展。 为了高效地降低图像信号的时间冗余度，m p e g - 4 使用了基于块的运动估计和补 偿技术。它主要采用了3 种图像类型： ( 1 ) i - v o p ( i n t r av o p ) ，它是不采用基准图像的编码而产生的图像。 ( 2 ) p v o p ( p r e d i c t e dv o p ) ，它是采用上一个i - v o p 或上一个p v o p 来进行运 动补偿预测。 ( 3 ) b - v o p ( b i d i r e c t i o n a l l y p r e d i c t e dv o p ) ，它同时采用了前面和后面的i - v o p 或p v o p 作基准，进行运动补偿预测编码。 为了提高传输效率，m p e g - 4 采用了“子图形”预测和编码技术，它把静止的背景 作为“子图形”，首先发往收端，作为第一帧同时存储于编码器与解码器内，再利用摄 像机的移动、旋转和缩放，摄取背景前出现的视频对象，再将其分开进行编码，形成 视频序列进行传送，进而实现重建原来的图像。这种技术对实现多媒体数据库十分有 利，可以改善图像质量。 总之，m p e g - 4 标准的提出，特别是它的“基于内容的思想，将极大地推动多媒 体交互业务的发展，为更多更新的交互业务开拓了广阔的空吲m l 。 2 2 2m p e g - 4 基于v o p 的视频编码 传统图像编码方法依据信源编码理论的框架，将图像作为随机信号，利用其随机 特性来达到压缩的目的。这种方法本身未能考虑信息获取者主观意义与主观特性，未 能考虑事件本身的特性，如具体含义、重要性以及后果等等。但正是由于信源编码理 论的限定使得传统的图像编码具有较高的概括性和综合性，而基于矩形帧编码的传统 视频编码标准( 如h 2 6 1 h 2 6 3 、m p e g 1 ，- 2 ) 在实际应用中也获得了巨大成功。然 而m p e g - 4 并不满足于此，它的目的在于采用现代图像编码方法，利用人眼视觉特性， 抓住图像信息传输的本质，从轮廓、纹理的思路出发，支持基于视觉内容的交互功能。 而实现基于内容交互功能的关键在于基于视频对象的编码。为此，m p e g - 4 引入了视 频对象面( v o p ) 的概念。在这一概念中，根据人眼感兴趣的一些特性，如形状、运 动、纹理等，将图像序列中每一帧中的场景，看成是由不同v o p 所组成。而同一对 象连续的v o p 称为视频对象( v i d e oo b j e c t ，v o ) 。v o 可以是视频序列中的人物或是 具体的景物，例如电视新闻中的播音员，或是电视剧中一辆奔驰的汽车，也可以是计 算机图形技术生成的二维或是三维图形。图2 2 2 1 就是基于内容图像编码的简化原 理图。 从矩形帧到v o p ，m p e g - 4 顺应了现代图像压缩编码的发展潮流，即从基于像素 1 0 硕论文嵌入式数字视频解码系统设计与实现 的传统编码向基于对象和内容的现代编码的转变。从这个意义上讲，m p e g - 4 视频编 码技术翻开了编码史上崭新的一页。 图2 2 2 2 为v o p 具体的编码原理图，该编码器由两个主要部分组成：形状、纹 理编码和运动信息编码。其中纹理编码、运动预测和运动补偿编码部分在原理上同现 有标准是一致的。值得注意的是形状编码，它是图像编码标准中第一次引入的技术。 v 分层编码分层解码 图2 2 2 1m p e g - 4 基于内容图像编码方法 图2 2 2 2v o p 编码原理图 m p e g - - 4 标准提出的面向对象的编码机制，类似于计算机领域中有面向过程的方 法和面向对象的方法，语音处理信号中有波形编码和参量编码。m p e g - 4 推出的面向 对象的编码方式与以往的m p e g 标准完全不同，m p e g - 4 将一个复杂的场景分解成 许多对象，有自然视频对象，合成视频对象，自然音频对象，合成音频对象，以及标 硕士论文 嵌入式数字视频解码系统设计与实现 志这些对象位置和相互关系的信息。然后，对它们分别采用不同的压缩编码方式，以 求获得更低的数码率。而传统m p e g 压缩算法可看成是一个矩形的自然视频对象， 即m p e g - 4 的一个特例。 采用面向对象的编码方式，至少有如下的好处： ( 1 ) 不同的对象可以采用不同的编码方案，因而具有更大的灵活性和可持续发展 性： ( 2 ) 相同的对象不需要重复编码，只需要给出不同的位置信息。 ( 3 ) 有些不变的对象，可以不用编码传送或只需要传送简单的位移信息。 ( 4 ) 重要的对象采用高质量画面，不重要的对象采用高效压缩方法，背景甚至可 以在接收端虚拟。 ( 5 ) 在传送过程中，某些对象信息的丢失，不影响场景中的其他对象。 ( 6 ) 可以很方便地在场景中随意放置对象，改变它的形状或者音响效果。 ( 7 ) 具有很强的可操作性。 ( 8 ) 观众可以选择不同的语言。 此外，m p e g - 4 还包括如下特点：支持计算机合成的画面和声音；在不同的传输 网络中，m p e g - 4 可提供不同的q o s ( 品质服务) ；作者知识产权的认证和保护。 2 2 3m p e g - 4 标准的组成 一 m p e g - 4 标准由6 个主要部分构成： ( 1 ) d m i f ( t h ed e l i v e r ym u l t i m e d i ai n t e g r a t i o nf r a m e w o r k ) d m i f 即多媒体传送整体框架，它主要解决交互网络中、广播环境下以及磁盘应 用中多媒体应用的操作问题。通过传输多路合成比特信息来建立客户端和服务器端的 交互和传输。通过d m i f ，m p e g g 应用程序可以建立多个同等层会话，每个会话都 有一个唯一的地址。m p e g - 4 应用程序可以请求d m i f 为每一个基本流建立具有特殊 q o s ( 品质服务) 和带宽要求的信道，d m i f 则通过各种网络来满足这些要求。 d m i f 协议在原则上与文件传输协议f t p ( f i l et r a n s f e rp r o t o c 0 1 ) 类似，其差别 是：f t p 返回的是数据，而d m i f 返回的是指向到何处获取数据流的指针。 ( 2 ) 数据平面 m p e g - 4 中的数据平面可以分为两部分：传输关系部分和媒体关系部分。为了使 基本流和a v o ( a u d i o v i d e oo b j e c t s ，音频视频对象) 在同一场景中出现，m p e g - 4 引用了对象描述( o b j e c td e s c r i p t o r , o d ) 和流图表( s t r e a mm 印t a b l e ，s m t ) 的概念。 o d 传输与某个a v o 相关的基本流的数量和特性；s m t 赋予每个流一个与实际传送 信道相关的信道联系标签c a t ( c h a n n e l a s s o e i a t i o i l t a g ) ，以实现该流的顺利传输。 硕士论文嵌入式数字视频解码系统设计与实现 ( 3 ) 缓冲区管理和定时识别 一 由于发送端不能预知接收端如何工作，m p e g - 4 定义了一个系统解码模型 ( s d m ) ，该解码模型描述了一种理想的处理比特流句法语义的解码装置，它要求特 殊的缓冲区和实时模式，通过有效地管理，可以更好地利用有限的缓冲区空间。编码 器规定并监视解码所必须的最小缓冲区资源，然后，在建立会话的过程中，通过o d 将需要的缓冲区资源送到解码器，这样，解码器就能够决定是否可以处理这一会话。 m p e g - 4 并没有规定实现系统解码模型的细节，这样就可以用各种方法自由地实现 m p e g - 4 终端和解码设备，如电视接收机或计算机等。 在实时传送中，端到端的时延( 即从编码器的输出到解码器的输入时延) 要求恒 定。再者，发送的数据流也必须包含绝对的或者相对的定时信息。为此，定义了两种 定时模式：一是传送编码器的时钟速率到解码器；另一种是给编码的a v 数据带上时 间戳。这样，解码器的画面间隔和音频样值速率就可以调整到与编码器相匹配。 ( 4 ) 音频编码 m p e g _ 4 的优越之处在于：它不仅支持自然声音，而且支持合成声音。m p e g - 4 的音频部分将音频的合成编码和自然声音的编码相结合，并支持音频的对象特征。 ( 5 ) 视频编码 与音频编码类似，m p e g - 4 也支持对自然和合成的视觉对象的编码。合成的视觉 对象包括2 d 、3 d 动画和人面部表情动画等。 ( 6 ) 场景描述 m p e g - 4 提供了一系列工具，用于组成场景中的一组对象。一些必要的合成信息 就组成了场景描述，这些场景描述以二迸制格式b i f s ( b i n a r yf o r m a tf o rs c e n e d e s e r i p t i o n ) 表示，b i f s 与a v 对象一同传输、编码。场景描述主要用于描述各a v 对象在某一具体a v 场景坐标下，如何组织与同步等问题。同时还有a v 对象与a v 场景的知识产权保护等问题。 与m p e g 1 和m p e g 2 相比，m p e g - 4 的特点是其更适于交互a v 服务以及远程 监控。m p e g - 4 是第一个使用户由被动变主动( 不再只是观看，允许用户加入其中， 即有交互性) 的动态图像标准；它的另一个特点是其综合性；从根源上来说，m p e g _ 4 试图将自然物体与人造物体相融合( 视觉效果意义上的) 。m p e g - 4 的设计目标还有 更广的适应性和可扩展性。与前两者不同，m p e g 4 不仅是针对一定比特率下的视频、 音频编码，而且更加注重多媒体系统的交互性和灵活性【1 6 1 m p e g - 4 的应用前景是非常广阔的，它的出现将对以下各方面产生较大的推动作 用：数字电视，动态图像，万维网( w w w ) ，实时多媒体监控，低比特率下的移动 多媒体通信，d v d 上的交互多媒体应用，基于面部表情模拟的虚拟会议，基于计算 硕士论文 嵌入式数字视频解码系统设计与实现 机网络的可视化合作实验室场景应用，以及演播电视等。 2 3 m p e g - 4 视频信号编码 m p e g - 4 基本编码结构包括：形状编码( 对任意形状的视频图像编码) 、运动补 偿和纹理编码。其中运动的主要技术是运动估值编码，d c t 变换( 采用标准的8 * 8 d c t 或自适应d c t ) 和混合d p c m ( 差分脉冲编码) 等。如图2 3 1 所示。 图2 3 1m p e g - 4 编码器基本框图 其中d c t 变换是一种正交变换，它允许将8 x 8 的图像空间表达式转化为频域率 的表达，只需要少量的数据点表示图像，它所产生的系数很容易被量化，从而获得好 的压缩。并且，d c t 算法的性能很好，可以进行高效的运算，因此它在硬件和软件 上都很容易实现。 d c t 编码方法归纳起来可以分离散余弦变换d c t 、对变换系数进行量化( 包括 量化，z 字扫描，行程编码) 和熵编码这三个阶段。其中，d c t 变换的公式如下，它 是针对图像中的块层( 8 8 的像素块) 进行变换的。 c ( “，v ) - - - - g ( “) 口( v ) 壹耄c ( x , y ) c o x - os - ( ! ! ! ：- ；竽】c o s 【( ；! ：! ：；：塑】 2 3 1 忙o vu 口( 七) 2 ( 当k 。o ) ( 2 3 2 口( 七) = 疚哨k = l 2 7 ) q & 3 硕士论文嵌入式数字视频解码系统设计与实现 相应的的逆变换的公式如下：， c ( x ，) ，) = ( s ) 妻主：4 ( “) 口( v ) c ( u , v ) c o s 【学 c o s 【学】( 2 3 4 )，- 0y - o 1 v。 d c t 变换将图像转化成频谱的形式，它的能量主要集中在变换系数的左上角。 由于人的眼睛对于高频d c t 系数的变化不敏感，因此可以利用d c t 所得到的系数的 特征进行压缩。 量化是指用有限位数或级数( 比特数) l 来表示原来的系数f 通过建立量化表 来完成，量化的公式如下： q u a n t i z e d c o e f f i c 删( f 舻云罴 ( 2 3 5 ) 通过量化，取得所需要的图像的主要信息，然后再进行之字行序列扫描，使得游 程中零值的长度增加，进一步提高压缩率。之字行序列扫描将低频的系数( 较有可能 为非零值) 排在高频的系数之前，以便进行下一步的熵编码。之字行编码如下图所示。 2 4m p e g - 4 的音频编码 勘 一7一7一7 ， 硼 旷 ) ， 州 ) ， 硼 y ) ， 一 图2 3 2 之字行编码图 m p e g - 4 不仅标准化了对自然声音的编码，而且支持语音合成和音乐合成。为了 在整个2 - - , 6 4 k b i t s 的码率范围内获得最佳音质并同时提供各种附加功能，m p e g - 4 用 了一组工具来规划对自然声音编码码流的语法和