（信号与信息处理专业论文）实时视频图像处理soc设计研究.pdf

塑堑丕堂堕主兰笪迨窒 塑垩 摘要 目前，视频图像压缩处理广泛应用往如下领域：数字电视、视频会议、数字幽1 j 馆、 远程教育、远程诊断、交互式游戏等等。对传输、存储、计锋要求相当高。、 本文分析了图像压缩处理的各种算法。根据运算规模、并行性、运算规整性的差异将 其分为高、中、低三种等级。不同的等级采川了不同的算法结构实现。 视频图像处理系统是典型的实时系统。本文从时间j ：分析了系统实时性要求。巫点研 究了当前引起广泛重视的h d t v 视频解 i 1 5 系统的实时性要求。其实时性要求相当高，为标 准清晰度s d t v 的6 倍，因此具有代表性。 视频处理系统的两种体系结构：可编程结构和专用结构。可编程结构灵活，适j _ f j 范围 j ，易于升级，但电路复杂，电路功耗大。专_ l j 视频解码器结构硬件开销小，处理速度高， 但它的可扩展性差。随着v l s i 技术的发腮，系统集成芯片( s o c ) 是总的发展趋势。本文 土要研究了专_ l j 的s o c 。 就目前c m o s 工艺而言，存储器件的速度以及存储单元同处理单元间的数据传输、调 度成了系统的瓶颈而且随着视频图像压缩算法的发展，数据格式复杂度提高，关联性增 强，这一问题越显突出。因此本文主要研究了s o c 中的数据存储结构和数据调度策略。 首先研究了两类数据存储结构：本地缓存和帧存。并且提出了未来的s o c 结构的发展 方向：片上m e m o r y 。 其次，在数据存储结构的基础上研究了b u s 上数据调度策略：分时调度，循环调度、 定优先级悯jc | ：w 等，它们各有特点，话川 j 1 ；l i i 】的麻川环境。本文通过分析视频蚓像处 理的持续性、周儿性、相关性等特征，执了滟合调度策略。 最后，通过实例h d t v 视频解码系统验证了本文提出的数据存储和数据调度方案。由 r 丁该系统是基于图像处理算法特征设计的，冈此征满足实时性要求的同时，还具有性能良 蚶的垭1 ，l ：结构。伽什开销小，功耗低。 关键词：视频图像处理、数据存储、b u s 渊度、h d t v 、视频解码 堂型塑鲢堂! 堂墨 一 垒堡! ! 坠竺! a b s t r a c t v i d e o & i m a g ep r o c e s s i n gi sw i d e l yu s e di nt h o s ef i e l d s ：d i g i t a lt v ，v i d e o c o n f e r e n c i n g ，d i g i t a l l i b r m i e s ，d i s t a n tl e a r n i n g ，t e l e m e d i c l n e ，i n t e r a c t i v eg a m e s a n di t p l a c e sv e r yh i g hd e n l a n d s o n d e v i c e sf o r t r a n s m i s s i o n ，s t o r a g e ，a n dc o m p u t a t i o n t h ea l g o r i t h m so fv i d e o & i m a g e p r o c e s s i n ga r ea n y s i s e di nt h i st h e s i s t h ev i d e op r o c e s s i n g t a s k sa f e ：c l a s s i f i e di n t ot h r e el e v e l sa c c o r d i n gt ot h es c a l e o f c o m p u t a t i o n ，p a r a l l e l i t y , c o m p l e x i t y a n dr e g u l a r i t y o nt h eb a s eo f t h e c l a s s f i c a t i o n ，t h e s et a s k sa r em a p p e di n t oh a r d w a r eo rs o f t w a r e w i t ha p p r o p r i a t ea r c h i t e c t u r e v i d e o & i m a g ep r o c e s s i n gs y s t e mi sat y p i c a lr e a lt i m es y s t e m i nt h i sp a p e r , i t sf o c u s e do nt h e t i r n er e q u i r e m e n tf o rr e a lt i m es y s t e m ，e s p e c i a l l yf o rt h eh d t vv i d e o d e c o d i n gs y s t e mb e c a u s e i ti sr e g a r d e da st h eh i g h e s tt i m er e q u e s tw h i c hi sa ss i xt i m e sa ss d t v t h e ni t sr e p r e s e n t a t i v e t h e r ea r et w ok i n d so fa r c h i t e c t u r ef o rv i d e o i m a g ep r o c e s s i n gs y s t e m ；p r o g r a m e da n d d e d i c a t e d t h ef o r m e ri sm o r ef l e x i b l ea n de s a yt ou p d a t e b u tt h eh a r d w a r ei sc o m p l i c a t e d ，a n d p o w e rc o n s u m p t i o ni sh i g h t h el a t e ri sd e s i g n e da n do p t i m i z e da g a i n s tas e to fa l g o r i t h m s i t s a v e sm o r eh a r d w a r ea n dh a sh i g h e r p r o c e s s i n gs p e e d w i t h t h e d e v e l o p m e n to fv l s i t e c h n o l o g y , t h et r e n d i st od e v e l o ps y s t e mo a ac h i p ( s o c ) w ef o c u so i ld e d i c a t e ds o c b yn o w , t h es p e e do fl o g i cc o m p u t a t i o ni np r o c e s s i n gu n i t si sv e r yh i g hw i t hg e n e r a lc m o s t e c h n i c s h o w e v e r , t h es p e e do ft h es t o r a g em e m o r ya n dt h ed a t at r a n s f o r mb e t w e e nm e m o r y a n dp r o c e s s i n gu n i t si sn o ta sh i f g ha st h ep r o c e s s i n gu n i t s i tb e c o m e st h eb o t t l e n n e c ko ft h e s y s t e m w i t ht h ee v o l u t i o no f t h ev i d e o i m a g ec o m p r e s s i n ga l g o r i t h m s t h es t r u c t u r eo fd a t ai s m o r e c o m p l e xa n dm o r ec o r r e l a t i v ew i t he a c ho t h e r , l nt h i sp a p e r , d a t as t o r a g es t r u c t u r ea n dd a t a b u ss c h e d u l ei 1 1s o ca r er e s e a r c h e dt or e s o l v e dt h o s ep r o m i n e n tp r o b l e m s ： f i r s t l y , t w ok i n d so fd a t as t o r a g es t r u c t u r ea r es t u d i e d ：l o c a lm e m o r ya n df r a m em e m o r y t h e s t r u c t u r ej nt h ef i l t u r e ；sf o r w a r d e d s e c o n d l y t h e b u sd a t as c h e d u l ei ss t u d i e db a s e do nt h es o t r a g es t r u c t u r e ：t i m ed i v i s i o n m u l t i p l e x e d ，r o u n dr o b i a g ，f i x e dp r i o r i t ys c h e m e s t h e y a r e a d o p t e di n d i f f e r e n ta p p l i c a t i o n f i e l d sb e c a u s eo ft h e i rf e a t u r e s i nv i d e o & i m a g ep r o c e s s i n g 。t h ed a t aa r ec o n t i n o u s ，p e r i o d i c a l ， c o r r e l a t i v e a c c o r d i n gt ot h ec h a r a c t e r s ，ah y b r i ds c h e m e i sd e v e l o p e d f i n a l l y , a sa ne x a m p l e ，h d t v v i d e od e c o d i n gs y s t e mv e r i f i e st h o s ep r o p o s e ds c h e m e so fd a t a s t o r a g ea n db u ss c h e d u l e i tm e e t st h er e q u i r e m e n to fd e c o d i n gi nr e a lt i m e ，a n di t r e d u c e st h e c o s to f h a r d w a r ea n dp o w e r k e yw o r d s ：v i d e o i m a g ep r o c e s s i n g ，d a t as t o r a g e ，b u ss c h e d u l e ，h d t v , v i d e o d e c o d i n g i i l 人学坝i 学他论艾 第1 章幽像j 矗缩处理理论 第1 章图像压缩处理理论 多媒体技术发展至今，已成为1 i ：界陀技术研究干产1 开发的热点，有着j 阔的府j ； 前 景。多媒体信息中，视频信息是种比较特殊的；0 i l 体，数据量极人信息丰富、井以与时 间密切相关的流的形式存在。因此，视频数据的表达、纠织、存储和传输都有很火难度。 解决的基础在下对视频数据进行压缩。臼1 9 4 8 年o l i v e r 提出了p c m 编码理论，编码技术 日趋成熟，已经没汁和虑j h 了许多压缩算法平技术，如在h 2 6 1 、j p e g 和m p e g 编码标准 中的麻川等。数抑；爪缩目前的主要目标足较人的j 1 ：缩比、较快的压缩解压逃度以及尽可能 好的i 划像还原质齄、同时也在向压缩数据的处理如数据 ! 【织、检索、重构等方向发展，力 求发展一个比较完整的图像压缩处理解决方案，因此在这方面仍有许多工作要做。最基本 的是要有比较合理高效的压缩算法。目前已有的图像和视频压缩算法有很多种。在实际应 用中常把若干种方法混合使用，得到更高的压缩比。 幽像的压缩，一般要遵循以下原则： 编码重复的压缩：依编码重复的机率人小作压编编码，重复机率人的，分配较短 的码字，这样可节省定的存储空间，如h u f f m a n 编解码。 像素问重复的压缩：前后像素间存在某种程度的相关，例如一大片相同的像素等， 冈此可简化编码，节省存储空问。如利川时间上相关性的运动补偿和预测，利用 空间域的相关性。将图像变化刮j e 交向撤空间( 变换域) 去处空间相关性的域变 换编解码。 视觉重复的压缩：利用人对色度的不敏感性，像素与像素间即使少几个像素，眼 睛也看不f l l 米。在允许火真的范m 内，i j 以获得较人的压缩。如考虑了视觉掩盖 效应的量化编解码。 衡量编码压缩效率的单位一股j 打压缩比。通常以8 比像素为基础米规定压编比。即若 没有进行数据压缩的p c m 量化比特数m = 8 ，经压缩编码后，平均每个像素的比特数是n ， 划编码的压缩比为a = 8 n 。对一种标准米说，使用的压缩比越大，压缩信号失真的程度也 相对增加。 对静j p 图像压缩编码，j e p g 标准定义的1 i 可逆压缩算法。是基于d c t 的有失真压缩 算法。j e p g 标准的有损压缩比为1 0 ：1 1 0 0 ：i ，如果压缩串小于4 0 ，所获i 鳘】像与原图像主 观效果儿乎完全一致。 对运动图像视频压缩编码，m p e g 标准采_ i ；f 两个基本技术：运动补偿预测编码和差分 编码及变换式的d c t 压缩。对于帧间预测误差再做d c t 变换，可减少空域的冗余。因此 能够获得更高的压缩比。无损视觉压缩比可达到5 0 ：1 ，其预测利用消除人眼看不见的信 息的方法可达到1 5 0 ：1 的压缩比。 m p e g 2 使川了d c t 、运动补偿和h u f f m a n 编码三种技术。d c t 降低了图像的空问冗 余j 业，运动补偿阶低r i 刳像的时间冗余叟而i l u l l i n a n 编码则降低了幽像的信息熵冗余度。 h 丁m p e g 包含了较j e p g 更丰富的内窬木章以r 将对前者进行分析。 f i 江人学坝i j 学化论殳 第1 常刚像j k 缩处口! j h ! 沦 1 视频压缩编解解码标准的基本算法结构 目前视频压缩f f 遍采用是混合变码编码方案： 运动预测+ 余弦变换差分脉冲编码明制+ i d 化+ 熵编码 改方案在保证一定质量的前提f ，不仅压缩率高，而且易于硬件实现。它的原理可以 川酗1 - 1 来表示： 一 j h ，1 ，h l 。c r 变换h 量化h + l 变字睦编码 煺 l 。”“i7 丫一 l 留 ti 题 ir _ 1 函 帧存l 一 l 一。刚变换| 1 反苴：化卜j 彀 隧 !帧问预测编码变换编码和量化熵编码 图1 。1视频编码算法结构 e 频解鸠是编心限理过程兵舁法绡构i i j 川削一2 米表不。 变字| 丈解码l - 反量化，反扫描h - 。c t 变换 一 勺 图卜2 m 频解码算法结构 上述结构中，变换编码是最基础的算法，在i 帧内或帧间的压缩编解码中都可能用到。 以下将首先讨论变换编码。 1 1 变换编码 变换编码的丛本思路是将在空间域捕述的i 茔j 像信号变换到另一个的正交向量空问( 变 换城) 中。如果该l e 交向越空间的基向埘与吲像木身的特征向量很接近，则经过正交变换 后，系数问的= i _ 【| 戈性基本解除。能量主要架叶i 拒“流和少数低空间频率的变换系数上，从 而达到幽像压缩的e i 的。 川丁i 到像编码离散j e 交变换的类型 h 多比如斜变换、沃尔什哈达码变换、喻尔变 换、k l 变换、余坛变换等。除了k l 变换外都仃伙述算法。k - l 变换采用图像本身的 特 i e 向讨作为变换的基向蚶，故与像的统汁特陀完全【，i ；配，足在最小均方误差准! j l i | r 进 行l 刳像压缩的垃他变换。但是，由+ 】：变换矩阼! i 划像类) 仃芙，所以无伙述算法。 浙江人学f l ! j ! 小学位论迎 笫1 章1 芏l 像压缩处j 坐耻论 二维d c t 变换及其反变换：存符利l i i 变变j 弛l f j ，离敞余弦变换( d c t ) 冈与k l 变换 垃接近。并且d cr i 的引算= f ：很多利，快述 法，j f l 铍择剃，视频编码标准所采纳。它通过止 交变换在使得能简单地枉频域里描述空m 视脚j i 鲥像，视删刳像的空间相关性明显f 坪，信 号的能量主要集中往少数儿个变换系数上，采川量化和熵编码可有效的压缩数据。经d c t 变换得到的系数j 能挝主要沿主对角线分布| 1 往左上角集中主要能量，反映了i 警i 像大 部分区域变化不人，亮度突变- 吁少数即像能虹f 以低频成分为主。通过量化，舍齐一些对 视觉效果影响不人的次要信息，可达到j j ：少的j k 缩。h i 同频率的系数对人眼的视觉效果 不同，冈此可允分利川人眼的视觉特性选扦1 ：| i i 】的付化方案，比如区域编码、 i 通虑比 特分配、限控制平综合法等。 对一个n n 的像素块，其二维离散余弦变换定义为： m ，。) ；一2c 似) 。( 。) y n - i y n - i ，( 埘) c o 。鱼兰堕坚c o s 鱼兰堕坚 地v ) 5 万嘶) 删m 川c 。s 兰焉婴c 。s 兰坐x = o ，j,ffi0 其中u ，v x ，y = 0 ，1 ，2 ，n 1 ： 吐c = 悻巍。 - 二维离散余弦变换的反变换( i d c t ) 定义为： f(x,y)=万2刍n-if(x 萋c(u)c(v)f(u)cos等等cos号产00 ) = 百己坠蔫坠c 0 8 警 t ”= 。1 快速算法通过减少运算次数而减少运算时间，这对于设计快速的硬件系统非常有效。 常_ l j 的一维d c t i d c t 快速算法有基于变换矩阵分解的蝶形运算和基于位元计算的快速算 法：二维d c t 的快速算法则一般采用行列分离d c t 算法1 2 9 】。 d c t 变换编码是基f i 二图像块的，田此悱常规! i ! i j 。一旦硬什设计中将快速算法确定l ：米 其运算时间，运算量均是不变的。 1 2 预测编码 编码时预测编码分为运动估值和运动补偿二部分，一般以宏块为单位( 1 6 x 1 6 像素) 做预测编码。 运动估值 一般地，运动的视频图像相邻两帧之间具有很强的相关性，采用运动估值技术进行帧 间编码来去除帧间时间上的冗余度是提高视频编码压缩比的重要手段之一。常用的运动估 值算法有梯度法、像素递归法和块匹配法。后者运算量小，实时性好- 采用块匹配算法的 运动估值技术分成以下二步来实现： 浙江人学彤! i 。学位论史 第1 章i 鳘| 像难缩处删耻论 堪”! 卜 _ _ 图1 - 3 帧间预测原理 参 1 ) 运动搜索：往前帧的对应于后帧当柏宏块化置的附近区域中，搜索与当前宏块最匹 配的宏块，如幽l - 3 。通过搜索最仕匹m 块准则柑怏速搜索算法实现运动搜索。 衡量搜索的匹配程度，有各种准则：均方误芹( m s e ) 、门一化互相关函数( n c c f ) 、平 均绝对帧差( m a d ) 等。各种准则性能差别4 ；显薯，而m a d 运算量最小，所以被普遍采川。 m a d 准则被定义为： 埘d ( f = 嘉薹争加，”) - - s k - i ( 肼咖 式中瓯( m ，”) 为第k 帧位于( m ，n ) 的像索值：i ，j 分刖为水平和垂直方向的偏移量 取值范围为一d m i ，j d m 。 2 )搜索匹配块的算法。最基本的是全搜索算法：搜索区内逐点搜索每搜索一次计算 一次m a d ，当m a d 达剑最小值时求得最他匹配宏块。为了提高搜索速度、减少搜索次 数，提山了多种快速搜索算法：全搜索、二步法、z - 维对数法、共轭方向法、正交搜索法。 这些快速搜索算法都认为在整个搜索区内准则函数是( i ，j ) 的单极点函数有唯一极小值， 而快速搜索是从任一点开始沿最小失真方向进行的。 3 )运动矢量( x ，y ) 编码：采用差分方式可以减小传送比特数目。传送相邻运动矢量 著值( x ，a y ) 如下式： ( a x 。，y 。) = 【( x ，一x ，) ，( y ，一y ，) ) 4 )宏块类州判决：在搜索到匹配块厉然后决定对当1 j i 的宏块作帧内编码或帧问编码。 干h 犬性强! i 【l j 采川帧| t i j 编码相关性弱则采川i 编“q 。”r 以川方筹来判别： 设参考帧宏块的亮度信号像素值川p ( x ，y ) 米表示，当前l 帧宏块的亮度像素值川p ( x ，y ) 浙江人学硕l + 学位论文 第1 章图像压缩处理理论 米表示，则参考帧宏块的亮度信号方差删rj d 可川f 式来锋得 p 卅r p ( x ，_ ) ) 2 j d = 兰二三l 一 一 2 5 6 p ( x ，y ) 2 5 6 当前帧与参考帧对应宏块像素差值的均方值v a r 由f 式给出 根据明r p 和f a r 的值可以制定如f 判决依据： 当v a r _ 当v a r 6 4 ，v a rp v a r 时，采川帧问编码方式 当v a r 6 4 v a rp 低级任务输入输出的数据结构简单，数埘处理足顺序的，f 且对大缱数据操作均重 复单一操作运算密集，可采川人规模并行f i 5 l ! 什实现： 巾绂任并输入输i l l 的数据结构简单，数捌处理依靠粜些数据判决实现运算 ：集皮 没有低级任务何，可川专h j 硬什辅以状态控制；! ： 实现； r 岛级任务输入输i 的数据结构复加数“：处耻流利不易预测，但运算姑小，川可编 烈结构实现。 3 m p e g 2 及m p e g 4 i ，i 前m p e g 2 除了被川米制作d v d 外，还被广泛应川_ 丁| 高清晰度电视、有线l 乜视网 以及f j 艰直播等视频服务领域；m p e g 4 他川j o 实现音频视频内容交互性的多种形式以 及以一种整体的方式将人工的和自然的音频和视频信息融合在一起如i n t e m e t i n t r a n e t 上 的多媒体流服务和可视游戏、低码率的移动多媒体通信( 视频手机等) 、交互式多媒体应用、 实时多媒体监控、数字电视与演播电视、虚拟会议等等。 3 1 m p e g 2 协议 3 1 1 m p e g 2 码流分层结构 m p e g 2 兼t 弈了m p e g 1 ，这两顺标准最重要的目的楚通过压缩技术使数字音像资 料更有效地存贮和传输。两者均涉及运动的帧l 璺| 像。且按分层结构来组织。我们以m p e g 2 的视频编码码流来说明和分析这种分层结构。 在m p e g 2 的编码码流中，每一层的7 1 ：始部= f ；一个二进制起始码标志。从上倒下依次 是序列层( s e q u e n c el a y e r ) 、煳：( g r o u p so f p i c t u r el a y e r ) 、帧图像层( p i c t u r el a y e r ) 、图像片 罢( s l i c el a y e r ) 、宏块层( m a c r o b l o c kl a y e r ) 、块层( b l o c kl a y e r ) 。 7 浙江人学倾i ：学位论文第l 章i 封像压缩处盟! 删论 i 帧使_ l i j 帧i _ j 压缩，不使用运动补偿，提供中等压缩比。由于i 帧不依赖其它i 帧， 所以是随机存取的入点，同时是解码的基准帧。 p 帧根据前面的i 帧或p 帧进行预测，使_ l f j 运动补偿算法进行压缩，压缩比要比i 帧高。p 帧是对b1 9 贞和后继p 帧进行解码的基准帧。它本身有误差，会造成误差 传播。 b 帧足基1 ：山插重建的帧，它丛j ：| j 肝胁个i p 帧l 或p p 帧，不传播误差。它使川 舣向预测进行压缩，提供更高的j i l f l i i t - l ：。 蚓像片包含0 纠：个连续的宏块，地吐祈步叩化，j e 设置订的足防i l ：误码的扩做。恪j 像以亮度划分成1 6 ：1 6 宏块，宏块足进f r 返动补偿的丛本单位，一个宏块包含4 个8 ：8 亮应块4 ：2 ：0 l 伙样时一个宏块包含2 个8 ：8 色度块：4 ：2 ：2 取样时一个宏块4 个8 ： 8 包度块。块足进行d c t 运算的单化。 3 1 2 运动预测及补偿模式 m p e g 2 定义了复杂的预测 h 偿模式，f i 的是为了在参考图像中搜索到与当前图像块 更匹配的参考块。 场预测 通过使川一个或多个参考场的数据来j 州t 顺测。由1 ：场圈可以问插构成帧圈，f j = i 此适 川j ：当前编解码的l f ! f j 像为场图和帧的f i i f 况。 帧预测 通过使t t j 一个或多个参考帧的数据米产生预测。只适用于当前编解码的图像为帧图的 情况。 1 6 x 8 运动补偿 这是专适_ l j 于当前编解码图为场图的情况。傅个宏块使_ l l j 两个运动矢量第一个运动 火挝川丁二宏块上面的1 6 8 区域，第二个运动欠带对应下而的1 6 x 8 区域。这种运动补偿方 式可使参考像素与i 警j 像更加匹配，从而降低码牢抛高削像质量。 双基 住比特流中，仅有一个运动矢量雨i 一个小差分向量被编码。对于场图，可以从这个信 息中得到两个运动矢量，通过它们可分别从两个参考场中形成预测，然后将这两个参考数 据作平均以形成最终的预测。对于帧幽两个场都重复这一过程，所以总共形成四个场预 测。这种方式仅用于p 图。 3 2 m p e g 4 协议 m p e g 4 的视频部分支持以下功能：高效压缩、基于内容的交互( 操作、编辑、访问等) 及基于内容的分级扩展( 空成分级、时域分级) 以基于内容的方式表示数据m p e g - 4 基于 内容的功能支持视频对象v o p ( v i d e oo b j e c tp i a n e ) 问的分离编码和解码：这一特点为用户 的交互控制提供了最基本的机制：对压缩的剀像和视颠的v o p 进行灵活的表示与控制，而 不必住接收端做进一步的分割和变换编码u 塑坚丛兰塑土兰燮 笙! 垦型堡堡塑丝些些丝 3 2 m p e g 4 协议 m p e g 4 的视频部分支持以卜功能：i 岛，放压缩、基_ r 内容的交互( 操作、编辑、访问等) 及基丁内容的分级扩展( 空成分级、时域分级) 以基于内容的方式表示数据。m p e g 4 基 丁内容的功能支持视频对象v o p ( v i d e oo b j e c tp l a n e ) 间的分离编码和解码：这一特点为用 户的交互控制提供了最基本的机制：对压缩的图像和视频的v o p 进行灵活的表示与控制， 而不必在接收端做进一步的分割和变换编码。 为了实现基r 内容的功能，m p e g 4j j l 人了视频对象面v o p 的概念。按照这一概念 输入视频序列的缚一帧都可分割成许多f 意形状的幽像区域( 视频对象面) ，每块区域内可 以包含特定的幽像或感兴越的视频内窬。与m p e c 2 标准中的视频输人格式相比，m p e g 4 的待编码输入视频不再局限于矩形区域，而且每块区域的形状和位置可以随着帧的不同而 不同。 1 )形状编码 每一个v o p 的形状信息编码是在丛j iv o p 形窗宏块栅格的运动矢量编码之1 ) 进行 的。在斛码器平编码器中均可获得该v o l ，的形状信息。v o p 的形状信息分为二值形状信 息平灰度形状信息两类。在m p e g 一4 标玳i 1 形状信息被定义为“a l p h a 平面”。形状信息 的编码技术有两种：一种是a l p h a 平面的无损火编码；另一种是形状和透明信息的有损火 编码这种方法允许在比特串和形状表j ；的准确率之间进行折衷。而且，为了在许多虑川 q r 典现有效的随机存墩和形状、透明信息的订效j k 缩。m p e g 4 还将支持基丁：运动补偿形 状预测的形状内和形状问的编码功能： 2 )运动估计和运动补偿 与m p e g - 2 一样，m p e g - 4 采川了丛j i 块f f jj d 动竹计和运动补偿技术米有效去除各个 独范f 内v o l 层内视频内容中的时问冗余成分。似与标准的m p e g 2 块匹配处理技术不同 的是m p e g 4 引入了形状自适应宏块栅格的概念来完成具有不同的位置、大小和形状的 v o p 问的运动 计雨f 运动补偿。形状臼适庸功能怂通过图像填充技术和多边形匹配技术来 实现的。| 玺| 像填充技术应_ l j 于运动预测平补偿时的v o p 参考帧，并由该v o p 帧的内部像 素值来外推v o p 的外部像素值。以此获褂运动预测时的参考值。多边形匹配技术则将v o p 轮删宏块的活跃部分包括在多边形之l = | 。以此来j _ f l 加运动估计的有效性。 3 ) 纹理编码 纹理编码采川了基丁8 8 块的d c t 方法这与现有的m p e g 2 相同。它可以赴对帧 内模式进行编码。也可以是对帧间模式运动补偿后的预测误差进行编码。当编码宏块跨越 v o p 的边界时要采刚专门的技术进行处理：如果是帧内模式v o p 则先采用图像填充技 术米获取v o p 外的像素值，然后雨采用d c t 方法进行编码：如果是帧问模式的运动预测 误犟则将处丁活动的v o p 区域之外的像素内容都设为1 2 8 。此外，还可采垌 s a d c t f s h a p e a d a p t i v ed c t ) 方法对v o pl j 的像素进行编码，该方法可在相同的条什f 获 得较高的编码质埴但运算的复杂度梢高。d c t 变抉后，还要利h jm p e g - 2 等标准q 定义 的技术平v l c 码表对d c t 系数进行扫描、培化平可变k 编码。对于帧内编码v o p 要进行 d c t 的d c 和a c 系数的有效预测。 9 鲨鬯兰塑! ：兰丝堡兰 笙! 童鬯堡墨塑竺些型兰 m p e g 4 标准支持h 2 6 3 和m p e g i 标准中定义的所有编码算法( 如d c t ，运动估计 雨1 补偿等) ，也支持m p e g 2 主类中所定义的大部分算法。当在一个v o l 层面上进行压缩 的a l p h a 平面、运动矢量和d c t 比特字的复h j 时。应首先对形状信息编码，然后雨对运动 平纹理信息编码。 m p e g - 4 能够有效提高信号在易错环境下的抗误码能力和恢复力尤其是在易发生严 重错误的环境r 的低比特席_ 【 ； 中( 移动通信链路) ，这将有利丁二节目制作、分配和显示，与 环境无芙，提供了一种对抗残留错误的坚韧性。 从m p e g - 2 发展至m p e g - 4 ，也即从基于帧( f l a m e ) 的编码发展到基于目标( o b j e c t ) 的编码。后者对目标的依赖性增强，因此算法更加复杂，逐渐从低级向中、高级转换。如 幽1 4 所示。 m p e g 一4 注：1 ：低级，2 ：中级3 ：高级。 幽1 4m p e g 2 与m p e g 4 运算等级比较i ”1 3 3 视频压缩技术的发展趋势 随着社会的高度信息化特别是i n t e r n e t 的迅猛发展，各种多女! i l 体传输业务将增艮。 为满足人们对多女! i l 体信息的巨大需求，极低比特率的视频编码是当前多媒体通信领域内亟 待解决的荚键性问题。 基于图像内容的压缩方法 现有的国际编码标准如m p e g 1 m p e g 2 、i t 2 6 1 ，h 2 6 3 等均采用了基于图像块 的编码方式，在高压缩比时，会出现方块效应，物体运动不自然。更有甚者，因编码是一 帧一帧地顺序进行的所以无法实现序列图像巾物体的独立编码、解码和操纵，同时也难 以实现| 兰| 像编码的可伸缩性。基于图像内弈的压缩方法，克服了基于块的方法所存在的不 足，实现了高质越的极低比特率视频编码，但这些方法仍存在如下问题： 由下准确表示物体形状造成了较人的比特开销： 物体的分割平运动估计计算太复杂： 目前基于幽像内容的压缩方法己成为视频编码的研究热点其中：采用数学形态学求 得帧间物体的运动， ：以此确定物体的人致形状，根据运动估计。预测出下帧中的物体。 对r 物体运动估计失败区，采用离散余弦变换d c t 或离散小波变换( d w t ) 的方法进行压 】0 塑坚盔兰塑! ：兰丝丝兰 兰! 兰望堡墨塑竺型墨堡 缩， 基于模型的编码方法 随着v l s i 技术的迅速发展和计算机处理速度的加伙，高计算复杂度的模型编码方法 越_ ) | 越受剑人们的重视。在编码端运川汁算机视世技术以给定模，聪对视频序列图像中每 一个物体进行分析产生该物体的人小，化置和运动等参数信息。在解码端，根据所获得的 物体模仪参数信息t 远川计算机图形学。可综合“j 物体的动画模型。为了获得序列i 茔j 像中 物体的帧问运动，还需采_ l 运动跟踪技术使物体的动画模型能模仿真实物体的运动。如 果埘物体的恢复质鲑要求不高，则物体的动画模j 纠便足以表示原序列图像中的物体，而要 想获得高质世的恢复物体，则必须对原物体与其刘应的动画模型之间的残差信息进行编码， 扯解码端h j 该差值信息对恢复山的动画十5 ：f ，必进 r 补偿： 在一般情况f ，模型方法建模的对象为图像中的人脸。根据己知的二维或三维人脸模 弘获得简单的动画人脸只需5 0 0 1 0 0 0 b i t s 的玎销，而获得较复杂的动画人脸也只不过 需5 1 0 k b i t s 的开销对c i f 或q c i f 格式的彩色视频头肩序列，获得较高质量恢复序列 的比特率一般为1 6 - - 6 4 k b i t s 。正田为模，性法能获得如此低的比特率。所以它也已成为 m p e g 4 标准的关键技术之一。 小波与人脸检测相结合的编码方法 1 ：e 可视电| 舌、视频电视会议、人机交互等领域内经常出现的视频信息为人的头艏像， 这些视频图像一般具有背景静止、头肩运动相对缓慢等特点采用小波与人脸检测相结合 的编码方法对其压缩可获得较高的压缩放率。 由人眼的视觉心理特性可知，人眼对图像不同区域的主观感受是不同的，也就是说按 照人对| 玺| 像不同区域感兴趣的程度可以将其分为感兴趣区和不感兴趣区。褴幅图像主观质 量r 降的原冈往往在于感兴超区质量的。r 降据此采朋的编码策略如下： 帧内编码时，保证人脸区的编码精度。结其它区域分配较少的比特； 帧间编码时，用前一帧的人脸区预测后一帧的人脸区，预测误差刚小波方法进行 压缩。背景区与肩部区可直接梢贴白第一帧。 这样可实现极低比特率编码。 本章小结：由上述分析，视频压缩技术在术来将越米越趋向于复杂的算法。逐步从计 算密集j 科向通信密集型发展。因此数据存储最、数据调度复杂度增加，这将成为图像视频 处理系统的瓶颁。 本文安排：由丁i 图像视频处理算法是相互独立同时又相互关联的。我们先采用了综合 的分析方法，从整体上研究实时性系统要求，f = 分析实时视频图像处理s o c 设计方法。然 后雨结合实时性和s o c 结构设计要求，从数据连接、通信、存储、调度及各方面考虑，分 析i 划像处理计算特征，提出满足要求并且性能良蚶的数据存储及调度的硬件结构，以减小 硬什开销，包括芯片面积、功率消耗等等开销。 _ ! ! ! 堂竺羔型生：! ! ! 塑苎 笙! 皇型墨些型墨竺塑壅! 生丝塑堕 第2 章图象处理系统的实时性问题 1 实时系统的特征及其对系统结构的要求 中。 实时系统被川r 幽像处理、自动控制、航空航犬控制、汽车电子、监控系统等等设备 实时系统与其他瞥通的系统之问的螭人的不同之处就是要满足处理与时间的关系。在 实时计算中系统的正确性不仅仅依赖丁计算的逻辑结果而且依赖于结果产生的时问。对 _ r 实时系统米说最重要的要求就是实时操作系统必须有满足在一个事先定义好的时间限制 中对外部或i ! | 部的事件进行响应和处理的能力。这样，实时系统可以定义为“一个能够在 事先指定或确定的时间内完成系统功能和对外部或内部、同步或异步时问作出响应的系 统”。此外作为实时操作系统还需要有效的中断处理能力来处理异步事件和高效的i o 能力 米处理有严格时间限制的数据传输。也即： 系统应该有在事先定义的时间范围内识别和调度处理离散的事件的能力。 系统能够处理和存储控制系统所需要的大量的数据。 实时系统的结构必须满足 高运算速度， 高的i 0 吞吐率， 合理处理器间的互连， 高速可靠的和有时间约束的通信 山错处理， i ， 任务洞度。 另外由丁实时系统很多应用于一些天键性的场合系统的稳定性和容错也非常重要。还 有实时系统很多在自然的形态上有分布式的特点。所以还要考虑到实时的分布式应用。此 外实时的通信也是实时系统的一大要求，很显然在分布式实时系统中实时的通信是最基本 的。实时通信必须满足1 逻辑正确2 要有确定的延迟时间( 或通信延时时间的上限) 其中 包括建立通信的五正迟和消息传递的延时。以上是系统设计时的要点问题。还有从计算机科 学角度考虑实时系统必须有合理的实时的调度理论。由于实时系统应用的特殊性，以往通 川系统中以人吞吐量为目标的调度算法必须改进以适应实时应用的需要。主要要求是满足 时间的止确性，然后提供高度动态的，满足在线需求的，适应性的实时调度。 对于实现实时图像处理这样的特殊实时系统而言，数据吞吐量巨大，而实时性要求又 相当高，冈此合理的调度和i 处理各种任务，设计有效的存储结构对于系统的实现非常重要。 浙江人学删! i 。学位论史 第2 章凹象处理系统的实时性问题 2 实例：m p e g 2h d t v 视频解码系统 高清晰度电视( h d t v ) 的“高清晰度”指与现行电视相比，其水平和垂直两个方向的 图象分辨率都要求提高一倍以上，使用人屏幕显示器近距离观看时，图象细腻逼真，无闪 烁和粗糙感，并配以数字环绕音响伴音。h d t v 节目全部采用数字方式制作、传输和接收， 能使收看到近似- 丁电视台中的节目原始质域，没有重影和“雪花”。同时，数字电视系统 能够提供多种业务形式，能够实现交互、数蝴j “播干与计算机联网等功能。因此，数字h d t v 可以看作国家信息基础结构中理想的信息终端。11 ) 9 9 年1 0 月1 日，h d t v 在北京国庆五十 周年庆祝人会上现场转播取得成功，2 0 0 0 年1 0 j1 日在上海试播成功。中国正在积极推 进稳步启动数字也视市场。目前，国家已佑北京、上海、深圳三个城市率先开展数字也 视试验 礴出，剑2 0 0 8 年中国主要城市将瞥及数字高清晰度叱视的商用播出北京奥运会 将实现以数字高消晰度方式向世界转j 罱。 随着 i d t v 的发展其关键技术：视肋i 解m 芯j l 的设计是i j 前我国的研究热点，能否 设计有亡】土产权的系统i p 核，关系剑术水数字l i d l v 在我国的将及。 i i d t v 解码系统屈丁兆删的实时系统。l r 分辨率的提高，造成数据处理量相当大，因 此视频解码的实时性要求相当高。以f 我们将分析其实时性要求，然后总体概述h d t v 解码 器结构。 2 1 h d t v 视频解码系统实时性要求 h d t v 幽像参数：对1 0 8 8 x 1 9 2 0 x 3 0 的削织i i i ! j f 流，每帧6 8 s l i c e ，每s l i c e l 2 0 个宏块， k8 1 6 0 宏块。系统时钟为1 0 8 m h z 每幽象帧l i3 6 0 0 0 0 0 c y c l e ，均分到每个宏块为4 4 1 c y c l e 余1 4 4 0 c y c l e 。 表2 - i各种标准的码率及实时性比较 标准 m p e g l 酗像火小l 图像人小j 一化比率l 压缩码流码率i 压缩码流码率1 门一化比率 3 5 2 x 2 4 0 x 3 0 帧秒 1 0 0 1 8 5 6 m b p s 1 o o 一m ! 曼鱼! j m p m l ( _ s d t y ) j 一! 心堕堕煦j 7 2 0 x 4 b o ! ! ! 螺! 塞! 一! ! 垫：! ! ! ! ! j ! 蝗! 堡l 2 4 7 3 lj m ! p ! j 旦幽! 堕 j 80 8 4 3 1 0【 j 一一一 表2 - 2h d t v 视频解码运算