（信号与信息处理专业论文）h264avc编码关键算法及其vlsi架构研究.pdf

摘要 h 2 6 4 a v c 是近年来制定的一套兼顾广播和电信、覆盖低码率通信到 高清晰电视多种应用的视频压缩标准，它不仅吸收了以往视频编码标准中 的经验，而且在此基础之采用了很多新的编码技术。在保证相同解码图像 质量下，h 2 6 4 ，a v c 比m p e g 2 和h 2 6 3 的压缩率提高至少一倍以上。然 而，h 2 6 4 a v c 编码的计算复杂度与其它视频压缩标准相比，高出了几倍 甚至十几倍，需要消耗大量的时间和系统资源，因此，实时的h 2 6 4 ，a v c 编码实现面临着巨大的挑战，需要寻找优化的编码算法，以减少巨大的运 算复杂度。另一方面，基于h 2 6 4 a v c 编码标准的视频压缩专用芯片具有 广阔的市场前景。研究高效的h 2 6 4 a v c 编码器芯片系统方案已成为 a s i c 研究领域的热点和难点。 本文针对h 2 6 4 a v c 编码关键技术的算法和系统架构进行了深入的 研究。本文的研究工作和成果可以概括如下： 1 在对h 2 6 4 a v c 编码过程中运算量最大、耗时最多的运动估计模块进 行深入分析的基础上： 提出了一种基于搜索窗中心预测和中途截止的自适应搜索窗整像素 快速块匹配算法。与传统快速算法相比，该算法可显著降低码率和失真度， 同时搜索速度也有一定提高。 根据小数像素搜索窗内块匹配误差曲面满足可分离单峰分布的特 点，提出了一种基于多项式模型预测的快速小数像素运动矢量算法。算法 过程只需要搜索6 个候选点，相比规定1 7 个候选点的全搜索过程，计算 量有明显降低。 提出了一种块合并- 块分裂相结合的快速运动估计块模式决策方法。 该算法以自适应门限和快速决策方程为基础，与运动预测块模式穷尽搜索 相比，平均可以节省6 6 运算量。 2 根据残差系数分布的统计特性，提出了一种针对h 2 6 4 的全零块检测 算法。对于中低运动幅度的视频图像编码，全零块检测方法可以使约8 0 的图像块省去变换量化运算，有效地减少计算量。 3 在算法研究基础上本文还针对编码系统的主要模块提出了相应的v l s i 架构。主要体现在；针对本文提出的快速运动估计算法，提出高效的并 一a l 行一流水处理结构，采用3 6 个p e 单元分成四组进行并行处理，结合灵活 的洲存取机制，在5 0 m h z 的系统时钟下可以实现对c 西格式图像实时 的处理( 2 5 帧秒、5 个参考帧、4 种块模式，搜索范围【1 6 ，1 6 】) ；变换 量化单元采用高效的流水机制，通过合理的调整边界滤波顺序及片内r a m 和寄存器组分配提高去块效应滤波的处理能力，5 0 m h z 主频下的变换量 化与边界滤波单元的处理能力达到1 7 万宏块秒以上，能够满足高清图像 ( 1 9 2 0 1 0 8 8 ) 的实时处理要求。 到目前为止已完成了系统方案和核心模块的v h d l 代码设计及验证， 但距离原型系统的实现仍有相当距离，大量工作留待后续完成。 关键词：视频编码；h 2 6 4 a v c ；运动估计；整数变换；u v l c ；去块效 应滤波；a s i c ；并行流水结构；系统架构： 一a 2 一 a b s t r a c t h 2 “，a v ci s 吐圯m o s ta d 啪c e dv i d e oc o d i n gs 切n d a r di nr e c e n ty 隅w h i c hc a v c 墙a w i d ef 锄g eo f 印础c a 妇的m1 0 w - b i t sc 伽埘u n i c 撕t oh d l ng a i mt h ce x p c r i e n o 锚丘眦 l b e 咖v i d e oc o d j n g 咖d a r d sa n dm e 删c o d i n g 倒m 0 1 0 阱m e 删峨i th a s 出v e l 叩e dak o fn e wc o d j n gn 培m o d s 锄ds 眦g i 髓t h en 州i i a n g e si n 平坩wt h cc o d j l l g 踊c i e n c yc 伽面出嬲由l y ；b u t 埘m 州 i i | 扭纠yi i 垃托a 辩m ec 讲珥u t 撕o nc 0 咖p l e x i t yt oal a r g ea “朗吐 砌c hm e a 璐l a r g e 棚。衄to f 血地锄df e u r c u p 鲥蚰f b rh 2 “肆v c d i 】咚s y s t c 皿 t h 删b 孵j t j s 埘躺葛鞠r ) ，协删0 pe 搦c i 曲触a l g 鲥l b m s ，i n 硎盯t o d e 蝴m ec 唧l e x j l y o ft h cs y s t c mw h 丑ek e e 毋唱豁a r yp c 幽m m n b e s i d e s ，t h ee 伍c i e n t 锄d 触s i b kv l s i 戤h i t e ：t i i 矗玎h 2 6 4 ，a v c 如c o d c r i c 捌e r 嘶曲沁b e c o m 髂t h eh o 饵to fa s i cd e s i 驴 b 蝴蛳o f m e 瑚d 【e tp e i 印硎v c 细h 2 6 4 ，a v ca p p l i c 撕m t b i sd i s s 曲缅h a s 曲c t c dl b e 删m 吐鼬啦t b eh 2 “ l v c 雠o d e r 叩恤血蜥柚di 忸v l s i 锄洄t e l o t i 珊d 瞄i g 儿1 k n t e n 怔o f o 盯w 。矗a 砖m 驴n i ：6 e d 雏f o n o 邺 愉p 印盯b 嬲n d 删ad c t a i l e d 蛐t ot b em o s t 删m o d u l e ，m 砸 鹤t j | l l a t i o 也 0 i d j 】唱t o 曲n e w l ya d 叩t e dt e c k l o g i e s t h ef 缸ta l g 删t h mo f i 瑚旺蛐船痂枷 i s 妇l o p e d j n f b 鼬娜： ( 1 ) p p o 刚af a s tb l o c k - n t c b i 】唱a l g 嘶t h mb a s e do n 趾c h n t e r 删c 石蛆a n d 哦h 鲫r l y 橱血n 撕叩刊ma d 掣6 v es 鼯曲脚1 萨缸t h ej n t e g e r 巾i 秘lm 嘶璐曲倒o n 砌c hc 蚍 删叩龇脚o f j n t e g 唧耐s 砌1 5 d 觚盯l h a n f i | l l 枷s c h 雠 a c c 0 i d i n gt o 妇白c tt h a tb 1 0 c k - n 倒嫱曲ge r r o r 鲥击h 鹞m l i i d a ld i 蛐曲i n i o nw 蚰血 丘a c 虹伽l a l - p 妇l 椰hw j n d o w ，w ep t q o s e dap o l ”舢i a lm o d c lk l s e d 伍s t 丘廿咖| a l - p i x e l s e a 劬a 】鲥血i lo i l l y 6 伽碰d a l ep o i l l 忸撒e d t ob cc h e c k c d r a i h e r t b a n1 7 伽触p o i n 忸i n 丘鼬血m a l 巾i x df i ms e a r c h b a s c d d “l e d 锄a l y s i so ft h ec o f 他l a t i b e 押嘲t h em o 缸0 nv l o 璐蛐d & u ) so f i g h b o f i n gb 妣l 【s ，碡p m p o s e da 触b l o c km 。d ed e c i s i 印p m a c h 埘i hj o 衄b k k m 盯g i n g - 印“岫唱b a s e d a d a p 石v et b 威h o l d 卸d 白s td e c i s i 衄e q 喇，w h i c hc 孤l l i e w6 6 c 0 瑚拼妇缸o n 翰v j | 喀c 0 加p a r ! i n gt o 血酬蛳v cb l o c k n 1 0 d ec k d 由唔 b a s e d t h e 弛a l y s i so fs t 撕s 6 c a lc k 哦i c _ 【e r i 鲥c so ft h cd i s 岫b 嘶o ft h e 懈i d l l a l c 舾c i 既ba f t e rl i n e 盯p r c d i c 6 o fi m l g e 珥他h 矗v ed i s c 璐di h ec m e f i 衙a l l - 卿b l o c k s p i e d i 嘶i nd e t a i l ，觚dd e l o p e dt h e 。p 血l a lt h i 础o l df b fa l l 删b 1 0 c k sd e c i s i o 几1 k a 3 一 p r o p o s e da l l 础ob l o c k s 丘n d i n ga 1 9 0 f i 瑚c 锄e 街c i 如i l yl o w e f 吐地c o m p l 妇n 1 0 a do fh 2 “ 谢t l la l r s t g l i g i b l ee 侬埘l l l e i n i a g e q i l a h 够 m p a p 盯a i 跚i 硼i e daf e 笛i b ka n dc 伍c i e n tv l s i l u 咖蠡w 髓c hp f j 咖ym o d u l e 鲫f d i n gt ot h e 出y e l o p e da 1 9 0 r i i h 札w eh a v ed e 右玎e d 矗r c h i t e c n 聆o fh i 咖踊c i c y 蠡”t h c 铷d 盯c h 中1 1 1 ec 佑c i c yo f 圮础i t e c 缸ei sp f e s 蜘t e di nf o u o w i n g 船p e c 协：( 劲he 珩c i e n t p a 糟1 l e l 巾i p e l i i l i i n gp l d 鼹i n ga r c l l i t e c n l r ew i l h3 6h 三si sp l 珥c da c c o f d i n gt om e 芦o p o s e d 如对 b m a c 伽姐) i l l j l i gw i mn 懿i b l er a ma c 豁佃喀m i e ，t h ea h i t e c t u 坞c 龇p l o c c 鼹c 球i 瑚髓 q l i e n 砒2 5 d 毫j n 他a l d m em i d 盯5 0m h zc l o c k 脚c y ( 5 阳丘a m l t e d 1 6 1 6 、1 6 8 、8 1 6 、8 8c n a b k ，l ，4 p e ip f e c i s i o n ，a a 托h 均l l g eo f 【一1 6 ，1 6 1 ) e f 6 c i e n t l y 也m s f o m 呐哪嘶删o n 曲：h 聆i sd c s i g n e d dg 陀砒j n 驴w m e 址f b rd c b l o c 虹n g 丘腑i s a c h i e v e db yw j l l gc d g c - 丘l t e r i n g ) n i e 血吗w h i c he r i a b l 酷h i 曲d a t a 缸g h p 眦o v 盯1 7 0 km b ，s a t5 0 唧z 妇岫向皿佃珀岫6 盟6 a n dm k f i n 昏 a a l 鲥t l l | 趣锄d l i n i o 他印叩e dh e 聘l l a v eb c ms i l n u i 砒e d0 r 谢6 c dv i a 既p c 血榭i 咄 w h mm i sl h e s i si s 血l i s h e d ，t h cs y s t e i n 删t e l 船a n dp 研o f 珊瑚雠l i 昌1 w 唧l i s l i e d ， a n d t h 唧a ms 锄m a n y w o f l 【s k f t 协p e 触ag ) 嘲蛐p l d l 删增 k e y w o r 山：v i d 血骚h 2 6 4 伪v q m 砸彻蚓目m 嘶o n ；幽窖盯们n s 胁；i i c ；如b h 蚯n g 丘h e r ；a s i c ；删e l 巾i p e l j l a 此h 如n l 坤；s ) 瞬锄s t m c h l 埔 一a 4 一 主要缩写表 主要缩写表 3 g ：3 r dg e n e r a t i o nm o b i l ec o m m u n i c a t i o n s 3 g p p ：3 r dg e n e r a t i o np a n n e r s h i pp r o j e c t a m b a ：a d v 柚c e dm i c r o c o n 仃o u c fb u sa r c h i t e c t l l 坤 a s i c ；a p p l i c a t i o n - s p e c i f i ci n t e g 糟t e dc i f c u i t a s p ：0 d p e g 一4 ) a d v a n c e ds i r n p l ep f 0 6 l e a v c ：a d v a n c ev i d e oc o d i n g a ，d ：a n a l o g ，d i g i t a l b d m ：b l o c kd i s t o r t i o nm e 私u b m a ：b l o c km a t c h i n ga l g o d m m b s ：b l o c ks t n 甜h c a b a c ：c o n t e x t a d a p t i v eb i n a r ya f i t h m e t i cc o d i n g 第三代移动通讯 第三代合作伙伴计划 先进微控制器总线架构 专用集成电路 高级简易框架 高级视频编码 模拟，数字 块失真度量 块匹配算法 边界强度参数 上下文白适应二进制算术编码 c a v l c ：c o n t e x t a d a p t i v ev “a b l el e n g t hc o d i n g 上下文自适应变长编码 c i f ：c o 蚴o ni n t c 咖e d i a t ef o m a t普通媒体格式 c m o s ：c o m p l c m e n t a r ym e t a l o x i d e s e m i c o n d u c t o r互补性金属氧化物半导体 c p e t s ：c e n t e 卜p r c d i c t i o n 托de 盯l y t e 瑚i n a t i o nb 硒e ds e 盯c h i n g 基于搜索窗中心预测和中途截止的快速整像素块匹配算法 d b f ：d e b l o k i n gf i l t e f d c t ：d i s c r e t cc o s i n et 啪s f o 衄 d f t ：d i s c r c t ef o u r i e rt r 姐s f o 瑚 d p c m ：d i f f e m i a lp u l s ec o d em o d u l a t i d v b ；d i g i t a lv i d e ob r o a d c a s t i n g d v d ：d i g i t a lv i d e od i s c d w t ；d i s c f c t ew a v i c tt r 觚s f b 珊 去块效应滤波器 离散余弦变换 离散傅立叶变换 差分脉冲编码调制 数字视频广播 数字化视频光盘 离散小波变换 e b c o t ：e m b e d d c db l o c kc o d i n gw i t ho p t i 血z e dt 九l n c a t i o n 采用优化截断码的嵌入式块编码 f i f o ：f i r s ti nf i r s t0 u t f i r ：f i n i t ei m p u l s er e s p o n s e f l t ；f i x e d - l e n g t ht a b l c f m e ：f t a c t i o n a l p e lm o t i o ne s t i m t i o n f m o ：f l e x i b l em a c r o b l o c k0 r d e r i n g f p g a ：f i e l d p r o g r a 咖a b l eg a t ea r r a y f s ：f u l ls e c h f s s ：f o u rs t e ps e a r c h g o b ：g r o u do fb l o c k h d t v ：h i g hd e f i n i t i o nt v h f p s ：h i e r 盯c h i c a if r a c t i o n a lp e ls e 缸c ha l g o r i t h m h v s ：h u m a nv i s i o ns v s t c m 先进先出存储阵列 有限冲击响应 定长码表 小数像素运动预测 灵活宏块顺序 现场可编程门阵列 全搜索算法 四步搜索 宏块组 高清电视 小数像素分级搜索算法 人眼视觉系统 西北工业大学博士论文 i b c ：i n t e m a t i o n a lb r o a d c 酗t i n 窑c o n v e n t i o n i d c t i n v c r s ed i s c r e t ec o s i n et n n s f o m i e c ：i n t e m a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n i m e ：i n t e g e r p e lm o t i o ne 8 t i m a t i o n i m t - 2 0 0 0 ：i n t e m a t i o n a lm o b i l ct e l e c o 衄u n i c a t i o 眦一2 0 0 0 i p ：i n t e m c tp f o t o c o l i q ：i n v e r s eq u a n t i z a t i o n i s d n ： i s o ；i n t e m a t i o n a lo r g 柚i z a t i o nf b fs t 蛳d 卵出z a t i o n i t u ：i n t e m a t i o n a lt e l e c o 栅u n i c a t i o nu n i i t u - t ：i t u t e l e c o n 蚰u n i c a t i s t a n d 盯d i z a t i o ns e c t o r 国际广播协会 离散余弦反变换 国际电子委员会 整数像素运动预测 国际移动通信2 0 0 0 互联网协议 反量化 综合业务数字网 国际标准化组织 国际电信联盟 国际电信联盟一电讯标准部门 j b i g ：，o i tb i 1 e v e i l m a g ee x p e r t sg m u p 联合二值图像专家组 j p e g ；j o i n tp h o t o f 印h i ce x p e r t sg r o u p 联合图像专家组 j t c ：j o i n tt e c h n i c a lc o m m i n e e 联合技术委员会 j 、，t ：j o i n tv i d e ot e a m 联合视频小组 l o p ：l i n co f p i x e l 像素行 l t r fz l o n g t e 珊r e f e r e n c ef 俺m c 长期参考帧 l t p n ：l o n gt e r mp i c t l l r en u m 长期参考帧序号 m a e ：m e 柚a b s o l u t ce r r o r 平均绝对误差 m c ：m o t i o nc o m p e n s a t i 运动补偿 m e ：m o t i o ne s t i m a t i o n 运动估计 m v ：m o t i o nv e c t o r 运动矢量 m v d ：m o t i o nv e c t o rd i f 诧r e n c e 运动矢量差 m p e g ：m o v i n gp i c t l l r ce x p e r t sg r o u p移动图像专家组 m m s m u l l i m e d i am e s s a g es e r y i c e 多媒体信息服务 m s e ：m c s q u a e 肿r 均方差 n a l ；n e t w o r ka b s t r t i o nl a y e f 网络提取层 n t s c ：n a t i o n a l t c l e v i s i o ns y s t e m c o 珊m i t t c e 美国国家电视标准委员会 n t s s ：n e wt h es t e ps e a r c h 新三步搜索 o b m c ：o v c r l 印p e db l o c km o t i o nc o 唧e n s a t i o n 有重叠的块运动补偿 o s a ：o r t h o g o n a ls e 牡c ha 1 9 0 r i t h m 正交搜索算法 p a l ：p h a s ca l t e m a t i o nl i n e 逐行倒相 p d f ：p r o b a b i l i t yd e n s n yf c t i o n 概率暂度分布函数 p e ：p r o c e s s i n ge l e m e n t s处理单元 p o c ：p i c t l l r eo r d e rc o t 图像顺序计数 p s n r ：p c a ks i 弘a l t o n o i s er a t i o 峰值信噪比 p m f p s ；p o l v n o m i a lm o d e lb a s e df a s tf r a c t i 蛐a lp i x e ls e a ”h 基于多项式模型的快速小数像素搜索算法 p p f p s ：p 盯曲0 1 0 i dp ”d i c t i o nb a s e df m c t i o n a lp i x e lm o t i o ns e a f c h 基于抛物面预测的快速小数像素搜索算法 q c i f ：q u a r t e rc o m 脚ni n t e m e d i a t ef o 瑚a t1 ，4 普通媒体格式 一v 一 主要缩写表 q p ：q u 柚t i z a t i o np a 豫m e t e r r d o r a t ed i s t o n i o no 口t i m i z a t i o n r t p ：r e a l t i m et r 蛐s p o np r o t o c o l s a d ：s u mo f a b s o l u t ed i f 传n c e s a t d ；s u mo f a b s o l u t et 豫n s f o 瑚e dd i f f e r e n c e s d ：s t 柚d a f dd e f i n i t i 量化参数 码率失真优化 实时传输协议 绝对误差和 绝对误差变换和 标准清晰度 s d r a m ：s y n c h r o n i z e dd y n a m i cr 蚰d o ma c c e s s e dm e m o r y 动态同步随机访问存储器 s d t v ：s t a n d a r dd e f i n i t i o nt v s o c ：s y s t e m0 nc h i p s r a m ：s t a t i cr 蛐d o ma c c e s sm e m o r y s t r f ：s h o n t e mr c f c r e n c ef r a m e t s s ：t t i r e es t 印s e a r c h 标清电视 片上系统 静态随机访问存储器 短期参考帧 兰步搜索算法 u m h e i 叠霉o n s ：u 璐y m m e 仃i c a l c s sm u t i h e x a g o ns e a r c h 非对称十字型多层次六边形格点搜索算法 u m t s ：u n i v c r s a lm o b i l et e l e c o 姗u n i c a t i o ns y s t e m 通用移动通讯系统 u v l c ：u n i v e r s a lv a r i a b i e l e n g hc o d i n g 统一变长编码 v c e g ：( 1 t u - t ) v i d e oc o d i n ge x p e r t sg r o u p 视频编码专家组 v c l ：v i d e oc o d i n gl a y e r视频编码层 v h d l ：v e r y - h i g h s p e e di n t e g r a t e dc i f c u “h a r d w a 托d e s c r i p t i o nl a n g l i a g c 非常高速集成电路硬件描述语言 v l c ：v a r i a b l e - l e n g 也c o d i n g v l s l ：v e r y 一【耵g cs c a l ei i l t e g r a t e dc i r c u i t v o d ：v i d e oo nd e m a n d 变长编码 超大规模集成电路 视频点播 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即；研究生在棱攻读 学位期问论文工作的知识产权单位属予西北工业大学。学校有权保留并 向闺家有关部门或机构送交论文的复印件和电子版。本a 允许谂文溲蠢 阅和借阅。学搜可毁将本学位论文的全部或部分内容编多、有关数据痒遘 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注鞠作 者单位为西北工业大学。 保密论文待解密后适用本声明。 学位论文作者签名： 年月 目 指导教师签名： 年 西北工业大学 学位论文原创性声明 ， 秉承学校严谨的学风和优良的科学道德i 本人郑重声明：所呈交的 学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所 知，除文中已经注明引用的内容和致谢的地方外，本论文不包含任何其 他个人或集体已经公开发表或撰写过的研究成果，不包含本人或他人已 申请学位或其它用途使用过的成果。对本文的研究做出重要贡献的个人 和集体，均已在文中以明确方式标明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名 年月日 西北工业大学博士论文 第一章绪论 1 1 引言 视觉是人们获取信息最为重要的途径。据统计，人们通过视觉获取的 信息约占总信息量的7 0 【l 】。随着科学技术的进步，特别是计算机、数字 通信、多媒体和网络技术日新月异的发展，急剧膨胀的信息正深刻地改变 着人们的生活和工作方式。数字图像作为信息最主要的载体之一，已经深 入人们的日常生活。视频信息能给人以直观、生动的感受，且不易与其他 内容相混淆，因此图像视频的传输更受到人们广泛地关注，成为商业、军 事和学术界的一个研究热点【2 】小】。 近年来，光缆骨干网、v 9 0 调制解调器和电缆调制解调器的迅速普及 已大大提高了上网速率，基本满足了人们目前在m 网上浏览信息的需要， 目前令人深感欠缺的是全球化、个人化的可视信息交流【丌。而以i m t 2 0 0 0 标准为核心的第三代移动通信( 3 g ) 系统有效地改善了通信网的通信质量 和通信带宽，它以及第四代和后四代移动通信追求的主要目标之一也是实 现多媒体业务【8 】【9 1 。另外，超大规模集成电路( v l s i ) 技术和宽带数字网 技术的发展，更加使人们对数字视频业务如可视电话、会议电视、安全监 视、电视购物、高清晰度电视( h d t v ) 、视频点播( v o d ) 和d v d ( 数 字化视频光盘) 等应用产生了越来越浓厚的兴趣。第三代移动通信系统的 出现和邛网络的迅速发展，使得多媒体应用尤其是图像视频媒体的应用正 逐步成为下一代通信网络的主要业务之一f l o h l 6 】。但是，所有这些应用都要 面临一个重要的问题一一通信带宽或存储空间不足! 视频数据的压缩编码 正是解决这一问题的有效途径。 图像与视频编码技术的研究已有五十多年的历史，现在仍是最热门的 研究方向之一。2 0 0 3 年3 月，联合视频工作组j v t 正式提出了新一代视频 压缩编码标准h 2 6 4 a v c ，该标准是国际电信联盟i t u t 与国际标准化组 织国际电工技术委员会i s o i e c 两个国际标准化组织继m p e g 2 i 玉2 6 2 标 准之后，再一次共同提出的视频编码标准。h 2 6 4 a v c 标准支持从低带宽、 高误码率的无线移动视频通信到高码率、低延迟的视频广播及在线流媒体 等多种应用，因此日益受到业界的关注。为了实现更高的编码效率， 第一章绪论 h 2 6 4 a v c 标准采用了很多新的编码技术，如多参考帧、变尺寸块运动预 测、1 ，4 像素精度运动矢量、整数变换量化、基于内容的熵编码、新型帧内 预测、去块效应滤波器等【l 丌。在保证相同解码图像质量下，h 2 6 4 a v c 比 m p e g 4 和h 2 6 3 的编码性能至少提高一倍以上然而，与此同时， h 2 6 4 a v c 编解码的计算复杂度与其它视频压缩标准相比，高出了几倍甚 至十几倍【i 引，需要消耗大量的时间和系统资源，因此实时编解码器的实现 面临着巨大的挑战。需要寻找高效的优化算法，以减少巨大的计算复杂度 近年来微电子行业的发展极大地促进了视频应用a s i c 走向市场，符合 h 2 6 4 a v c 编码标准的视频压缩芯片具有广阔的市场前景。寻求高效、可 行的h 2 6 4 ，a v c 编码芯片系统架构亦成为a s i c 设计领域竞相角逐的热点。 本章内容包括五部分。首先，引言部分介绍了课题的研究背景；其次， 讨论了图像压缩编码基本原理、发展概况及其标准化进程；然后，介绍了 目前应用前景最广的新一代视频编码标准h 2 6 4 a v c 编码的新特性；接下 来，阐述了h 2 6 4 ，a v c 视频编码标准所面临的计算复杂度瓶颈和巨大的资 源耗费问题，对目前h 2 6 4 编码器优化和视频编码a s i c 的国内外研究现状 进行了探讨，并介绍了本文的研究方法与流程；最后，概括了论文的组织 结构和取得的主要研究成果 1 2 图像压缩编码的基本原理及发展概况 1 2 1 图像压缩编码的基本原理 图像压缩编码就是要以尽量少的比特数表征图像，同时保持重建图像 的质量，使之符合特定场合的要求。图像的数据量通常非常庞大，难以传 输和存储，因此极大的制约了图像通信的发展。随着现代信息社会人们对 通信业务要求的不断增长，图像通信与通信网容量的矛盾日益突出。特别 是随着数字图像通信的发展，庞大的图像数据量已成为图像通信发展中的 瓶颈问题1 1 9 1 。所以进行图像压缩编码势在必行。另一方面图像数据压缩亦 存在着可行性。因为图像的信宿是人眼，而人眼的三个视觉特性为图像压 缩提供了可能【2 0 】： 1 亮度感觉：即人眼辨别亮度差的能力，是反映人眼视觉特性的一个重 要方面。将亮度为n4 ，的目标置于亮度为i 的背景中，其中4 ，为可分辨 的最小亮度差，或称视觉阈值。根据韦伯定律( w e b e r sl a w ) ，亮度i 西北工业大学博士论文 在一个相当宽的范围内，可察觉的最小相对亮度变化4 船近似为常数。但 在亮度很亮或很暗时，4 肼迅速上升。这表明亮度感觉依赖于目标背景的 亮度比，而不是目标绝对亮度差。由此，重现亮度时，其亮度不必等于原 摄取景象实际亮度，只要保持二者对比度及亮度差别级数相同，就能给人 以真实的感觉。 。 2 空间掩盖效应：所谓掩盖效应是指一个视觉刺激加于另一个可视视觉 刺激上产生的效果。与马赫带效应不同，空间掩盖效应产生的效果会使图 像中均匀背景上施加的随机白噪声比高对比区域更可见。 3 视觉带通特性与图像边缘敏感度：由于神经系统作用，人眼视觉从空 间频率上讲具有带通特性。对于图像边缘，人眼对水平和垂直边缘比对角 线边缘更敏感，即视觉敏感度具有方向性。 另外，从信息处理的角度来看，图像自身也提供了可压缩的可能性： 在图像的空间域，相邻像素之间具有一定的相关性，存在图像的空间 冗余度。 ， 对于序列图像，在时间域上由于图像帧与帧之间存在着相关性，所以 还存在时间冗余度 图像编码的符号还存在着符号冗余度。 以上这些可能性中，最关键的是人眼视觉特性，它允许图像有一定的 失真，而仍能保持所要求的图像主观质量。所以图像的压缩编码主要关心 的是有限失真度的图像压缩编码。综上所述，图像压缩编码就是要通过充 分利用图像本身固有的统计特性和人眼的视觉特性，从空间域、时间域和 符号域三个途径来减少图像信息的冗余度并获满意的主观质量，其基本原 理框图如图1 1 所示。 图1 1 图像压缩编码基本原理框图 像素预测 像素预测的目的是要通过预测改变图像的数据特性，去除图像空间域 和时间域冗余度，使其更利于进行压缩编码。例如，图像数据在相邻像素 间具有高度相关性，其差值分布接近于拉普拉斯分布，标准差远小于原始 一3 一 第一章绪论 图像的标准差。因此，对图像差值信号量化后进行变长符号编码所需要的 比特数必然小于直接对原始图像逐点量化后进行变长符号编码所需比特 数，从而达到了数据压缩的目的。 变换编码 变换编码不是直接对空间域图像信号编码，而是首先将空间域图像信 号映射到另一个正交矢量空间( 变换域或频域) ，产生一系列变换系数， 进行编码处理。图像信号进行正交变换之后，在频域描述图像的系数出现 了大量的零和近似于零的系数，为压缩数据提供了可能。映射变换因其完 成对图像信息的恰当的分解与表征，决定了量化编码的对象，是图像编码 的核心部分。强调对图像信息的有效表征进行编码正是近代图像编码技术 的根本所在，它已成为当前图像编码研究的主要内容【2 量化器 映射变换实现了对图像信号的恰当表征，但要完成压缩，即用有限数 目的比特数来表示映射交换后的数据还需要进行量化量化的原始概念来 自于模拟量到数字量的转化，即a d 转换，也就是通过分层把连续的模拟 量离散化，以利于数字化处理和非均匀( 非线性) 量化。量化必然引进误 差，而且这些误差在重建图像时不可恢复。因此量化是整个图像编码过程 中主要引入失真的地方。但由于人眼的视觉特性允许重建图像有一定失 真，从而使得能够保持一定重建图像质量的量化成为可能。量化正是根据 这一特性实现对映射变换后数据的有限比特表示。一般来讲，量化级数越 多，量化越细，失真就越小。但如果根据不同的映射变换特性，充分考虑 人眼的视觉特性，正确的设计量化器，同样的量化级数，也可以实现量化 失真减小的目的。反之就可能引起较大的误差，造成图像质量下降。 符号编码 量化后的数据经过二进制编码最终生成编码比特输出，即对每个量化 级数应指定一个专门的码字，其目的就是去除符号的冗余度。根据香农 ( s h a n n o n ) 信息论1 2 2 1 ，信源所占有的平均信息量( 熵) 就是进行无失真 编码的理论极限。所以熵编码的任务就是要寻求一种编码方法，以尽可能 地接近这一极限，从而最大限度地去除符号冗余度。 上面讨论了图像压缩编码的基本原理，由于图像压缩是有限失真压缩 编码，所以还存在一个对重建图像质量评价的问题。对重建图像的评价可 4 西北工业大学博士论文 分为主观评价和客观评价两种。目前，由于许多现象尚不能给出精确的数 学模型，所以主观评价是必须的。为此，国际上对重建图像规定了五级质 量尺度：优秀、好、一般、差和非常差。而客观评价标准通常采用峰值信 噪比( p e a ks i g n a l n o i s er a t i o ，p s n r ) ，其定义如下： 雕凇= l o l o g l 。_ 菩二一 ( 1 1 ) 击( 而一南) 2 m x n 葛乞” ” 式中表示原始图像的像素亮度值，毛表示重建图像对应像素亮度值，m 表示图像的宽度和高度。 1 2 2 图像压缩编码发展概况及其标准化过程 视频编码技术的标准化是实现产业化的前提和基础。图像压缩编码从 1 9 4 8 年电视信号数字化提出以来，已有五十多年的历史，不仅在理论研究 上取得了重大进步，而且在实际应用中也获得了很大成果。二十世纪九十 年代以来，图像编码技术得到了迅速发展和广泛应用，并且日臻成熟，其 标志就是多个关于图像编码的国际标准的制定【2 3 1 。这些标准和建议的制定 极大地推动了视频通信技术的实用化和产业化。典型的有国际标准化组织， 国际电工技术委员会第一联合技术组i s o i e cj t c l 关于静止图像的编码标 准j p e g j p e g 2 0 0 0 ，关于活动图像的编码标准m p e g 系列，以及国际电信 联盟i t u 提出的h 2 6 x 系列视频压缩标准。从2 0 0 1 年开始，i s o 和i t u 组建了联合视频工作组( j v t ，j o i mv i d e ot e a m ) 并制定了一套新的视频 编码标准h 2 6 4 。这些标准采用的图像编码算法融合了各种性能优良的图像 编码方法，代表了目前图像编码的发展水平。各种图像视频压缩标准面向 不同应用，针对不同场合做出不同的规定。表1 1 给出了近年制定的图像 视频压缩编码标准。 表1 1 近年制定的图像视频压缩编码标准 标准发布日期标题 应用场合 p r o g 佗s s i v eb i j e v e lk m g ec o n 甲r 鼯s i o n 传真等j b i g 鲫 1 9 9 1 9 用于二值图像的累进压缩编码 d i g i 诅lc 驴m s i dc 0 d i n go f 数字照相、图像视频 j p 删 1 9 9 2 1 0c o n 缅u o u s 栅1 e 蛳l li m g e 连续色调静态图像的数字压缩编码 编辑等 j p e g 2 0 0 0 j p e g 2 0 0 0i m a g ec o d m gs y s t e m 口网、移动通信、传 仁q 2 0 0 0 1 2 下一代静态图像编码标准真、电子商务等 一5 一 第一章绪论 c d i n go f m o v i l l gp i c t i | i 鄂柚da 占s o c i 舢e d 光盘存储、家用 e g 1 【2 刀1 9 9 2 ，l la u m o f o r d i 咖i s t o 叩m e d i a 面向数字存储的运动图像及其伴音编码 视频、视频监控等 g 耐cc 0 d i n go f m o v i i i gp i c n 珊s 柚d数字电视、d 、 m p e g - 2 口q1 9 9 4 1 la s s o c i a t e da u d i oh l f b n n a 6 彻 、高清晰度电视、卫星 运动图像及其伴音的通用编码 电视等 c o d 妯go f a i l d i o - v i s u a lo b j e c l sp 网、交互式视频、 e g h 【2 9 】1 9 9 9 5 音频视频对象的通用编码 移动通信、专业视频等 v i d c o d f o fa u d i ov i 鲫吼ls e r “c 船砒 i s d n ( 综合业务数字 h 2 6 l 【柚j1 9 9 0 1 2p “6 4 k b i 姚 px 6 4k b i t 幽的音视频业务的编解码 网) 视频会议 h 2 6 3 1 9 9 6 3 v i d c o d 吨f o r l o w b h r 踟 桌面可视电话、移动视 h 2 6 3 + l ”1 9 9 8 1 c o 】m n m i i i c 锄i o n h 2 6 3 + + j2 0 0 0 ，1 1 低比特率通信的视频编码 频等 h 2 6 4a d v a l mv i d e oc 0 d