（计算机科学与技术专业论文）实时h264关键编码算法研究与实现.pdf

国防科学技术大学研究生院博士学位论文 摘要 h 2 6 4 是由i t u t v c e g 和i s o f l e c m p e g 联合推出的新一代国际视频编码标 准，它采用的依然是基于块的运动补偿和变换的混合编码方案，但和其它视频编 码标准相比，它采用了一种全新的近似d c t 变换技术整数变换技术以避免以 前标准中使用d c t 变换所带来的反变换匹配误差，采用帧内预测编码以提高帧内 及帧间编码效率，帧间采用灵活多变的不同块大小来准确描述物体的实际运动情 况，且使用了高精度的分数像素运动估计与补偿以及多参考帧选择技术来增加预 测的准确度，采用自适应滤波器以去除图像的边界效应，采用基于上下文的二进 制编码技术以缩减编码所需的位数等等，这些新技术的综合运用使得h 2 6 4 编码 器和以前的视频编码标准相比在同等重建图像质量下能够节约大约5 0 的码率， 但h 2 6 4 编码器所使用的新技术也直接导致了其实现的高复杂性，从而限制了其 在实时领域里的应用，因此，如何以较低的实现复杂度获得较高的编码效率就成 了h 2 6 4 视频编码技术走向实时应用的一个重要研究课题。 为了追求高效率的编码效果，h 2 6 4 所采用的新的编码技术中使用了大量复杂 度极高的编码算法，这些算法的使用直接制约着h 2 6 4 编码器在实时视频编码领 域里的应用，因此，必须寻找相应的快速实现算法来替代h 2 6 4 中那些复杂度极 高的算法；同时为了进一步提高h 2 6 4 的编码速度，除了对算法进行优化以外， 还可以对编码器中反复使用的一些功能模块根据平台的特点进行指令级的优化， 此外，还可以根据实际需要对整个h 2 6 4 编码器的程序结构和数据结构进行适当 的优化，本文依据这一思路对h 2 6 4 编码器中所使用的部分关键算法进行了比较 深入的研究并结合平台特点进行了实现，取得了较好的加速效果，主要创新点体 现在： 从理论上解决了对h 2 6 4 中的零块进行精确检测的问题。针对h 2 6 4 中整 数变换与量化的特点对h 2 6 4 中的零块判决技术进行了深入研究，推导出 了h 2 6 4 中的最佳零块判决阈值计算公式。 提出了三个运动搜索模板以及两种快速整像素运动估计算法。针对运动估 计的复杂性，提出可以在整像素运动估计过程使用三角形模板、线性模板 或简化正方形模板对大运动矢量进行粗定位，并在此基础上提出了两种快 速整像素运动估计算法基于菱形一三角形模板的快速运动估计算法 d t s ( d i a m o n dt r i a n g l es e a r c h ) 和基于菱形一简化正方形模板的快速运 动估计算法d s s s ( d i a m o n ds i m p l i f i e ds q u a r es e a r c h ) 。 提出了一种快速的多参考帧选择算法。针对多参考帧选择算法的复杂性， 根据运动强度和参考帧率失真优化值所表现出来的单调性提出的快速多 第i 页 国防科学技术大学研究生院博士学位论文 参考帧选择算法可以有效地减少参考帧判决数目。 提出了一种利用新的码字结构进行变长编码方案商一余数编码方案， 使用该编码方案可以有效减少h 2 6 4 视频编码的长度。 作者最后还把本人提出的上述有关算法综合运用到h 2 6 4 编码器中，在参考 软件j m 7 6 框架下对程序与数据结构进行了适当优化，并对一些关键模块如整像 素运动估计中求残差的绝对误差和s a d ，分数像素运动估计中求残差的h a d a m a r d 变换及对变换后的残差矩阵求取绝对值和s a t d ，整数变换及其逆变换，亚像素内 插等模块利用p c 机的多媒体指令系统进行指令级优化，同时对编码器进行总体优 化，取得了比较满意的加速效果，实验结果表明：使用了总体结构优化、算法优 化和平台优化之后，基本可以在通用微处理器平台p c 上对q c i f 格式的视频序列 进行实时h 2 6 4 编码。 主题词：h 2 6 4 ，实时编码，运动估计，模式选择，多参考帧选择 第i i 页 国防科学技术大学研究生院博士学位论文 a b s t r a c t h 2 6 4i st h en e w e s ti n t e r n a t i o n a lv i d e o v i d e ot e a mo fi t u tv c e ga n di s o i e c c o d i n gs t a n d a r dp r o p o s e db yt h ej o i n t m p e g h 2 6 4a l s ou s e sh y b r i dv i d e o c o d i n gs c h e m eb a s e do nm o t i o nc o m p e n s a t i o na n dt r a n s f o r l t l i no r d e rt oa v o i dt h e m a t c h i n ge r r o ri ni d c tc a u s e db vd c t i np r i o rv i d e os t a n d a r d s h 2 6 4u t i l i z e san e w a p p r o x i m a t ed c tt r a n s f o r m - - i n t e g e rt r a n s f o r m h 2 6 4u s e si n t r ap r e d i c t i o nt op r o m o t e t h ei n t r ae n c o d i n ge f f i c i e n c y i ta d o p t sv a r i a b l eb l o c ks i z e s 、h i g he x a c tf r a c t i o n a lm o t i o n e s t i m a t i o na n dc o m p e n s a t i o na n dm u l t i r e f e r e n c ef r a m es e l e c t i o nt od e s c r i b ee x a c t l yt l l e a c t a a lm o t i o nv e c t o ro fo b j e c t s i no r d e rt oe l i m i n a t et h em a r g i n a le f f e c t h ，2 6 4u s e s a d a p t i v ei n l o o pd e b l o c k i n gf i l t e r h 2 6 4u s e sc a b a c t od e c r e a s et h eb i t sn e e d e df o r e n c o d i n ga n ds oo n h 2 6 4c a r ld e c r e a s ea b o u t5 0 p e r c e n to fb i t r a t e su n d e rt h es a m e r e c o n s t r u c t e dp i c t u r eq u a l i t yc o m p a r i n gw i t l lp r i o rs t a n d a r d sb yu s i n ga b o v ea d v a n c ei n v i d e o c o d i n gt e c h n o l o g y b u tt h eh i g he f f i c i e n c y l e a d st o h i g hc o m p l e x i t y o f i m p l e m e n t a t i o nd i r e c t l ya n dt h i sw i l l l i m i tt h ea p p l i c a t i o no fh 2 6 4i nr e a lt i m ev i d e o c o d i n g s oi ti sav e r yi m p o r t a n tt a s kt oi m p l e m e n tt h eh 2 6 4c o d e rw i t hl o wh a r d w a r e c o m p l e x i t ya n dh i g he n c o d i n ge f f i c i e n c y i no r d e rt oa c h i e v eh i g he n c o d i n ge f f i c i e n c y h 2 6 4u s e sag r e a td e a lo fe n c o d i n g a l g o r i t h m sw i t hh i g hc o m p l e x i t y t h e s ec o m p l e x i t ya l g o r i t h m sw i l ll i m i tt h ea p p l i c a t i o n o fh 2 6 4i nr e a lt i m ev i d e oc o d i n g s ow em u s tf i n dc o r r e s p o n d i n gf a s ta l g o f i t h m st o r e p l a c et h o s ew i t hh i g hc o m p l e x i t yi nh 2 6 4r e f e r e n c es o f t w a r e i n 血em e a nt i m e i n o r d e rt oa c c e l e r a t eh 2 6 4e n c o d e r t h o s em o d u l e su s e dr e p e a t e d l yi nh 2 6 4s h o u l db e o p t i m i z e di nm u l t i m e d i ai n s t r u c t i o n m o r e o v e rt h es t r u c t u r eo fp r o g r a ma n dd a t af o r h 2 6 4e n c o d e rc a nb em o d i f i e da c c o r d i n gt ot h ea c t u a ln e e d s a c c o r d i n gt oa b o v ei d e a s t h i sd i s s e r t a t i o ng i v e sd e e pr e s e a r c ho ns o m ek e ya l g o r i t h m sa n dt h ei m p l e m e n t a t i o no f h 2 6 4e n c o d e ru n d e rt h er e f e r e n e es o f t w a r ej m 7 6i np c 、v i t l ll l i 吐s p e e da n de m c i e n c y t h em a i ne r e a t i v ew o r k sa r ea sf o l l o w s s o l v e dt h ee x a c td e t e c t i o no fz e r o b l o c kf o rh 2 6 4t h e o r e t i c a l l y a c c o r d i n gt ot h e c h a r a c t e r i s t i co fi n t e g e rt r a n s f o r l ni nh 2 6 4 ，t h i sd i s s e r t a t i o ng i v e sd e e pr e s e a r c ho n t h ez e r o b l o c kd e t e c t i o nf o ri t ，a n dd e d u c t st h ef o r m u l ao ft h r e s h o l df o rz e r o b l o c k d e t e c t i o ni nh 2 6 4 p r o p o s e dt h r e em o t i o ns e a r c hp a r e r n sa n dt w of a s ti n g e g e rp i x e lm o t i o ne s t i m a t i o n i no r d e rt od e c r e a s et h ec o m p l e x i t yo fm o t i o ne s t i m a t i o n , 廿1 i sd i s s e r t a t i o np r o p o s e d t h a tt p l po rs s pc a nb eu s e di n 西a r s el o c a t i o nf o rb i gm o t i o nv e c t o r b a s e do n t h e s es e a r c hp a t t e r n s t w of a s tm o t i o ne s t i m a t i o na l g o r i t h m sw e r ep r o p o s e d _ o n ei s t h ef a s tm o t i o ne s t i m a t i o na l g o r i t h mb a s e do nd i a m o n da n dt r i a n g l es e a r c hp a t t e r n s d t s ( d i a m o n dt r i a n g l es e a r c h ) a n dt h eo t h e ri st h ef a s tm o t i o ne s t i m a t i o n a l g o r i t h mb a s e do nd i a m o n da n ds i m p l i f i e ds q u a r es e a r c hp a t t e r n sd s s s ( d i a m o n d s i m p l i f i e ds q u a r es e a r c h 、 p r o p o s e daf a s t m u l t i f r a m es e l e c t i o n a l g o r i t h m i no r d e rt od e c r e a s et h e 第i i i 页 国防科学技术大学研究生院博_ 上学位论文 c o m p l e x i t yo fm u l t i - f r a m es e l e c t i o n ，af a s tm u l t i f r a m es e l e c t i o na l g o r i t h mb a s e d o nm o t i o nv e c t o ra n dt h er d om o n o t i co ft h em u l t i - f r a m ew a sp r o p o s e dt o d e c r e a s et h es u mo f r e f e r e n c e f r a m e sd e c i s i o n p r o p o s e dan e wv a r i a b l el e n g t hc o d i n gs c h e m e - - - q u o t i e n t - r e s i d u a lc o d i n g t h i s c o d i n gs c h e m ec a l ld e c r e a s et h eh 2 6 4e n c o d i n gl e n g t ho f v i d e oe f f i c i e n t l y t h ea b o v em e n t i o n e da l g o r i t h m sw e r ee m b e d d e di nt h eh 2 6 4r e f e r e n c es o f t w a r e j m 7 6a n dt h es t r u c t u r eo fp r o g r a ma n dd a t aa r ea l s oo p t i m i z e dp r o p e r l ya c c o r d i n gt o a c t u a ln e e d s s o m ek e ym o d u l e ss u c ha sc o m p u t i n gt h es u mo f a b s o l u t ed i f f e r e n c es a d i ni n t e g e rp i x e lm o t i o ne s t i m a t i o n ，c o m p u t i n gt h eh a d a m a r dt r a n s f o r mo fd i f f e r e n c e m a t r i xa n dc o m p u t i n gt h es u mo fa b s o l u t ed i f f e r e n c es a t d ，i n t e g e rt r a n s f o r ma n di t s i n v e r s et r a n s f o r m ，s u b - p e li n t e r p o l a t i o nw e r eo p t i m i z e dw i t hm u l t i m e d i ai n s t r u c t i o n so f p c ，i nt h ee n dt h eh 2 6 4e n c o d e rw a so p t i m i z e dw h o l l ya n di ta c h i e v e ds a t i s f i e de f f e c t s t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h eh 2 6 4e n c o d e rw i t hw h o l es t r u c t u r eo p t i m i z a t i o n ， a l g o r i t h mo p t i m i z a t i o na n dp l a t f o r mo p t i m i z a t i o nc a ne n c o d er e a lt i m eq c i fv i d e o s e r i e so ng e n e r a lp cp l a t f o r m k e yw o r d s ：h 2 6 4 ，r e a lt i m ee n c o d i n g ，m o t i o ne s t i m a t i o n ，m o d ed e c i s i o n m u l t i - f r a m es e l e c t i o n 第i v 页 国防科学技术大学研究生院博士学位论文 表目录 表1 i图像视频编码方法的特点 表1 2 图像视频编码方法的分类 表1 3 电视图像质量评价尺度 ：； ：； 7 表3 1h 2 6 4 编码器中亮度系数量化步长。3 2 表3 2a l d y o 序列的实验结果 表3 3c o n t a i n e r 序列的实验结果 3 6 3 7 表3 4s t e f a n 序列的实验结果3 7 表3 5d s 、s d s 与d s s 在零矢量周围的最少搜索点数比较。4 4 表3 6f o r e m a n ( 3 0 f f s 1 0 0 f r a m e s ) 序列的实验结果4 7 表3 7a k i y o ( 3 0 f p s 1 5 0 f r a m e s ) 序列的实验结果4 7 表3 8m o b i l e ( 3 0 f p s 2 5 0 f r a m e s ) 序列的实验结果4 8 表3 9c o a s t g i l a r d ( 3 0 f i ) s 2 9 9 f r a m e s ) 序列的实验结果4 8 表3 1 0 在初始搜索中心附近d s ，d t s 和d s s s 所需的最小搜索点数的比较5 2 表3 1 1 每个宏块所需的平均搜索点数5 4 表3 1 2 量化参数q p = 2 0 时的测试结果。6 0 表3 1 3 量化参数q p = 3 0 时的测试结果6 0 表3 1 4 量化参数q p = 4 0 时的测试结果。6 0 表4 1 量化参数q p = 2 0 时的测试结果7 2 表4 2 量化参数q p = 3 0 时的测试结果7 2 表4 3 量化参数q p = 4 0 时的测试结果7 2 表4 4 几个测试序列的各种模式所占比例7 4 表4 5 量化参数q p - - 2 0 时的测试结果。7 8 表4 6 量化参数q p - 3 0 时的测试结果。7 8 表4 7 量化参数q p = 4 0 时的测试结果。7 8 表5 1 参考帧使用情况统计8 3 表5 2a k i y o 序列的测试结果。8 8 表5 3f o r e m a n 序列的测试结果8 8 表5 4m o b i l e 序列的测试结果8 8 表5 5c o a s t g u a r d 序列的测试结果8 8 表5 6s t e f a n 序列的测试结果8 8 表6 1 主图像类型标识语法元与其数值之间映射关系9 l 表6 2e x p g o l o m b 码字与编码数值匹配关系9 2 第v 页 国防科学技术大学研究生院博士学位论文 表6 3 表6 4 表6 5 表6 6 表7 1 表7 2 表7 3 表7 4 表7 5 表7 6 表7 7 表7 8 表7 9 表7 1 0 表7 1 1 e x p g o l o m b 码字格式与编码数值范围的关系9 2 一元二值化语法元素值与比特流对应关系9 5 自适应u v l c 码默认配置构成9 7 不同参数下的商余数码构成9 8 通用处理器中的多媒体扩展1 0 2 量化参数q p = 2 0 时的测试结果111 量化参数q p = 3 0 时的测试结果l1 1 量化参数q p = 4 0 时的测试结果l1 l a k i y o 的测试结果11 2 f o r e m a n 的测试结果11 2 c o a s t g u a r d 的测试结果1 1 3 使用算法优化后平均每帧所需的编码时间( s ) 。1 1 3 a k i y o 的测试结果11 4 f o r e m a n 的测试结果1 1 4 c o a s t g u a r d 的测试结果11 4 第v i 页 国防科学技术大学研究生院博士学位论文 图目录 图2 1h 2 6 4 的编码器分层结构图 图2 2h 2 6 4 视频编码框图 图2 3 包含i 帧、p 帧和b 帧的图像序列 图2 4 四个档次之问的关系 图2 5 图2 6 图3 1 图3 2 图3 3 图3 4 图3 5 图3 6 图3 7 图3 8 图3 9 i n t r a 4 x 4 模式预测方向2 0 块模式的划分2 1 全搜索图示2 6 三步法t s s 搜索过程图示2 7 新三步法n t s s 搜索图示2 8 最优点分布规律2 9 大菱形模板l d s p 及小菱形模板s d s p 2 9 菱形搜索过程图示。3 0 a k i y o 序列主观图像质量比较( q p = 3 2 ) s t e f a n 序列主观图像质量比较( q p - 3 2 ) 以( o ，o ) 为搜索中心使用全搜索算法得到的运动矢量分布图 3 8 3 8 4 1 图3 1 0 以相邻块的中值预测点为搜索中心使用全搜索算法得到的运动矢量分布 图z 1 1 图3 11 块的相邻关系4 2 图3 1 2d t s 算法中所使用的两种搜索模板。4 3 图3 1 3 用d s 算法搜索到( - - 4 ，- - 2 ) 的可能路径，共2 4 个点4 4 图3 1 4 用s d s 算法搜索到( - - 4 ，- - 2 ) 的可能路径，共2 2 个点 图3 1 5 用d t s 算法搜索到( - - 4 ，- - 2 ) 的可能路径，共1 7 个点 4 4 4 5 图3 1 6d s s s 算法中所使用的4 种运动搜索模板4 9 图3 1 7d s s s 算法流程图5 0 图3 1 8d t s 和d s s s 搜索到( - - 4 ，- - 2 ) 运动矢量的可能路径5 3 图3 1 94 种不同视频序列的r d 性能曲线5 5 图3 2 0h 2 6 4 中的1 2 和1 4 像素精度全搜索示意图。5 6 图4 1i n t r a 4 x 4 模式中像素点分布6 5 图4 2i n t r a 4 x 4 模式预测方向6 5 图4 - 3i n t r a l 6 x 1 6 预测模式6 5 图4 4i n t r a 4 x 4 亮度块的方向掩码计算示意图6 7 图4 5i n t r a l 6 x 1 6 亮度块垂直与水平方向掩码计算示意图7 0 第v i i 页 坫坫掩 国防科学技术大学研究生院博士学位论文 图5 1 不同模式下的多参考帧选择示意图( 全搜索) 图6 1 帧片划分示意 图6 2 z i g z a g 扫描 图6 3 算术编码器框图 图6 4 变长编码和算术编码 图6 5 码长减少百分比与量化参数关系 图6 6 亮度信噪比与量化参数关系 图6 7 码长减少百分比与量化参数关系。 图6 8 亮度信噪比与量化参数关系。 8 1 9 0 9 3 9 4 9 5 9 9 9 9 9 9 。1 0 0 第v i i i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：塞韭! ：2 i ! 羞链缉盟篡洼盈巍生塞墨 学位论文作者签名日期：细g 年产月么日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目 学位论文作者 作者指导教师 国防科学技术大学研究生院博士学位论文 第一章绪论 随着科学和技术的飞速发展，人类早已经步入了信息化时代，在信息化社会 中人们对信息的需求与利用表现出了前所未有的渴望，相对于语言、文字等较抽 象的信息表示形式而言，图形图像等视觉信息具有直观、生动、通用性强、易于 理解和接受等诸多特点。事实上，视觉是人们获取信息的最为重要的途径，外部 世界的信息大部分是通过视觉感知的，据统计，人们从外部获取的信息约有6 0 7 5 来自视觉系统“儿”。因此，在信息化社会中必然要大力发展与视频信息密切相 关的加工处理、传输等一系列先进的技术，以满足人们日益增长的对视觉信息的 需求，而对视觉信息进行加工处理首先就涉及到如何对视频信号进行编码的问题， 因此，视频编码技术一直是视频信号处理领域里的一个热点问题，高效率的视频 编码技术将会给多媒体信息处理带来革命性的变化，也必将为满足人们对丰富多 彩的视频信息的需求提供更加便利的条件，因此高效率的视频编码一直是人们孜 孜以求的目标。 源视频信号包含着巨大的信息量，以c i f ( c o m m o ni n t e r m e d i a t ef o r m a t ) 格 式的视频信号为例，假如不经过任何压缩，以每秒3 0 帧的速度来进行传输的话， 源视频信号的传送码率达到了7 0 m b p s ( 3 0 x 3 5 2 x 2 8 8 3 8 = 7 2 9 9 0 7 2 0 ) 。现有 的许多宽带通信网络中，由于要传输多路信号，单路的信道带宽并不是固定不变 的，尤其是要在p s t n ( 公用电话网) 和移动通信网等窄带通信网络中传输数字视 频信号，必须对源视频信号进行大幅度的压缩，否则是不可能传输的。同样地， 如果上述源视频信号不经过压缩就进行存储的话，那么一张容量为7 0 0 m b 的普通 光盘能存储的节目仅为7 0 0 8 7 0 = 8 0 秒，可见，高效率的视频压缩编码技术对 突破网络带宽限制和降低存储成本具有非常重要的意义。 1 1 1 概述 1 1 视频编码技术的发展 视频编码的一个主要目的是在保证一定重构图像质量的前提下以尽量少的比 特数来表征视频信息。传统的压缩编码是以香农信息论为出发点的，采用统计概 率模型来描述信源。编码实体是像素或像素块，以显示器件为图像视频系统的最 后环节。这种基于数据统计的、以消除视频数据相关冗余为目的的第一代视频编 码技术获得了巨大成功。j p e g ，m p e g 1 ，m p e g 2 ，h 2 6 1 以及h 2 6 3 等压缩编 码国际标准的制定及其对多媒体产业的巨大影响就是有力的证明。这些国际标准 主要采用了第一代视频编码技术，如熵编码、变换编码、预测编码以及运动补偿 第l 页 国防科学技术大学研究生院博士学位论文 等。 虽然表示图像和视频信息需要大量的数据，但这些数据往往是高度相关的， 这些相关会引起信息冗余，因此可以通过去除冗余信息来实现对图像视频数据的 压缩。静态图像压缩的主要目标是保证可接受的重建图像质量前提下，尽量去除 图像本身存在的空间冗余信息。而视频信号的压缩是在去除空间冗余的同时，还 可通过去除时间冗余以达到较高的压缩比。 除了时间和空间冗余外，在一般的图像视频数据中还存在着其它一些冗余信 剧2 1 ，主要有： 1 1 1 1 信息熵冗余 也称编码冗余，由信息论的有关原理可知，为表示图像数据的一个像素点， 只要按其信息熵的大小分配相应的比特数即可。然而对于实际图像数据的每个像 素，很难得到它的信息熵，在数字化一幅图像时，对每个像素用相同的比特数表 示必然存在冗余。信息熵冗余、空间冗余和时间冗余统称为统计冗余，因此它们 都决定于图像数据的统计特性。 1 1 1 2 结构冗余 在某些图像的部分区域内存在着非常强的纹理结构，或是图像各部分之间存 在某种关系，例如自相似性等，这些都是结构冗余的表现。 1 1 1 3 知识冗余 在有些图像中包含的信息与某些先验的基础知识有关，例如在头肩序列中， 头、眼睛、鼻子和嘴巴的相对位置等信息就是一些常识；这种冗余就是知识冗余。 1 1 1 4 视觉冗余 大多数情况下，重建图像的最终接收者是人的眼睛。人类的视觉系统是世界 上最好的图像处理系统，但它远远不是完美的，因此可以利用人类视觉系统的特 点来取得较高的压缩比。人类的视觉系统对于图像的注意是非均匀的、非线性的， 并不是对于图像中的任何变化都能感知的，例如图像系统的量化误差引起的图像 变化在一定范围内是不能被人眼所察觉的。因此，如果编码方案能利用人类视觉 系统的一些特点，是可以提高压缩比的。 上述各种形式的冗余是压缩图像视频数据的出发点。图像与视频编码方法就 是要尽可能的消除这些冗余信息，以降低表示图像与视频数据所需的数据量。 综上所述，图像视频编码的目的就是在保证一定的重构图像质量前提下，以 尽可能少的比特数来表征视频信息。 图像编码的方法很多，可以有多种分类方式，最常用的一种是将其分为无损 编码和有损编码，无损编码能够精确重建原始图像，而有损编码则会引入失真， 第2 页 国防科学技术大学研究生院博士学位论文 只是要尽量做到使失真不明显。 一个具体的压缩编码方法常常需要用多种特点来表征， 表1 1 列出了各种不同图像编码方法的特点。 表1 1 图像视频编码方法的特点 特点描述 无损无失真准确恢复原始数据 有损有失真 对称编解码时间几乎相等 非对称编码时间比解码时间长得多 实时编解码时间延迟不应超过5 0 m s 帧内独立完成帧编码 帧间参考前( 后) 面的帧对当前帧进行编码，并考虑帧间时间冗余 1 1 2 常用图像视频编码方法的分类 常用的图像视频编码分类及实例如表1 2 所示。 表1 2 图像视频编码方法的分类 编码方法实例 算术编码 熵编码 霍夫曼编码 游程编码 差分脉码调制 离散余弦交换 离散小波变换 源编码 傅立叶变换 迭代函数系统 运动补偿预测 分形图像压缩 h 2 6 1 h 2 6 3 混合编码 j p e g m p e g 视频编码 小波图像压缩 熵编码是基于信号统计特性的编码方法，它是一种无损编码，解码后能无失 第3 页 国防科学技术大学研究生院博士学位论文 真的恢复原始图像。熵指的是具体数据的平均信息量，定义为在不丢失信息的前 提下描述该信息所需的最小比特数。熵编码的基本原理是给出现概率较大的符号 一个短码字，而给出现概率小的符号一个长码字，这样使得最终的平均码长很小。 一个精心设计的熵编码器，其输出的平均码长接近信源的信息熵，即码长的下限。 熵编码把已压缩的数据流看作简单的数字序列，而并不关心这些数据的具体语义。 源编码常用于能够把原始数据中的相关数据与不相关数据区分开的场合。该 方法要考虑原始数据的语义，通过消除不相关数据达到对原始数据流的压缩。与 熵编码不同，源编码常常是有损编码。在有损压缩方法中，原始数据流与已编码 数据流相似但不相同。 混合编码是熵编码和源编码方法的组合，通常由源编码过程产生的输出数据 流用作熵编码过程的输入数据流。 长期以来，基于像素的方法一直是图像视频编码的主流方法，它从消除图像 视频数据的相关冗余出发，以像素或像素块为编码实体，以显示器件为图像视频 系统的最后环节，并没有充分考虑人眼的视觉特性对编码图像的影响。 1 ，1 3 基本编码方法 常用的熵编码有游程编码，霍夫曼编码与算术编码三类。 当已被采样的图像视频数据拥有相同字节序列时，可以采用更紧密的序列来 代替这些相同的字节序列，从而实现压缩，这就是游程编码。最常见的一种情况 是当采样量化后出现大量零系数的情形，利用游程编码来表示连零码，从而降低 为表示连零码所用的数据量。 霍夫曼编码【3 】方法能对已知的数据给出最佳编码，即能够根据已知概率分布决 定最小编码位数。因此，编码字符的位长度是变化的，最短的码字分配给出现最 频繁的字符，而概率小的字符则分配较长的码字，从而提高编码效率。霍夫曼编 码是一种变长变码方法，这里最佳指的是对相同概率分布的信源来说，它的平均 码长比其它任何一种有效编码方法郁短。但是它必须知道信源的概率分布，这一 般是无法做到的，通常是用对于大量数据进行统计后得到的近似分布来代替，但 是不同的图像类型其系数分布总有所差异，这导致了实际应用时无法达到最佳性 能。常常可以根据输入数据序列来自适应匹配信源概率分布，从而较好的改进霍 夫曼编码的性能，但是这种方法运算复杂且不适合硬件实现。 算术编码是2 0 世纪8 0 年代发展起来的一种熵编码方法。算术编码基本原理 是任何一个数据序列均可表示成0 和1 之间的一个问隔，该间隔位置与输入数据 概率分布相关。可以根据信源的统计特性来设计具体的编码器，也可以针对未知 模型的信源设计能够自适应适配其概率分布的算术编码器，并且这两种形式的编 第4 页 国防科学技术大学研究生院博士学位论文 码器均可硬件实现。 上述三种熵编码方法均已被各种图像编码标准所采纳，常见的是以游程编码 加霍夫曼编码或游程编码加算术编码的形式对源编码之后的图像系数实施进一步 编码。 应该强调指出的是熵编码方法是通过无损压缩来消除冗余信息以达到信息压 缩。如果需要进一步压缩图像视频数据就必须考虑人的视觉缺陷。源编码方法把 初始数据分为相关信息和不相关信息两种，然后陆续执行消除不相关数据的处理 步骤，与熵编码不同，一源编码允许失真。 如何划分相关信息与不相关信息与具体的源编码方法有关。更重要的是，不 同的源编码方法利用了人的视觉缺陷的各种特点。分离相关数据和不相关数据的 一种方法是编码转换，把数据转换成更适用于分离目的的数学模型。 变换编码是通过信号变换来消除图像数据空间相关性的一种有效方法。尽管 图像变换本身不能对数据进行压缩，但由于变换后系数间相关性明显降低，图像 大部分能量只集中到少数几个变换系数上，采用适当的量化和熵编码可以有效的 压缩图像的数据。而且图像经过某些变换后，系数的空间分布和频率特性与人眼 视觉特性能较好的匹配，因此可以利用人类视觉系统的生理和心理特点得到较好 的编码系统，实际编码工作中，人们常采用离散余弦变换( d c t ) 。 对变换后图像系数的编码一般采用门限编码加区域编码的形式且对不同区域 采用不同的门限值。比如d c t 变换后幅值较大的系数大多数集中在图像的左上角， 与其它系数相比，这些低频系数具有的能量较大，包括了图像的大部分内容，在 变换图像中地位最重要，应使他们量化误差最小。变换系数中许多系数幅值较小， 只具有原图像中很小比例的能量，对图像质量影响相对较小，因此一般采用设定 闽值的方法，置小于阂值的变换系数为零，从而大大提高编码效率。经门限编码 后的变换图像的大部分系数为零。在d c t 图像编码中对变换系数进行“之”形排 序非常巧妙的解决了将连零系数有效组织起来的问题。 预测编码可以在一幅图像内进行( i n t r a ) ，也可以在多幅图像间进行( i n t e r ) 。 预测编码实际上是基于图像数据的空间和时间冗余特性，用相邻的已知像素( 或 图像块) 来预测当前像素值，然后再对预测误差进行进一步的处理，这些相邻像 素或图像块可以是来自同一行的也可以是来自前几行或前几帧的。 1 1 4 图像质量评价体系 在图像视频压缩中为增加压缩比有时会舍弃一些图像细节或其它不太重要的 内容，比如前面指出的去除心理视觉冗余数据能导致信息损失，所以在图像编码 中解码图像与原始图像可能会不完全相同。在这种情况下我们常常需要有对信息 第5 页 国防科学技术大学研究生院博士学位论文 损失的量度( 或说对图像质量的评价体系) 以描述图像质量相对于原始图像的偏 离程度，这些评价原则一般称为保真度准则。常用的保真