（信号与信息处理专业论文）视频编解码器设计与实现关键问题研究.pdf

上海交通大学博士学位论文 摘要 存储或传输图像或视频必须占用大量的数据通道和空间，现代图像和视频压 缩技术使我们有可能对视频信息进行有效的传输和存储。h 2 6 4 a v c 是由i t u t 的视频编码专家组( v i d e oc o d i n ge x p e r tg r o u p v c e g ) 及i s o i e c 的活动图像专 家组( m o v i n g p i c t u r ee x p e r tg r o u p - m p e g ) 联合研究开发的高效视频压缩标准。它 的应用范围包括可视电话、视频会议、t v 、d v d 以及硬盘存储、流媒体、数字 摄影、数字视频制作等等。和已有的视频标准，如m p e g 1 、m p e g 2 、m p e g - 4 相比，h 2 6 4 a v c 虽然仍采用基于预测和变换的混合编码架构，但通过采用大量 的改进的编码工具，在编码重建图像主客观质量相同的条件下，它可以提供较传 统视频标准至少一倍以上的压缩效率。 本文围绕h 2 6 4 编码器以及解码器的设计与实现，对部分关键技术进行了研 究。在编码端，论文的工作重点是如何在恒定比特率输出的条件下，改善h 2 6 4 编码器码率控制单元的性能，提高h 2 6 4 编码器的整体质量。论文首先总结归纳 了包括比特约束模型、率失真模型以及h 2 6 4 码率控制中存在的难题等码率控制 关键技术；然后，通过实验，论文分析了现有的h 2 6 4 一次和二次编码器的设计 方案、性能以及存在问题，在此基础上，论文提出了一种基于滑动窗二次编码的 h 2 6 4 编码器设计和实现方法：最后，通过大量实验，论文给出该方法与已有的 h 2 6 4 二次编码器的性能比较结果。 在解码端，论文重点研究了低成本h 2 6 4 高清下变换解码器的设计和实现方 法。首先，论文分析了传统高清下变换解码器方案的性能并指出其用于h 2 6 4 高 清下变换解码中的局限；然后，论文在系统分析h 2 6 4 高清码流特性的基础上， 提出了一种基于h 2 6 4 高清码流特性的h 2 6 4 高清下变换解码器方案；最后，论 文给出了新方法与传统方法在硬件需求、计算量以及重建图像质量等方面的比较 结果。 另外，针对混合编解码器重建图像降质比较明显的问题，论文还提出了一种 称为三重滤波器的去振铃效应滤波器。通过引入纹理活动度检测滤波器，该滤波 器不但能够有效去除h 2 6 4 重建图像中的振铃效应，而且能够有效的保护纹理细 节，使得图像纹理细节不因为滤波而过于模糊。 视频编解码器设计与实现关键问题研究 关键词：h 2 6 4 高清下变换解码器，h 2 6 4 码率控制，二重滤波器，一次编码，滑 动窗，二次编码，三重滤波器 i i 上海交通大学博士学位论文 a b s t r a c t d i g i t a l i z e di m a g e a n dv i d e oc o n t a i nh u g ei n f o r m a t i o n m o r d e mi m a g ea n dv i d e o c o m p r e s s i o nt e c h n i q u e sm a k ei tp o s s i b l et ot r a n s f e ra n ds t o r et h e s em u l t i m e d i ad a t a h 2 6 4 a v ci st h en e w e s td i g i t a lv i d e oc o d i n gs t a n d a r d ，w h i c hw a sc o d e v e l o p e db y v i d e o c o d i n ge x p e r tg r o u p v c e g a n di s o h e c m o v i n g p i c t u r e e x p e r t g r o u p - m p e gh a sa p p l i c a t i o n si nv i d e o p h o n e ，v i d e o c o n f e r e n c e ，t e l e v i s i o n , d v d ， h a r d - d i s ks t o r a t i o n , s t r e a mm e d i a , d i g i t a lp h o t o g r a p ya n dd i g i t a lv i d e op r o c e s s i n g a l t h o u g hs h a r i n gt h es r t r t eb a s i cf r a m e w o r ko fp r e d i c t i o nt r a n s f o r ma n dh y b r i d c o d i n ga ss o m ef o r m e rv i d e oc o d i n gs t a n d a r d s ，s u c ha sm p e g 一1 ，m p e g 一2 ，m p e g - 4 ， h 2 6 4 a v ca h i e v e s2t i m e sh i g h e rc o d i n ge f f i c i e n c et o w a r d st h es a m ev i s u a lr e s u l t s o nt h ed e c o d i n ge n d ，d u et ov a r i o u sc o d i n gt o o la n do p t i m i z a t i o ns c h e m e si n v o l v e d t h i st h e s i sf o c u s e so ns o m ek e yt e c h n i q u e si nt h ed e s i g na n di m p l e m e n t a t i o no ft h e h 2 6 4c o d e c o nt h ee n c o d e re n d ，t h i st h e s i sd i s c u s s e sh o wt oe n h a n c et h eo v e r a l lc o d i n g e f f i c i e n c yb yi m p r o v i n gt h ep e r f o r m a n c eo fh 2 6 4r a t ec o n t r o lm o d u l e t h i sp a r t b e g i n sw i t ht h er e v i e wo ft h ek e yt e c h n i q u e s ，s u c ha st h eb i t r a t ec o n s t r a i n tm o d e l ，r a t e d i s t o r t i o nm o d e la n dt h ep r o b l e mo fe x i s t i n gr a t ec o n t r o ls c h e m e t h ee x s i t i n gh 2 6 4 o n e p a s sa n dt w o - p a s se n c o d e ra r et h e na n a l y z e di nd e t a i l st o g e t h e rw i t hs o m er e v i e w o fi t sp e r f o r m a n c ea n dd i f f i c u l t i e s b a s e do nt h e s ea n a l y s e s ，t h ed e s i g na n d i m p l e m e n t a t i o no fat w op a s sh 2 6 4e n c o d e rb a s e d o ns l i d i n gw i n d o wi st h e n i n t r o d u c e di nd e t a i l t h i sp a r te n d sw i t he x t e n s i v ee x p e r i m e n t a lr e s u l t so ft h e p r o p o s e de n c o d e ra n dt h ec o m p a r i s o no fi t sp e r f o r m a n c ew i t he x i s t i n go n e p a s sa n d t w o p a s sh 2 6 4e n c o d e r s o nt h ed e c o d i n ge n d ，t h et h e s i si sf o c u s e do nt h ed e s i g na n di m p l e m e n t a t i o no fa l o wc o s th 2 6 4h dd o w nc o n v e r s i o nd e c o d e r t h ep e r f o r m a n c e so fe x i s t i n gh d d o w nc o n v e r s i o nd e c o d e r sa r ea n a l y z e da n dt h el i m i t a t i o n so fi t sa p p l i c a t i o ni nh 2 6 4 h dd e c o d i n ga r ep o i n t e do u t b a s e do nt h es t u d yo ft h ep r o p e r t i e so fh 2 6 4h d s t r e a m s ，an o v e lh 2 6 4h dd o w nc o n v e r s i o nd e c o d e ri sp r o p o s e d t h i sn o v e ld e c o d e r i st h e nc o m p a r e di nd e t a i l st ot h ee x i s t i n gm e t h o d sb ym e a n so ft h eh a r d w a m i i i 视频编解码器设计与实现关键问题研究 r e q u i r e m e n t , c o m p u t a t i o n a lc o m p l e x i t ya n d t h eq u a l i t yo fr e c o n s t r u c t e dp i c t u r e s i na d d i t i o n ，an o v e ld e r a n g i n gs c h e m eb a s e do nt h ec o n c e p to ft r i l a t e r a lf i l e ri s a l s op r e s e n t e di nt h i sp a p e r t h ep r o p o s e dt r i l a t e r a lf i l t e ri sa ne x t e n s i o no ft h e t r a d i t i o n a lf i l t e rw h i c hc o n s i s t so fad o m a i nf i l t e r , ar a n g ef i l t e ra n dat e x t u r ea c t i v i t y f i l t e r e x p e r i m e n t a lr e s u l t sa n dc o m p a r a t i v es t u d i e ss h o wt h ee f f e c t i v e n e s sa n d e f f i c i e n c yo f t h ep r o p o s e da l g o r i t h m k e yw o r d s ：h 2 6 4l o wc o n v e r s i o nh dd e c o d e r ，h 2 6 4r a t ec o n t r o l ，b i l a t e r a lf i l t e r , o n ep a s se n c o d i n g ，s l i d i n gw i n d o w , t w op a s se n c o d i n g ，t r i l a t e r a lf i l t e r i v 上海交通大学博士学位论文 英文缩略语 b - p i c t u r ec o d e dp i c t u r ep r e d i c t e du s i n gb i d i r e c t i o n a l m o t i o nc o m p e n s a t i o n c a b a cc o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i c c o d i n g c b rc o n s t a n tb i tr a t e c i fc o m m o ni n t e r m e d i a t ef o r m a t c p bc o d e dp i c t u r eb u f f e r d c td i s c r e t ec o s i n et r a n s f o r m d p bd e c o d e dp i c t u r eb u f f e r f i f of i r s ti nf i r s to u t g o p g r o u po f p i c t u r e s h d t v h i g hd e f i n i t i o nt e l e v i s i o n h v sh u m a nv i s u a ls y s t e m i s oi n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n i t ui n t e m a t i o n a lt e l e c o m m u n i c a t i o n su n i o n j p e g j o i n tt e c h n i c a lc o m m i t t e e l m e a na b s o l u t ed i f f e r e n c e m bm a c r o b l o c k m em o t i o ne s t i m a t i o n m p e gm o t i o np i c t u r ee x p e r t sg r o u p m | v m o t i o nv e c t o r p p i c t u r ec o d e dp i c t u r ep r e d i c t e d u s i n g o n e d i r e c t i o n a lm o t i o nc o m p e n s a t i o n p s n rp e a ks i g n a l t o - n o i s er a t i o q p q u a n t i z a t i o np a r a m e t e r q s q u a n t i z a t i o ns t e p q v g aq u a r t e rv i d e og r a p h i c sa r r a y v 双向预测图像 自适应二进制算术 编码 恒定码率 通用媒体格式 编码图像存储器 离散余弦变换 解码图像存储器 先入先出 图像组 高清晰度电视 感知系统 国际标准化组织 国际电信联盟 联合图像专家组 平均绝对误差 宏块 运动预测 活动图像专家组 运动矢量 单向预测图像 峰值信噪比 量化参数 量化步长 1 4 视频图像阵列 ， 视频编解码器设计与实现关键问题研究 s d t vs t a n d a r dd e f i n i t i o nt e l e v i s i o n v b r v 撕a b l eb i tr a t e v l c v a r i a b l el e n g t hc o d i n g y c b c r l u m i n a n c e ， b l u e c h r o m i n a n c e ， r e d c h r o m i n a n c ec o l o u rs p a c e v i 标准清晰度电视 可变码率 变长码编码 亮度、蓝、红色度空 间 上海交通大学博士学位论文 图索引 图1 1 级连式m p e g - 2 高清下变换解码器器示意图4 图2 1 编解码缓冲器模型9 图2 - 2j v t - g 0 1 2 的缓冲器目标比特数1 8 图2 - 3 编码m o b i l e 序列编码器目标比特示意图2 6 图2 _ 4 编码p a r i s 序列目标比特示意图2 6 图2 5 编码s i l e n t 序列目标比特数示意图2 7 图2 - 6m o b i l e 序列下解码缓冲器的状态图2 7 图2 - 7 p a r i s 序列下解码缓冲器的状态图2 8 图2 - 8 s i l e n t 序列下解码缓冲器的状态图2 8 图2 - 9m o b i l e 序列亮度分量的p s n r 示意图2 9 图2 1 0p a i r s 序列亮度分最的p s n r 示意图3 0 图2 11s i l e n t 序列亮度分量的p s n r 示意图3 0 图2 1 2 编码m o b i l e 序列目标比特示意图3 l 图2 1 3 编码p a r i s 序列目标比特示意图3 l 图2 1 4 编码s i l e n t 序列时编码器目标比特示意图3 2 图2 1 5m o b i l e 序列下解码缓冲器状态图3 2 图2 1 6 p a i r 序列下解码缓冲器状态图3 3 图2 1 7 s i l e n t 序列下解码缓冲器的状态图3 3 图2 1 8 m o b i l e 序列亮度分量的p s n r 示意图3 5 图2 1 9p a i r s 序列亮度分量的p s n r 示意图3 5 图2 2 0s i l e n t 序列亮度分量的p s n r 示意图。3 5 图3 1m o b i l e 序列第2 4 帧解码缓冲器状态示意图3 7 图3 - 2 图像组的固定目标比特数3 8 图3 3 传统二次编码方案一3 9 图3 4 基于滑动窗的二次编码h 2 6 4 编码器的编码过程示意图一4 0 图3 5 基于滑动窗的二次编码h 2 6 4 编码器的编码流程图4 l 图3 - 6 第二次编码原理示意图4 3 视频编解码器设计与实现关键问题研究 图3 7 第二次编码的编码流程图4 4 图3 8 图像组目标比特分配示意图4 4 图3 - 9 滑动窗目标比特调整流程图4 7 图3 1 0 滑动窗目标比特调整示意图4 8 图3 1 l 解码缓冲器下溢调整流程图5 0 图3 1 2 c o a s t g u a r d 序列的解码缓冲器状态比较5 4 图3 1 3m o b i l e 序列解码缓冲器状态比较5 5 图3 1 4p a r i s 序列解码器状态比较5 5 图3 15c o a s t g u a r d 序列p s n r 比较5 7 图3 1 6m o b i l e 序列p s n r 比较5 7 图3 1 7s i l e n t 序列p s n r 比较5 8 图4 1 空间域m p e g 2 高清下变换解码器器示意图5 9 图4 2 二维d c t 上下采样示意图6 0 图4 3 变换域m p e g - 2 高清下变换解码器6 2 图4 - 47 2 0 p 最多的4 个参考帧6 4 图4 5n i g h t 的参考块分布。6 4 图4 6p a n s l o w 的参考块分布6 5 图4 7s p i n c a l e n d a r 的参考块分布一6 5 图4 810 8 0 1 最多的8 个参考场6 6 图4 - 9m o b c a l 的参考块分布6 7 图4 1 0w h t m n 的参考块分布6 7 图4 1 ls t o c k h o l m p a n 的参考块分布6 8 图4 1 2 n i g h t ”运动矢量的范围6 9 图4 1 3 “p a n s l o w ”运动矢量的范围6 9 图4 1 4 “s p i n c a l e n d a r 运动矢量范围7 0 图4 1 5 “m o b c a l 运动欠量范围。7 0 图4 - 1 6 “w h t m n ”运动矢量范围7 1 图4 1 7 “s t o c k h o l m p a n ”运动矢虽范围。7 l 图4 18h 2 6 4 高清下变换解码器的架构7 2 图4 1 9 多分辨率帧存模块的结构7 4 x l i 上海交通大学博士学位论文 图4 - 2 0 多分辨率帧存的存储内容一7 5 图4 - 2 l 参考图像解码条件下多分辨率帧存模块的数据通路。7 6 图4 - 2 2 非参考图像解码条件下多分辨率帧存模块的数据通路。7 8 图4 2 3 自适应下变换模块的硬件架构7 9 图4 - 2 4 参考图像解码条件下自适应下变换模块的工作流程图一8 l 图4 - 2 5 共享区和私有区的划分示意图。8 2 图4 - 2 6 非参考图像解码条件下自适应下变换模块的工作流程图8 3 图4 - 2 7 自适应上采样模块的工作流程图。8 6 图4 - 2 8 小尺寸存储器中的参考块读取8 7 图4 - 2 9 实验平台8 9 图4 - 3 0 n i g h t ”序列的p s n r 比较9 0 图4 - 31 “p a n s l o w 序列的p s n r 比较9 0 图4 - 3 2 “s p i n c a l e n d a r ”序列的p s n r 比较。9l 图4 3 3 n i g h t ( 4 8 0 p ) 序列第2 1 幅图像局部放大图。9 2 图4 - 3 4 “p a n s l o w ”( 4 8 0 p ) 序列第8 0 幅图像局部放大图9 2 图4 3 5 “s p i n c a l e n d a r ”( 4 8 0 p ) 序列第1 8 2 幅图像局部放大图9 3 图4 3 6 “m o b c a l ”序列的p s n r 比较9 4 图4 - 3 7 “w r r r m n ”序列的p s n r 比较9 4 图4 - 3 8 “s t o c k h o l m p a n ”序列的p s n r 比较9 5 图4 - 3 9 “m o b c a l ( 4 8 0 1 ) 序列第2 6 7 幅第图像局部放大图9 5 图4 - 4 0 s t o c k h o l m p a n ”( 4 8 0 1 ) 序列第8 3 幅图像局部放大图。9 6 图5 1p a n s l o w 序列第5 4 9 帧的局部放大图9 7 图5 - 2 二重滤波器系数在图像平滑区域的分布9 9 图5 3 二重滤波器系数在图像边缘区域的分布。1 0 0 图5 - 4 二重滤波器系数在图像纹理区域的分布1 0 1 图5 5p a n s l o w 重建序列第5 4 9 帧纹理程度示意图。1 0 3 图5 - 6 三重滤波器系数在图像平滑区域的分布1 0 4 图5 7 三重滤波器系数在图像纹理区域的分布。1 0 5 图5 8p a n s l o w 重建序列第5 4 9 帧处理结果( 边缘区域局部放大图) 1 0 7 x i i ! e 海交通大学博士学位论文 表格索引 表2 1h 2 6 4 编解码器中的量化步长1 3 表2 2 码率评估的编码参数2 4 表2 3t m 5 码率控制准确度评价结果2 9 表2 _ 4 测试序列亮度分量的平均p s n r 和标准偏差2 9 表2 5j v t - g 0 1 2 码率控制准确度评价结果3 4 表2 - 6 测试序列亮度分量的平均p s n r 和标准偏差3 6 表3 1 码率评估的编码参数5 3 表3 - 2 实际比特调整次数比较5 4 表3 3 码率控制准确度比较表5 6 表3 4 测试序列亮度分量的平均p s n r 和标准偏差5 6 表4 - l 实验中使用的编码参数6 3 表4 - 2 基于新方法h 2 6 4 高清下变换解码器帧存需求7 8 表4 - 3 基于空问域方法h 2 6 4 高清下变换解码器的帧存需求7 9 表5 1 三重滤波器参数设置表1 0 6 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：多两 日期：埘年矿月7 日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存和汇编本学位论文。 保密d ，在一年解密后适用本授权书。 本学位论文属于 不保密以 ( 请在以上方框内打“”) 学位论文作者签名：孑药 日期：。矿年号月矽日 玄 日 也 7 岢溯 铄 年 签 瑶 嘭 力 i y 刻 _ 导 期 望里 日 上海交通大学博士学位论文 1 1 引言 第1 章绪论 在过去的2 0 年里，视频压缩编码标准体系得到了迅猛的发展。一大批视频 标准如应用于静态图像压缩的j p e g 标准f 1 1 、基于活动视频应用的m e p g 【2 】 4 1 和会话类应用的h 2 6 x 1 5 1 1 6 1 标准得以制定和推广。h 。2 6 4 a v c 是由i t u t 的视频 编码专家组( v i d e oc o d i n ge x p e r tg r o u p - v c e g ) 及i s o i e c 的活动图像专家组 ( m o v i n gp i c t u r ee x p e r tg r o u p - m p e g ) 共同研究的适应于低码率传输的视频压缩 标袒7 1 。它的主要目标是发展一种可实现的高压缩性能视频编码系统，并针对“会 话一服务( 如可视电话) 和“非会话服务( 如视频存储、广播) 提供更加适合网络 传输的方案( 即网络友好的编码) 【8 1 1 9 1 ，它先进的技术包含如下几个方面： 1 标准使用了整数变换替代以往标准中的d c t 变换1 0 i 】，不但保证了变 换可以通过简单的加法和移位操作实现；而且解决了m p e g 2 等视频标 准因d c t 变换带来的编解码端重建图像失配的问题( 9 0 不可逆问题) ； 2 标准采用4 x 4 1 6 x 1 6 共7 种不同尺寸的运动预测模式以及更高精度的 运动预测，可大大提高具有精细运动细节图像的预测准确度【1 2 1 ； 3 通过采用多参考帧的预测方式，编码器可以从当前图像前后最多1 6 个 参考图像中选择参考块计算预测值，从而使帧间预测达到最佳效果【1 3 1 ； 4 采用了帧内预测技术，编码器可以根据当前块空间相邻像素点计算预测 值，提高了帧内编码的效率【1 4 】； 5 在熵编码中使用了基于上下文的自适应二进制算术编码等多种熵编码 技术，编码器输出码字的信息量逼近符号的信息熵，具有极高的编码效 率【1 5 1 ： 6 标准还采用了自适应强度的去块效应滤波器，有效消除了传统混合编解 码器因量化带来的重建图像块效应现象【1 6 1 。 h 2 6 4 标准的完成，不仅吸收了近几年理论学术界最新的研究成果，而且同 时被i s o i e c 和l t u 共同采用。它已经超越了其他已有的所有视频标准，在工 业界必将得到越来越广泛的应用。因此，研究适合于各种不同应用需求的高性能 h 2 6 4 编解码器及其实用、高效算法，具有重要的实用价值。在本章接下来的内 视频编解码器设计与实现关键问题研究 容中，我们将首先讨论国内外对h 2 6 4 编解码器的研究现状；然后，我们提出本 文的研究内容，给出本文主要的创新点和本文的文章结构。 1 2 国内外研究现状 h 2 6 4 采用了大量的新技术，能大大提高编码效率，但在实际应用中，这些 新技术也增加了实现的难度和成本。目前，业界对于h 2 6 4 编解码器的研究主要 集中在h 2 6 4 编解码器硬件实现方法、h 2 6 4 编解码器重建图像质量提高和降低 编解码器实现成本三个方面。 硬件实现方法的研究主要是对h 2 6 4 编解码器硬件实现算法的研究，如文献 【1 7 】【1 8 1 提出了快速实现基于上下文自适应熵编码( c a b a c ) 的算法；文献提出了 基于树状( t r e e b a s e d ) 方法的c a v l c 模块实现方案，文蒯2 0 】提出了基于并行方法 的c a v l c 解码方法；文献【2 1 h 2 4 1 提出了h 2 6 4 帧内预测的实现方法；文献2 5 h 2 9 】 提出了快速实现h 2 6 4 运动预测的方法；文献f 3 0 1 - 3 2 1 研究了快速实现帧内预测模 式选择的方法。降低h 2 6 4 编解码器硬件实现成本的研究主要是指如何减小芯片 面积以及降低芯片功耗的研究。如文献【3 3 】提出了减小h 2 6 4 整数d c t 变换硬件 实现面积的方法；文献【3 4 卜【3 6 1 研究了降低h 2 6 4 硬件实现功耗的方法。 在编码端，提高编解码器的重建图像质量的研究，主要是提高编码器码率控 制模块的性能。由于视频图像内容的千差万别，经过视频编码后的图像压缩率会 有很大差异，这种不断变化的图像压缩率和实际信道的传输速率很难有一个好的 匹配。这就需要引入码率控制来解决这些问题。码率控制一方面可以根据信道的 状态来平滑编码器的输出码率；另一方面，可以尽可能提高编解码器输出视频序 列重建图像的质量。根据编码器输出码流的比特率是否可变，码率控制可以分为 恒定速率( c b r ) 3 7 】f 3 8 】以及可变速率( v b r ) 1 3 9 1 4 0 码率控制方式。对于恒定速率码 率控制编码器，码率控制的主要任务是如何在维持编码器输出码率恒定的前提 下，使得编解码器重建图像的质量最高。根据码率控制采用的实际控制方式，码 率控制又可以分为缓冲器直接控制和预分配比特方法两大类方法【4 1 】【4 2 】。缓冲器 直接控制方法控制方式容易造成编解码产生的重建图像质量分布不均匀，重建图 像的整体质量较差。预分配比特方法分配方法较为合理，编码得到的重建图像整 体质量也较高，是目前视频标准广泛使用码率控制方法【4 3 卜【5 0 】。根据编码器的编 2 上海交通大学博士学位论文 码次数，预分配比特码率控制方案又可以进一步分为一次编码( o n e p a s s ) 1 5 l 】【5 3 】 以及二次编码( t w o p a s s ) 1 5 4 1 q 5 8 1 码率控制。一次编码编码器实现方式比较简单， 延时较小，硬件资源的需求也较少。但是，次编码编码器很难满足编解码缓冲 器的比特约束，不能维持编码器按照目标码率输出码流：而且，传统一次编码编 码器图像组边界效应较为明显，重建图像的质量较差。为解决图像组边界效应问 题，文献【5 9 1 1 删将整个编码序列划分为一个图像组进行编码，这种方法虽然能够 有效降低图像组间的质量波动，但在实际应用中，由于整个序列仅含一个i 帧， 不但容易在解码端造成误差累计，而且也造成解码端不能完成随机接入( r a n d o m a c c e s s ) 的功能。文献【6 l j 提出了一种近似最佳的图像层目标比特分配方法，最佳 图像层目标比特分配方法能够最有效进行图像层的比特分配，但由于算法过于复 杂，这种方法很难应用到实际实现中；文献1 6 2 】f 6 3 】提出了一种基于率失真模型的 图像层目标比特分配方法，这种方法由于实际码流特性难以用一个简单的率失真 模型描速，所以效果不够理想。二次编码编码器是改善一次编码编码器码率控制 性能常用的手段之一。常用的二次编码器有基于当前窗5 6 1 以及基于序列窗【5 7 1 5 8 1 的二次编码方案。基于序列窗的二次编码方案性能较一次编码方案有很大提高， 但是编码器有较大的输出延时，而且编码器对存储器资源需求也较高。基于当前 窗的二次编码方案虽然能够减小系统对硬件的要求和输出时延，但是在这种方案 中，整个序列重建图像质量波动比较厉害，重建图像主观质量仍然较差。 在解码端，提高编解码器重建图像质量的研究，主要是通过后处理方法消除 重建图像中的块效应和振铃效应。众所周知，基于块变换的视频压缩算法中，最 主要的降质来自于在低码率情况下对于离散余旋变换高频系数的过度截取而造 成的图像块与块之间的不连续和图像边缘处的伪影，既图像的块效应和振铃效 应。作为最为明显的图像降质，人们对于块效应去除进行了充分研究【“1 【7 3 1 ，其 中大部分算法是后处理方法，对解码图像直接进行滤波，消除块效应，提高图像 质量。针对采用混合编码架构，人们设计了环( i nl o o p ) 去块效应滤波器。由于 充分利用了码流中的量化信息，这种环内滤波器能够在较低计算量的情况下，带 来明显的图像主观质量提升，而h 2 6 4 已经将环内滤波器作为标准的一项内容。 针对去除振铃效应，人们也进行了广泛的研究，去除振铃效应的算法主要包括贝 叶斯估计及其简化的非线性滤波算法【7 4 1 ，图像的形态学滤波算法【7 5 1 1 7 6 】，基于小 视频编解码器设计与实现关键问题研究 波变换的算法f 7 7 】，凸集投影算法【7 8 】等。以上大部分算法，由于需要用到递归计 算或是复杂的数学变换( 小波变换等) 很难应用于实际当中。 业界对于编解码器研究的另一个热点是高清下变换解码器的研究。数字电视 广播已经成为更新换代的产业，全世界几乎都不同程度进入了一个所谓“模转数 的时代。目前数字电视广播常用标准清晰度和高清晰度两种图像格式。这两种标 准的电视信号对传输、存储的要求不同，与现有的模拟电视设备的兼容性也不同。 高清晰度图像格式的电视，视野更宽，令人有影院效果的享受是未来数字电视的 发展方向。然而，值得注意的是，目前广大用户所使用的电视还多是更适合播放 标清图像的小尺寸屏幕电视，并且由于电视机的使用寿命较长，电视的更新换代 速度很可能会落后于高清电视标准的普及，因此可以预见的是，在很长的一段时 间里，我们需要面临使用标清屏幕显示高清图像的问题。所以，如何将高清压缩 视频流转换成标清视频信号并显示在目前仍有广泛应用的标清设备上，已经成为 工业界越来越关注的问题之一【7 9 】【8 0 】。 图1 1 级连式m p e g - 2 高清下变换解码器器示意图 f i g 1 - 1c a s c a d eb a s e dm e p g 2d o w n c o n v e r s i o nd e c o d e rb a s e d 根据实现方式不同，传统高清下变换解码器分为级连式下变换解码裂引】、空 间域下变换解码器【8 2 】【8 3 1 和变换域下变换解码器【州【8 5 1 = - 种。图1 1 是级连式 m p e g 2 高清下变换解码器的原理框图。在这种方案中，下变换器首先对输入的 高清压缩视频流完全解码，然后再通过尺寸下采样将解码得到的高清视频信号下 变换为标清视频信号。由于作为参考图像的重建图像按照全尺寸存入外部帧存， 级连方式的下变换解码器不会因为下变换引起解码端和编码端重建图像的失配 ( m i s m a t c h ) ，所以，下变换后的标清图像质量较高。但是，这种方法需要大量的 硬件资源。以a t s c 规范中最大尺寸的高清图像为例，为支持解码尺寸为 4 上海交通大学博士学位论文 1 9 2 0 x 1 0 8 0 、帧率为3 0 h z ( 6 0 场每秒) 隔行扫描的高清压缩视频流， 级连式的 h 2 6 4 高清下变换解码器至少需要1 9 m b y t e s 的外部帧存。其中，1 2 m b y t e s 用于 保存最多4 个参考帧；3 m b y t e s 保存当前帧用予显示时的图像顺序调整：4 m b y t e s 作为编码图像缓存( c o d e dp