（通信与信息系统专业论文）avs中帧内预测及运动估计技术研究.pdf

江苏大学硕士学位论文 摘要 随着音视频技术的飞速发展 许多应用领域对数字视频压缩提出了更高的要求 快 速 高效的压缩算法是解决这一问题的关键 因此对视频数据进行压缩的视频编解码技 术己经成为国内外研究和工业应用的热点之一 数字音视频编码技术标准 a u d i oa n d v i d e oc o d i n gs t a n d a r d a v s 是我国自主制定的 具有自主知识产权的第二代音视频信 源编码标准 是目前最先进的音视频压缩编解码标准之一 相比其它流行的国际标准 它具有性能高 计算复杂度低 专利授权费用低等优点 代表着我国数字音视频产业的 技术水平及发展方向 本文从实际应用的角度出发 针对a v s 视频编码标准的第二部分a v s l p 2 中复杂 度较高的帧内预测技术和运动估计技术进行了深入的研究 根据a v s 自身的特点提出 了改进算法 并进行了代码实现 显著提高了编码器速度 论文的主要工作包括 1 以a v s 技术标准工作组提供的编码器参考软件r m 5 2 jr l 为参考模型 在对参考模 型的帧内预测技术进行分析的基础上 重点针对a v s 中率失真优化方案进行帧内预测模 式选择耗时严重的问题 提出一种改进的快速帧内模式选择算法 该算法结合块内亮度 变化方向性 相邻块预测模式空间相关性 以及基于边缘方向直方图信息的帧内模式选 择算法 有效的减少了候选模式范围 实验结果表明 该算法在保证图像质量的同时 编码时间节省了2 6 2 9 3 6 8 9 有效的提升了系统整体性能 2 对a v s 视频编码器中运动估计部分进行了算法和程序上的研究 重点是对亚像素 运动搜索快速算法的研究与改进 根据a v s 编码算法的特点 结合某些经典快速算法中 的思想 提出了一种改进的亚像素运动估计算法 该算法主要利用了以下几个思想 基 于亚像素搜索窗内误差匹配曲面单峰性的特性 基于亚像素运动矢量在水平和垂直方向 分布特性以及提前中止判别技术 与a v s 参考软件中的亚像素搜索算法相比较 该算 法在保证图像质量的同时 编码时问节省了2 5 3 6 3 4 5 1 显著提高了编码器速度 关键词 a v s 帧内预测 模式选择 运动估计 亚像素搜索 a v s 中帧内预测及运动估计技术研究 江苏大学硕士学位论文 a b s t r a c t w i t ht h ef a s td e v e l o p m e n to fa u d i oa n dv i d e ot e c h n o l o g y m u c hh i g h e rr e q u i r e m e n th a s b e e np u tf o r w a r df o rv i d e oc o m p r e s s i o nb ym a n yf i e l d s a n df a s ta n de f f i c i e n tc o m p r e s s i o n a l g o r i t h mi st h ek e yt ot h i sp r o b l e m s ot h ev i d e o c o d e ct e c h n o l o g y h a sb e c o m eo n eo ft h eh o t i s s u e so ft h er e s e a r c ha n di n d u s t r i a la p p l i c a t i o n c u r r e n t l y a so n eo ft h em o s ta d v a n c e dv i d e o c o m p r e s s i o ns t a n d a r d s t h ea u d i oa n dv i d e oc o d i n gs t a n d a r d a v s i sc h i n a si n d e p e n d e n t l y f o r m u l a t e ds e c o n d g e n e r a t i o ns o u r c ec o d i n gs t a n d a r dw i t hc o m p l e t ei n t e l l e c t u a lp r o p e r t y r i g h t s c o m p a r e dw i t h o t h e rv i d e os t a n d a r d s i th a sm a n ya d v a n t a g e ss u c ha sg o o d p e r f o r m a n c e l o wc o m p u t a t i o n a lc o m p l e x i t y a n dl o wp a t e n tl i c e n s i n gf e e s e t c a n di ts t a n d s f o r t h et e c h n o l o g yl e v e la n dd e v e l o p m e n to fo u rm u l t i m e d i ai n d u s t r y f r o mt h ep r a c t i c a la p p l i c a t i o na n g l e i nt h i sp a p e r p r o f o u n dr e s e a r c hi sa p p l i e dt ot h e i n t r ap r e d i c t i o na n dm o t i o ne s t i m a t i o nt e c h n o l o g y o fw h i c ht h ec o m p l e x i t yi sg r e a ti nt h ep a r t i io fa v s a v s1 v 2 a n dt h e na c c o r d i n gt ot h ec h a r a c t e r i s t i c so fa v sv i d e oc o d i n gw e p r o p o s ea ni m p r o v e da l g o d t h n aa n dh a v ea l li m p l e m e n t a t i o n t h e r e f o r es p e e du pt h ee n o d e r e 行b c t i v e l y t h em a i nw o r ko f t h i sp a p e ri n c l u d e s f i r s t l y t a k i n gt h er e f e r e n c es o f t w a r er m 5 2 j r lp r o v i d e db ya v s v i d e oc o d e ct e c h n o l o g y s t a n d a r dg r o u pa sar e f e r e n c em o d e l b ya n a l y z i n gt h ei n t r ap r e d i c a t i o nt e c h n o l o g yo ft h e r e f e r e n c em o d e l w ep r o p o s ea ni m p r o v e df a s ti n t r ap r e d i c t i o na l g o r i t h ma g a i n s tt h ep r o b l e m o ft i m e c o n s u m i n gi nr a t ed i s t o r a t i o no p t i m i z a t i o nt e c h n o l o g yf o rm o d ed e c i s i o n i nt h i s a l g o r i t h m t h ed i r e c t i v i t yo fl u m i n a n c ev a r i a t i o n sw i t h i nab l o c k c o r r e l a t i o nb e t w e e nt h eb e s t m o d e so fa d j a c e n tb l o c k sa n dt h em o d ed e c i s i o nm e t h o db a s e do ne d g ed i r e c t i o nh i s t o g r a m s a r ea d o p t e dt or e d u c et h ec a n d i d a t em o d e st ob et e s t e d w h i c hr e d u c e st h er a n g eo fc a n d i d a t e m o d e l se f f e c t i v e l y e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep e r f o r m a n c eo ft h es y s t e mi si m p r o v e d e f f e c t i v e l yf o rt h a tt h ec o d i n gt i m eo ft h ep r o p o s e da l g o r i t h mi sd e c r e a s e db y2 6 2 9 3 6 8 9 w h i l em a i n t a i n i n gt h ei m a g eq u a l i t y s e c o n d l y t h i sp a p e rh a sar e s e a r c ho ft h ea l g o r i t h m sa n dp r o g r a m si nm o t i o ne s t i m a t i o n o fa v s w i t haf o c u so na l g o r i t h mo ff a s t s u b p i x e lm o t i o ns e a r c h b a s e d o nt h e c h a r a c t e r i s t i c so fa v s w ep u tf o r w a r da ni m p r o v e df a s ts u b p i x e lm o t i o ne s t i m a t i o n a l g o r i t h m c o m b i n i n gm a n y i d e a so fs o m ec l a s s i cf a s ta l g o r i t h m i n c l u d i n gt h eu n i m o d a l i t yo f n l a v s 中帧内预测及运动估计技术研究 一一一 二 二二 二 一 m a t d m n ge l t o rs u l 蕾a c e i n s i d et h es u b p i x e ls e a r c hw i n d o w t h eh o r i z o n t a l a n dv e r t i c a l d i s t r i b u t i o n p r o p e r t i e s o fs u b p i x e lm o t i o nv e c t o r a n de a r l yt e r m i n a t i o nt e c h n o l o g y c o m p a r e dw i t ht h es u b p i x e l s e a r c ha l g o r i t h mo fa v sr e f e r e n c es o f t w a r e t h ep r o p o s e d a l g o r i t h mi m p r o v e st h ee n c o d i n gs p e e de f f e c t i v e l yf o rt h a tb yu t i l i z i n g i tt h ee n c o d i n gt i m e c a l lb ed 黜a s e db v2 5 3 6 3 4 5 1 w h i l et h ei m a g eq u a l i t yi sg u a r a n t e e ds i m u l t a n e o u s l y k e y w o r d s a v s i n t r ap r e d i c a t i o n m o d es e l e c t i o n m o t i o ne s t i m a t i o n s u b p i x e l m o t i o n s e a r c h i v 江 苏大学硕士学位论文 第一章绪论 1 1 课题研究的背景及意义 人类的感觉主要有视觉 听觉 触觉和嗅觉等 人类相互之间以及人类与外界环境 之间 主要通过语音和图像来交换信息 相关研究统计 人类感觉器官接受的各类信息 中 视觉约占6 0 听觉约占2 0 其余是触觉 嗅觉等 可见视频图像信息是人类获 取信息的主要载体 l 特别是在多媒体技术飞速发展的今天 人类对可视电话 数字电 视 视频会议等多媒体信息技术的依赖日益加强 需求量和质量要求也越来越高 而要 利用现存的或发展中的通信信道实现高质量的图像通信 就必须实现图像通信的数字 化 把图像信息转化成数字信号 去除与图像质量无关的冗余信息 2 所以视频编解码 技术是目前正在建设的数字信息化社会所依赖的主要技术之一 2 0 世纪9 0 年代以来 国际上视频编码标准主要有i t u t 的h 2 6 x 系列标准和 i s o i e c 的m p e g x 系列标准 伴随着新标准的提出 新产品 新应用也随之发展 m p e g 一1 标准带来了v c d 的兴起 m p e g 2 标准带来了d v d 和h d t v 的商机 h 2 6 1 应用在i s d n i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k 综合业务数字网 上 h 2 6 3 应用在 p s t n p u b l i cs w i t c h e dt e l e p h o n en e t w o r k 公共交换电话网 上 成为可视电话标准的 一部分 也将视频标准推向网络化应用的新时代 3 m p e g 一4 和h 2 6 4 使视频压缩技术 发展到了一个更高的阶段 能够在较低带宽上带来更高质量的传输 为移动视频电话及 视频通信领域带来了新的解决方梨4 1 由于在a v s 出现之前我国没有掌握音视频编码方面核心技术标准 相关企业长期 受制于国外持有标准化专利与技术的企业和组织 从d v d 专利收费事件 到同本厂商 在媒体上透露的数码相机专利收费意向 再到国际上欧洲厂商向韩国企业征收g s m 系 统专利费 都在提醒我们要关注国内数字音视频产业的潜在风险 另外 包括数字电视 在内的数字音视频产业广泛采用的信源编码标准是m p e g 一2 我国相关科研部门在制定 数字电视标准时也都考虑接受m p e g 2 标准 然而这并非一个最好的选择 因为一方面 使用m p e g 2 每台设备需要交2 5 美元的专利使用费 另一方面 m p e g 2 是1 9 9 4 年完 成的 距a v s 标准丌始制定时已有近1 0 年的时问 科学技术的飞速发展使得m p e g 2 技术越来越落后 5 目前 国际上广泛使用的国际标准h 2 6 4 a v c 欧洲d v b 联盟已 经用h 2 6 4 a v c 取代了m p e g 一2 h 2 6 4 a v c 由美国的律师公司m p e g l a 代理各家专 利持有人收取专利费 目前规定平均每台编解码设备需要交m p e g l a 约0 2 0 美元 而 a v s 中帧内预测及运动估计技术研究 且h 2 6 4 a v c 的节目提供商和运营商也要缴费 其提供电影或光盘每点播一次需要0 0 2 美元 另外 h 2 6 4 a v c 的基于订户的视频系统 卫星 互联网 地方移动 地方有线 运营商都要缴参加费2 5 万到1 0 万美元不等 地面广播地方服务商每个发射或转发设备 也要缴参加费2 5 0 0 到1 0 0 0 0 美元不等 这使得我国数字音视频产业及通信产业在选择 h 2 6 4 a v c 标准时仍面临巨大的负担 基于这些背景 在国家 8 6 3 计划的支持下 数 字音视频编解码技术标准工作组 简称a v s 工作组 于2 0 0 2 年6 月由国家信息产业部 科学技术司批准成立 工作组的任务是 面向我国的信息产业需求 联合国内企业和科 研机构 制订数字音视频的压缩 解压缩 处理和表示等共性技术标准 为数字音视频 设备与系统提供高效经济的编解码技术 服务于数字广播 移动无线多媒体通讯 互联 网宽带流媒体等重大信息产业应用 在此情况下 我国具备自主知识产权的第二代信源 编码标准a v s 就应运而生 j t 6 a v s 标准是数字音视频编码技术标准 a u d i oa n dv i d e oc o d i n gs t a n d a r d 的简称 包 括系统 视频 音频三个主要标准和一致性测试等支撑标准 其视频部分 a v s p 2 是基 于我国自主创新和国际公开技术所构建的标准 主要面向高清晰和高质量数字电视广 播 网络电视 数字存储媒体和其他相关应用 具有以下特点 1 性能高 其编码效率 能达到m p e g 2 的2 倍以上 与h 2 6 4 同一水平 2 复杂度低 算法复杂度比h 2 6 4 明显低 软硬件实现成本都低于h 2 6 4 3 我国拥有自主知识产权 专利授权模式简单 费用较低 7 引 a v s 对我国数字化音视频产业的发展具有重要意义 大力发展音视频编 码技术不仅能够提高我国在多媒体处理等研究领域的国际地位 还将创造可观的经济效 益和社会效益 本文提到的a v s 如无特殊说明都指的是a v s p 2 a v s 标准从初期发展到现在 也经历过比较艰难和尴尬的阶段 但在工作组的努力 以及政府的大力支持下 再加上信息技术的飞速发展 a v s 从起步到成为国际编码标准 从国家推荐性标准到国家强制执行标准 有了长足的发展 有报道称 我国数字音视频 编解码标准a v s 将于今年1 1 月1 只正式实施 国标实施后通常会给市场预留一年过渡 期 即从2 0 1 2 年1 1 月1 日将被强制执行 所有在中国内地上市的地面数字电视接收机 包括机顶盒 一体机 必须内置a v s 解码功能 否则将无法销售 去年1 0 月 国家广 电总局就 无线广播电视数字化项目 a v s 编转码器正式招标 太原等5 市丌通a v s 地面数字电视应用 今年2 月 湖南拉开a v s 省级大规模应用序幕 截至目前 a v s 标准开始在二 三线城市紧急测试锻2 t i 艄 j l l l j i l o 由此可见 a v s 真正将迎来它的黄金发 展期 这不但证明了我国自主研发能力 而且a v s 的推广也将为我因节省巨额的专利 2 江苏大学硕士学位论文 费用 由于我国起步晚 目前很多关键技术还不够成熟和完善 还需要不断的研究和完善 本课题就是在这种背景下提出来的 本文介绍了a v s 编解码关键技术 并对目前的核 心算法进行了分析研究 在a v s 视频工作组提供的参考模型的基础上 进行重要算法 的改进研究和试验 并在优化过程中找到编码性能和计算复杂度的更有效的平衡点 使 其更加适用于实际应用 1 2 视频编码技术发展状况 随着语音压缩技术的日臻完善 在有限带宽的条件下 视频数据信号由于数据量大 成为多媒体传输 特别是无线多媒体传输的瓶颈 2 0 世纪8 0 年代以后 为推广图像压 缩技术的应用 i s o i e c 国际标准化组绷国际电工委员会 和i t u t 国际电信联盟 远程通信标准化组 陆续完成各种图像压缩与通信的标准和建议 现存的图像编码标准 可以分为两类 分别为静止图像编码标准和视频编码标准 静止图像编码标准为联合图像专家组 j o i n tp h o t o g r a p h i ce x p e r t sg r o u p i 定的j p e g 和j p e g 一2 0 0 0 j p e g 在较低的计算复杂度下 能提供较高的压缩比与保真度 随着多 媒体应用领域的快速发展 传统的j p e g 压缩技术已经无法满足人们对多媒体影像资料 的要求 联合图像专家组又制定了具有更高压缩率以及更多功能的压缩技术j p e g 2 0 0 0 j p e g 2 0 0 0 与传统j p e g 最大不同在于它放弃了前者采用的以d c t 为主的区块编码方 式 改为以小波变换为主的多分辨率编码方式 l 目前 视频编码标准主要有i t u t 的h 2 6 x 系列标准和i s o i e c 的m p e g x 系列标 准 h 2 6 x 系列目标是获得有效的 鲁棒的和实际能适应市场上广泛应用的标准 主要 应用于实时视频通信领域 m p e g x 系列目标是去掉矩形视频图像的限制 提供一个开 放的 灵活的 基于对象的处理过程 主要应用于数字视频储存 广播电视 网络或者 无线网络流媒体等 a v s 作为我国具备自主知识产权的第二代信源编码标准 该视频标准吸收了国内外 研究机构近年来的优秀研究成果 相比于m p e g 2 标准 编码效率提高2 倍以上 在获 得高编码效率的同时 a v s 视频标准尽可能保持了较低的计算复杂度 当编码高清视频 信号时 a v s 视频获得了与先进视频编码标准h 2 6 4 a v c 相当的编码效率 但其实现 复杂度却大大降低 在专利许可方面 a v s 通过简洁的一站式许可政策 解决了m p e g 一4 和h 2 6 4 a v c 被专利许可问题困扰难以产业化的弊端 并且专利许可费用大大低于国际 3 a v s 中帧内预测及运动估计技术研究 同类标准 各标准推出时间顺序如图1 1 所示 圆 i 圈 圜 s o i e g c mp l 三g 曩霸雹雹嗣置啊 一一 a w r c n m l 粪囊萋鬻 签溪 9 9 0 1 9 9 21 9 9 41 9 9 6 1 9 9 8 2 0 0 0 2 0 0 22 0 0 3 图1 1 各视频压缩标准制定进程图 f i 9 1 1t h es e t t i n gp r o c e s so f v i d e oc o m p r e s s i o ns t a n d a r d 1 2 1 i t 2 6 x 系列标准 1 h 2 6 1 标准 1 0 h 2 6 1 标准在19 8 8 年提出 19 9 0 年诈式通过 其名称为 px6 4 k b i t s p l 3 0 视听 业务的视频编解码器 是针对实时动态图像的压缩编码标准 h 2 6 1 标准的主要特点有 采用c i f 格式图像 便于不同电视制式的互通 同时图像按电视行频的整数倍速率取样 与传输网络时钟异步 视频编码器提供一组独立的数字比特流 编码的视频速率从 4 0 k b i t s 到2 0 4 8 m b i t s h 2 6 1 是针对在i s d n i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k 综合 业务数字网1 上实现视频会议应用特别是面对面的可视电话和视频会议而设计的 h 2 6 1 是第一个实用的数字视频编码标准 h 2 6 1 使用混合编码框架 包括基于运动补偿的帧 问预测 基于离散余弦变换的空域变换编码 量化 z i g z a g 扫描和熵编码 使用的编 码算法类似于m p e g 算法 但和后者不兼容 h 2 6 1 是最早期的视频编码标准 性能方 面已经不能满足当前需求 已经退出舞台 2 h 2 6 3 a i 准 h 2 6 3 是国际电信联盟针对低比特率视频应用 适应甚低码率 小于6 4 k b i t s 传输 信道的视频编码标准 其主要应用在视频电视会议 可视电话等视频通信领域 它的出 现使得在码率低于6 4 k b i t s 的公用电话交换网和无线网络j 传送质量较好的音视频信息 成为可能 h 2 6 3 标准以h 2 6 1 标准为基础 以混合编码为核心 原始数据与码流的组 江苏大学硕士学位论文 织也相似 但在运动估计 帧模式和编码方法等方面都做了改善 在压缩比等方面有了 很大提高 h 2 6 3 对应的两个加强版为h 2 6 3 和h 2 6 3 h 2 6 3 在保证原h 2 6 3 标准 的核心句法和语义不变的基础上 增加了若干选项以提高压缩效率或某方面的功能 h 2 6 3 已经由i t u t 正式制定为标准 并且在h 2 6 3 基础上增加了3 个选项 主要是 为了增强码流在恶劣信道上的抗误码性能 同时也增强了编码效率 h 2 6 3 h 2 6 3 标 准放宽了对图像源格式的限制 编解码双方可以通过协商采用专用格式进行通信 提高 了压缩率 大大扩大了标准的使用范围 3 h 2 6 4 标准 1 2 h 2 6 4 是由i t u t 的视频编码专家组v c e g 与i s o i e c 的m p e g 组成的联合视频 工作组 j v t 共同制定的新一代视频压缩编码标准 在i s o f l e c 中该标准被命名为 a v c a d v a n c e dv i d e oc o d i n g 作为m p e g 4 标准的第十部分 在i t u t 中它被正式命 名为h 2 6 4 该标准于2 0 0 3 年3 月正式获得批准 它在h 2 6 3 的基础上进行了扩展和改进 并引入了新的编码方式 使得视频流更适 合网络传输 h 2 6 4 标准主要有血个方面的特点 编码效率高 对信道时延的适应性较 强 在编解码器中采用复杂度可分级设计 支持不同网络资源下的分级编码传输 容错 能力强以及具有较强的网络适应能力 易于在不同的网络上传输 h 2 6 4 能适应于不同 网络中的视频传输 网络亲和性好 在同等图像质量的条件下 h 2 6 4 的压缩比是 m p e g 2 的2 倍以上 是m p e g 4 的1 5 2 倍 但是h 2 6 4 在性能显著提高的同时 也 增加了系统的复杂性 1 2 2m p e g x 系列标准 1 m p e g l 标准 m p e g 1 是m p e g 组织制定的第一个视频和音频有损压缩标准 全称 动态图像和 伴音的编码 标准 标准采用了变换编码技术 运动估计 运动补偿等技术 并定义了编 码位流的表示语法和具体解码方法 m p e g 1 标准特点可概括如下 在音像方面的质量 高于电视电话的图像质量 能够适应多种传输网络 可以满足对称 可同时进行编码和 解码 和不对称 编码一次后可无数次解码 的应用 随机读取 快速j f 向 反向搜索 且具有合理的编解码延时 更满足视频会议的实时性要求等优点 m p e g 1 可适用于不 同带宽的设备 如c d r o m v i d e o c d 它是针对1 5 m b i t s 速率的数字存储媒体运 动图像及其伴音制定的国际标准 其典型应用为v c d 5 a v s 中帧内预测及运动估计技术研究 2 i v i p e g 一2 标准 m p e g 一2 标准兼容m p e g 1 标准 广泛应用在各种速率 2 0 4 8 m b i t s 2 0 m b i t s 和各 种分辨率情况下的场合 其设计目标是高级工业标准的图像质量以及更高的传输率 它 可提供一个较广范围的可变压缩比 以适应不同的画面质量 存储容量以及带宽的要求 该标准是针对标准数字电视和高清晰数字电视在各种应用下的压缩方案和系统层的详 细规定 编码码率从3 m b i t s 到1 0 0 m b i t s m p e g 2 非常适用于广播级数字电视的编码 和传送 也是国际主流的s d t v 和h d t v 的编码标准 它与m p e g 1 兼容 但增加了 隔行扫描视频信号的能力 具有更高的色度信号取样模式和可伸缩的视频编码方式 1 3 3 m p e g 4 标准 m p e g 4 不仅是针对一定比特率下的视频 音频编码 更加注重多媒体通信系统的 交互性和灵活性 它利用很窄的带宽 通过帧重建技术 数据压缩 以求用较少的数据 获得最佳图像质量 与m p e g 1 和m p e g 2 相比 m p e g 4 标准采用了基于对象的视频 压缩编码方法 它不仅可以实现对视频图像数据的高效压缩 还可以提供基于内容的交 互 功能 支持对多媒体信息内容的访问 提供灵活的时域和空域扩展 此外 m p e g 4 标准具有基于视频内容的可伸缩性 可伸缩性表示图像中的各个对象具有不同的优先 级 较为重要的对象使用较高的空间和时间分辨率 对于极低比特率的视频应用来说 尺度可伸缩特性也提供了自适应可用资源的能力 m p e g 一4 标准作为开放的标准 新内 容和新算法不断加入其中 使其在i n t e r n e t 视频 流媒体 无线通信领域得到广泛的应 用 1 4 l 4 m p e g 7 标准和m p e g 2 1 标准 确切说m p e g 7 并不是一种压缩编码方法 而是一个多媒体内容描述接口 m p e g 7 标准的主要目标是指定一系列的标准描述符 描述语言和描述方案来描述各种多媒体信 息 不仅包括静态或动态的图像 也包括三维模型 图形 语音等 也可以是各种媒体 信息的组合 这种描述主要是低层次的 与多媒体的内容有关 便于用户进行基于内 容和对象的视听信息的快速 有效的搜索和查询 在功能上 m p e g 7 标准与其他m p e g 标准为互补的关系 它既不同于基于压缩和基于波形的表示方式如m p e g l 和m p e g 2 也不同于基于对象的表示方式如m p e g 4 而是将对各种不同类型的多媒体信息进行标 准化描述 并将该描述与所描述的内容相联系 以实现快速有效的搜索 15 1 m p e g 一2 1 的目标是定义一个交互式多媒体框架 大范围内跨越不同的网络和设备 用户能够透明而广泛地使用多媒体资源 它是一个关于多媒体框架 综合应用等方面的 6 江苏大学硕士学位论文 规范 可以说是一个2 1 世纪的多媒体框架标准 将会对新世纪多媒体技术的应用产生 广泛而深远的影响 表1 1 总结了这些视频压缩标准及其主要特础1 6 1 表1 1 各视频编码标准及其主要特征 t a b l e l 1t h ex d d e oc o d i n gs t a n d a r da n di t sm a i nf e a t u r e s 编码标准标题应用场合采用主要编码技术 p x 6 4 k b i t s 音视频编 自适应最优化 z 扫描 运动 h 2 6 1 i s d n 视频会议补偿预测 运动估计 h u f f m a n 码 编码 容错编码 低比特率通信的视p o s t 视频电话 桌面视 h 2 6 1 所有技术 双向运动补 h 2 6 3 偿 半像素运动估计 重登运 频编码频电话 移动视频电话 动补偿 算术编码 p o s t 视频电话 桌面视 h 2 6 3 m p e g 2 的所有技术 h 2 6 4 极低码率视频编码普适变字长编码 自适应二进 频电话 移动视频电话 制算术编码 面向数字存储的运j p e g 的所有技术 自适应量 m p e g 1 动图像及伴音通用 光盘存储 v c d 视频 监控 化 运动补偿预测 双向运动 编码补偿 半像素运动估计 m p e g l 的所有技术 基于帧 运动图像及伴音通数字电视 高品质视频 场的运动补偿 时间空间可扩 m p e g 2 刚编码卫星电视 地面广播展编码 质量可扩展编码 容 错编码 i n t e r n 畎 移动通信 交 m p e g 一2 的所有技术 小波变 m p e g 4 音视频通用编码换 高级运动估计 重叠运动 互式视频 消费视频 补偿 视频相关可扩展编码 m p e g 4 的所有技术 基丁模 m p e g 一 通川媒体描述接口多媒体数据库 型的编码 m p e g 2 l 多媒体框架 1 2 3a v s 标准 a v s 是由中国数字音视频编解码技术标准工作组制定 它是我国自主制定的数字 电视 m t v 等音视频系统的基础性标准 a v s 标准的完成使得全球范围内可选的第二 代视频编码标准变成三足鼎立的局面 圈际标准h 2 6 4 a v c 中国国家标准a v s 和一 些公司的标准 虽然国际标准h 2 6 4 a v c 是开放的 但背后的专利费相当沉重 而公司 标准受到公司的控制 难以在业界广泛推广 我国牵头制定的a v s 在性能上已达到国 际水平 并且方案设计简洁 知识产权简单明了 应该是国际范围内第二代标准的首选 a v s 标准包括系统 视频 音频 一致性测试 参考软件 数字版权管理 移动视频 i p 网络传输a v s 文件格式等9 个部分 规定了数字音视频的压缩 解压缩 处理和表 7 a v s 中帧内预测及运动估计技术研究 示的解决方案 a v s 视频编码标准中第二部分 a v s p 2 主要面向高清晰度数字电视广 播和高密度储存媒体应用 第七部分 a v s p 7 主要面向低复杂度 低码率 低图像分 辨率的移动多媒体的应用 本文主要针对a v s p 2 的 文中a v s 均指a v s p 2 表1 2a v s 与m p e g 一2 h 2 6 4 a v c 使用的技术对比和性能差异 t a b l e l 2t h e c o m p a r i s i o no f t e c h n o l o g i e sa n dp e r f o r m a n c e i na v s m p e g 2a n dh 2 6 4 a v c a v s 与h 2 6 4 性 主要技术 a v sm p e g 2h 2 6 4 佾 v 能差异 指标 信 噪比差 码率差 8 x 8 5 种亮度预测模无 仅频域 亮度1 6 x 1 6 和4 x 4 色度 帧内预测 8 x 8 9 种亮度预测模式 基本相当 式 4 种色度预测模式有d c 预测 4 种色度预测模式 帧间预测变 1 6 x 1 6 1 6 x 81 6 x 1 61 6 x 1 6 1 6 8 8 x 1 6 降低约0 i d b 换块大小 8 x 1 6 8 x 81 6 88 x 8 8 x 4 4 x 8 4 x 4 2 4 1 2 像素位置采用4仅在 像 1 2 像素位置采用6 拍 瓶像素运动拍滤波 1 4 像素位置素位置进 滤波 1 4 像素位置线基本相当 估计采用4 拍滤波 线性行双线性 插值插值 性插值 基t 8 x 8 块边缘进行 基于4 x 4 块边缘进行 滤 环路滤波 滤波强度分类简单 无 波强度分类繁多 计算 复杂度人大降低 计算复杂度低复杂度高 8 x 8 整数变换 编码端 8 x 8 浮点 4 x 4 整数变换 编解码 进行归一化 量化与端都需要归一化 量化 提高约 变换与量化d c t 变换 变换j 门一化相结合 除法量化 与变换归一化相结合 0 1 d b 2 通过乘法 移位实现通过乘法 移位实现 上下文臼适应 2 d w l c 编码块系数 单一v l cc a v l c 与周围块相关 降低约0 5 d b 熵编码表 适应性性高 实现较复杂 过程中进行多码表切 差 c a b a c 计算较复杂 1 0 1 5 换 都采川两帧时 参考帧最多2 帧 最多l 帧 通常5 帧 最多1 6 帧 相当 称为对称预测模式 编码前后 b 帧宏块舣 只编码一个前向运动 两个运动编码前后两个运动久鼙基本相当 向预测模式欠量 后向返动 人鼙 欠鼙 由前向导出 简单的条带划分机制 数据分割 复杂 足以满足广播应j h 中简单的条 f m o a s o 等宏块 条 容错编码带组织机制 强i n t r a复杂度人人降低 的错误隐藏 恢复需带划分 求 块刷新编码 约束性帧 内预测等 由于a v s m p e g 2 h 2 6 4 编码框架相同 故它们具有相似的关键技术 但在具 体技术指标上不同 文献 6 1 1 7 从技术角度对m p e g 2 h 2 6 4 a v c 和a v s 性能进行了 8 江苏大学硕士学位论文 比较 如表1 2 所示 a v s 以当前最先进的h 2 6 4 a v c 框架为基础 强调自主知识产权 同时充分考虑实现的复杂度 在保证性能的基础上尽量使实现简单化 a v s 标准积极采 用我国自主的有价值专利技术 对于h 2 6 4 a v c 不涉及专利的公开技术 技术框架 也 就是b a s e l i n e 部分 都积极吸收 然后在此基础上做出自己的创新 与h 2 6 4 a v c 的 b a s e l i n ep r o f i l e 相比 a v s 视频编码增加了b 帧 i n t e r l a c e 等技术 而与h 2 6 4 a v c 的 m a i np r o f i l e 相比 又减少了c a b a c 等实现难度较大的技术 从而在压缩率和可行性上 找到了一个平衡点f 1 8 与其他类似标准相比 a v s 体现以下两大优势 基于自主技术和 部分开放技术构建的开放标准 妥善解决专利许可问题 表1 2 描述了a v s 与m p e g 一2 h 2 6 4 a v c 的对比情况 1 3 论文主要工作及结构安排 本课题针对a v s 目前发展情况及其特点 从实际应用角度出发 对a v s 编码器的 关键技术和关键算法进行了系统研究 对编码过程中的两个关键模块 亚像素运动估计 和帧内预测进行了深入研究分析 提出了改进的亚像素运动估计算法和快速帧内预测模 式选择算法 并用大量实验数据验证了其正确性 改进算法在保证图像质量和编码效率 的同时显著提高了a v s 编码器速度 为了完成本课题 在理论和实现上主要工作有 1 全面了解国内外视频编码标准 对其编码思想 编码框架 关键技术模块等进 行研究分析 为后续优化做好准备 并将a v s 与主流编码标准进行性能比较 以体现 其优越性 2 对视频编码中较耗时的帧内预测模式选择模块进行了研究和优化 利用相邻块 最佳模式的相关性和块内亮度变化的方向性 并结合基于边缘方向直方图的快速选择算 法以及提前中止策略 提出了一种快速模式选择算法来进行模式预判 并将帧内预测模 式选择算法在a v s 软件参考模型r m 5 2 jr l 上实现 该算法可以有效地减少预测模式搜 索范围 显著降低编码耗时 从而大大提升了系统的编码效率 3 对编码器中复杂度较高的运动估计模块进行了算法及程序上的深入研究 特别 是对亚像素运动搜索快速算法的研究和改进 针对不同运动程度的视频序列 对视频序 列在半像素搜索窗内具有单峰特征运动块进行统计分析 并提出了一种基于亚像素搜索 窗内误差匹配曲面单峰性的特性 亚像素运动矢量在水平和垂直方向分布特性以及提前 中止判别技术的亚像素快速搜索策略 该算法能够在保证图像质量的自订提下缩短 9 a v s 中帧内预测g t i g 动估计技术研究 2 5 3 6 3 4 5 1 的编码时间 显著提高了编码速度 本文内容分为五章 结构安排如下 第一章 绪论 介绍了本课题研究背景 意义 以及国内外视频压缩标准的发展情 况及其特点 并将a v s 与m p e g 2 和h 2 6 4 标准分别进行技术比较和性能分析 第二章 a v s 视频标准 简要介绍了a v s 视频标准的理论基础和该标准的编码框 架 然后详细介绍了a v s 的关键技术 包括 帧内预测 帧间预测 亚像素插值 变 换与量化 熵编码 环路滤波等 第三章 快速帧内模式选择算法研究 主要针对帧内图像上宏块预测模式选择 在 对现有算法分析的基础上 根据a v s 自身的特点 提出了一种有效的改进快速算法 尽量减少预测模式搜索范围 并通过实验数据验证了该算法的有效性 在保证图像质量 的同时有效缩短了编码时间 第四章 a v s 运动估计快速算法研究 对a v s 视频编码器中的运动估计模块进行 了研究 重点对亚像素运动估计快速算法进行了研究和改进 提出了一种改进的亚像素 快速搜索算法 该算法主要利用了以下几个思想 基于亚像素搜索窗内误差匹配曲面单 峰性的特性 基于亚像素运动矢量在水平和垂直方向分布特性以及提前中止判别技术 并通过大量实验数据验证了算法的有效性 第五章 总结与展望 对本文的研究工作进行了总结 并提出不足和对以后研究进 行展望 1 4 本章小结 本章主要介绍了课题的研究背景及意义 以及国内外视频压缩标准的发展情况及其 特点 并将a v s 与m p e g 一2 和h 2 6 4 标准分别进行技术比较和性能分析 最后概括了 论文主要工作以及框架结构 i o 江苏大学硕士学位论文 第二章a v s 视频标准 a v s 视频标准吸收了国内外研究机构近年来的优秀研究成果 属于高效的第二代视 频编码技术 该标准面向标清高清视频编码应用 如新一代i p t v 高清数字电视广播 无线移动媒体通信 流媒体服务 远程视频监控等方面 a v s 采用了帧内预测 帧问预 测 亚像素插值 变换 量化和熵编码等 系列先进的编码技术 以达到高效的压缩编 码性能 1 8 1 2 1a v s 视频标准理论 a v s 码流结构语法层次从高到低依次为 序列 图像 条带 宏块和块 视频序列 是比特流的最高层语法结构 标准定义了三种编解码图像 i 帧图像 p 帧图像 b 帧 图像 视频序列是码流的最高层语法结构 由序列头和一串编码图像构成 一幅图像既 是一帧 条带是按光栅扫描顺序连续的若干宏块行 条带内的宏块行不应重叠 条带之 间也不应重叠 图像划分为宏块 根据运动补偿的需求宏块又划分为1 6 x 1 6 1 6 x 8 8 x 1 6 和8 8 几种形式 a v s 中最小的图像单元为8 x 8 块 目前 a v s 视频标准定义为基准 档次 这个档次又分为4 个级别 用于标清的4 o 4 2 o 级别和4 2 4 2 2 级别 以及用 于高清的6 0 4 2 o 级别和6 2 4 2 2 级别