（电工理论与新技术专业论文）h264avc的cavlc编码算法研究及fpga实现.pdf

a b s t r a c t h 2 6 4 a v ci sl a t e s tg e n e r a t i o nv i d e oc o d i n gs t a n d a r dt h a tp r o v i d e db y i t u i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n a n di s o i e c i n t e r n a t i o n a l o r g a n i z a t i o nf o rs t a n d a r d i z a t i o n i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n c o m p a r i n gt oo t h e rv i d e oc o d i n gs t a n d a r ds u c ha sm e p g 4 h 2 6 3 a san e w s t a n d a r d h 2 6 4 a v ch a sb e t t e rp e r f o r m a n c ea n dm o r ee f f e c t i v e i th a sb e e n a p p l i e di nm a n ya r e al i n k e dw i ms t e a mm e d i a h d t v i p t v t e l e c o n f e r e n c e v i d e os t o r a g e e t c t h i st h e s i sa i m sa tr e s e a r c h i n gt h ec a v l ca l g o r i t h ma n di t sf p g a i m p l e m e n t a t i o n t i nh 2 6 4 a v c t h ee n t r o p yc o d i n ga f t e rt r a n s f o r ms u p p o r t s c a v l c c o n t e x t b a s e da d a p t i v e v a r i a b l e l e n g t hc o d i n g a n dc a b a c c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g a l t h o u g hc a v l ca d o p t s t h ev l ce n c o d e i ti ss od i f f e r e n tf r o mt h es t a n d a r d sb e f o r e w h i c hi sb a s e do n c o n t e x t t h i si m p r o v e st h ec o d i n ge f f i c i e n c y b u tm a k e st h ed e s i g nm u c hm o r e d i f 五c u l t b a s e do nt h er e s e a r c ho fh 2 6 4 a v ca n dc a v l ca l g o r i t h m t h ea r t i c l e f i n d st h e b o t t l e n e c k i nc a v l ce n c o d i n gp r o c e s sa n dp r e s e n t sap a r a l l e l a r c h i t e c t u r eo fc a v l ce n c o d e rw h i c ht a k e so p t i m i z a t i o nd e s i g nf o re a c h f u n c t i o nm o d u l e t h e s eo p t i m i z a t i o nd e s i g n si n c l u d em u l t i p l er e f e r e n c eb l o c k s i nv l ct a b l ep r e d i c t i o n f a s t l o o k u p t a b l em a t c h i n g a r i t h m e t i ct a b l e e l i m i n a t i o n t h ec a v l ce n c o d e rw i t hp a r a l l e la r c h i t e c t u r eh a sb e e nd e s c r i b e d b yv e r i l o gl a n g u a g ea n ds i m u l a t e db yr e l a t i v ee d a t o o l sa n dt a k e nv e r i f i c a t i o n i nc y c l o n ei ie p 2 c 2 0 f 4 8 4f p g a i tp r o v e dt h a tt h ef u n c t i o nm o d u l ei m p r o v e s e f f i c i e n c yr e m a r k a b l ya n d c a nm e e tt h ed e m a n do fr e a l t i m ep r o c e s s i n g r e q u i r e m e n t i ti sh e l p f u lt oc a v l c e n c o d e rt oa c h i e v et h er e a l t i m ep r o c e s s i n g r e q u i r e m e n t k e yw o r d h 2 6 4 a v c c a v l c v a r i a b l el e n g t hc o d i n g f p g a 原创性声明 本人声明 所呈交的论文是本人在导师指导下进行的研究工 作 除了文中特别加以标注和致谢的地方外 论文中不包含其他 人已发表或撰写过的研究成果 参与同一工作的其他同志对本研 究所做的任何贡献均己在论文中作了明确的说明并表示了谢意 签名 企主 兰e l 期2 丝墨 三 2 本论文使用授权说明 本人完全了解上海大学有关保留 使用学位论文的规定 即 学校有权保留论文及送交论文复印件 允许论文被查阅和借阅 学校可以公布论文的全部或部分内容 保密的论文在解密后应遵守此规定 签名 筮至 兰导师签名 乏鳖1 日期 i i 矿 1 6 哆 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 第一章绪论 1 1 引言 长期以来 人们在自然界感受到的最主要的信息是视觉信息 人类通 过视觉所获取的信息量约占总信息量的7 0 8 0 随着经济的发展 通信 技术的日益提高 人们已不再满足于语音 电报 电子邮件等的通信方式 视频通信因为其直观性 可靠性等一系列优点 成为新的应用需求热点 例如远程监控 远程教学 手机电视 可视电话 视频点播 电话会议 网络流媒体 d v d 视频存储 高清数字电视等等 然而数字化视频的数据 量是惊人的 对数据的传输带宽 存储容量等提出了严峻的挑战 举例来 说 一幅中等分辨率 n t s c 制式 美国国家电视标准委员会制定的彩色电 视广播标准 2 4 比特 像素 的彩色数字视频 其传送速率约为2 2 1 1m b p s 而高清晰度电视的传输速率则在1 2 g b p s 以上 一幅数字电视图像的每帧数 据量为2 5 3 k b 每秒的数据量 以3 0 帧 秒计 为2 5 3 x 3 0 7 6 m b 则一片 c d r o m 以6 5 0 m b 计 所能播放的节目时间仅为6 5 0 7 6 6 0 1 4 2 分 片 如 此庞大的视频数据给信息的传输和存储都造成了较大的困难 成为阻碍人 类有效的获取和使用信息的瓶颈之一 1 1 因此要使视频得到有效的应用 必 须首先解决视频压缩问题 近年来 视频压缩算法的蓬勃发展为图像的传输和存储 4 7 提供了基础 国际电信联盟 i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n i t u 和国际标准化组 织 国际电工委员会 i n t e r n a t i o n a ls t a n d a r do r g a n i z a t i o n i n t e r n a t i o n a l e l e c t r o t e c h n i c a lc o m m i s s i o n i s o i e c 分别制定了h 2 6 x 和m p e g x 两大系 列视频编码国际标准 而最新的推出的h 2 6 4 a v c t 2 标准是i t u 和i s o i e c 联合推出的新的视频编码算法 编码效率更高 更适于面向实际应用 自 从2 0 0 3 年国际电信联盟正式批准h 2 6 4 a v c 作为新一代交互式视频通讯标 准以来 因其具有很高的编码效率 网络的适应性强差错恢复能力强 h 2 6 4 a v c 迅速成为了视频应用产品的发展方向 h 2 6 4 a v c 规定了三种档次 每个档次支持一组特定的编码功能 并 支持一类特定的应用 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 1 基本档次 利用i 片和p 片支持帧内和帧间编码 支持利用基于 上下文的自适应变长编码的熵编码 c 越 l c 主要用于可视电话 会议电 视 无线通信等实时视频通信 2 主要档次 支持隔行视频 采用b 片的帧间编码和采用加权预测 的帧内编码 支持利用基于上下文的自适应算术编码的熵编码 c a b a c 主要用于消费电子应用 如数字电视广播 数字视频存储等 3 扩展档次 支持码流之间有效的切换 s p 和s i 片 改进误码性 能 数据分割 但不支持隔行视频和c a b a c 主要用于网络的视频流 如视频点播 c a v l c 是h 2 6 4 a v c 支持的两种熵编码方案之一 相对于另一熵编码 方案 基于上下文的二进制自适应算术编码 c o n t e x t a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g c a b a c c a v l c 的编码复杂度和编码时延都显著下降 c a v l c 被h 2 6 4 a v c 标准的基本档次和扩展档次采用 完成对变换系数残 差块的编码 本文着重研究的就是h 2 6 4 a v c 的c a v l c 编码算法及在 f p g a 实现 1 2 研究背景及意义 近年来 随着计算机的普及和网络的发展 视频传输技术得到了更加 深入的研究和发展 虽然网络技术的不断发展增加了通信信道的带宽 但 这仍难以满足各种视频传输对信道的要求 因此视频压缩技术 8 2 6 1 就成为 一个令人关注和感兴趣的研究课题 为了适应视频通信的迫切要求和各种视频通信业务本身的特点 近几 十年来对视频压缩编码技术进行了大量的标准化工作 上个世纪8 0 年代以 来 i s o i e c 和i t u t 分别制定了m p e g x h 2 6 x 两大系列视频编码国际 标准 这些视频编码标准追求的共同目标是在尽可能低的码率下获得尽可 能好的图像质量 然而 多媒体通信的发展离不开数字通信技术的进步 数字通信技术在二十世纪九十年代得到了飞速的发展 主要体现在互联网 无线移动通信和多媒体业务三个方面 其中互联网和无线移动通信的发展 特别引人注目 基于无线移动网络和口网络的视频传输已成为人们研究的 2 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 热点 无线移动网络和口网络下的视频通信对视频压缩编码提出了更高的 要求 现有的视频压缩编码标准由于存在种种局限和不足 均难以满足这 些要求 为了克服现有视频压缩算法的局限和不足 适应更广的传输信道 提供更高的视频质量 更大的灵活性和更多的功能 有必要制定新的视频 压缩编码标准 h 2 6 4 a v c 6 2 0 1 就是满足这种要求的由i s o i e c 和i t u t 两大国际标 准组织联合制定的视频新标准 其目标是设计并开发出一套简单易懂的视 频压缩方案 在提高压缩效率的同时 提供 网络友好 n e t w o r k f r i e n d l y 的视频表达方式 以满足 会话式 如可视电话 以及 非会话式 如存 储 广播或流媒体服务 视频应用的需要 h 2 6 4 a v c 能适应于不同网络中 的视频传输 网络亲和性好 h 2 6 4 a v c 的基本系统无需使用版权 具有 开放的性质 能很好地适应口和无线网络的使用 这对目前因特网传输多 媒体信息 移动网中传输宽带信息等都具有重要意义 h 2 6 4 a v c 是由i t u t 的v c e g 视频编码专家组 和i s o i e c 的 m p e g 运动图像编码专家组 共同成立的联合视频组 j j o i n tv i d e ot e a m 开发的一个新的数字视频编码标准 它既是r r u t 的h 2 6 4 又是i s o m c 的m p e g 4 的第十部分 1 9 9 8 年1 月份开始草案征集 1 9 9 9 年9 月 完成 第一个草案 2 0 0 1 年5 月制定了其测试模式j m 2 0 0 2 年6 月的j v t 第五 次会议通过了h 2 6 4 a v c 的f c d 版 f a c e t e dc l a s s i f i c a t i o nd i s c u s s i o n i t u t 在2 0 0 3 年7 月正式通过了h 2 6 4 a v c 视频压缩标准 h 2 6 4 a v c 的主要优点如下 3 在相同的重建图象质量下 h 2 6 4 a v c 比h 2 6 3 和m p e g 4 减小了约5 0 的码率 对信道时延的适应性较强 既 可工作于低时延模式以满足实时业务 如会议电视等 又可工作于无时延 限制的场合 如视频存储等 提高网络适应性 采用 网络友好 的结构 和语法 加强对误码和丢包的处理 提高解码器的差错恢复能力 在编 解 码器中采用复杂度可分级设计 在图象质量和编码处理之间可分级 以适 应不同复杂度的应用 相对于先期的视频压缩标准 h 2 6 4 a v c 引入了很 多先进的核心技术 包括4 x 4 整数变换 空域内的帧内预测 1 4 象素精度 3 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 的运动估计 多参考帧与多种大小块的帧间预测技术 统一熵编码等 由 于采用了这些核心技术 h 2 6 4 a v c 比其他视频编码标准的编码压缩性能 提高了很多 具有广阔的应用前景 而c a v l c 是h 2 6 4 a v c 视频标准的 熵编码之一 因此研究c a v l c 的编码算法具有深远的意义 1 3 国内外研究及应用现状 1 3 1 国内外研究现状 近年来 人们在传统v l c t 2 4 1 1 2 5 1 1 2 9 1 v a r i a b l el e n g t hc o d i n g 变长编码 编码算法上做了很多的研究 研究的重点主要包括数据处理的方式及其硬 件实现 传统的数据处理方式分为串行模式和并行模式 它们各自有其自 身的优缺点 串行模式简洁但是速度比较慢 适合于处理一些非实时的数 据 并行模式结构复杂但是速度很快 比较适合实时处理系统 因此 现 在的大多数编码器硬件设计为了追求高性能和高速度 一般都采用并行模 式 但是 c a v l c 与v l c 3 3 的编码算法并不相同 其硬件结构也不相同 传统的v l c 并行模式并不能直接运用于c a v l c 编码器设计上 至今为止 对于c a v l c 编码器硬件设计的研究还不是很多 下面为已有的几个 c a v l c 编码器设计方案 y e o n g k a n gl a i 提出了简单高效而又低存储空间的c a v l c 编码器 l o 然而此方法的综合结果表明需要9 1 7 1 个逻辑门单元 所需的存储空间还是 较大 而且达到的最大工作频率只有2 8 m h z 不能满足实时要求 t u n g c h i e nc h e n 提出了d u a l b l o c k p i p e l i n e d 的编码器 1 6 结构设计 此 设计充分利用c a v l c 的特点 提高了c a v l c 的吞吐量 此设计的v l s i 实现结果表明能够在时钟频率1 0 0 m h z 的情况下 可以对每帧为1 9 2 0 1 0 8 8 像素点的3 0 帧 秒视频流进行实时编码 然而整个编码器共花费2 3 6 0 0 个逻辑门单元 且此设计需要很大的存储空间 硬件消耗大 c h u a n y u n gt s a i 提出的低功耗c a l v c 编码器硬件设计 l 9 1 比 t u n g c h i e nc h e n 的d u a l b l o c k p i p e l i n e d 的编码器设计能够节约6 9 的功耗 然而此设计达到的最大工作频率为2 7 m h z 不能进行实时处理 目前中国大陆在c a v l c 编码器的研究还不是很多 能在f p g a 实现 4 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 且满足实时处理要求的寥寥无几 台湾地区在c a v l c 编码器的研究还比 较多 目前台湾高校的研究基本上都是基于v l s i 进行结构设计的 但在硬 件实现和满足实时处理的研究成果也不多 国外声称已经可以提供基于 h 2 6 4 a v c 的会议电视产品的公司有p o l y c o m t a n d b e r g v c o n s o n y 等 目前市场上已经出现了由t a n d b e r g 公司和s o n y 公司生产 的支持h 2 6 4 a v c 的视频会议产品 1 3 2 国内外应用现状 根据h 2 6 4 a v c 规定的三个档次 以及每个档次所支持的特定应用 下面将分三个方面分别简单介绍h 2 6 4 a v c 在视频通信领域 数字广播电 视领域和视频存储播放领域的应用情况 1 在视频通信领域中的应用 h 2 6 4 a v c 在视频实时通信领域首先得到了应用 目前国外声称已经 可以提供基于h 2 6 4 a v c 的会议电视产品的公司有p o l y c o m t a n d b e r g v c o n s o n y 等 2 在数字广播电视领域中的应用 h 2 6 4 a v c 具有较强的抗误码特性 可适应丢包率高 干扰严重的无 线信道中的视频传输 h 2 6 4 a v c 的出现为数字电视业务开展提供了更为 广阔的技术平台 据数字视频广播 d v b 标准组a v a u d i ov i d e o 音 视频 编码组主席k e nm c c a n n 说 欧洲已经考虑修订当前的数字视频广播 标准 将m p e g 4 音频和h 2 6 4 a v c 视频同时列为基于i p 视频传输的候选 选项 而专注于数字电视的独立技术咨询公司z e t a c a s t 公司董事m c c a n n 指出 d v b 的a v 编码组已经考虑用于d v b 广播应用的h 2 6 4 a v c 实施 指南问题 可以预计 随着h 2 6 4 a v c 在数字广播特别是高清晰电视领域 中的应用 用户可以看到更高质量的视频图像节目 可以选择更多的电视 节目频道 3 在视频存储播放领域中的应用 在2 0 0 3 年1 1 月1 9 日的日本千叶县幕张m e s s e 会展中心开幕的 2 0 0 3 年国际广播电视设备展 i n t e rb e e2 0 0 3 上 不少公司利用h 2 6 4 a v c 5 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 编解码器进行了录像播放演示 编解码器的形态各种各样 从f p g a 等芯 片到电脑软件应有尽有 在d v d 等视频存储播放领域应用中 h 2 6 4 a v c 将是最好的选择 并且对于高清晰度d v d h d d v d 应用来说 更加需 要具有高压缩效率的视频压缩标准 h 2 6 4 a v c 视频编码标准具有比其他的h 2 6 x 系列视频压缩标准节省 码流 比m p e g x 算法简单的特点 h 2 6 4 a v c 的良好网络适应性和内在 的抗丢包能力 抗误码机制 使它不仅适于d 传输方式 也适合丢包严重 时延和抖动复杂的无线信道 h 2 6 4 a v c 有望成为多媒体通信中首选的视 频编解码标准 目前 对h 2 6 4 a v c 的研究主要集中在如何进一步优化算 法结构 降低处理时延 提高实时性和进一步提高图像质量上 目前 很 多厂家都推出了使用h 2 6 4 a v c 进行编解码的视频会议系统 大多数做到 了在基本档次上的互通 试验证明 h 2 6 4 a v c 的图像质量较以往标准确 实有很大的提高 尤其是在低码率的情况下 随着h 2 6 4 a v c 自身的不断 完善和视频通信的不断普及 相信h 2 6 4 a v c 的应用将越来越广泛 1 4h 2 6 4 a v c 视频协议的发展历史 目前国际上主要存在三个系列数字视频编码标准 i s o i e c 制定的 m p e g x 1 4 1 8 2 l 2 3 系列 i t u t 制定的h 2 6 x 3 4 3 5 1 系列和中国自主制定的音 视频编码技术标准a v s 下面对这三种标准作简单的介绍 1 4 1h 2 6 x 标准 h 2 6 1 是第一个获得广泛应用的视频编码标准 目标是在 i s d n i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k 综合业务数字网 上以p 6 4 b p s p l 3 0 的速率开展视频会议和视频电话业务 h 2 6 1 定义了完整的 视频编码算法 采用了帧内图像编码 帧间误差预测 运动补偿 离散余 弦变换 d i s c r e t ec o s i n et r a n s f o r m d c t 变长编码等技术 使用基于块 的混合编码方案 h 2 6 3 是i t u t 针对甚低码率 低于6 4 k b p s 的视频会议和可视电话推出 的视频编码标准 但实际上这个标准可用在很宽的码流范围 并非只用于 低码流应用 它在许多应用中可以取代了h 2 6 1 h 2 6 3 的编码算法与h 2 6 1 6 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 没什么区别 但做了一些改善和改变 从而提高了性能和纠错能力 h 2 6 3 是1 9 9 8 年 t t 推出的h 2 6 3 第2 版 它提供了1 2 个新的可 协商模式和其他特征 进一步提高了压缩编码性能 如h 2 6 3 只有5 种视 频源格式 h 2 6 3 允许使用更多的源格式 图像时钟频率也有多种选择 拓宽应用范围 另一重要的改进是可扩展性 它允许多显示率 多速率及 多分辨率 增强了视频信息在易误码 易丢包异构网络环境下的传输 另 外 h 2 6 3 对h 2 6 3 中的不受限运动矢量模式进行了改进 加上1 2 个新增 的可选模式 不仅提高了编码性能 而且增强了应用的灵活性 h 2 6 3 标 准是在h 2 6 3 标准的基础之上 对h 2 6 3 标准的进一步扩充 在h 2 6 3 中又增加了三种可选的编码模式 分别是 增强的参考帧选择模式 数据 分割片层以及附加增强信息模式 h 2 6 3 的制定 是为了视频通信的有效应用 对它的不断完善主要目标 是使h 2 6 3 不但适用于固定的有线信道 也能够适用于无线和打包网络环 境 j 1 4 2m p e g 标准 m p e g 1 标准于1 9 9 3 年8 月由m p e g 运动图像专家组 公布的 是 m p e g 第一阶段的成果 m p e g 1 规定视频信息与伴音信息经压缩之后的 数据速率上限为1 5 m b p s 从而可以在c d r o m 硬盘 可写光盘 数字 音频磁带等介质上进行存储 也可以在局域网 i s d n i n t e g r a t e ds e r v i c e d 谤t a ln e t w o r k 综合业务数字网 上进行视频与伴音信息的传输 m p e g 1 标准在制定时迎合了两种关键的需求 即高压缩比和对编码比特流的随机 存取 单独的帧内编码十分适用于要求随机存取的场合但是却不能满足高 压缩比的要求 为了同时满足这两种相互矛盾的需求 m p e g 1 采用了帧内 编码和帧间编码的相互结合的方法 m p e g 2 压缩标准是由m p e g 组织于1 9 9 4 年推出的 用以实现视 音 频服务与应用互操作的可能性 m p e g 2 标准是针对标准数字电视和高清 晰度电视在各种应用下的压缩方案和系统层的详细规定 m p e g 2 不是 m p e g 1 的简单升级 m p e g 2 在系统和传送方面作了更加详细的规定和进 7 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 一步的完善 m p e g 2 特别适用于广播级的数字电视的编码和传送 被认定 为s d t v s t a n d a r dd e f i n i t i o nt e l e v i s i o n 和h d t v h i 出d e f i n i t i o n t e l e v i s i o n 的编码标准 m p e g 4 标准 1 1 1 3 1 的第一版本于1 9 9 9 年2 月正式公布 同年年底 m p e g 4 第二版亦告拟定 且于2 0 0 0 年年初正式成为国际标准 m p e g 4 与m p e g 1 和m p e g 2 有很大的不同 m p e g 4 不只是具体压缩算法 它 是针对数字电视 交互式绘图应用 交互式多媒体等整合及压缩技术的需 求而制定的国际标准 m p e g 4 标准将众多的多媒体应用集成于一个完整的 框架内 旨在为多媒体通信及应用环境提供标准的算法及工具 从而建立 起一种能被多媒体传输 存储 检索等应用领域普遍采用的统一数据格式 m p e g 4 的编码理念是 m p e g 4 标准同以前标准的最显著的差别在于它是 采用基于对象的编码理念 即在编码时将一幅景物分成若干在时间和空间 上相互联系的视频音频对象 分别编码后 再经过复用传输到接收端 然 后再对不同的对象分别解码 从而组合成所需要的视频和音频 这样既方 便我们对不同的对象采用不同的编码方法和表示方法 又有利于不同数据 类型间的融合 并且这样也可以方便地实现对于各种对象的操作及编辑 1 4 3h 2 6 4 a v c 标准 h 2 6 4 a v c t 5 是i t u t 的v c e g 视频编码专家组 和i s o i e c 的 m p e g 活动图像编码专务组 共同成立的联合视频组 j v t j o i n tv i d e o t e a m 1 j 定和发布的目前国际一上最新的数字视频编码标准 i t u t 在1 9 9 6 年初步完成h 2 6 3 视频编码国际标准的制定工作之后 确定了近期和长期 两个目标 其中长期的目标是制定一种新的视频编码标准 以更好的质量 更高的压缩比支持视频会议等低比特率应用 因此产生了h 2 6 l 草案 与 此同时 i s o i e c 也在继续进行m p e g 4 高级视频编码a v c a d v a n c e dv i d e o c o d i n g 的研究 2 0 0 1 年m p e g 对h 2 6 l 草案进行评估并认识到h 2 6 l 潜 在的优越性 于是由i s o i e c 的m p e g 和i t u t 的v c e g 专家共同组成了 联合视频小组j v t j o i n tv i d e ot e a m 进一步完善h 2 6 l 模型 共同发展 新的视频编码国际标准 h 2 6 4 a v c 标准 在i t u t 称之为h 2 6 4 a v c 8 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 在i s o i e c 中作为m p e g 4p a r t l0 a v c h 2 6 4 a v c 标准采用统一的v l c 符号编码 1 4 像素精度的运动估计 多模式运动估计 基于4 x 4 块的整数 变换 分层编码语法等 这些措施使得h 2 6 4 a v c 算法具有很高的编码效 率在相同的重建图像质量下 能够比h 2 6 3 标准减少5 0 左右的码率 同 时h 2 6 4 a v c 码流结构的网络适应性强 能够很好的适应口和无线网络的 应用 h 2 6 4 a v c 的发展经过了一个很长的历史 它继承了早期编解码标准 的优点 而又融入了一些新的特色 它的发展历史如下图所示 囤回叵丑巫丑回 i i s i t u e t c m p e g 一2 i h 2 6 4l h 2 6 2 l i s i e cm p e g 1m p e g 4 l 图1 1 视频协议发展历史 1 4 4a v s 标准 a v s 是中国自主制定的音视频编码技术标准 a v s 工作组成立于2 0 0 2 年6 月 并于2 0 0 3 年1 2 月完成a v s 标准1 0 版本的制订 a v s 视频编码 标准主要是为了适应数字电视广播 数字存储媒体 因特网流媒体 多媒 体通信等应用中大尺寸 高质量的运动图像压缩的需要而制定的 a v s 采 用与h 2 6 4 a v c 类似的技术框架 核心技术包括8 x 8 整数变换 量化 帧 内预测 1 4 精度像素插值 特殊的帧间预测 二维熵编码 去块效应环内 滤波等 目前只有a v s 会员有权阅读a v s 相关技术文档 1 5 论文的主要工作和创新点 本文主要对h 2 6 4 a v c 的编码标准及其c a v l c 算法进行深入研究 确定c a v l c 编码器的总体结构框图 分析影响c a v l c 编码器实现的各个 瓶颈 针对这些瓶颈 对各个句法元素的编码单元进行优化设计 力求设 9 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 计出一种高效率的c a v l c 编码器硬件结构 使其能在f p g a 或a s i c 上高 效应用 1 5 1 论文的创新点 1 为了克服c a v l c 码表预测的低准确性 本文采用了一个新的码表预 测方案 此方案就是通过增加预测块的数目及确定各预测块的加权因子来 提高码表预测的准确性 2 c a v l c 算法的多个句法元素都是基于查表进行编码的 然而基于查 表的编码方法不仅消耗大量面积 而且速度也不快 针对这个缺点 本文 采用了快速查找表匹配法和算术消除表法来设计各句法元素的编码模块 3 在c a v l c 算法中 尾1 系数最多只有三个 为了减少对尾1 系数 符号进行编码所需的时钟 本文使用3 位数组来存储尾1 系数符号 这样 就只需一个时钟周期就可完成尾1 系数符号的编码工作 4 由于一个4 x 4 块中的各个相邻l e v e l 字符之间存在上下文自适应性 因此很难实现并行编码方式 为此 本文采用超前并行编码方法来对两个 l e v e l 字符进行并行编码 为了实现超前并行编码 l e v e l 编码模块使用了 串行输入并行输出缓冲器 s i p ob u f f e r l e v e l 编码器的设计方法同样被应 用到r u n b e f o r e 字符编码模块中 1 5 2 主要研究工作 在本课题研究中 作者完成了c a v l c 编码算法的理论研究 编码器设 计及f p g a 实现的整个流程 所做的具体工作如下 1 研究了视频压缩的基础知识并总结了各视频压缩标准的特点 2 研究了h 2 6 4 a v c 的发展历史 编 解码过程及其核心技术 3 重点研究c a v l c 编码算法 从而确定c a v l c 编码器的总体结构框 图 根据c a v l c 编码器的实现瓶颈 对各句法元素的编码单元进 行优化设计 4 完成c a v l c 编码器的硬件语言v e r i l o g 代码编写 仿真并在f p g a 上实现 1 0 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 1 6 论文结构 本文在分析了h 2 6 4 a v c 协议中熵编码c a v l c 算法原理的基础上 对其进行了详细地设计 包括各个模块的划分 优化设计 v e r i l o g 编程 功能仿真与综合 本文的章节安排如下 第一章介绍了课题研究的背景及意义 目前国内外研究及应用现状 h 2 6 4 a v c 视频标准的发展历史及本文的研究内容及论文结构 第二章首先概述了视频压缩的基本概念 其次介绍了h 2 6 4 a v c 协议 的编解码过程及h 2 6 4 a v c 协议的关键技术 最后说明e x p g o l o m b 码在 h 2 6 4 a v c 协议中的应用 第三章首先简单介绍了u l v c 编码算法 接着分析c a v l c 的编码原 理及其上下文模型 然后对c a v l c 编解码算法进行研究 并举例说明 c a v l c 编解码算法 最后对c a v l c 和u v l c 进行了比较 第四章首先根据c a v l c 算法研究结果确定采用并行编码的c a v l c 编码器的整体结构 然后分析c a v l c 编码器中各句法元素的编码单元的 实现瓶颈 根据这些瓶颈对各编码单元进行优化设计 确定具体的各句法 元素的编码模块的结构 第五章c a v l c 编码器主要单元的仿真及在f p g a 上的实现 第六章对本论文的总结和展望 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 第二章h 2 6 4 a v c 视频编码综述 2 1 视频压缩基本概念 视频数据中存在大量的冗余 视频的信息冗余主要包括空间冗余 时间 冗余 人类视觉冗余及统计冗余 空间冗余是指视频序列的每帧图像在很 多区域有很强的相关性 如相似的纹理结构 时间冗余是指视频序列的前 后帧图像有很强的相似性 在很多情况下前后帧图像相差的仅是前景物体 的位置移动 人类视觉冗余是指人类的视觉系统对视频的高频信息及纹理 一致区域的变化不敏感 视频的这部分信息对人眼来说是冗余的 统计冗 余也就是信源的信息熵冗余 信息熵冗余也称为编码冗余 由信息论的有 关原理可知 为了表示图像数据的一个像素点 只要按其信息熵的大小分 配相应的比特数即可 然而对于实际图像的每个像素 很难得到它们的信 息熵 因此在数字化一幅图像时 对每个像素采用相同的比特数表示 这 样必然存在冗余 针对这四种信息冗余 分别有四种压缩方法 帧内预测 编码 帧间预测编码 变换编码及量化 熵编码 2 1 1 帧内预测编码 视频压缩中所采用的帧内预测技术 1 7 用于去除当前图像中的空间冗 余度 由于当前被编码的宏块与相邻的宏块有很强的空间相似性 这样可 以用邻近块的宏块去估计当前块的值 用实际值和估计值之间的差值进行 编码 可达到很好的压缩效果 在帧内预测中 当前编码宏块的预测值可 由其上方及左方的宏块计算得到 当前宏块与其预测值的差值将被进一步 进行变换编码等 2 1 2 帧间预测编码 视频序列可以看做是图像序列 是随时间变化的图像 视频信号不仅 存在着空间相关性 即空间冗余 还存在时间相关性 即时间冗余 比如 说 一段视频每秒3 0 帧 一帧图像和它的前后几帧都可能比较相近 可以 用前面的图像预测后面的图像 从而消除时间上的冗余 这种利用前后图 像的相关性的预测法称为帧间预测 在帧间预测中消除时间上的冗余都是 通过运动估计及运动补偿技术来实现的 运动估计用来估计物体的位移 1 2 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 得到运动矢量 m 运动补偿根据得到的运动矢量 对前一帧中由于运动 而产生的位移进行调整 从而得到尽可能接近本帧的预测帧或预测块 由 此可见 运动估计算法越完善 估计出的运动矢量越准确 运动补偿的性 能就越好 从而使预测误差越小 编码后需要传输的信息量也将随之大大 减少 整个系统的码率压缩比得到很大的提高 因此运动估计和补偿技术 己经成为视频序列图像编码系统中减少时间冗余 提高压缩比的重要技术 当前的视频编码国际标准主要采用的是基于块的运动估计和运动补偿 算法 而且主要采用块匹配算法 该算法如图2 1 所示 其中帧k 是当前 帧 当前帧中的块在第k 1 帧中的查找窗口 虚线范围 内通过移动来搜 索同样大小的块 从而找出差别最小的块作为最佳匹配的块 块之间的距 离作为运动向量 这样当前帧就可以用第k 1 帧预测 用第k 1 帧的相应 块移动运动向量的距离后得到的块来估计 图2 1 帧间预测方式 2 1 3 变换编码及量化 变换编码不是直接对空域图像信号进行编码 而是首先将空域图像信号 映射变换到另一个正交矢量空间 产生一批变换系数 然后对这些变换系 数进行编码处理 变换前首先将原始图像划分成固定大小的块 对每一个 块进行正交变换 变换后的系数经过量化 编码后就可以形成压缩码流 在解码时需要进行反量化 反变换 在对这些块进行拼接后就可以恢复出 空域图像 用变换编码进行图像压缩的原理有二 1 原始图像在空域有很 大的相关性 数据冗余度大 而转换到频率域描述后 数据相关性大大减 1 3 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 少 数据冗余度也相应减少 2 变换编码利用了人眼的视觉特性 人眼对 图像信号的敏感程度是不一样的 对高频细节不敏感 对低频则比较敏感 于是可以用一个低通滤波器将高频信号滤除 保留低频系数 这样恢复出 来的图像与原始图像之间会产生一些图像失真 但是人眼很难察觉出这种 失真 这种失真不会降低主观保真度 变换编码由于要进行量化 滤除高频信号 所以会损失一些信息 是一 种有损压缩技术 正交变换的种类很多 如傅里叶 f o u r i e s 变换 沃尔什 w a l s h 变换 哈 尔 h a a r 变换 余弦变换 正弦变换 k l k a r h u n e n l o e v e 变换等 其中 k l 变换是均方误差准则下的最佳变换 但它需要知道信号源的协方差矩 阵 而且实际的信息源在时域和空域的概率分布是变化的 因此必须根据 以前的信号计算协方差矩阵 计算量非常大 不利于应用 而离散余弦变 换 d i s c r e t ec o s i n et r a n s f o r m d c t 变换的效果非常接近于k l 变换 在实 际的编码工作中通常采用离散余弦变换 d i s c r e t ec o s i n et r a n s f o r m d c t 2 1 4 熵编码 熵编码 捌是属于无损压缩编码方法 它生成的码流可以经解码无失真的 恢复出原数据 熵编码是建立在随机过程的统计特性基础上的 所以熵编 码也称为统计编码 信息论中指出 信息中或多或少的存在自然冗余度 这些冗余度既来自 于信息源本身的相关性 又来自于信息源概率分布的不均匀性 而信息熵 编码就是寻求去除或降低相关性或改变概率分布不均匀性的手段和方法 熵是信息多寡的度量 根据香农 s h a n n o n 的信息论原理 设信息源x 可发出的信息符号集合为a a i l i l 2 m 当信源发出某个随机事件x 接收端则收到一个相应的码字z i 设x 发出符号a i 的概率为p a i 信息论 定义了一种度量信息量的方法 i a 1 一l 0 9 2p a i i 1 2 m i a i 的含义是 信源x 发出a i 这个信息后 接收端收到该信息的量度 或者说接收端可能收到信源发出的这个随机事件的不确定性 1 4 上海大学硕士学位论文h 2 6 4 a v c 的c a v l c 编码算法研究及f p g a 实现 而熵则被定义为 日 x e 口f mm x p a 口 哆 一 p a 1 0 9 p a i 1i 1 熵的含义是信源x 发出任意一个随机变量的平均信息量 对于图像来说 由于一般的图像并不是随机噪声 图像是渐变的 图像 相邻像素是有相关性的 如果所有的像素都用同样的比特位数表示 比如 每像素8 b i t 这样的表示方法就有信息冗余 进一步 若以n 表示编码器 输出码字的平均长度 则 1 当n h x 时 有冗余 不是最佳编码 2 n h x 不可能 3 当n h x 时 是最佳编码 n 稍大于h x 熵值是平均码字长度n 的下限 所以各种统计编码方法都在尽可能地 接近熵值 信息熵编码的方法比较典型有三种 一是利用像素间相关性的熵编码 行程编码 r u n l e v e lc o d i n g 二是利用灰度级概率分布特性的熵编码 哈夫曼编码方法 变长编码 v a r i a b l el e n g t hc o d i n g 它是无失真变长编 码的最佳编码方法 三是利用灰度级概率分布特性的熵编码 算术编码 a r i t h m e t i cc o d i n g 上述的几种信息熵编码方法已经广泛应用于数据压缩编码系统中 同 时也广泛应用于视频图像数据压缩编码系统中 它们被纳入了国际标准如 j p e g m p e g h 2 6 x 的推荐算法 成为这些算