（信号与信息处理专业论文）基于定点dsp的avs编码算法实现及其优化.pdf

太原珲工入学硕士研究生学位论文 基于定点d s p 的a v s 编码算法 实现及其优化 摘要 a v s 标准是我国自主制定的数字音视频编解码技术国家标准，其中第 二部分视频是为了适应数字电视广播、数字存储媒体、网络流媒体、 多媒体通信等应用中对运动图像压缩技术的需要而制定。本课题针对该部 分在d s p 平台上实时实现开展研究。 本文介绍了a v s 编码算法的原理及其核心技术、d m 6 4 4 6 芯片的结构 特性和功能、d m 6 4 4 6 的a r m 子系统和视频子系统；特别给出了本入总结 的d s p 子系统及其指令集的整体描述以及在此基础上设计的基于定点芯片 实现浮点除法的方法；讨论了a v s 算法帧内编码原理和该模块的实现方法 以及相关的程序设计；利用线性汇编对a v s 算法中过于耗时的函数进行优 化，提高帧内编码的效率等。 本课题研究的主要内容是基于定点d s pt m s 3 2 0 d m 6 4 4 6 实现a v s 算 法，主要完成了以下工作： 实现了基于该硬件平台的浮点除法( 包括单精度和双精度) ，精度 与c 代码相当，指令周期分别降低了1 8 ，2 ( 单精度) 和3 9 3 ( 双精度) ； 基于t m s 3 2 0 d m 6 4 4 6 实现了a v s 算法中的2 个模块帧内编码 模块，i c t 变换、量化和反i c t 变换、反量化模块。包括c 代码实现及其 优化、线性汇编优化等； 太原理1 大学硕士研究生学位论文 针对a v s 算法中耗时较多的函数如s a t d 及s a d ，i c t 变换和逆 i c t 变换，量化和反量化，1 4 像素插值等函数进行线性汇编优化，进一步 提高了编码效率； 通过合理调整程序结构、合理分配存储器资源实现了a v s 算法的移 植。在t m s 3 2 0 d m 6 4 4 6 硬件平台上运行得到q c i f 格式、帧率为1 3 4 9 f p s 的a v s 码流；解码后亮度y 平均信噪比能达到3 8 5 d b 以上，色度u 和v 的平均信噪比能达到4 1 5 d b 以上。 关键词：a v s ，t m s 3 2 0 d m 6 4 4 6 ，浮点除法，帧内编码，线性汇编 太原理工人学硕上研究生学位沦义 a v sc o d l n ga l g o r i t h mi m p l e m e n t a t i o na n d 0 p t l m i z i n g8 a s e do nf l x e d p 0 l n td s p a bs t r a c t a v ss t a n d a r di sd i g i t a la u d i o v i d e oe n c o d i n ga n dd e c o d i n gt e c h n o l o g i e s n a t i o n a ls t a n d a r dm a d ei nc h i n ai n d e p e n d e n t l y ，t h es e c o n dp a r t v i d e oi s m a d ef o rm e e t i n gm o v i n gi m a g ec o m p r e s s i o ni nt h ea p p l i c a t i o n ss u c ha s a d a p t i n gt od i g i t a lv i d e ob r o a d c a s t i n g ，d i g i t a ls t o r a g em e d i a ，n e t w o r ks t r e a m i n g m e d i a ，m u l t i m e d i ac o m m u n i c a t i o na n ds oo n 。t h es u b j e c tr e s e a r c h e do nt h ep a r t r e a l i z e di nr e a lt i m eb a s e do nd s p p l a t f o r m t h et e x ti n t r o d u c e dt h ep r i n c i p l eo fa v sc o d i n ga l g o r i t h ma n dt h ek e y t e c h n o l o g i e s ，t h es t r u c t u r e a n df e a t u r eo ft h ec h i po fd m 6 4 4 6 ，t h ea r m s u b s y s t e ma n dv i d e os u b s y s t e m ，e s p e c i a l l yi n t r o d u c e d d s ps u b s y s t e ma n d i n s t r u c t i o ns e ts u m m a r i z e db ym y s e l fa n dt h e d e s i g n o ft h em e t h o do f f l o a t e d p o i n td i v i s i o nb a s e do nf i x e d p o i n tc h i p ，d i s c u s s e dt h ep r i n c i p l eo f i n t r a e n c o d i n g ，t h em e t h o da n dr e l a t e dp ro g r a md e s i g n ，o p t i m i z i n gt h e f u n c t i o n s w h i c hw a sc o n s u m i n gm u c ht i m ei na v sa l g o r i t h mi nl i n e a ra s s e m b l el a n g u a g e ， i m p r o v i n ge f f i c i e n c yo fi n t r ac o d i n ga n ds oo n t h es u b je c tr e s e a r c h e do nr e a l i z i n ga v sa l g o r i t h mi nr e a lt i m eb a s e do n t h ef i x e d p o i n tc h i po f t m s 3 2 0 d m 6 4 4 6 ，m a i n l yf i n i s h e dt h et a s ka sf o l l o w i n g ： h a v i n gf i n i s h e df l o a t e d p o i n td i v i s i o n ( i n c l u d i n g ：f l o a t a n dd o u b l e 太原理工大学硕士研究生学位沦文 d i v i s i o n ) b a s e do nt h eh a r d w a r ep l a t f o r m ，o nt h ee q u i v a l e n tp r e c i s i o nw i t hc l a n g u a g e ，i n s t r u c t i o nc y c l e sh a v er e d u c e d 18 。2 ( f l o a t ) a n d3 9 3 ( d o u b l e ) i n d e p e n d l y ； h a v i n gr e a l i z e dt w ok e ym o d u l e si na v sa l g o r i t h m i n t r ac o d i n g m o d u l e ，i c ta n da n t i i c tt r a n s f o r m s ，q u a n t i z a t i o na n dd e q u a n t i z m i o nm o d u l e b a s e do n t m s 3 2 0 d m 6 4 4 6 i n c l u d i n gp r o g r a m m i n ga n do p t i m i z i n g i nc l a n g u a g e ，a n do p t i m i z i n gi nl i n e a ra s s e m b l e ； h a v i n go p t i m i z e df u n c t i o n sw h i c hw a sc o n s u m i n gm u c ht i m ei na v s a l g o r i t h mi n l i n e a ra s s e m b l el a n g u a g e ，s u c ha ss a t da n ds a d ，1 4p i x e l i n t e r p o l a t i o n ，i c ta n da n t i i c tt r a n s f o r m s ，q u a n t i z a t i o na n dd e q u a n t i z a t i o n ， i m p r o v i n ge f f i c i e n c yo f i n t r ac o d i n gf u r t h e r ； b yr e a d ju s t i n gt h es t r u c t u r eo ft h ew h o l ep r o g r a mr e a s o n a b l y , m a k i n g g o o d u s eo f m e m o r yr e s o u r c e ，h a v i n gr e a l i z e dt r a n s p l a n t a t i o no f a v sa l g o r i t h m a f t e rr u n n i n go nt h eh a r d w a r ep l a t f o r mo ft m s 3 2 0 d m 6 4 4 6 ，h a v i n gg o tt h e a v ss t r e a mo fq c i ff o r m a t ea n df r a m er a t eo f13 4 9 f p s ；a f t e re n c o d e re n c o d i n g ， t h ea v e r a g es n ro fl u m aw a s m o r et h a n3 8 5 d b ，t h ea v e r a g es n ro fc h r o m au a n dvm a yg e tu pt om o r et h a n4 1 5 d b k e yw o r d s ：a v s ，t m s 3 2 0 d m 6 4 4 6 ，f l o a t e d p o i n td i v i s i o n ，i n t r ac o d i n g ， l i n e a ra s s e m b l e l v 声明卢明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体己经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名： 曾硅 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为：目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) 尊 签名：_ 厶1 _ 一。 导师签名： 曾程 狐 ， 、，、 日期： 曰期： 矽分i 气汐孑6 气 太原理工大学硕士 ：i 玎究尘学位沦义 0 1 课题研究的背景和意义 j j l - 且i j舌 信息技术先进音视频编码标准a v s 是中国第一个具有自主知识产权的数字音视 频编解码技术标准。a v s 以当前国际上最先进的m p e g 4a v c h 2 6 4 框架为起点，在 高分辨率应用中，视频压缩效率明显比目前在数字电视、光存储媒体中常用的m p e g 2 视频提高一个层次【2 l 。在压缩效率相当的l i f 提下，a v s 又较m p e g 一4 a v c h ，2 6 4 的m a i n p r o f i l e 实现复杂度大为降低。2 0 0 7 年5 月，a v s 在成为国家数字音视频编解码标准1 年后，成为l p w 国际标准工作文档的一部分。a v s 算法具有特征性的核心技术包括： 8 x 8 整数变换、量化、帧内预测、1 2 和1 4 精度像素插值、帧间预测运动补偿、二维熵 编码、去块效应环内滤波等【3 】。 t m s 3 2 0 d m 6 4 4 6 ( 以下简称d m 6 4 4 6 ) 是t l 公司于0 5 年1 2 月推出的高集成度的 视频芯片，包括1 个a r m 子系统、1 个d s p 子系统莘爨1 个视频处理子系统( v p s s ) ，同 时还带有1 个鬻像协处理器( v i c p 和各种丰富的外设1 4 l 。视频处理子系统包括1 个视 频前端和1 个视频后端。视频前端用予图像采集，视频后端主要用于视频播放，视频协 处理器则主要用于图像编解码工作，适当减轻d s p 的负担。在本系统中，a r m 主要负 责视频采集设备的驱动，视频图像的捕获和输入，编码图像的输出，c o d e c 引擎的驱 动和d s ps e v e r 的建立，管理与d s p 的通信等。d s p 主要负责对输入的视频原始图 像进行a v s 编码，形成符合a v s 标准的码流。v i c p 用于分担d s p 的运算负荷，加快 图像编码速度。 a v s 视频标准的提出，使中国拥有了自己的核心技术标准，满足了我国数字视频产 业发展的急需。a v s 最直接的产业化成果使未来1 0 年我因需要的数亿颗解码芯片，最 直接效益是节省超过每年数1 0 亿美元的专利费。但由f a v s 在时间上相对于 董2 6 4 和 m p e g 4 等其它新标准要晚，还不成熟、不完善，目蔚依然没有成熟的编解码解决方案， 不利于a v s 向新一代数字音视频产业的应用。目前，虽然有些厂商已经宣布生产如a v s 解码芯片，例如宏景微电子有限公司的基于a v s 标准的数字音视频核心技术芯片；龙 景公司已经完成a v s 解码芯片的f p g a 验证；联合信源公司推出泪入a v s l o l 解码芯 片，芯晟科技丌发出一款a v ss o c ；中科院计算所和宁波中科集成电路设计中心合作推 太捺删j ：大学7 睫r _ f ：邵 究生学位论文 出的凤芯2 号；国际上，博通科技计划在某些芯片上也将实现a v s 的高清解码。但产 业化的还不多，有许多处于实验室阶段，且生产成本比较高。这样，在a v s 产业成熟 之前，软件实现a v s 的编解码功能显得尤为重要。而d s p 平台具有的如下优点很适合 目前a v s 编码器软件实现：能够快速制造原理样机和进行验证，加快产品上市时间； 高度可编程性使产品能够迅速应用新算法、新标准或新协议；可以通过软件更新， 快速进行产品升级【5 】。 本课题将针对a v s 的目前情况及其特点，着力于a v s 编解码实际应用的研究，优 化a v s 编码算法，提高a v s 解码速度，在此基础上提出并实现基于t i 公司的 t m s 3 2 0 d m 6 4 4 6d s p 平台的a v s 视频实时编码器方案。 0 2 论文完成的工作 基于d m 6 4 4 6 的a v s 视频编码的移植的实现中，本课题组共同完成的工作包括： 1 ) 深入了解该硬件平台，包括对a r m 子系统和d s p 子系统各种资源的学习； 2 ) 有效利用3 2 位高端微处理器( a r m + d s p ) 的处理能力，提出了该算法移植实 现完整的设计方案； 3 ) 编写了完整的、适合在d m 6 4 4 6 上运行的a v s 算法c 代码程序，在c c s 3 2 下 仿真运行，结果正确； 4 ) 实现了基于d m 6 4 4 6 硬件平台的a v s 编码算法移植并进行优化，实现了对q c i f 格式的视频序列编码，编码速率为每秒1 3 帧。 其中，由本人独自承担的部分在图1 1 中用阴影框标出，即：帧内编码模块和变换、 量化，反变换反量化模块，主要包括： 1 ) 实现了基于该硬件平台的浮点除法( 包括单精度和双精度) ，精度与c 语言除 法相当，指令周期分别降低了1 8 2 ( 单精度) 和3 9 3 ( 双精度) ； 2 ) 基于t m s 3 2 0 d m 6 4 4 6 实现了a v s 算法的核心模块之一帧内编码模块。包 括c 代码实现及其优化、线性汇编优化： 3 ) 针对a v s 算法中耗时较多的函数如s a t d 及s a d ，i c t 变换和逆i c t 变换，量 化和反量化，1 4 插值等函数进行线性汇编优化，进一步提高了编码效率； 4 ) 通过合理分配存储器资源、合理调整程序结构实现了a v s 算法的移植。在 t m s 3 2 0 d m 6 4 4 6 硬件平台上运行得到q c i f 格式、帧率为1 3 4 9 f p s 的a v s 码流；解码 人旺理工人学硕1 研究化 ? i 论文 后亮度y 平均信噪比能达到3 8 5 d b 以上，色度u 和v 的平均信噪比能达到4 1 5 d b 以 上。 0 3 论文的组织 第一章详细介绍a v s 编码算法的原理及其核心技术，重点描述了a v s 算法的帧内 编码；第二章介绍了d m 6 4 4 6 芯片的结构特性，a r m 子系统和视频子系统，重点介绍 了d s p 子系统及自己总结的d s p 子系统的指令集；第i 章余绍了基于定点芯片实现浮 点除法的方法；第四章重点介绍了帧内编码原理、编程实现方法及细节；第五章针对 a v s 算法中耗时多的函数进行线性汇编优化：重点介绍了帧内预测中常用的s a t d 函 数、影响整个编码效率的1 4 像素插值、i c t 变换和反变换、量化和反量化等函数的优 化，提高了帧内编码及整个编码过程的编码效率；最后总结了本论文的工作，提出了本 课题可改进之处并对今后的i 玎发与应用提出展望。 a 携i j 警| 大学硕一 二研究生学位论文 第一章a v s 编码算法原理 1 。1a v s 编码算法概述 a v s 是我国第一个具有自主知识产权的数字音视频编解码技术标准。该标准在国家 标准计划中的蕞式名称为信息技术先进音视频编码，它是我图第一个具有自主知识 产权、达到国际先进水平的数字音视频编解码标准，是高清晰度数字电视、高清晰度激 光视盘机、网络电视、视频通信等重大音视频应用共同采用的基础性标准1 6 。 a v s 包括系统、视频、音频、数字版权管理等9 个部分。扶2 0 0 2 年起，a v s 工作 组开始启动音频编码算法的标准化过程。标准将用于重大的信息技术领域：高清数字广 播，高密度激光视盘，无线宽带多媒体通信，互联网宽带流媒体，便携式播放器等。a v s 视频编码部分于2 0 0 6 年2 胃已经被确认为豳家标准，使得a v s 音频编码部分能否成为 国标变碍非常关键，只有a v s 音频编码部分也被确认为国家标准，才能让a v s 真正能 够成为完善的国家标准。 a v s 最大的应用价值是利用面向标清的数字电视传输系统能够壹接提供高清业务、 利用当翦的光盘技术制造出新代高清晰度激光视盘机，从两为我国数字音视频产业的 跨越发展提供了难得契机。a v s 将在标准工作组的基础上，联合家电、i t 、广电、电信、 音响等领域的芯片、软件、整机、媒体运营方面的强势企业，共闷打造中警数字音视频 产业鑫勺光辉未来。a v s 具备以下3 个特点： 1 ) 先进性 a v s 标准已经通过了国家严格的测试，与现有国际标准m p e g - - 4 署i h 2 6 4 ) n 比，在 技术上更优或至少不逊色于它们，处予国际先进水平。在保持同等清晰度的情漉下，a v s 标准的数据压缩率高于囡际标准，比传统的m p e g 一2 效率高了2 3 倍( 根据视频画面尺 寸不同而有所不问) ，与m p e g - - 4a v c ( h 2 6 4 ) 标准效率相当。但在计算资源的消耗 上较h 2 6 4 可降低3 0 到5 0 ：a v s 在僳证编码效率的莳提下，实现复杂度踱显t t h 2 6 4 低( 解码器复杂度降低到7 0 ，编码器复杂度降低到3 0 f 7 1 ) ，在高清晰度应用方面处 于领先水平。 对于网络电视i p t v 来说，目前的带竟是急需解决的一个问题，使得a v s 标准高盔缩 率的特点在技术上具有定的优势。 太熔理一f 大学馈二i 研究，| ，j f 迂论义 2 ) 自主性 a v s 标准除了技术先进、性能稳定之外，重要的是拥有完全自主知识产权，这也是 近几年来国内d v d 等音视频行业饱受专利费之苦后，中国第一个具有自主知识产权的数 字音视频编解码技术标准，这也为中国企业提供了摆脱国外企业专利费困拢的机会，也 是在中国3 g 标准t d - - c d m a 之后又一个伟大的胜利。 3 ) 开放性 a v s 标准以技术先进性为基础、按固际开放性规则所制定的标准，在a v s 冒前的 6 0 多项专利中，9 0 是中国自己贡献的专利技术，是具有自主知识产权的国家标准，然 而与以一家机构研发投入为主的中国标准制订策略不同，从成立之r 起，a v s 面向全 世界机构开放，5 0 项专利也分属于全国近1 0 家不同机构鼬。另外，在a v s 戒为国家标 准之后还开放了解码软件源码。目前，a v s 标准已经吸引了如i b m 、英特尔、索尼、 松下、诺基亚、b r o a d c o m 等有影响力的国际厂商。 1 2a v s 编码原理的几个基本概念 为了了解a v s 编码器的细节，必须先对以下名词的定义有清楚的理解： ( 1 ) 帧内编码和帧间编码 在图像编码中，有两种不困的编码类型，称为帧内( i n t r a ) 编码模式和帧闻 ( i n t e r ) 编码模式。帧内编码就是视频帧编码时不参考先酊各帧的任何视频信息，而 是用相邻的块柬预测当前块，从而减少空间上的冗余；帧删预测就是用其它帧参考块的 像素值预测当西块的像素值，以减少时间上的冗余。本文重点分绍本入承掇的帧内编码 模块，涉及到的主要是帧内预测。 ( 2 帧和场 视频的一场或一帧可用东产生个编码图像。通常，视频帧可以分为两种类型：连 续视频帧或隔行视频帧。在电视中，为减少大面积| j 烁现象，把一帧分成2 个隔彳亍的场， 显然，这时场内相邻之f b j 的时问相关性较强，而帧内邻近行的空问相关性较强。因此， 活动量较小或静止的图像宜采用帧编码方式，对活动量大的运动图像则宜采用场编码方 式。在本课题中选用了帧编码方式。 ( 3 ) 宏块和子块 一个编码图像通常划分成若干个宏块( m b ：m a c r ob l o c k ) ，郎：1 6 1 6 的矩阵或者 太历i 埋- - 1 ：大学f 贞士研究f l 学位论文 像素块。视频格式为4 ：2 ：o 时，每个宏块由4 个8 8 亮度块和附加的1 个8 8c b 和1 个8 8c r 色度块组成。把l6 16 的宏块分割成更小的块，这些小块就叫子块，在 a v s 编码标准中，有8 x 8 ，8 1 6 ，1 6 8 等几种子块。a v s 标准的帧内预测模式中，都 是针对8x8 的子块做预测。 ( 4 ) 帧类型 a v s 编码有i 帧、p 帧和b 帧3 种帧类型。采用帧内编码模式的视频帧叫作i 帧： 从先前重构的i 帧或者p 帧经过预测得到的视频帧是p 帧；从先前重构帧( i 或p 帧) 和正在编码的p 帧进行双向预测得到的视频帧就是b 帧。本文重点介绍采用帧内编码 模式的i 帧。 1 3a ，s 编码原理的模块划分 a v s 标准采用了一系列技术来达到高效率的视频编码，包括帧内预测、帧间预测、 变换、量化和熵编码等。帧内预测使用空间预测模式来消除图像内的冗余；帧问预测使 用基于块的运动矢量来消除图像间的冗余；再通过对预测残差进行变换和量化消除图像 内的视觉冗余；最后，运动矢量、预测模式、量化参数和变换系数用熵编码进行压缩。 a v s 视频编码算法采用混合编码框架，原理如图1 1 所示【9 1 0 。一一一一。 ：模块2 l 一一一一一一一一一一一一 图卜la v s 视频混合编码框图 f i g u r e l la v sv i d e om i x e de n c o d eb l o c kd i a g r a m a v s 算法具有特征性的核心技术包括：8 8 整数变换和量化、帧内预测、1 1 4 精度 像素插值、特殊的帧问预测运动补偿、二维熵编码、去块效应环内滤波等。 6 瓜原j 里工大学坝j ：研究7 t - f - f t 论文 l 。3 1 变换和量化 疆l 一28 x 8 整数余弦雯换矩终 f i g u r e ! - 2i n t e g e rc o s i n et r a n s f o r ma r r a yi n8 8b l o c k a v s 的8 8 变换与量化可以在1 6 位处理器上无失配地实现，克服了8 8d c t 变换固 有的失配问题，而且i ：k 4 4 整数变换在高分辨率的视频图像上的去相关性强。a v s 采用 3 6 4 级量化，可以完全适应不同的应用和业务对码率和质量的要求。 为减少变换和量化过程中取整带柬的误差，a v s 标准和h 2 6 4 标准都将变换和量化 结合在一起考虑，与h 2 6 4 不闹的是a v s 视频标准中币向和反向缩放都放在编码器端完 成，从而减少了解码器的计算量。量化参数q p 决定量化步长：h 2 6 4 标准中，q p 每增加 6 ，量化步长增加1 倍；而在a v s 中，0 p 每增加8 ，量化步长增加1 倍l 。该模块是本文工 作的重点之一。 l ，3 。2 帧内预测 所谓帧内预测就是从邻近像素生成预测像素，对照预测模式记录预测值和输入的原 始图像的差值数据。因为预测精度高，贱差数掘也可以简单实现高压缩率。采用帧内预 测的处理方式时，即使是激烈的动作画面，预测精度也彳i 会降低。 a v s 的帧内预测技术沿袭m p e g 一4 a v c h 2 6 4 帧内预测的思路，用相邻块的像素预 测当前块，采用代表空问域纹理方向的多种预测模式。a v s 亮度和色度帧内预测都是以 爪原躞工大学硕士研究生学位论文 8 8 块为单位，亮度块采用5 种预测模式，色度块采用4 种预测模式。在编码质量相当的 前提下，a v s 较h 2 6 4 采用较少的预测模式，使方案更加简洁，实现的复杂度大为降低。 该部分内容与上面介绍的变换量化模块是本人独自完成的工作。 1 3 3 帧间预测 a v s 视频标准中，运动补偿块的大小包括1 6 x 1 6 、1 6 x 8 、8 x 1 6 平d 8 x 8 等4 种( h 2 6 4 从 1 6 x 1 6 至u 4 x 4 共7 种) ，对于高清视频，a v s 的块模式足以精细表达物体运动，而较少的块 模式能够降低运动矢量和块模式传输的开销。在保证压缩效率的同时又能降低编解码的 复杂度。a v s 视频标准中，运动矢量的精度为1 4 像素，为得到非整数样本，需要进行插 值运算。a v s 视频标准定义了2 个4 抽头f i r 滤波器( 1 ，5 ，5 ，1 ) 和( 1 ，7 ，7 ，1 ) ，分别 用于1 纪和1 4 亮度样本的插值。插值时，先计算1 趁样本，然后计算1 似样本；对色度样本 则使用双线性插值得到1 8 样本。与h 2 6 4 使用的6 抽头f i r 滤波器相比，a v s 视频标准的 滤波器实现复杂度低，不仅降低了计算量，也降低了约1 3 数据存取的带宽需求，这对降 低高清压缩应用计算成本极为有效。 m p e g 1 和m p e g 一2 等标准中：p 帧进行前向运动补偿预测，需要1 帧参考图像；b 帧 进行双向运动补偿预测，需要2 帧参考图像。因此，解码器需要能存储2 帧图像的参考图 像缓冲区。考虑到这一点，a v s 视频标准允许p 帧使用在其之前的连续2 个i 帧p 帧作为参 考图像，在不增加缓冲区大小的前提下提高了编码效率。 a v s 编码标准的b 帧定义了一种对称模式，如图1 3 所示。 前向参考帧 当前b 帧后向参考帧 弋 当前对称模八块 图卜3b 帧对称模式中运动矢量的计算 f i g u r ei 一3c a l c u l a t i o n0 1 m o t i o nv e c t o ri ns y m m e t r i cm o d u l eo ff r a m eb 在该模式中，只对酊向运动矢量编码，后向运动m v b w 根掘i ，j 向运动矢量m v f w 以 太原理一l ：大学颂一 一影 究尘学位论文 及b l o c k d i s t a n c e f w ，b l o c k d i s t a n c e b w 参数计算得到。由于定义了b 帧的对称模式，在 a v s 视频标准中，b 帧的宏块最多只需要1 个方向的运动矢量进行编码；而在m p e g 一1 2 等标准中，8 帧可能需要对2 个方向的运动矢量送行编码。帧问运动补偿编码是混合编 码技术的重要部分。a v s 中，p 帧采用莳向预测，至多可以利用2 个参考帧，而b 帧采 用前后各1 个参考帧的双向预测，包括3 种模式：直接模式( d i r e c tm o d e ) 、对称模式 ( s y m m e t r i cm o d e ) 和跳过模式( s k i pm o d e ) ，节省了运动矢量的编码开销。 l 。3 。4 熵编码 a v s 熵编码采用自适应变长编码技术，所有的语法元素和残差数据都是以指数哥伦 布码鲍形式映射成二进制比特流。 对预测残差的块变换系数，经扫拙形成( 1 e v e l 、f u r l ) 对串，l e v e l 、r u n 不是独立事 件，而是存在着很强的相关性。在a v s 中，l e v e l 、r u n 采用二维联合编码，并根据当前l e v e l 、 r u n 的不同概率分蠢趋势，自适应改变指数哥伦粕码的阶数。 a v s 视频标准使用k 阶( k = o ，l ，2 ，3 ) 指数哥伦佰码，其结构见表1 1 。c b p 、宏 块模式、运动矢量等用0 阶指数哥伦布码编码。量化系数使用4 种指数哥伦布码，采用 2 d v l c 编码方法，对量化系数的( r u n ，l e v e l ) 进行编码。a v s 视频标准共定义了1 9 张映 ，射表，映射表选择方法如下：首先根据每个8 8 像素块的第1 个非0 系数选择初始映射表， 然后根据当前系数的绝对值决定下一个非0 系数使用的映射表。a v s 视频标准定义了新 的e s c a p e 编码方法，能获得0 0 5 到0 0 8 d b 的编码增益。 指数哥伦椎码的码字结构非常规则，解码器不需要存储码表。量化系数使用的1 9 张 映射表所需要的存储空间少于2 k b 。 表i i 指教茸伦布码 t a b l ei - ie x p o n e n t i a lo fc r i s t o f o r oc o l m b oc o d e 输数码缀梅 除数 鹞站褥 l1 x i x o 0l x o 01 x2“ix 0 k = 0k = 2 0 0i 1 io o 00i x 3x 2x ix o l x ox 2x ix o 0i o lx 0 0 1 x 3x 2x l1 0 k = lk = 3 00l o ! o 】x 。00l 、4x 3x 2o lx o 太原理f ：大学帧a ：a ) t 究生学位论文 1 3 5 去块效应环内滤波 基于块的视频编码容易造成方块效应，特别是在低码率情况下。a v s 视频标准定义 了自适应环路滤波器来消除方块效应，改善重建图像的主观质量，同时可提高编码效率， 滤波强度可以自适应调整。环路滤波对亮度块和色度块的边界进行( 图像和条带边界不 滤波) 。滤波时，首先对块的水平边界滤波，然后再对块的垂直边界滤波。滤波强度由 宏块编码模式、量化参数、运动矢量等决定。h 2 6 4 的坏路滤波器滤波时，使用边界左 右各4 个像素( 共8 个像素) ；而a v s 视频标准只使用左右各3 个像素( 共6 个像素) ，实现复 杂度低于h 2 6 4 的环路滤波器。a v s 视频标准使用的环路滤波器也更有利于并行实现i i 。 1 4 帧内预测编码概述 m p e g 1 和m p e g 2 都没有帧内预测，m p e g 4 虽然有，但作用并不明显。m p e g - 4 中的帧内预测是在d c t 域上做的，相对来说比较简单，分成2 种：第1 行或第l 列。 每个帧内块的第1 行可以从当自订块的上面块的第1 行来预测，或者，第1 列从当前块的 左面块的第1 列来预测j 。 h 2 6 4 的帧内预测预测是在空间域上做的，放弃了m p e g 4 的方法，预测模式比较 多。h 2 6 4 分别定义了9 种4 4 亮度块预测模式，按顺序分别是：垂直，水平，d c ， 左下，右下，下偏右，右偏下，下偏左，右偏上：定义了4 种1 6 1 6 亮度块预测模式 和4 种4 x 4 色度块预测模式。与h 2 6 4 相比，a v s 标准的帧内预测的亮度块和色度块 都是以8 x 8 为单位，定义了5 种亮度块预测模式和4 种色度块预测模式。在编码质量 损失不大的前提下，a v s 采用较少的预测模式，使方案实现更加简洁，复杂度大为降低。 帧内预测主要用在去除空i 日j 冗余上，好处显而易见，那就是提高了i 帧的压缩率， 当然，h 2 6 4 中帧内预测不仅可以用在i 帧，还可以用在p 帧甚至b 帧。有关帧内预测的具 体介绍请参考第四章。 1 5a v s 标准的性能特点 a v s 与m p e g 4a v c h 2 6 4 使用的技术对比和性能差异及各自的特点比较如表1 2 所示。与m p e g 4a v c h 2 6 4 的b a s e l i n ep r o f i l e 相比，a v s 视频增加了b 帧、i n t e r l a c e 等技术，使其压缩效率明显提高；而与m p e g 一4 a v c h 2 6 4 的m a i np r o f i l e 相比，又减 o 太原理二：大学硕* 童j 研究_ ：学 辽沦文 少了c a b a c 等实现难度大的技术，从两增强了呵实现。隧。a v s 杯准的编码复杂度相当 于m p e g 4a v c ih 。2 6 4 的3 0 ：解码复杂度楣当于m p e g 4a v c 2 6 4 的7 0 ：系统 级兼容m p e g ，2 ，使基于m p e g 2 的编辑和传输系统无需改变。 总结a v s 的4 个主要优点是：编码效率比m p e g 2 高2 倍以上，与h 2 6 4 的编 码效率相当：算法复杂度比h 2 6 4 低；软硬件实现成本都低于h 2 6 4 ；专利 授权模式简单，费用明显低于同类标准1 1 2 1 。 表i - 2a v s 与m p e g - 4a v c h 。2 6 4 秘缓术对比和注能茬异诂计 t a b l ei 2t e c h n i c a lc o m p a r i s o na n dp e r f o r m a n c ed i f f e r e n c e sb e t w e e na v sa n dm p e g 一4a v c h ，2 6 4 视额编码 m p 纛g 4a v c ，h 2 6 4 a v s 视频 a v s i 4 ：能改善 计算量比较 标准视频( d b ，码牢麓异) 顿内幕于4 x 4 块，9 种亮泼和4击弩干8 x 8 块，5 种亮捩预测模 举本相当a v s 降低5 0 0 , 预测种也度颅测模l =式4 种也度顶测模八 壤多1 6 帧，2 帧以l ：改善 a v s 存储节省 参考预测 嫩多2 帧2 巾贞时性能相当 卜叫u5 0 以上 1 6 x1 6 、1 6 - , 8 、8 x1 6 、8 8 、a v s 簿低 运动补偿1 6 x 1 6 、1 6 8 、8 xf 6 ，8 x 8( 一0 1 d b ，2 - 4 ) 8 x 4 、4 2 8 、4 4 3 0 4 0 b 峻宏块 独囊豹守域，时域 时域窄域辋结仑t 0 ，2 0 ，3 d b ，5 ) 直接编码顶测模式 b 帧宏块 编鹈蓠j 舌2 个运动矢麓 对称赜测模式，运动矢量必 幕本楣溺 a v s 最多降羝 双向颁测编码前向，后向由前向导 5 0 像裘运动 像素位置采爆6 掐滤狂，像索位置4 接滤波 蕞奉相当 a v s 降低1 3 存 补偿波，强像素位置线性捅值像素位置线能捅值 储器访问量 4 x 4 整数变换，编解码端8 x 8 整数变换，仅编码端 变换，曩化0 ，i d b ，2 a v s 解码时低 都需要归一亿变换归一彳艺 c a v l c ：与周隔块相关 ，| ：下文臼逡感2 d v l c ，缡 稳l | ：c a b a c 麓编妈健赢，实现较复杂 码块系数时多码寝训换 一0 5 d b ，1 0 - i 5 ) 降低3 0 c a b a c ：计算：较复杂 幕手4 x 4 块边缘滤波强是于8 x 8 块边缘，滤波强度 环路滤波 a v s 降低5 0 度分类多，汁算复杂分类简甲汁算复杂度低 数挺分割、复杂的f m o ! 筠荦翡条带翅分籍i 涮足醴 a s o 等宏块、条带纽织机a v s 人人 容错编码 满足广桶心用中的车什以隐 制、强f f i l i n t r a 块刷新编 低于 筠、约束住帧内预测 藏、恢复等嚣求 图像 质量好较 2 6 4 真所瞵低 计算蹙 i 灌低 1 。6 本章小结 本章介绍了a v s 视频编码的特点、编码原理及其具有特征性的核心技术，重点讨 论了a v s 标准与h 2 6 4 标准帧内预测的不同，且对二者在性能上做了比较，得出a v s 和h 2 6 4 在保证相当图像质量的前提下，较h 2 6 4 复杂度有了很大程度的降低。 太原理工大学硕士研究弘学位沦文 第二章t m s 3 2 0 d m 6 4 4 6d s p 的结构与指令集 2 1t m s 3 2 0 d m 6 4 4 6 概述 t m s 3 2 0 d m 6 4 4 6 是t i 公司为了满足下一代嵌入式网络多媒体设备的应用而丌发的 高性能数字信号处理器。它具有丰富的用户接口，以及高性能，长寿命等特点，特有的 双核结构使它同时具有数字信号处理器( d s p ) 以及精简指令集处n 器( r l s c ) 的功能。 达芬奇芯片的双核结构是指它既包含1 个t m s 3 2 0 c 6 4 x + d s p 核，还包含1 个 a i w 9 2 6 e j s 核。整个系统包括1 个a r m 子系统、1 个d s p 子系统和1 个视频处理子 系统( v p s s ) ，同时还带有1 个图像协处理器( v i c p ) 和各种丰富的外设，其中，c 6 4 + d s p 核的时钟频率为5 9 4 m h z ，每周期可以执行8 条3 2 位的c 6 4 x + 指令，a r m 核的时钟频 率为2 9 7 m h z ，达芬奇芯片内部有丰富的软件系统可以兼容c 6 4 x + 核与a r m 核。其功 能框图如图2 1 所示l 乃j 。 j t a gv i c p p l l 电源 引脚 复用 a r m 子系统 16 k bi c a c h e 8 k bd c a c h e 16 k br a m 8 k br o m d s p 子系统 6 4 k bl 2 3 2 k bl 1p g m 8 0 k bl ld a t a 视频处理子 系统 视频前端 视频后端 中央交换资源( s c r ) 圆国圈圆圆圆 圃既鐾一 f i g u r e2 - lt m s 3 2 0 d m 6 4 4 6f u n c t i o n a lb l o c kd i a g r a m 该系统的视频处理子系统包括1 个视频前端和1 个视频后端，支持图像缩放、自动 聚焦曝光白平衡、c f a 插值、隔行逐行转换、画中画、o s d 数据混合等一系列图像处 理功能：外设包括d d r 2 控制器、a t a 硬盘控制器、u s b 2 0 接口和v l y n q 接口等。 1 2 太原理1 人学颀土侈 究尘! 孚 z 沦文 d m 6 4 4 6 与a r m 9 t m 幂uc 6 4 x 软佴：代码兼容，且a r m 和d s p 令部采用墨定的小端模式。 d m 6 4 4 6 基于达芬奇技术，它专为数字视频应用设汁，具有专用集成芯片专用性的 一面，露时a r m 和d s p 的内核架构中