（信息与通信工程专业论文）视频编码器的dsp实现及视频预处理研究.pdf

摘要 本文主要研究了两大主流国际视频标准m p e g 4 视频部分和h 2 6 4 a v c 建议， 并利用现有的p c 平台下的编码程序，在a d i 公司高性价比d s pb l a c k f i n5 3 3 上实现了 高速稳定的视频编码器。 对于m p e g - 4 编码器，本文在实验室已有的基础上，通过调整数据存储结构，设 计高效的数据流模式，配置d m a 传输，进一步的代码优化，以及对编码器中所包含 的b u g 的纠正，不仅使得编码速率在原有基础上又提高了一倍左右，达到两倍的c i f 格式实时编码；而且消除了导致解码错误的根源，解码输出的图像质量也有了较大改 善，实现了高速稳定的m p e g - 4 实时视频编码器。另外，本文在编码器前端加入了空 间滤波预处理模块，虽然会导致图像略微变得模糊，但是可以在一定程度上去除视频 噪声，大大降低码率，适应于某些低带宽环境下的特殊应用。 为了进一步提高编码效率，本文继续对h 2 6 4 a v c 视频编码标准展开研究，在 b f 5 3 3d s p 上移植并优化现有的p c 平台下的编码器x 2 6 4 。借助于d s p 开发软件的自 动代码优化、数据c a c h e 、手动代码优化以及对算法所做的一些调整和简化，编码器对 于纹理和运动都较为简单的n e w s 序列( c i f 格式) 可以达到接近实时的编码速率。今 后将对编码器进行更加全面深入的优化，进一步提高编码速率。 本文还对监控视频所面临的噪声问题进行了理论研究。针对监控视频的特点，提 出了一种基于背景建模的降噪算法，利用“混合高斯模型”算法建立背景模型，实现前 景背景分割，利用模型参数实现背景降噪，利用改进的3 dk 近邻法实现前景降噪，不 仅提高了主观视觉质量和p s n r ，同时大大降低了视频编码器的输出码率，提高了编码 器的整体性能。 关键词：d s p ，b l a c k f i n ，m p e g 一4 ，h 2 6 4 ，视频降噪，背景建模 a bs t r a c t t h i sp a p e rp a y sa t t e n t i o nt ot h em a i n s t r e a mo fi n t e r n a t i o n a lv i d e os t a n d a r d s ：m p e g 4 v i s u a la n dh 2 6 4 a v cr e c o m m e n d a t i o n ，a n dm a k e su s eo fe x i s t i n ge n c o d e r so np c p l a t f o r mt or e a l i z es t a b l er e a l - t i m ev i d e oe n c o d e ro nb l a c k f i n5 3 3d s po fa n a l o gd e v i c e s i n e b a s e do nt h ef o r m e ra c h i e v e m e n to fo u rl a b o r a t o r y , w eg oa h e a dw i t hd e s i g n i n gm o r e e f f i c i e n td a t as t r e a m , m e m o r ya r r a n g e m e n t , d m at r a n s f e rc o n f i g u r a t i o n , f u r t h e rc o d e o p t i m i z a t i o n ，a n dd e b u g g i n g ，n o to n l yd o u b l i n gt h ee n c o d i n gs p e e d ，w h i c hn o ws a t i s f i e st h e r e q u i r e m e n t so fr e a l t i m ee n c o d i n gf o r2 c i fr e s o l u t i o n , b u ta l s oi m p r o v i n gt h eo u t p u ti m a g e q u a l i t yo fd e c o d e r r i g h tn o w , a f a s ta n ds t a b l em p e g - - 4r e a l - t i m ee n c o d e rh a sb e e nb r o u g h t o u t i na d d i t i o n , w et r yp l a c i n gs o m es p a t i a lf i l t e r sa tt h eh e a do fv i d e oe n c o d e r ，w h i c h c a u s e st h ei n p u ti m a g e sb e c o m i n gal i t t l ef u z z i e r , b u ta c h i e v e sc e r t a i nd e n o i s ee f f e c ta n d r e m a r k a b l eb i t r a t e s a v i n g , a d a p t e d t os o m e l o wb a n d w i d t ha p p l i c a t i o n si n s p e c i a l c i r c u m s t a n c e s t of u r t h e ri m p r o v et h ec o d i n ge f f i c i e n c y , t h i sp a p e rc o n t i n u e st ot a k er e s e a r c h e so n h 2 6 4 a v cr e c o m m e n d a t i o n ，a n di m p l e m e n t sa nh 2 6 4e n c o d e ro nb f 5 3 3d s pb a s e do n t h ee x i s t i n gp cp l a t f o r me n c o d e rx 2 6 4 w i t ht h ea u t oc o d eo p t i m i z a t i o no fd s p d e v e l o p i n g e n v i r o n m e n t ，d a t ac a c h e ，m a n u a lc o d eo p t i m i z a t i o n , a n dm o d i f y i n ga n ds i m p l i f y i n ge n c o d e r a l g o r i t h m s ，t h ee n c o d e ri sa b l et op r o c e s st h es e q u e n c e n e w s ”( c i ff o r m a t ) a ta l m o s tr e a l t i m es p e e d ，a sb o t hm o t i o na n dt e x t u r eo ft h i s s e q u e n c ea r er e l a t i v e l ys i m p l e f u r t h e r o p t i m i z a t i o ni sg o i n gt ob em a d et oi n c r e a s et h es p e e do ft h ee n c o d e ri nt h ef u t u r e i na d d i t i o n ，t h e p a p e rt a k e st h e o r yr e s e a r c h e so nn o i s er e d u c t i o np r o b l e mf o r s u r v e i l l a n c ev i d e o a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fs u r v e i l l a n c ev i d e o ，w e p r o p o s ean o v e l a l g o r i t h mb a s e do nb a c k g r o u n dm o d e l i n g ，s e t t i n gu pa d a p t i v eb a c k g r o u n dm o d e l st o a c c o m p l i s hf o r e g r o u n ds e g m e n t a t i o n ，r e d u c i n gb a c k g r o u n dn o i s ev i am o d e lp a r a m e t e r sa n d f o r e g r o u n dn o i s ev i am o d i f i e d3 d - e x t e n t i o nk n e a r e s tn e i 曲b o rf i l t e r t h ee x p e r i m e n t r e s u l t ss h o wt h a tt h ea l g o r i t h mn o to n l yi n c r e a s e sv i s u a lq u a l i t ya n dp s n ro ft h ev i d e o ，b u t a l s od e c r e a s e st h eo u t p u tb i t r a t eo fv i d e oe n c o d e rg r e a t l y , w h i c ha l s oi m p r o v e st h ew h o l e p e r f o r m a n c eo ft h ee n c o d e r k e y w o r d s ：d s p , b l a e l d i n ，m p e g - 4 ，h 2 6 4 ，v i d e od e n o i s e , b a c k g r o u n dm o d e l i n g n 浙江大学硕士学位论文 1 1引言 第1 章绪论 数字视频技术在通信与广播领域得到了日益广泛的应用。特别是最近十几年间， 随着通信网络和终端设备的迅猛发展，以视频为核心的多媒体信息处理和传输技术成 为了当今世界信息化的热点。 视频信息具有一系列的优点，主要包括【2 】： ( 1 ) 直观性：视频信息可以给人留下更加深刻、具体的印象，利用视频信息进行 交流具有更好的效果。 ( 2 ) 确定性：视频信息不易与其他内容相混淆，能保证信息的准确性，不像语音 信息那样容易因为口音的不同而产生歧义。 ( 3 ) 高效性：人们利用视觉可以并行地观察一幅图像的各个像素，因此获取视频 信息的效率要比音频信息高得多。 ( 4 ) 广泛性：人们每天获得的信息大部分都是视频信息，约占外界信息总量的7 0 左右。 另一方面，由于视频信号所包含的内容丰富、信息量大，因此视频信号的传输需 要很大的带宽，视频信息的存储需要很大的存储空间。为了更好地利用视频信息，我 们不仅需要发展通信网的传输能力和存储器的存储能力，更需要利用信息编码技术， 对海量的原始视频数据进行高效的压缩编码。 相比于模拟视频信号，数字视频由于其确定性和可控性，更易于实现复杂的系统 的压缩编码技术。数字视频编码技术主要从以下两方面出发实现对原始数据的压缩： 一是利用信源编码理论和技术，去除原始数据中空间上和时间上的冗余信息，使得数 据量逼近信息熵，例如通过运动估计和运动补偿，只对残差数据进行编码。二是利用 人眼的视觉特性，在保证一定的主观质量的前提下，损失适量信息，提高压缩效率， 例如人眼对高频信息不敏感，就可以更多地丢弃高频信息。 当前主流的视频编码技术所采用的都是“混合d p c m d c t 视频编解码模型1 1 ，如 下图所示： 浙江大学硕士学位论文 图1 1d p c m d c t 视频编码器 图1 2d p c m d c t 视频解码器 1 2 视频编码技术的历史与发展 为了使数字视频得到更加广泛而有效的应用，必须首先解决视频数据的高效压缩 问题。为实现这一目标，国内外专家学者付出了辛勤的劳动。从1 9 8 4 年c c i t t 公布 第一个视频编码国际标准以来，已有二十多年。i t u t 等国际标准化组织陆续颁布了 近十个视频编码标准，大大推动了多媒体通信的发展1 2 l 。 1 9 8 8 年c c i t t 通过了“p x 6 4 k b p s ( p - - 1 , 2 ，3 ，3 0 ) ”视像编码标准h 2 6 1 建议 【6 】【9 】【l l 】，对以后的各种视频编码标准产生了深远影响。i t u t 、i s o 等组织此后公布的 一系列视频编码标准都是基于h 2 6 1 中提出的混合编码框架。 1 9 8 8 年，i s o i e c 信息技术联合委员会成立了活动图像专家组( m p e g ，m o v i n g p i c t u r ee x p e r tg r o u p ) 。1 9 9 1 年公布了m p e g 1 音视频压缩标准，主要用于家用v c d 的视频压缩5 l f 7 】【2 0 l ；1 9 9 4 年1 1 月，公布了m p e g 2 标准1 5 】1 7 】【2 l 】，主要用于数字视频广 播( d v b ) 、家用d v d 的视频压缩和高清数字电视( h d t v ) 。 1 9 9 5 年，i t u t 推出了h 2 6 3 标准，用于低码率( 低于6 4 k b i t s ) 视频传输，如 p s t n ( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ，公共交换电话网络) 信道中的可视会议、 多媒体通信等。 1 9 9 9 年1 2 月，i s 伽e c 通过了“视听对象的编码标准- 一- m p e g - 4 ，除了定义视 2 浙江大学硕士学位论文 频编码标准外，还强调多媒体通信的交互性和灵活性1 4 1 1 1 5 】【2 3 】。 2 0 0 3 年3 月，i t u t 和i s o i e c 正式公布了h 2 6 4 视频压缩标型8 】【1 3 l ，不仅显著 提高了压缩比，而且具有良好的网络亲和性，加强了对i p 网、移动网的误码和丢包 处理。 近年来，我国也在研发具有自主知识产权的音视频编码标准。2 0 0 6 年，先进音视 频标准a v s 的视频部分正式成为国家标准，在我国的视频编码研究领域具有里程碑 式的意义。 1 3a d ib l a c k i l nd s p 为了实现高效的压缩编码，视频编码器所需的计算量非常巨大。对于终端嵌入式 设备，目前采用的解决方案主要包括以下两类： 一是利用专用集成电路a s i c 芯片，即制作专用的视频编码芯片。该方案的优点 在于，硬件编码速度快，批量生产的成本低廉。缺点在于缺乏灵活性，开发成本较高， 开发周期较长。 第二类是在d s p 上用软件实现视频编码器。d s p 的计算能力强大，配备数字信 号处理的专门指令，非常适合于视频编码。其优点在于通用性好，功能灵活，可以通 过移植p c 平台的编码器来加速开发进程。缺点在于d s p 的价格相对而言较为昂贵， 另外需要在性能优化上投入较多时间。 综上所述，在d s p 上实现视频编码器，使终端设备具备视频编码能力，目前仍 是一种较为流行的解决方案。 美国模拟器件公司( a n a l o gd e v i c ei n c ，a d i ) 是世界领先的高性能信号处理集 成电路制造商，是主要的通用可编程d s p 芯片供应商之一。b l a c k f i n 处理器是由a d i 和i n t e l 联合开发的体现高性能体系结构的新一代1 6 位d s p 产品，兼具了d s p 和m c u 的特点。其主要优势包括【2 4 】【3 2 】1 3 5 j ： ( 1 ) 基于微信号架构( m i c r o s i g n a la r c h i t e c t u r e ，m s a ) ，采用综合的信号处理和 控制指令集。 ( 2 ) 动态电源管理，可以动态改变电压和工作频率，从而大大降低功耗。 ( 3 ) 高度并行的计算单元，在同一时钟周期内能够完成更多运算。 ( 4 ) 高性能的地址产生器，支持倒位序寻址和循环缓冲功能。 此外，专门的视频处理指令、分层结构的内存、丰富的外围设备以及强大的开发 3 浙江大学硕士学位论文 调试集成环境( v i s u a ld s p + + ) 都是此系列d s p 适用于嵌入式视频开发的重要优点。 相比于1 r i 公司的d s p ，b l a c k f i n 系列d s p 的性能仍有较大差距，但是它的优势 在于高性价比、低功耗、集成d s p 和m c u 架构。因此，用该系列d s p 进行视频开 发仍然具有较大的产业价值。 1 4 视频预处理 一般情况下，预处理的目的是为了对原始图像做平滑降噪，降低编码器的输出码 率。这对于监控视频尤为重要。视频监控作为现代安防产业的核心技术，需要保证在 各种环境下全天候稳定运行；系统持续采集监控序列，又需要利用压缩编码方案对原 始数据进行高效压缩，以方便存储和传输。由于设备、光照等因素的影响，不可避免 会引入噪声；不仅影响主观视觉质量，而且由于噪声信号不含相关性，极大地增加了 视频序列的信息熵，导致编码器的输出码流增大，编码效率大大降低。因此，视频降 噪已成为监控系统必须着力解决的一个重要问题。 国内外现有的视频降噪方案种类繁多，根据是否利用时域信息，可以分为这样两 类：一类是忽略时域信息，利用成熟的静态图像降噪理论对视频序列的每一帧独立地 进行降噪处理。文献【3 刀中列举了图像降噪( 复原) 的各种方法，其中，像素域空间滤 波方案算法简单，计算量小，以均值滤波和中值滤波最为典型，并衍生出一系列的改 进方案1 3 s 1 3 9 1 1 柏1 。但是总体而言，这类方法效果一般。另一类是考虑视频序列相邻帧 之间的相关性，以获取更好的降噪性能。文献【4 l 】提出了一种基于自适应运动补偿的帧 间平均算法，以块为单位，以m a d ( m e a na b s o l u t ed i f f e r e n c e ，平均绝对值偏差) 为 评价标准，进行帧问块匹配搜索，代表了很大一部分帧间平均、运动补偿算法。但是， 这些方法涉及到块的大小选取、相似性评价标准等问题，有可能导致运动模糊。文献 1 4 2 j 和【4 3 j 将二维滤波算法扩展到三维，分别提出了3 dk 近邻法和3 d 中值滤波方法。 相对于平面滤波，这些算法可以取得更好的降噪性能。 1 5 本文的内容与组织 本次毕业设计主要进行以下几个方面的研究： ( 1 ) 熟悉m p e g 4 基本层编码方案，在实验室已有的基础上，在a d s p b f 5 3 3 上 进一步优化m p e g - 4 编码器，实现实时稳定的视频编码。 ( 2 ) 研究h 2 6 4 标准和x 2 6 4 代码，对x 2 6 4 进行功能裁剪、代码调整以及算法改 进，将x 2 6 4 移植到a d s p b f 5 3 3 上，并做进一步优化。 ( 3 ) 对视频尤其是监控视频的降噪预处理做进一步的深入研究。分析监控视频的 4 浙江大学硕士学位论文 特点，测试国内外现有的视频降噪方案，综合考虑各种算法，提出一种适用 于监控视频降噪的创新方案。 本文的创新点在于： ( 1 ) 在d s p 上实现实时编码器涉及到大量的数据搬移。深入研究b l a c k f i nd s p 的 硬件特性，配置d m a ，设计高效稳定的数据流方案，是主要的创新点之一。 ( 2 ) b l a c k f md s p 提供了很多面向数据处理尤其是视频处理的指令和特性，如何巧 妙使用这些指令和特性，提高代码的并行度，加快处理过程，是本文的另一 个创新点。 ( 3 ) 现有的降噪方案都是针对一般的视频，对于监控视频降噪并不能取得最佳效 果。分析监控视频的特点，对降噪滤波器进行有针对性的优化和改造，以取 得超过普通滤波器的效果，是本文的第三个创新点。 全文总共分为七章。各章的内容组织包括： 第一章简要介绍视频编码技术与a d id s p 的基本知识，同时阐述视频预处理的 背景与意义。 第二章介绍主流的视频图像标准，重点研究m p e g - 4 标准韵视频部分以及 h 2 6 4 a v c 建议。 第三章介绍a d ib l a c k f i n 系列d s p 的结构与特性，并根据作者的实际经验，阐 述基于b l a c k f i n 系列d s p 优化的一般方法与原则。 第四章重点论述在a d s p b f 5 3 3 上实现m p e g - 4b a s e l i n e 的实时编码，包括数据 流设计，c 代码优化，以及汇编代码优化等。 第五章重点研究在a d s p b f 5 3 3 上用x 2 6 4 编码器实现高质量的视频编码。 第六章对视频降噪预处理进行进一步的理论研究，重点论述基于背景建模的监控 视频降噪算法。 第七章对已经完成的工作进行总结，并制定后续工作目标。 浙江大学硕士学位论文 第2 章视频编码标准介绍 2 1 各种视频编码标准简介 2 1 1h 2 6 1 和h 2 6 3 为了在基于电路交换的i s d n 网络上支持视频电话和视频会议，i t u t 开发了 h 2 6 1 建 2 ；【1 1 】。这是第一个得到广泛应用的视频会议标准，编码框架采用了我们所知 的混合d p c m d c t 模型，支持整数精度的运动补偿。由于i s d n 网络的带宽为6 4 k b i t s 的整数倍，因此h 2 6 1 为这一系列的码率提供了复杂度很低的视频编码方案。由于不 同国家采用不同的彩电制式，无法直接进行视频通信，h 2 6 1 采用了一种公共中间格 式( c i f ，c o m m o ni n t e r m e d i a t ef o r m a t ) ，作为各种彩电制式的通信中介。其中，c i f 格式的分辨率为3 5 2 x 2 8 8 ，q c i f 格式的分辨率为1 7 2 x 1 4 4 。视频信号的结构采用图像、 块组( g o b ，g r o u po f b l o c k ) 、宏块( m b ，m a c r ob l o c k ) 、块( b ，b l o c k ) 四级结构。 每帧c i f 图像由1 2 个g o b 组成，每个g o b 由3 3 个m b 组成，每个m b 由4 个亮 度块、1 个c r 块和1 个c b 块组成，每个块又包含8 x 8 像素。h 2 6 1 对以后的各种视 频编码标准产生了深远影响。 为了改进h 2 6 1 的压缩性能，i t u ti 作组又开发了h 2 6 3 建议【1 2 1 ，在低于3 0 k b i t s 的码率下可以保证基本的视频质量，并且适应于多种电路交换和包交换网络。其后， h 2 6 3 + 和h 2 6 3 + + 又在原有基础上做了不少改进，增加了若干选项【1 1 。相比于h 2 6 1 ， h 2 6 3 所采用的主要技术包括【眩】： ( 1 ) 1 个宏块中的4 个8 x 8 块既可以使用同一个运动矢量，也可以各自使用不同的 运动矢量，提高了运动估计的精度。 ( 2 ) 半像素精度的运动补偿，进一步提高了压缩比。 ( 3 ) 无限制的运动矢量模式( 后续增加选项) ，允许运动矢量指向图像帧之外。 ( 4 ) 基于句法的算术编码( 后续增加选项) ，显著降低了码率，但是复杂度高于哈 夫曼编码。 ( 5 ) 支持双向预测，b 帧编码( 后续增加选项) 。 2 1 2m p e g 1 和m p e g 2 m p e g 1 是m p e g 工作组创立的第一个视频标准，主要应用于v c d 视频存储和 6 浙江大学硕士学位论文 回放，以取代传统的录像带设备，因此专门为1 2 m b i t s 的码率做了优化( 接近于v c d 的传输码率) 1 5 1 1 7 1 1 2 0 。m p e g 1 同样采用基本的混合d p c m d c t 编解码模式，并支持 i 、p 、b 三种帧类型。此外，m p e g 1 标准还包括音频和系统部分，分别用于音频压 缩和编码比特流的复用。其音频编码标准m p 3 ( m p e g 1l a y e r3 ) 至今仍被广泛使用。 由于视频质量相比于录像带没有显著提高，m p e g 1 并没有取得很大的成功。而 它的后继者m p e g 2 标准则把目标锁定在一个更大的潜在市场数字电视广播。它 以m p e g 1 为基础，但是做出了多项显著的改进，包括支持隔行扫描( 场编码) ，更 加灵活的语法，编码效率的改善，以及更加强大的系统部分1 5 1 【7 1 2 1 1 。m p e g 2 最早 引入了档次( p r o f i l e ) 和级别( l e v e l ) 的概念，按照不同压缩比分为五个档次，再按 清晰度分为四个级别，以支持多种不同的应用。m p e g 2 标准取得了巨大的成功，包 括数字电视广播领域以及d v d 视频领域。 2 1 3a v s 标准 a v s 标准是我国具备自主知识产权的第二代信源编码标准，是信息技术先进 音视频编码系列标准的简称，包括系统、视频、音频、数字版权管理等四个主要技 术标准和一致性测试等支撑标准，视频部分的编码效率与h 2 6 4 1 a v c 相当【2 2 1 。a v s 的视频部分于2 0 0 6 年正式成为国家标准，在我国的视频编码研究领域具有里程碑式 的意义。 a v s 的产业化步伐在标准制订过程中已经开始，目前正处在大规模产业化的启动 期。不过，由于实验室内部的分工不同，本文仍然将主要精力放在m p e g - 4 和 h 2 6 4 a v c 两大国际标准的研究与实现上。 2 2m p e g 4 编码标准 m p e g - 4 于1 9 9 9 年初正式成为国际标准，相比于m p e g - i 和m p e g 2 ，更加注 重多媒体系统的交互性和灵活性，主要用于可视电话、视频会议等【4 】【”】。 m p e g - 4 标准主要由“系统”、“音频”和“视频”三部分构成，“系统”部分主要规定 了音视频同步与复用的策略，“音频”部分不仅支持自然声音编码，还支持合成声音编 码。“视频”是m p e g 4 标准的第二部分，也是我们要重点讨论的部分。 由于m p e g 4 的目标过于庞大，因此视频部分总共定义了十五个自然视频档次 ( p r o f i l e ) 以及四个合成视频档次，其范围从针对矩形视频帧编码的s i m p l ep r o f i l e 到 针对任意形状及扩展对象、工作室级视频编码的c o r es t u d i op r o f i l e ，每个档次又对应 于若干级别( l e v e l ) ，因此理论上m p e g - 4 的编码模式极其丰富。 7 浙江大学硕士学位论文 m p e g 4 支持可分级编码，根据带宽和误码率等客观条件，可以进行时域和空域 的分级扩展。前者是指进行帧率的加减，后者是指通过采样或插值进行分辨率的增减。 m p e g 4 的编码器架构是开放的，开发人员可以根据需要进行算法方案的选择。 m p e g - 4 开创了新的编码方式面向对象编码，引入了v o ( v i d e oo b j e c t ，视 频对象) 的概念，编码思想有了较大的革新，支持任意形状的对象编码，其对象操作 使得用户可以在终端直接将不同的对象进行拼接，得到用户合成图像。 2 2 1m p e g 4 视频流数据结构 为了适应面向对象的编码方式，m p e g 4 定义了如下所示的视频数据层浏2 】： 雕，v s i 一一i- ：奠7 期 。v o i。j ，“j i ； jv o ：。i i 巨一+ v o l t “卜v i 习 、 l g o v lg o v i v o p i v o p k v o p - - v o p oi 图2 1m p e g - 4 视频数据层次 其中，v o p ( v i d e oo b j e c tp l a n e ) 为视频对象平面，可看作是v o 在某一时刻的表示， 即某一帧；g o v ( g r o u po fv o p ) 为视频对象平面组，提供视频流的标记点，标记 v o p 单独解码的时域位置，也即对视频流任意访问的标记；v o l ( v i d e oo b j e c tl a y e r ) 为视频对象层，用于扩展v o 的时域和空域分辨率，包括v o 的三种属性信息；v o ( v i d e oo b j e c t ) 为视频对象，即场景中的某个物体，有生命期，由时间上连续的许 多帧构成；v s ( v i d e os e s s i o n ) 为视频镜头，一个完整的视频序列由几个v s 组成。 可见，每个v s 由一个或多个v o 组成，每个v o 可能包含一个或多个v o l 层， 如基本层、增强层等，每个层是v o 的某一分辨率表示。每个层中都有时间连续的 g o v ，每个g o v 又由一系列的v o p 构成。 2 2 2m p e g 4 标准的编码特性 m p e g 4 支持对自然视频对象和合成视频对象进行编码；对于静止图像，m p e g 4 8 浙江大学硕士学位论文 采用零树小波变换进行压缩编码，同时还提供多达1 1 级的空间分辨率和质量的可伸 缩性。对于运动视频，相比于m p e g 1 和m p e g 2 ，除了面向对象的编码方式之外， 还增加了以下特性1 】【2 】【3 】： ( 1 ) d c t 系数的a c 预测。 ( 2 ) 三维v l c ，d c t 系数编码与h 2 6 3 类似。 ( 3 ) 四个运动矢量，与h 2 6 3 类似。 ( 4 ) 无约束运动矢量：可以使用+ 2 0 4 8 像素的运动矢量范围。 ( 5 ) 全局运动补偿，以适应摄像头平移、变焦等全局运动。 ( 6 ) 四分之一像素精度的运动补偿。 类似于以前的压缩标准，m p e g 4 的v o p 也有三种类型：i - v o p ，p v o p ，b v o p ， 分别对应于ipb 三种帧格式。另外，m p e g - 4 支持形状编码、纹理编码、分级扩展 编码以及s p r i t e 编码，这里不再一一阐述。 虽然m p e g - 4 的目标是支持多种多媒体应用，并为此定义了接近二十个档次，而 且支持任意形状的对象编码、可分级编码以及合成视频编码等，但是，由于当前技术 水平的限制( 如对象自动分割技术的不成熟) 以及实际应用的需求，最为常用的档 次仅仅是s i m p l e ( s ) 、a d v a n c e ds i m p l e ( a s ) 以及a d v a n c e dr e a l - t i m es i m p l e ( a r t s ) - - 种。在现阶段，v o p 的概念实际上也就退化为原来的矩形帧概念。 2 3h 2 6 4 a v c 编码标准 h 2 6 4 又被称为a v c ( a d v a n c e dv i d e oc o d i n g ，先进视频编码) ，同时也作为 m p e g - 4 标准的第1 0 部分，由m p e g 和v c e g 两大专家组联合开发而成。鉴于m p e g 4 高端特性在实际应用中的失败，h 2 6 4 将核心目标定位在提高编码效率和传输可靠性。 其基本的编解码框图如下图所示【1 1 ： 9 浙江大学硕士学位论文 图2 2h 2 6 4 编码器基本流程 图2 3h 2 6 4 解码器基本流程 2 3 1h 2 6 4 标准的基本结构 在h 2 6 4 标准中，若干宏块被组织成“片”( s l i c e ) 的形式，总共有i 、p 、b 三种 片类型，i 片只包含i 宏块( 即帧内预测宏块) ，p 片可包含p 宏块( 帧间预测宏块) 和i 宏块，而b 片可包含b 宏块( 双向预测宏块) 和i 宏块。i 宏块只能利用当前片 中已解码的像素作为参考预测，以防止一个片的解码错误影响到其他片的解码。 h 2 6 4 总共定义了三个档次，分别为b a s e l i n e ( 基本) 、m a i n ( 主要) 和e x t e n d e d ( 扩展) 。其中，b a s e l i n ep r o f i l e 支持l 片、p 片以及c a v l c ( c o n t e x t a d a p t i v ev a r i a b l e l e n g t hc o d i n g ，基于上下文的自适应变长编码) 。m a i np r o f i l e 进一步支持b 片、场编 码、加权预测以及c a b a c ( c o n t e x t b a s e da r i t h m e t i cc o d i n g ，基于上下文的自适应算 术编码) 。e x t e n d e dp r o f i l e 不支持场编码和c a b a c ，但是针对网络传输进行了优化， 加入了s p 片( s w i t c h i n g p ，切换p 片) 和s i 片( s w i t c h i n gi ，切换i 片) ，以及数据 1 0 浙江大学硕士学位论文 分割特性，主要应用于网络流媒体。三个档次的关系如下图所示【l 】： 图2 4h 2 6 4 三个档次的关系 最新的h 2 6 4 标准还定义了h i g hp r o f i l e ( 高端档次) ，在m a i np r o f i l e 的基础上 新增了8 x 8 帧内预测模式，自定义量化，无损视频编码，更多的y u v 格式等。 2 3 2h 2 6 4 的编码特性 为了提高网络亲和性，h 2 6 4 将功能分为两层：视频编码层( v c l ，v i d e oc o d i n g l a y e r ) 和网络抽取层( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) 1 2 j 。v c l 数据即压缩编码 后的输出比特流，在存储或传输之前，首先要封装成n a l 单元。每个n a l 单元包括 一个原始字节序列负荷( r b s p ，r a wb y t es e q u e n c ep a y l o a d ) 和一组有用数据。 h 2 6 4 将时间序靠前的参考图像放入表0 ，将时间序靠后的参考图像放入表l 。最 多可从1 5 个参考图像中选择一个或两个进行参考。p 片只能参考表0 中的参考图像， 而b 片可以同时参考表0 和表1 ，即进行双向预测。 一幅视频帧可以包含一个或多个片，每片至少包含一个宏块。除了i 、p 、b 片之 外，h 2 6 4 还设计了s i 和s p 片，用于码流切换。 浙江大学硕士学位论文 h 2 6 4 对帧内预测方式进行了较大改进，对于亮度像素而言，可以采用1 6 x 1 6 大 小或者4 x 4 大小的预测，前者包含4 种预测模式，后者包含9 种预测模式。色度块也 有4 种预测模式，对应于亮度块的1 6 x 1 6 预测模式。另外还有种帧内编码模式称为 ip c m ，直接传输图像的像素值，而不经过变换和量化。以往的视频编码标准都是将 预测引入变换域，即对变换系数进行预测，而h 2 6 4 则是在空间域进行预测，即对像 素值进行预测。 h 2 6 4 通过子块划分来提高运动补偿的精度。每个宏块可以分割成1 个1 6 x 1 6 ，2 个1 6 x 8 或8 x 1 6 ，或者4 个8 x 8 。而8 x 8 模式的每个子块还可以进一步划分为1 个8 x 8 ， 2 个4 x 8 或8 x 4 ，或者4 个4 x 4 。色度块采用和亮度块同样的分割模式，只是尺寸减 半。 h 2 6 4 为了改善亚像素运动补偿的性能，采用了六抽头滤波来计算亮度半像素点， 亮度1 4 像素点和色度亚像素仍然通过线性内插得到。 为了避免以往d c t 变换、逆变换中存在的精度失配问题，h 2 6 4 引入了4 x 4 整 数d c t 变换，同时将变换和量化这两个过程中的乘法运算合二为一。如果输入块是 色度块或帧内1 6 x 1 6 预测模式的亮度块，则将宏块中每个4 x 4 块变换后的直流分量组 合起来再进行h a d a m a r d 变换，进一步提高压缩效率。 h 2 6 4 采用c a v l c 和c a b a c ，大大提高了熵编码的压缩效率。 h 2 6 4 采用基于l a g r a n g i a n 优化算法的码率控制模型，编码性能得到重大提高【2 】。 h 2 6 4 在编解码器中加入了环路滤波模块，可在一定程度上消除块效应，提高编 码效率和主观视觉质量。 综上所述，h 2 6 4 在提高压缩效率和改善网络亲和性方面做出了多项重大改进， 其编码性能较之以往的编码方案有了很大提高。但是同时，编码算法也要复杂得多。 另外，相比于m p e g - 4 ，其市场化应用还不够成熟。m p e g - 4 和h 2 6 4 作为国际上两 大视频编码标准，仍将在一段较长时期内共存。因此，本文同时对这两种当前最为流 行的视频编码方案进行d s p 移植和优化，以适应不同的应用需求。 2 4 本章小结 本章主要介绍了各种视频编码标准，着重介绍了m p e g - 4 标准的视频部分和 h 2 6 4 a v c 建议。下一章我们将对a d i 的b l a c k f i n 系列d s p 进行了较为全面的介绍， 并根据笔者自身的工作经验，概括叙述基于b l a c k f i n 系列d s p 优化的一般方法与原 则。 1 2 浙江大学硕士学位论文 第3 章 a d ib l a c k f i nd s p 背景知识与优化方法 b l a c k f i n 系列d s p 是美国模拟器件公司( a n a l o gd e v i c ei n c ，a d i ) 最新的1 6 位 d s p 产品，是a d i 与i n t e l 联合开发的体现高性能体系结构的首款第四代d s p 产品， 针对通信和互联网应用而设计。采用a d i 和i n t e l 联合开发的“微信号”体系结构( m s a ， m i c r o s i g n a la r c h i t e c t u r e ) ，组合了一对乘累加( m a c ) 单元，一套正交的类似于r i s c 的微处理器指令集，灵活的“单指令、多数据”( s i m d ，s i n g l ei n s t r u c t i o n ，m u l t i p l ed a t a ) 处理能力，专为多媒体应用而设计的多种特性，以及动态电源管理能力等【2 4 】f 3 2 j ，非常 适合嵌入式领域的语音视频应用。 3 1a d ib l a e k f i nd s p 介绍 我们以最具代表性的a d s p b f 5 3 3 为例，对b l a c k f i n 系列d s p 进行介绍，某些 细节留待后续章节结合具体应用再做详细说明。 3 1 1核心架构 b l a c k f i n 的处理器核心包括两个1 6 位乘法器，两个4 0 位累加器，两个4 0 位a l u ( a r i t h m e t i cl o g i cu n i t ，算术逻辑单元) ，四个8 位视频a l u ，以及一个4 0 位桶形移 位器。如下图所示【2 4 l ： 图3 1 处理器核心架构 1 3 浙江大学硕士学位论文 “数据寄存器组”包括八个3 2 位寄存器( r o r 7 ) ，在执行1 6 位的数据运算时， 该寄存器组可作为1 6 个独立的1 6 位寄存器使用。结合b l a c k f i n 所提供的“矢量操作” 特性，可以用一条指令对存放在同一个寄存器中的两个1 6 位操作数进行运算，大大 提高了执行效率。 每个m a c 可以在一个时钟周期内执行一次1 6 位的乘法运算，并将结果累加到 4 0 位的累加器。支持有符号和无符号的数据类型，支持定点小数，支持对运算结果做 四舍五入( r o u n d ) 与饱和( s a t u r a t i o n ) 操作。 a l u 可以对1 6 位或3 2 位的数据执行传统的算术逻辑运算，并引入特殊指令加 速各种信号处理任务。每个a l u 最多可以一次执行两项1 6 位的运算；同时使用两个 a l u ，最多可以一次执行四项1 6 位的运算。 4 0 位的移位器可用于存储数据，并执行移位、旋转、归一化以及抽取操作。 定序器( s e q u e n c e r ) 控制指令执行流程，包括指令对齐和解码。支持相对跳转和 间接条件跳转( 带静态跳转预测) ，以及子程序调用。支持零开销硬件循环。 地址算术单元可以同时提供两路地址，用于内存数据的并行读取。包括四组d a g ( d a t aa d d r e s sg e n e r a t o r ，地址产生器) 寄存器，每一组由索引寄存器( i n d e xr e g i s t e r ， i o 1 3 ，存放内存地址) 、增量寄