（电路与系统专业论文）面向dm642的h264编码器优化与实现.pdf

独创性声明 _ i8 2 0s9 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：溅 日期： 本论文工作得到国家自然科学基金( 编号：6 0 6 7 2 0 5 0 ) 和北京市自然科学 基金( 编号：4 0 6 2 0 0 5 ) 的资助。 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 日期： 摘要 摘要 随着3 g 技术的蓬勃发展与“三网融合 的逐步实施，人们对于多媒体信 息的需求与日俱增。在可视电话、视频会议、视频监控、移动数字电视等领域， 嵌入式多媒体视频处理终端都有着广阔的应用前景。然而，高质量的视频信息 在传输中会占用大量的带宽资源，对视频数据进行大幅度的压缩成为了必然的 选择，视频编码压缩技术也成为了多媒体技术研究的热点之一。因此，实现高 效的嵌入式视频压缩系统无论在理论上还是实用上都具有重要的意义。 h 2 6 4 a v c 是目前世界上最为先进的视频编码标准，具有优异的压缩性能， 能够满足多种视频应用的需求。然而，较高的算法复杂度严重地影响了其在实 时环境下的应用。h 2 6 4 的实现平台众多，d s p 以其高效性、灵活性被广泛地 采用。t i 公司推出的高性能数字多媒体处理器t m s 3 2 0 d m 6 4 2 ，拥有超强的计 算能力和丰富的外围接口，是承载h 2 6 4 编码器的理想平台。 本文针对h 2 6 4 编码器帧内、帧间编码快速算法和d s p 平台的编码器优化 等方面展开研究，主要工作包括以下方面： 首先，在帧内编码环节，利用宏块灰度直方图的统计特性结合峰值判定来 表征待编码宏块的图像平坦程度，快速对编码模式进行分类；如果选择了h l t r a 4 4 作为当前最佳编码模式，根据小模板的方向特性结合窗口策略来快速判断 当前最佳编码模式，进一步提高帧内编码的速度。 其次，在帧间编码方面，采用率失真代价结合双阈值判断的方式，引入s k i p 模式提前判决方法。如果没有选中s k i p 模式则利用s a d 值配合残差纹理分析 的方法，使用“分裂合并”的思想，对其余的帧间编码模式做进一步判断。 最后，结合d s p 硬件平台特性，在内存分配、数据流、程序优化等方面对。 编码器做进一步的优化，有效地提高编码速度；并将优化后的编码器用于实际 的监控系统，取得了良好的应用效果。 本文采用不同特点的多个标准测试序列以及实际系统应用对优化后的编 码器进行测试。结果表明，在主、客观质量均保持较高水准的同时，编码器速 度有了明显的提升，基本可以满足实时编码应用的要求。 关键词h 2 6 4 ；d m 6 4 2 ：快速帧内帧问编码预测；d s p 优化 a b s t r a c t a b s t r a c t w 油t l l er a p i dd e v e l o p m 铋to f3 gt c c i l i l o l o g y 锄dn l ep r o g r e s s i v ei m p l e m e n t a i i o no fn l e “啷l ep l ，p e o p l e - sd 锄a n df o r 舢l t i m 础ai n f o 曲a t i o ni si i l c r e 鹊i i l g i i lav 撕e t yo ff i e l d s ， 叭c h 勰v i d e op h o n e ，p d a ，v i d e oc o n 鼢l c e ，d i 西t a l1 vv i d e os u r 、，c i l l 锄c e 姐ds oo n ，e m b e d d e d 加【u l t i m e d i at 锄i i l a l sh a v eb e c l lb e c o m i n gm o 舱锄dm o r ep o p u l 筑h o w e v 盯，al o to f b a n d 谢d t l l i s q u i r e di i lh i g l lq u a l i t ) ，v i d e oc o m m u n i c a t i o n ，v i d e os o u r c ed a t ar n u s tb ec o m p r 髓s e di ne f i e c t 锄d 访d e 0c o m n gt e c l u l o l o g yh a sa l s ob e c o m ear e s e a r c hh o t s p o ti l lm u l t i m e d i at e c l l i l o l o 醪t h u s 锄e 伍c i e i l t 锄b e d d e dv i d e oc o d i n gc o m p 托s s i o ns y s t e mi sn o to n l ys i 朗i f i c a n tt ot h ea c a d e m i a ， b u ta l s oh e l p 龟lt 0t l l ei n d u s 略 h 2 6 4 a v cv i d c oc o d i n gs 咖d a r d ，w h i c hi sn l em o s ta d v a n c c dv i d e 0c o d i n gs t a j l d a r d 谢n lt l l eh i 曲e s tc o m p r e s s i o n 耐0 册锄c e ，i st om e e ta 州e t ) ro f 讥d a p p l i c a t i o n s h o w e v t l l eh i 曲c o m p u t a t i o n a lc o n l p l 懿姆s e f i o u s l ya f l k t si t sa p p l i c a t i o ni n 佗a l t i m e 锄访r o n m e i l t d s p ，o n eo fm a n yi m p l e i i l e i l t a t i o np l a 怕m sf o rh 2 6 4 ，i s 谢d e l ya d 叩t e d 丽i l li t sh i g he 伍c i e n c y 锄d f l e x i b i l i 咄t h eh i g l l 俩m 孤c ed i 百t a l m u l t i m e d i a p r o c 懿s o r t m s 3 2 0 d m 6 4 2 m 锄u f a c t u r e db yt c x 部i i l s 仉u n t ，、i t hs u p 耐o rc o m p u t i n gp o w e r 孤dr i c hp e r i p h e r a li n t e 血c e s ， i s 觚i d 船lp l a t f 0 锄f o rc a n 扔n gh 2 6 4 饥c o d 既 t h ew o r ko ft l l i sp a p 嚏矿i sf o c l l s e do nf 如ti n 例i n t e rm o d e sp r e d i c t i o na l g o r i 衄a n dd s p 叩t i i i l i z a t i o nf o rh 2 6 4 饥c o d 盯t h e 砌n a r k a b l ea c h i e v 锄e i l t so fm i sp a p e ra 化a sf o l l o w s ： f i r s t i y ，t 0u s en l es t a t i s t i c a lc h a r a c t 甜s t i c so fm a c r ob l o c kh i s t o 肛吼，c o m b i n e d 丽1p e a l 【 d c t e 吼i n e dt 0c h a 豫c t 耐z et h ei m a g ef l a to fm eb l o c kt 0b ec o d e d 锄d 吐l u st om a l ( eq u i c k c l 鹪s i f i c a t i o n 锄o n gi n t mc o d i n gm o d 骼u n d e rn l ec o n d i t i o no fc h o o s i n gi i l 昀4 4s u b b l o c k m o d e ，c o r d i n g 锄a l lt 锄p l a t ed i r c c t i o n a lc h 龇翟c t e r i s t i cc o m b i n e d 、订t 1 1w i n d o ws t r a t e g yt o d e t e 肌i n e l eb 髓tm o d eu n d e ri i l t r a 4 4i no r d e rt oi l i l p m v ct l l es p do fi n 仃ac o d i n gf i l r n l s e c o n d l y ，i ni n t e r 劬m e ，t l l er u l to fc o m p 撕n gr d o 谢t h 缸e s h o l di su s e dt 0d e t e 衄i n e w h e t h e rs k i pm o d ei sn l eb 岱tm o d ei i ia l r t e n tb l o c k i fi ti sn o t ，吐l e nt 0 吣et l l ei n t e 珊e d i a t e r e 鲫l t s ，s u mo fa b s o l u t ed i 髓r e i l c e ，c o m b i n e dw i t ha n a l y s i so ft e x t u r cd i f f e r e n c e 姐d “s p l i ta i l d m e r g e ，t l l e o r yt 0j u d g eo 吐l c ri n t e rc o d i i l gm o d 髓 f i n a l l y b a s e do nc h a r a c t 舐s t i co fd s p ，s o m e 如r t h e ro p t i m i z a t i o n sa 坨c 枷e do nm 锄o r y r e a l l o c a t e d ，d a t an o wa n dc e r t a i np r o g 姗p r o c e s s 鹪，t oe f i e c t i v e l yi m p r o v en l e 朋c o d i n gs p e e d a p p l i c a t i o no f 叩t i m i z e d 饥c o d e rf o r 锄e v e i l l 抓c es y s t e ma c h i e v e ds a t i s f a c t o d ，r 懿u l t i nm i sp a p e r o p t i m i z e d 髓c o d c ri st e s t e db ym a i l ys t a n d a r ds e q u e i l c 懿o fd i 丘盯朗tf e a m r e s 姐dp r a c t i c a l 叩p l i c a t i o n t h e 陀s u l t ss h o w e dl l l a tn l ee n c o d i i l gs p e e di si i l l p r o v e ds i g n i f i c a n t l y 觚dc o u l dm e e tt h er e a l t i m ec l l c o d i n ga p p l i c a t i o n s ，w h i l es u b j e c t i v ca i l do b j e c t i v eq u a l i t y s t 飙d a r d sr 锄a i nah i g l ll e v e l k e y w o r d s ：h 2 6 4 ；d m 6 4 2 ；i n t r “i n t e rm o d ep r e d i c t i o n ：d s po p t i m i z a t i o n 1 i i i i 1 1 1 2 国内外研究现状4 1 2 1h 2 6 4 的研究现状4 1 2 2d s p 技术和视频编码器应用研究现状5 1 3 本论文主要研究工作和目标7 1 4 论文的结构安排8 第2 章h 2 6 4 视频编码标准及其关键技术9 2 1 视频编码标准的演进和经典编码标准简介9 2 1 1 视频编码标准演进9 2 1 2 经典视频编码技术1 0 2 2h 2 6 4 视频编码标准及其编解码器结构11 2 2 1h 2 6 4 视频编码标准1 1 2 2 2h 2 6 4 视频编码器和解码器特性13 2 3h 2 6 4 视频编码标准的关键技术1 4 2 3 1 多参考帧技术1 4 2 3 2 运动估计和运动补偿15 2 3 3 整数d c t 变换技术17 2 3 4 量化技术18 2 3 5 统一的熵编码1 9 2 3 6 自适应环内去块效应滤波器2 0 2 4 本章小结2 l 第3 章h 2 6 4 帧内编码模式快速选择算法2 3 3 1h 2 6 4 帧内预测选择算法2 3 3 1 1 帧内1 6 1 6 块预测模式一2 4 3 1 2 帧内4 4 块预测模式2 5 3 1 3h 2 6 4 帧内编码过程2 7 3 2 快速帧内预测选择算法的研究现状2 9 3 3 利用宏块直方图特性进行的快速帧内模式判别3 0 3 4 利用子块预测方向性特征的快速帧内模式判别3 2 3 5 新的帧内预测算法实验结果3 5 3 6 本章小结3 5 第4 章h 2 6 4 帧间编码模式快速选择算法3 7 4 1h 2 6 4 帧间预测编码方法3 7 4 2 帧间编码流程3 9 4 3 帧间编码模式快速选择算法41 北京1 = 业大学t 学硕j j 学位论文 4 3 1 帧间快速预测算法的研究现状4 1 4 3 2 帧间编码模式的特性分析4 2 4 3 3 帧间s k i p 模式的判决4 3 4 3 4 帧间大模板预测方式的判决4 4 4 4 新的帧间预测算法实验结果4 8 4 5 本章小结：4 9 第5 章基于硬件平台的h 2 6 4 编码器优化5l 5 1d m 6 4 2 硬件平台和开发环境5 l 5 1 1d m 6 4 2 简介5l 5 1 2 集成开发环境5 4 5 1 3 代码移植。5 6 5 2 数据存储结构优化5 8 5 2 1d m 6 4 2 片上存储结构。5 8 5 2 2 缓存优化策略6 0 5 3 数据流传输6 2 5 4 代码级优化。：6 6 5 4 1 软件优化流程6 6 5 4 2 软件项目级优化。6 7 5 4 3c 语言级优化6 8 5 4 4 汇编语言优化7 l 5 5 编码器性能测试7 4 5 6 本章小结7 8 第6 章h 2 6 4 编码器在监控系统中的应用7 9 6 1 视频监控系统中的关键技术7 9 6 2 系统结构8 0 6 3h 2 6 4 编码器的应用8 1 6 3 1 视频的采集与显示8 1 6 3 2 视频格式的转换8 2 6 3 3h 2 6 4 编码器的封装8 2 6 4 编码器在监控系统中的应用演示8 3 6 5 本章小结8 6 结论8 7 参考文献8 9 攻读硕士学位期间取得的研究成果及所获奖励9 3 致谢9 4 1 1 课题背景及研究意义 伴随着互联网技术和通信技术的快速发展，在3 g 时代和“三网融合”的大 背景下，人们对于多媒体信息的获取成为了生活的一种“必需”。在丰富的多媒 体信息中，视频信息以其突出的生动性和直观性受到业界的高度重视。首先，视 频信息更容易被人主观地获取、理解和接受。根据统计，人类获得的信息9 0 来自视觉，而最终被人类接受的信息大约7 0 来自视觉；其次，与音频、文字数 据相比，视频具有无与伦比的信息容量。视频信息更符合人类对于外部事物的观 察和认知方式，能够在同一时间范围内让人们收集到更多的信息。在科技高度发 达的今天，视频信息的处理和应用技术在社会的各个领域发挥了重要作用。 然而，面对数字化视频信息的海量数据，相关的存储和传输技术面临着极 大的挑战和困难。因此，如何将视频数据在尽可能不降低主客观质量的前提下， 在现有的应用环境中进行有效的传输和存储成为了学术界和工业界所共同关注 的一个重要研究领域。同时，以降低传输和存储成本、缓解网络带宽和存储空间 限制为目的的数据压缩技术成为了多媒体视频技术发展和应用的关键所在。这也 成为了推动图像视频编码压缩技术快速发展的巨大动力，相关组织在近几十年的 时间里也制定推出了多个国际标准。比较有代表性的包括国际标准化组织i s o 和国际电工委员会i e c 关于运动图像的编码标准m p e g 1 ，m p e g 2 ，m p e g 4 ， 以及国际电信联盟i t u t 制定的视频编码标准h 2 6 x 系列。表1 1 列出了各种视 频编码标准的目标码率和应用领域。 h 2 6 4 儿w c 是由i s o i e c 与r r u t 组成的联合视频组t ( j o i n t d e ot e 锄) 制定，并于2 0 0 3 年3 月正式获得通过的新一代视频压缩编码标准 1 】。1 9 9 6 年制 定h 2 6 3 标准后，i t u t 视频编码专家组v c e g 开始了两个方面的研究：短期研 究计划，即在h 2 6 3 基础上增加选项；长期研究计划，即制定一种新标准以支持 低码率的视频通信，由此产生了h 2 6 l 标准草案，它与先期的i t u t 视频压缩 标准相比，在压缩效率方面有了明显提升。2 0 0 1 年i s o 与r r u 开始组建包括来 自i s 0 i e cm p e g 与i t u tv c e g 的联合视频组j v t ，其目标是将h 2 6 l 草案 制定为国际性标准。于是在i s o i e c 中该标准命名为a v c ( a d v a i l c e d d e o c o d i n g ) ，作为m p e g 4 标准的第1 0 个部分；并在i t u t 中正式命名为h 2 6 4 标 准。 北京丁业大学工学硕上学位论文 表1 1 视频编码标准的目标码率和应用领域 组织名称视频编码标准码率范围典型应用 i sl l l 7 2 2 i s o1 5m b p sv c d m p e g 1 i s1 3 8 1 8 2 高品质数字视频和音频传输和存 i s o 4 一1 0 0 m b p s m p e g 2储，如d 、h d t v 等 c d1 4 4 9 6 - 2 实时多媒体监控、低比特率下的 i s o2 4 一1 0 2 4k b p s 移动多媒体通信、内容存储和检 m p e g _ 4 索多媒体系统等 在i s d n 等宽带信道上的视频传 兀u - t h 2 6 l p 6 4 k b p s ，萨1 - 3 0 输，如视频电话等 甚低比特率视频通信，如p s t n n u - t h 2 6 3 6 4 k b p s 或 6 4 l c b p s 上的视频电话和视频会议系统 h 2 6 3v b r s i o n u - t “k b p s 甚低比特率视频通信 2 ( h 2 6 3 + ) 兼顾广播和电信、覆盖从低码率 n u - th 2 6 l 6 4 k b p s 到2 4 0 m b p s 通信到高清晰电视的广域标准 h 2 6 4 是目前最新的视频编码标准，代表了现今最先进的视频编码水平。它 面向未来i p 和无线环境，其在视频压缩效率方面比目前所有的视频压缩标准都 要高。h 2 6 4 采用了传统的基于宏块和运动补偿的方案，但是在技术细节上却做 了许多的改进。对信道时延的适应性较强，既可工作于低时延模式以满足实时业 务，如会议电视等；又可工作于无时延限制的场合，如视频存储等。h 2 6 4 在编 解码器中采用复杂度可分级设计，以适应不同复杂度的应用。h 2 6 4 标准引入了 很多先进的技术，包括4 4 整数变换、空域内的多模式帧内预测、l 4 象素精度 的运动估计、多参考帧与多种大小块的帧间预测技术等。此外，h 2 6 4 提高了网 络适应性，加强对误码和丢包的处理，提高了解码器的差错恢复能力。基于以上 特点，h 2 6 4 相比之前的图像视频编码标准如m p e g 和h 2 6 3 有许多显著的优势， 比较有代表性的是以下几点： 1 低码流：和m p e g 2 、m p e g 4 等压缩技术相比，在同等的图像质量 下，采用h 2 6 4 技术压缩后的视频数据量只有m p e g 2 的1 8 ，m p e g 4 的1 3 。 显然，h 2 6 4 压缩技术的采用将大大节省用户的下载时间和数据流量收费。 2 高图像质量：h 2 6 4 能够在复杂环境下提供连续、流畅的高质量图像。 3 容错能力强：h 2 6 4 提供了解决在不稳定网络环境下容易发生丢包等 错误的必要工具。 4 网络适应性强：h 2 6 4 提供了网络抽取层( n e t w o r ka b s t r a c t i o nl a y e r ) ， 使得h 2 6 4 的文件能较容易地在不同网络上传输。如互联网，c d m a ，g p r s ， w c d m a ，c d m a 2 0 0 0 等。 第1 章绪论 h 2 6 4 具有很高的编码复杂度，这也是影响其广泛应用的主要瓶颈。根据 n ，t 会议文件的评估结果，h 2 6 4 参考编解码软件j m 2 1 ，相较于m p e g 4 m o m u s y sf p d a m i 0 2 0 4 1 4 ，其编码器复杂度约为1 0 倍以上，而解码器复杂度则 为3 倍以上。如此高的复杂度使得h 2 6 4 a v c 难以使用在具有实时需求的应用 上。因此，在尽量少地牺牲h 2 6 4 编码效率和质量的前提下，降低其运算复杂度， 提高编码速度，使其趋于实用化程度，无论在理论研究还是实际应用方面都具有 深刻的意义。 高效的视频编码标准和算法需要一个好的载体去实现。嵌入式系统具有体 积小、功耗低、集成度高、环境适应性强等优点，被认为是实现并优化h 2 6 4 的 理想平台之一。自从2 0 世纪8 0 年代初期第一片数字信号处理器芯片d s p ( d i 西t a l s i 印a 1p r o c e s s o r ) 问世以来，d s p 芯片就以数字器件特有的稳定性，可重复性， 可大规模集成，特别是可编程性和易于实现自适应处理等特点，给数字信号处理 的发展带来了巨大契机。相对于其它平台，以通用可编程的d s p 芯片为核心的 应用系统具有以下优点：能够快速制造样机和进行验证，加快产品的上市时间； 在一个d s p 上能同时实现多路视频信号的压缩处理，还可提供很多视频专用功 能，比如视频滤波、高分辨显示输出功能等；高度可编程性使产品能够迅速应用 新算法、新标准或新协议；可以通过软件更新，快速进行产品升级。由于半导体 制造工艺的发展和计算机体系结构等方面的改进，d s p 芯片的功能越来越强大， 能够实时处理的信号带宽也大大增加，数字视频技术的实时应用得到了有力支 持。 现在已有很多成熟的基于d s p 与h 2 6 4 编码器相集合的多媒体产品，这进 一步说明了d s p 结合h 2 6 4 在多媒体领域的重要应用价值。早在2 0 0 4 年美国 s 锄d v i d e o 公司就已经宣布成功开发出可对h 2 6 4 编码的h d t v 视频编解码器 l s i “s v - d 0 1 1 ”。美国芯慧推出的多核d s p v s p l o o 处理器，支持h 2 6 4 m p e g - 4 、 a v s 、r e a l 的可编程处理器。 t i 公司的t m s 3 2 0 d m 6 4 2 处理器具有高主频、多条流水线、高并行度以及 专门的视频信号处理指令等优点，它是视频处理领域首选的d s p 芯片之一。基 于d s p 实现的多媒体通信终端设备，同基于p c 机和f p g a 专用芯片实现的通 信终端相比，具有灵活性高、可移植性强、升级方便等优点。因此，将h 2 6 4 算 法应用在d m 6 4 2 平台上，有着十分广阔的应用前景，而且对于多媒体技术的实 用化具有一定的意义和价值。 在这样的背景下，本课题得到了国家自然科学基金委员会和北京市自然科学 基金委员会的支持，其研究目的在于对高性能的h 2 6 4 视频编码算法标准进行深 入研究和优化；同时，在d s p 平台上结合硬件结构的特点，对编码器进行深度 优化，逐步使得面向d m 6 4 2 的h 2 6 4 视频编码器基本达到实时编码应用的水平 北京t 业大学t 学硕十学位论文 并用于实际系统。 1 2 国内外研究现状 经过十几年的发展演进，视频编码压缩标准和d s p 技术都得到了长足的进 步，这也给多媒体视频技术的应用提供了巨大的空间和良好的契机。 1 2 1h 2 6 4 的研究现状 与之前的视频编码标准相比，h 2 6 4 在许多关键技术上有着明显的优势，其 中包括：统一的符号编码，高精度、多模式的运动估计，基于块的整数变换和分 层的编码语法等。这些措施使得该算法具有很高的编码效率，在相同的重建图像 质量下，能够比h 2 6 3 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应性强， 增加了差错恢复能力，能够很好地适应公网和无线网络的应用。针对提高其编码 速度的研究现状如下： 多模式决策算法：在h 2 6 4 中，提高编码速度的有效方法之一就是对多种编 码模式的选择进行优化。在择优过程中，h 2 6 4 将基于t 、m e g a n d 提出的率失真 优化策略r d o ( r a t ed i s t o n i o no p t i m i z a t i o n ) 2 j 作为重要可选模式。目前，减小帧 内预测复杂度的方法主要有两类：一类是缩小预测模式的选择范围，另一类是简 化率失真代价函数【3 】。其中比较有代表性的是f e n g 即n 等在j v t 会议中提出的 基于边缘方向直方图的方法【4 】和b o i u i lm e n g 等提出的基于分组像素点的方法【5 1 。 此外文献 6 】利用前帧对应位置宏块和当前宏块的相关性，跳过一些宏块的模式 选择过程，减少了3 3 的计算复杂度，p s n r 下降约0 2 d b 。文献 7 提出了半路 终止的模式选择算法。文献 8 利用相邻帧宏块之间的关系以及基于量化因子的 修正帧，编码速度提高了2 2 3 5 ，码率增加较多，约为3 。文献 9 】提出了新 的简化的代价函数模型来提高编码速度。对于帧间预测，目前有d w u 等提出的 基于均匀区域的快速帧间预测模式决策【l0 1 、p e n gy i n 等提出的基于误差表面单调 性的快速帧间预测模式决策】等。 。 运动搜索算法：块匹配运动估计已经成为当今视频压缩技术标准中必不可少 的一部分，之前的m p e g 1 、m p e g 2 、m p e g ；、h 2 6 1 以及h 2 6 3 都运用了这 项技术。但是全局搜索运动估计需要耗费编码器极大的运算时问。如在m p e g 4 中，运动估计占据了的6 6 编码器运算量，而在h 2 6 4 中，支持多重参考帧选择 和多达7 种的运动估计模式，所以运动估计在编码器中占用运算量更大。各种用 来减小运动估计的计算量的算法一般可以分为两大类：l 、全局搜索( f s ) ，通过 辅助的策略减少搜索的计算量。如可以动态选择搜索中心或者提前跳出匹配搜索 等来减少块匹配所需的计算量。这类算法可以在搜索窗口内找到最匹配的块，所 第1 章绪论 以具有最优的搜索性能，但是需要较多的计算量。2 、只对部分位置进行搜索， 通过减少搜索点数减少计算量，如三步搜索法【1 2 】、新三步搜索法【1 3 】、四步搜索 法【1 4 】、钻石搜索法【1 5 1 和六边形搜索法【1 6 】、十字交叉搜索法f 1 刀等。这类算法可以 取得更小的运算复杂度，但是很容易陷入局部最优，导致搜索性能下降。中国的 专利技术，“非对称十字型多层次六边形格点搜索算法( u n s y m m “c a l c r o s s m u t i h e x a g o ns e a r c h ) 【1 8 】，是一种整像素运动估值算法。由于它在高码率、大运 动图像序列编码时运算量十分低，同时能保持较好的率失真性能，已被h 2 6 4 标 准正式采纳。 除了上述关键技术之外，视频数据在网络传输中的差错控制技术【侈珈】、变尺 寸整数d c t 变换、可变步长的量化机制、自适应的码率控制以及去除方块效应 的环路滤波技术也是视频编码中的重要技术。具有更高压缩能力但是运算量巨大 的小波视频压缩、分形视频压缩以及面向存储检索的基于视频对象的压缩技术， 正在受到更多的研究与关注。 1 2 2d s p 技术和视频编码器应用研究现状 d s p ( d i 西t a ls i 髀a lp r o c e s s o r ) 是一种独特的微处理器，是以数字信号来处理大 量信息的器件。其工作原理是接收模拟信号，转换为0 或1 的数字信号，再对数 字信号进行修改、删除、强化，并在其他系统芯片中把数字数据解译回模拟数据 或实际环境格式。它不仅具有可编程性，而且其实时运行速度可达每秒数以千万 条复杂指令程序，远远超过通用微处理器，是数字信号处理领域中日益重要的一 类芯片。近年来，我国d s p 市场保持了持续快速的增长，市场销量以超过2 6 6 2 8 8 万片，总销售额超过1 2 6 4 亿元。我国d s p 市场规模迅速扩大，主要得益于移动 电话市场、数字消费市场以及自动控制市场规模的增长。 d s p 芯片的主要特点可以概括为以下几剧2 1 倒j ： 1 哈佛结构。与传统的冯诺依曼结构相比，哈佛结构更适合处理具有高度 实时要求的数字信号。哈佛结构的特点是程序存储器和数据存储器各具有独立的 存储空间，具有独立的程序总线和数据总线。而且很多d s p 甚至有两套或两套 以上内部数据总线，这种总线结构称为“修正的哈佛结构”。 2 流水线技术。耿指指令和执行指令可以同时进行，从而减少指令执行时 间，进一步增强处理器的数据处理能力。流水技术是提高d s p 程序执行效率的 一个主要手段。流水线技术使两个或更多不同的操作可以重叠执行。在处理器内， 每条指令的执行分为取指、解码、执行等若干个阶段，每个阶段称为一级流水。 流水处理使得若干条指令的不同执行阶段并行执行，因而能够提高程序执行速 度。 北京t 业大学工学硕上学位论文 3 特殊的指令系统。d s p 芯片通常都有一套自己的特殊指令，这个指令系 统都是专门为数字信号处理而设计的，可以更有效地利用片上资源，对于提高 d s p 芯片的运算效率非常有益。 4 采用硬件乘法器。d s p 芯片都有专门的硬件乘法器，通过硬件乘法器和 算法的改进，基本解决了乘法运算速度瓶颈的问题。硬件乘法器是d s p 区别于 通用微处理器的一个重要标志。 5 指令周期短。早期的d s p 指令周期约4 0 0 i l s ，采用4 “m n m o s 制造工艺， 其运算速度为5 m i p s 。随着集成电路工艺的发展，d s p 广泛采用亚微米c m o s 制造工艺，其运行速度越来越快。本文所使用的d s p 芯片为4 8 0 0 m i p s 。 目前，主流的视频编解码硬件实现平台主要有两类。其中一类是使用专门的 编解码芯片，做纯硬件级别的编解码处理；另外一类是采用通用多媒体数字处理 器，如d s p ，使用软件可编程来实现。 纯硬件实现视频编解码方案的稳定性较好，编解码指标容易确定，它们的共 同特点是硬件设计围绕数字视频图像处理常用算法进行，所以相比其他通用数字 信号处理芯片有着较高的实现效率。但是这种做法的不利后果是导致系统不够灵 活，当产品需求改变或需要升级时，一般要对硬件系统做出大的调整，周期较长， 不适于功能需求多变的应用场合。并且系统设计者必须同时掌握每一种专用芯片 的特性和设计方法，而这在多数情况下是很难做到的。对于硬件实现的编解码方 案，在产业界有许多专用的数字图像处理芯片。例如p h i l i p s 公司的t h m e d i a 系 列多媒体芯片；专门为m p e g - 4 和h 2 6 4 设计的专用处理芯片，例如b r o a d c o m 公司推出支持用于高清晰消费类视频产品的h 2 6 4 标准芯片b c m 7 4 1 l ：意法半 导体的单芯片机顶盒解码芯片s t b 7 1 0 0 等等。 基于d s p 的视频编解码方案实现灵活性要远远大于a s i c 硬件，且易于升 级换代，开发周期短。采用这类方案可以用最快的速度对用户需求做出反应，保 证产品在市场中的有利地位。但其对于处理器芯片的要求相对较高，如运算速度， 内存空间分配等，往往需要做大量的软、硬件优化工作。这也是本文涉及的主要 工作。随着视频编码应用的兴起，市场上用于实现软件编码器的数字多媒体 处理器逐渐增多，并且性能在不断提高。目前国内在d s p 选型方面主要侧重 于a d i ( a n a l o gd e v i c e s ，i i l c ) 公司和t i ( t e x a si n s t r u m e n t s ) 公司的产品。美国a d i 公司为满足多媒体应用推出了b l a c k f i n 系列处理器，典型的型号包括b f 5 3 3 、 b f 5 3 7 、b f 5 6 1 等，其中b f 5 6 1 是双核d s p 。b l a c k f i n 系列d s p 使用了a d i 和 i n t e l 合作开发的m s a ( m i c r os i 印a la r c h i t e c t u r e ) 。该架构融合了d s p 和微控制 器( m c u ) 的特点，既具备了d s p 数字信号处理能力强的特点，又兼顾嵌入式微 处理器易于控制交互的优点，因此对于嵌入式操作系统有很高的支持能力，被许 多嵌入式系统开发人员青睐。美国t i 公司在d s p 设计制造领域有着很丰富的经 第1 章绪论 验，是业界的领导者。t i 公司的产品系列包括c 2 0 x ，c 2 4 x ，c 5 x ，c 5 4 x ，c 6 2 x x ， c 6 4 】【) 【等定点d s p 和c 3 x ，c 4 x ，c 6 7 x x 等浮点d s p ，而每个系列又有不同性能 和价格的具体产品可供用户选择。另外，相对于其他公司，t i 公司提供了更完 善的技术支持和更稳定的芯片供应，所以一直是数字信号处理芯片用户的首选。 t m s 3 2 0 d m 6 4 2 通用多媒体数字可编程处理器是t i 公司于2 0 0 2 年发布的 c 6 0 0 0 系列中一款高性能的定点多媒体处理芯片。d m 6 4 2 基于c 6 4 x 内核，主频 高达6 0 0 m h z ，峰值运算能力可达4 8 0 0 m p s ，采用扩展的高级甚长指令字( v l i w ) 体系结构，两级缓存结构，以及4 个独立通道的e d m a 控制器等技术，大幅度 提高了程序运行的性能。经过分析比较以及对实验室现有条件的考虑，本课题的 研究使用d m 6 4 2 作为核心硬件平台。 1 3 本论文主要研究工作和目标 本文的核心工作目标分为两个方面： 1 针对h 2 6 4 视频编码标准的复杂性特点，通过大量的分析、对比现有帧 内、帧间优化算法，结合应用平台和应用领域等特点，提出运算复杂度和优化效 果较为平衡的快速优化算法。算法的主要研究方向集中于帧内、帧间编码模式的 快速选择，在充分保证视频编码质量的前提下，最大限度地提高编码速度。同时 给出详尽的算法测试结果，说明算法的有效性和可靠性。 2 由于本文的应用面向t m s 3 2 0 d m 6 4 2 嵌入式平台，在编码器移植到d s p 上之后要根据硬件结构的特点做进一步的优化工作。这其中包括，制定一套完善 的内存使用方案、建立高效的数据传输方式和具体传输机制、程序本身的语言级 优化等等。利用d m 6 4 2 作为硬件承载平台对b a s e l i n e 级别的h 2 6 4 视频编码器 进行深入优化，达到能够基本满足对视频实时编码的要求并应用于实际监控系统 中。 针对以上目标，本论文分为以下两方面重点工作： 1 h 2 6 4 视频编码算法的优化和实现 首先，通过广泛阅读和研究相关资料、文献，深入研究了h 2 6 4 视频压缩 标准，针对h 2 6 4 视频压缩编码算法的特点，分别提出了帧内和帧间编码模式选 择的改进算法，使得编码器在保证视频图像质量的前提下，有效地减少了h 2 6 4 算法的复杂度。具体分为以下两部分工作： ( 1 ) 帧内预测模式快速判决算法。根据宏块灰度直方图的统计特性来判断待 编码宏块的纹理平坦程度，使用判决结果提前预测i i l t r a l 6 1 6 模式和i n t r a 4 4 模 式的使用；在对大量视频序列进行分析后，为了提高算法的使用范围和准确度， 在使用1 1 1 t r a 4 4 模式的情况下，根据i n t r a 4 4 模式8 种预测模式的方向性特征结 北京t 业大学t 学硕十学位论文 合d c 模式继续进行算法加速，快速判决帧内编码小模板的使用，这样在提高了 编码速度的同时也增强了算法的鲁棒性，扩大了适用范围。 ( 2 ) 帧间预测模式快速判决算法。采用s k i p 优先判决和“分裂合并”的优化 思想，利用运动估计块匹配过程中得到的中间结果一绝对值误差和( s a d ) 与自适 应阈值相比较的方法，在s l 【i p 以及1 6 1 6 、8