（电路与系统专业论文）基于BSP16处理器的H264视频编码器的优化与实现[电路与系统专业优秀论文].pdf

摘要 摘要 h 2 6 4 a v c 是i t u - t 和i s o i e c 联合推出的最新视频压缩标准，采用了近 几年视频压缩方面的先进技术，以较高的编码效率和网络友好性成为新一代国 际视频压缩标准。大量的试验表明h 2 6 4 编码器的高效率是以更高的运算复杂 度为代价的。实际应用中，恰当的使用h 2 6 4 编码算法可以用低计算复杂度的 算法来达到与高复杂度算法相近的编码效果。而在实际的视频编码器的开发 中，需要对运算复杂度和编码效果之间进行兼顾考虑。 本课题是通过参考当前p c 平台上最成功的开源h 2 6 4 编码器x 2 6 4 ，在 e q u a t o r 公司以b s p 一1 6 多媒体d s p 处理器为核心的b a b e l f i s hi i 多媒体开发 平台上进行h 2 6 4 的视频编码器的设计。为了能够降低编码器的运算复杂度， 针对编码器中不同作用和实现方法的部分，需要采用不同的优化方式。对基本 模块可以使用多媒体指令来优化，对于压缩算法可以通过研究快速算法来替 代。本文基于以上思想进行优化，具体包括下述工作。 由于x 2 6 4 中帧内最佳预测模式的选择使用的是全搜索的算法，这使得算法 复杂度相当高。针对这种情况，本文提出了针对1 6 1 6 亮度块和4 4 亮度块 的快速帧内预测模式选择算法。其中针对1 6 1 6 亮度块的快速选择算法是基于 宏块图像纹理属性而进行快速决策的，而针对4 4 亮度块的快速算法是根据相 邻预测方向代价相近的原理来进行快速选择的。 为了更进一步提升编码器的性能以实现编码器的实时编码，本文采用b s p - 1 6 处理器的媒体指令集来对编码器进行优化。根据对编码器各模块的分析，使 用f i r t r e e 媒体指令集针对诸如运动搜索、运动补偿、整数变换、量化以及半 象素插值等模块进行了优化，更进一步提高了编码器的执行速度。 实验结果表明，通过对h 2 6 4 编码器中运算密集模块进行算法和指令集的 优化后，编码器的执行速度获得了大幅的提高。最终在b a b e l f i s hi i 开发平台 上实现了c i f 格式视频的实时编码。 i 摘要 关键词h 2 6 4 ；编码器；b s p - 1 6 1 1 a b s t r a c t a b s t r a c t t h en e w e s ts t a n d a r d a p p r o v e db y t h ei t u _ ta n di s 0 i e c o r g a n i z a t i o n s i sh 2 6 4 a v c ，i tr e p r e s e n t san u m b e r o fa d v a n c e si n v i d e oc o d i n gt e c h n o l o g ya n d b e c o m e st h en e w e s ti n t e r n a t i o n a lv i d e o c o d i n g s t a n d a r db e c a u s eo f b o t hh i g hc o d i n ge f f i c i e n c ya n d n e t w o r k f r i e n d li n e s s b u t t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h ei m p r o v e d c o d i n ge f f i c i e n c yc o m e sw i t hg r e a tc o m p l e x i t yi n c r e a s ea t t h ee n c o d e r i nf a c t p r o p e ru s eo ft h eh 2 6 4 a v ce n c o d em e t h o d sl e a dt or o u g h l y t h e s a m e p e r f o r m a n c e s a st h ec o m p l e x c o n f i g u r a t i o n s ob o t h c o m p u t a t i o n a lc o m p l e x i t ya n dc o d i n ge f f i c i e n c ys h o u l db et h o u g h ta n d m a d et ot h eo p t i m a lt r a d e - o f fi nt h ei m p l e m e n t a t i o no fa c t u a lc o d i n g s y s t e m i nt h isp a p e r ，w ep r e s e n tt h ed e s i g no fh 2 6 4e n c o d e r ，b a s e do n t h eo p e ns o u r c ec o d e cx 2 6 4( o n eo ft h em o s ts u c c e s s f u lh 2 6 4 e n c o d e r so nt h ep cp l a t f o r m ) a n db s 卜1 6d e v e l o p m e n tp l a t f o r m 一一 b a b e l f is hiid e v e l o p m e n tb o a r da n di 瑚e d ia t o o iss d t i no r d e rt o r e d u c et h ec o m p l e x i t yo ft h ee n c o d e r ，t h ef a s ta l g o r i t h m s a r e d e v e l o p e dt or e p l a c et h eo l do n ea n dt h em u l t i m e d i ai n s t r u c t i o n s e t a r eu s e dt oo p t i m i z et h eb a s i cm o d u l e s t h i sd i s s e r t a t i o ni sb a s e do n t h ea b o v em e t h o d s ，a n dm a j o rw o r k sa r ea sf o l l o w s b e c a u s ei nt h ex 2 6 4 ，t h ef u l ls e a r c ha l g o r i t h mi su s e dt oc h o o s e t h eb e s ti n t r ap r e d i c t i o nm o d e h o w e v e ri t i sv e r yc o m p u t a t i o n a l l y e x p e n s i v e t or e d u c e t h ec o m p l e x i t yo ft h ei n t r ap r e d i c t i o no ft h e e n c o d e r ， o n ef a s ti n t r a p r e d i c t i o nm o d es e l e c t i o na l g o r i t h mf o r1 u m a 1 6 1 6b l o c ka n do n ef o rl u m a4 * 4b l o c ka r ep r o p o s e d t h ef a s t a l g o r i t h mf o rl u m a1 6 1 6b l o c kisu s i n gt h em a c r o b l o c kp r o p e r t i e st o f a s td e t e r m i n et h eb e s tm o d e a n dt h ea l g o r i t h mf o r1 u m a4 * 4b l o c ki s u s i n gt h em o d e sw i t hs i m i l a rn e i g h b o r h o o d d i r e c t i o nh a v es i m i l a r c o s t st of a s td e t e r m i n e t of u r t h e r o p ti m iz e t h e p e r f o r m a n c e o ft h ee n c o d e r ，t h e m u l t i m e d i ai n t r u c t i o ns e to fb s p 一1 6i su s e d b a s e do nt h ea n a l y s eo f t h ee n c o d e r ，t h er e l a t i v e l yt i m e c o n s u m i n gm o d u l e ss u c ha sm o t i o n e s t i m a t e ，m o t i o nc o m p e n s a t i o n ，i n t e g e rt r a n s f o r m ，q u a n t i z a t i o na n d s u b - p e li n t e r p o l a t i o na r eo p t i m i z e dt h r o u g h t h ef i r t r e em u l t i m e d i a i n s t r u c t i o ns e to fb s p 一1 6 ，w h i c hf u r t h e ri m p r o v et h ee n c o d i n gr a t e t h ee x p e r i m e n tr e s u l t ss h o w t h a ta f t e ro p t i m i z i n gh 2 6 4 e n c o d e r i i i a b s t r a c t a ta l g o r i t h ma n d i n s t r u c t i o nl e v e l ，t h ec o m p u t a t i o n a l l yi n t e n s i v e m o d u l e si nh 2 6 4e n c o d e rw a sf u r t h e ro p ti m iz e d ，a n dt h ee n c o d e rw a s s i g n i f i c a n t l ys p e e d e du p a n df i n a l l yt h eo p t i m i z e de n c o d e rc a n r e a l i z et h er e a l t i m ee n c o d i n g ( f o rc i fs e q u e n c e s ) o nt h eb a b e l f i s h i ip l a t f o r m k e y w o r d sh 2 6 4 ：e n c o d e r ：b s p 1 6 i v 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的研究成果。 本人在论文写作中参考的其他个人或集体的研究成果，均在文中以明 确方式标明。本人依法享有和承担由此论文产生的权利和责任。 声明人( 签名) ： 衫年岁月加日 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦门大 学有权保留并向国家主管部门或其他指定机构送交论文的纸质版和 电子版，有权将学位论文用于非营利目的的少量复制并允许论文进入 学校图书馆被查阅，有权将学位论文的内容编入有关数据库进行检 索，有权将学位论文的标题和摘要汇编出版。保密的学位论文在解密 后适用本规定。 本学位论文属于 1 、保密() ，在年解密后适用本授权书。 f 2 、不保密( ) 作者签名： 导师签名： 乃 日期：。7 年岁月加日 日期：d 产厂月奶日 第l 章绪论 1 1 引言 第1 章绪论 随着计算机、互联网等技术发展的推动，可视电话，视频会议系统，视频 监控系统，高清数字电视，网络视频流，移动媒体终端，d v d 技术等视频服务 得到了广泛的应用。作为视频应用中的核心技术之一的视频压缩技术，便成为 通信，广播和娱乐媒体最基本的组成部分。国际上各大标准化组织也一直致力 于视频压缩技术的研究，并且制定了一系列的视频压缩标准，如i s o i e c 的 m p e g l 、m p e g 2 和m p e g 4 ，i t u - t 的h 2 6 1 、h 2 6 3 、h 2 6 3 + 和t 1 2 6 3 + + ，以及本 文中所提到的由i t u - t 和i s o i e c 联合制定的1 4 2 6 4 ( 或i s o i e c1 4 4 9 6 - 1 0 ( m p e g _ 4 的第l o 部分) ) 。h 2 6 4 a v c 这一“先进视频编码”标准试图在相对广 泛的领域中进行应用，并为不同的领域提供了合适的解决方案。 另外，自上世纪6 0 年代d f t 的快速算法f f t 被提出后，在计算机和信息技 术的推动下，数字信号处理技术已形成一门独立的学科系统。随着大规模集成 电路技术的不断发展，以及数字信号处理的特殊需求，d s p 专用处理器应运而 生，如今d s p 处理器已经广泛应用于几乎所有的数字信号处理领域，这其中就 包括数字视频信号处理。 本课题是在专用数字媒体d s p 处理器平台上，进行符合h 2 6 4 视频压缩标 准基本档次的视频编码器的优化实现。本章主要阐述课题研究的背景和选题思 路，以方便后续章节内容的展开。 1 2h 2 6 4 a v c 视频压缩标准的优势 标准化是产业化活动成功的前提，近2 0 年间图像编码技术得到了迅速发展 和广泛应用，其原因之一就是国际化的基于不同应用时期不同需求所制定的视 频压缩标准。目前数字视频编码压缩技术，大多是建立在d p c b l 和变换编码基础 基丁b s p 。1 6 处理器的h 2 5 4 视频编码器的优化j 实现 上的有损编码，压缩编码技术的发展历程实际是以香农信息论为出发点，不断 完善的一个过程。当今视频压缩标准很多，如国际标准化组织i s o 和国际电工 委员会i e c 关于活动图像的编码标准m p e g - 1 ，m p e g - 2 和m p e g 一4 ，国际电信联 盟i t u - t 关于电视电话会议电视的视频编码标准h 2 6 1 ，h 2 6 3 和其增强版本 h 2 6 3 + 和h 2 6 3 + + ，以及i s o i e c 与i t u - t 联合制定的h 2 6 4 ( m p e g 一4a v c ( p a r t l o ) ) 等。这些标准图像编码算法融合了各种性能优良的图像编码方法， 代表了目前图像编码的发展水平。 h 2 6 4 a v c n l 标准的开发目标是实现多媒体业务在各个领域的应用，涉及面 非常广泛，不同的应用对应的码率、分辨率、质量和服务也不同。h 2 6 4 数字 视频压缩标准在移动及i p 网络应用中相比其它标准具有其特殊的优势瞳1 ： 为适应各种网络环境和应用场合，h 2 6 4 定义了视频编码层( v c l ) 和网络 提取层( n a l ) 。其中v c l 功能是进行视频编解码，包括运动补偿预测，变换编 码和熵编码等功能。在算法上h 2 6 4 对传统的帧内预测、帧间预测、变换编码 和熵编码等算法进行了很大的改进，使其编码效率和图像质量在以往标准的基 础上进一步提高。n a l 用于采用适当的格式对v c l 视频数据进行封装打包。标 准中参数集、条带的使用、f m o 、冗余片等关键技术的使用可以大大提高系统的 抗丢包和抗误码性能。并且支持不同网络资源下的分级编码传输，在所有码率 下都能持续提供较高的视频质量。 h 2 6 4 a v c 既能工作在低延时模式以适应实时通信的应用( 如视频会议) ， 又能很好地工作在没有延时限制的应用，如视频存储和以服务器为基础的视频 流式应用。标准使运动图像压缩技术上升到了一个更高的阶段，在较低带宽上 提供高质量的图像传输是h 2 6 4 a v c 的应用亮点。因此，h 2 6 4 a v c 对诸如数 字卫星广播、数字视频存储以及互联网传播等一系列技术进行了改进，提高了 视频质量，扩展了多媒体业务的应用范围。 正是因为h 2 6 4 a v c 标准在各方面表现出的优势，使其无论在研究领域还 是应用领域，都成为关注的焦点。 2 第1 章绪论 1 3 基于d s p 平台的视频编码系统的优势 近年来多媒体技术得到了广泛的应用，在消费类和通信类产品中占据了越 来越多的比重。多媒体技术得以广泛应用的一个重要基础是数字图像和数字视 频的压缩技术的突破，使得原来无法廉价地存储、处理和传输的大数据量信息 得到有效的利用。因此静止图像和视频图像的压缩编码技术，是多媒体产品中 的一个非常关键的技术，也是近十多年学术和产业界非常关注的热点领越，发 展非常地迅速，应用范围迅速地扩张。 由于多媒体技术是发展中的新型技术，各种技术和标准的更新换代十分迅 速，新标准不断出现替代旧的标准，一些标准即使没有被替换，自身也在进行 不断的更新和补充，这给产品的设计带来困难。对实现一个标准的产品来说， 大体上可以分为基于软件、硬件、软硬结合三类。 基于软件的实现方式大多是在p c 或嵌入式处理器上完成，软件的升级十分 方便。但p c 机来说，一般系统要求较高，系统利用率低，不太适合于专用设备 的平台；而对于嵌入式处理器来说，处理能力有限，很难担负起多媒体处理平 台的任务。 采用专用芯片来实现往往是最经济的，但专用芯片一般不可编程。当一个 标准被替换或更新后，原来的专用芯片不再可用，要重新设计新的硬件系统， 因此一些多媒体产品不但更新换代十分地快，而且，后续的维护工作也非常困 难。另外就是芯片的通用性受到影响，导致芯片很难运用在其他领域，系统设 计者必须同时掌握每一种专用芯片的特性和设计方法，而这在很多情况下都是 很难做到的。当然现在也可以采用基于现场可编程逻辑器件( f p g a ) 实现来弥 补灵活性的问题。f p g a 采用高速c m o s 工艺，具有开发费用最低、风险小、功 耗低等特点，但因其开发的难度大，费时费力，一般都用作a s i c 芯片的前端没 计和验证。 而随着半导体工艺的进步与发展，d s p 技术突飞猛进，专用d s p 成为了视 基于b s p 1 6 处珲器的h 2 6 4 视频编矾器的优化与实现 频处理的主流处理器。相比前面提到的几种解决方案，专用d s p 处理器具有强 大的处理能力和丰富的外围接口，完全可以独立胜任专用小型化媒体处理平台 的任务。另外由于d s p 处理器的核心工作都是基于软件平台，可以方便的通过 增加删除或者增强一些功能模块来对系统进行改进。并且各种d s p 处理器所配 套的软件开发平台强大的功能，大大缩短了开发周期降低了开发难度。 诸多优势，使得基于可编程专用d s p 处理器的视频编解码系统得到了广泛 应用与实现。成为当今数字监控系统、手持媒体终端以及家庭视频服务系统的 热门解决方案。 1 4 课题的研究意义及论文主要工作 从2 0 0 3 年h 2 6 4 数字视频压缩标准发布以来，其先进的算法以及广阔的应 用前景，使其成为研究和应用领域关注的焦点。研究领域来说，国内外各大高 校都在h 2 6 4 标准的基础上进行各种算法的研究和改进，以及尝试在不同的 软、硬件平台上对其编码器进行优化和实现。丽应用领域中，当前符合h 2 6 4 标准的产品也不断涌现，例如p c 平台上的软编码器、采用d s p 或其它嵌入式处 理器为核心的小型编解码终端以及采用专用芯片实现h 2 6 4 编解码的专用解决 方案。当前，第三代移动通信网络即将投入运营，相应的移动数字媒体服务将 成为移动服务的主要服务之一，而h 2 6 4 数字视频压缩标准，势必在这一应用 领域获得很大的市场。另外数字电视的应用在我国也已进入尝试阶段，各大运 营商还在评估适合于数字电视使用的视频压缩标准，h 2 6 4 也在这一行列。可 以看到h 2 6 4 a v c 这一先进视频编码标准的研究与应用在未来的几年中还将基 础保持其火热的势头。 另外从硬件平台来说，d s p 处理器产品的巨头德州仪器( t i ) 针对视频处 理推出了很多专用d s p 处理器，另外还有a d i 、e q u a t o r 以及p h il i p s 等公司， 也都不断推出其视频专用的系列d s p 处理器。研究领域，当前国内外很多高校 都有针对d s p 处理器平台进行符合h 2 6 4 编码器的设计。而应用领域，采用 4 第1 章绪论 d s p 处理器为核心的应用包括可视电话、手持视频播放终端、视频编码服务终 端、数字电视机顶盒等。随着d s p 处理器功能的不断完善和增强，其应用领域 也将不断的扩展。因此基于d s p 处理器的针对最新视频编码标准h 2 6 4 的应用 前景将是非常可观的。 本课题基于上述背景，选择了在以d s p 处理器为核心的开发平台上进行符 合h 2 6 4 数字视频压缩标准的实时编码器的设计与实现。 论文主要工作是，通过对h 2 6 4 数字视频压缩原理的分析，对其中若干关 键技术展开研究。通过借鉴当前p c 平台的h 2 6 4 编码器，设计完成针对d s p 处 理器开发平台的编码器。在此基础上针对d s p 处理器软件及硬件平台的特点， 对代码结构和数据结构进行改进从而进行代码级的优化。并分析编码器各算法 模块，通过实现更高效的算法来优化编码器执行效率，实现算法级的优化。最 后使用d s p 处理器的媒体指令集对编码器关键模块进行优化，使编码器执行效 率得到更大程度的提升，为课题最终实现h 2 6 4 实时编码器奠定基础。 基于b s p 1 6 处珲器的h 2 6 4 视频编石f 5 器的优化j 实现 第2 章先进视频编码标准h 2 6 4 a v c 2 1h 2 6 4 a v c 的技术亮点及其应用 2 1 1h 2 6 4 视频编码器的结构 h 2 6 4 编码器的结构d 1 除去块滤波外，同早期的视频编码器中大部分基本功 能模块( 预测、变换、量化、熵编码) 在以前的标准中( m p e g l 2 4 ， h 2 6 1 3 ) 均采用相同的原理，但h 2 6 4 的重要变化体现在每个功能模块的实现 细节上。图2 1 给出了h 2 6 4 编码器的原理图。从图上可以看到编码器包括两 个通路，一个前向的编码通路和一个反向的重构通路。前向的编码通路包括帧 内预测的模式选择和预测帧建立，帧间预测的运动估计和运动补偿，残差计 算，整数变换，量化以及最后的熵编码；反向的重构通路包括反量化，整数反 变化，帧重建以及去块滤波。 图2 1h 2 6 4 编码器 2 1 2h 2 6 4 a v c 的先进编码算法 h 2 6 4 a v c 相对以前的编码方法，在图像内容预测方面提高编码效率，改 善图像质量的主要特点乜1 如下： 6 第2 章先进视频编码标准h 2 6 4 a v c 可变块大小运动补偿：选择运动补偿大小和形状比以前的标准更灵活， 最小的亮度运动补偿块可以小到4 4 。 1 4 采样精度运动补偿：以前的标准最多1 2 精度运动补偿，首次1 4 采样精度运动补偿出现在m p e g - 4 第二部分高级类部分，但h 2 6 4 a v c 大大减少 了内插处理的复杂度。 运动矢量可跨越图像边界：在以前的标准中，运动矢量限制在已编码参 考图像的内部。图像边界外推法作为可选技术首次出现在h 2 6 3 中。 多参考图像运动补偿：在m p e g - 2 及以前的标准中，p 帧只使用一帧，b 帧只使用两帧图像进行预测。h 2 6 4 a v c 使用高级图像选择技术，可以用以前 已编码过且保留在缓冲区的大量的图像进行预测，大大提高了编码效率。 消除参考图像顺序和显示图像顺序的相关性：在以前的标准中，参考图 像顺序依赖显示图像顺序，h 2 6 4 a v c 消除了该限制，可以任意选择。 消除参考图像与图像表示方法的限制：在以前的标准中，b 帧图像不能 作为预测图像，h 2 6 4 a v c 在很多情况下可以利用b 帧图像作为参考。 加权预测：h 2 6 4 a y c 采用新技术，允许加权运动补偿预测和偏移一定 量。在淡入淡出场景中该技术极大提高编码效率，该技术还可用于其他多种用 途。 改善“跳过”和“直接”运动推测：在以前的标准中，预测编码图像的 “跳过”区不能有运动。当编码有全局运动的图像时，该限制非常有害。 h 2 6 4 a v c 对“跳过”区的运动采用推测方法。对双预测的b 帧图像，采用高 级运动预测方法，称为“直接”运动补偿，进一步改善编码效率。 帧内编码直接空间预测：将编码图像边沿进行外推应用到当前帧内编码 图像的预测。 环路去块效应滤波器：基于块的视频编码在图像中存在块效应，主要来 源于基于宏块的预测和残差编码。自适应去块效应滤波技术是非常著名的技 术，能有效消除块效应，改善视频的主观和客观质量。 7 基。f - b s p 。1 6 处胛器的h 2 6 4 视频编码器的优化弓实现 除改善预测方法外，其他改善编码效率的特性北1 如下： 小块变换：以前的标准变换的块都是8 8 ，h 2 6 4 a v c 主要使用4 4 块变换，使编码器表示信号局部适应性更好，更适合预测编码。另外图像边界 需要小块变换。 分级块变换：h 2 6 4 a v c 通常使用小块变换，但有些信号包含足够的相 关性，要求以大块表示，h 2 6 4 a v c 有两种方式实现。低频色度信号可用8 8 ，；对帧内编码，可使用特别的编码类型，低频亮度信号可用1 6 1 6 块。 短字长变换：所有以前标准使用的变换要求3 2 位运算，h 2 6 4 a v c 只 使用1 6 位运算。 完全匹配反变换：所有以前标准反变换和变换之间存在一定容限的误 差，因此，每个解码器输出视频信号都不相同，产生小的漂移，最终影响图像 的质量，h 2 6 4 a v c 实现了完全匹配。 基于上下文的熵编码：h 2 6 4 a v c 使用两种熵编码方法，c a v l c ( 上下 文自适应的可变长编码) 和c a b a c ( 上下文自适应二进制算术编码) ，两种都是 基于上下文的熵编码技术。 2 1 3h 2 6 4 a v c 的纠错和网络适应性 h 2 6 4 a v c 具有强大的纠错功能和各种网络环境操作灵活性，主要特性乜3 如 下： 参数集结构：h 2 6 4 a v c 参数集结构设计了强大、有效的传输头部信 息。在以前的标准中，如果少数几位关键信息丢失，可能使解码器产生严重解 码错误。h 2 6 4 a v c 采用很灵活、特殊的方式，分开处理关键信息，能在各种 环境下可靠传送。 n a l 单元语法结构：h 2 6 4 a v c 中的每一个语法结构放置在称为n a l 的 单元中，以前的标准采用强制性特定的位流接口。n a l 单元语法结构允许很自 由的客户化，几乎适合所有的网络接口。 第2 章先进视频编码标准h 2 6 4 a v c 灵活的条带大小：在m p e g - 2 中，规定了严格的条带结构，头部数据量 大，降低预测效率，编码效率低。在h 2 6 4 a v c 可采用非常灵活的条带大小。 灵活宏块排序( f m o ) ：h 2 6 4 a v c 可以将图像划分为条带组，又称为图 像区，每个条带可以独立解码。f m o 通过管理图像区之间的关系，具有很强的 抗数据丢失能力。 任意条带排序：因为每个条带几乎可以独立解码，所以条带可以按任意 顺序发送和接收，在实时应用中，可以改善端到端的延时特性，特别适合于接 收顺序和发送顺序不能对应的网络中，如使用i n t e r n e t 网络协议的应用。 冗余图像：为提高抗数据丢失的能力，h 2 6 4 a v c 设计中包含一种新的 能力，允许编码器发送图像区的冗余表示，当图像区的主表示丢失时仍可以正 确解码。 数据划分：视频流中的编码信息的重要性不同，有些信息( 如运动矢 量、预测信息等) 比其他信息更为重要。h 2 6 4 a v c 可以根据每个条带语法元 素的范畴，将条带语法划分为3 部分，分开传送。 2 1 4h 2 6 4 a v c 的应用范围 新的h 2 6 4 a v c 标准试图在相对广泛领域中进行应用，并提供了合适的解 决方案1 ，包括如下方面： 通过电缆，卫星，电缆调制解调器，d s l 和陆地的广播； 光介质和磁介质存储设备上的交互或顺序存储，如d v d ： 通过i s d n ，e t h e r n e t ，l a n ，d s l ，无线移动网络以及调制解调器的会 话服务； 视频点播或电缆调制解调器，d s l ，i s d n ，l a n 以及无线网络上的多媒 体信息服务( m m s ) ； 当然，新的应用也会在当前以及未来刚络通信的基础上不断展开，这就涉 及到如何去应对未来不断发展变化的洌络。h 2 6 4 a v c 为了解决这个问题，提 基二j ：b s p 1 6 处理器的h 2 6 4 视频编码器的优化与实现 供了很多灵活性和客户化特性。随着未来各种类型的媒体服务的出现和扩展， h 2 6 4 的应用范围也将不断扩展。 2 2h 2 6 4 编码器的发展现状 当今h 2 6 4 编码器的产品是非常多的n 1 ，其中包括p c 平台上专用于视频编 码的软件解决方案，诸如x 2 6 4 、v s sh 2 6 4c o d e c 、c y b e r l i n k p o w e r e n c o d e r 、n e r od i g i t a l 、 a p p l eq u i c k t i m e 、m a i n c o n c e p th 2 6 4 e n c o d e r 、e l e c a r d 等。绝大部分都是商用开发的产品，应用于不同的环境。另 外还有很多针对d s p 处理器提出的解决方案，如m o o n li g n t 、d s p r 、a t e m e 等著 名公司的h 2 6 4 编码器。这些编码器主要瞄准小型视频编解码的应用领域，开 发基于d s p 处理器的编码器，在业界可以说处于领先水平。 当前国内外各大高校也对h 2 6 4 编码器的实现进行了大量的研究。但是由 于开发力量和开发条件的限制，多数研究成果并不能达到实时编码器的要求。 在p c 平台上，各高校主要以借鉴丁m 系列开源代码，通过对j i 系列代码数 据结构的调整、编码流程的改进、快速算法的优化以及基于p c 媒体指令集的优 化来改进编码器，不过效果并不理想。例如参考文献 5 ，通过使用m m x 、s s e 以及s s e 2 指令集对j m 7 8 版本的代码进行优化，虽然执行时间减少为原来的 4 4 8 7 ，但在p 42 4 g h z 的p c 平台上，仅对q c i f 格式的f o r e m a n 视频序列编 码，帧率只能达到4 1 l f p s 。参考文献 6 中，不仅使用了i n t e l 的媒体指令 集，还在代码级上进行了优化，在c 4l7 g h z 的p c 平台上对c i f 格式视频序列 进行编码，最高帧率也不超过l o f p s 。 d s p 平台上，很多高校也采用类似p c 平台的优化方式，通过针对所采用的 d s p 平台的特点改进编码器，并通过使用d s p 处理器自身的媒体处理优化措施 来进行优化，但当前很少有能够实现c i f 格式图像实时编码的例子。文献 7 给 出了一个采用a d i 公司b l a c k f i n 系列d s p 处理器中最新的双核成员b f 5 6 1 成功 实现c l f 格式实时编码器设计的成功例子。而大部分高校的研究成功，如文献 1 0 第2 章先进视频编码标准h 2 6 4 a v c 8 中采用t i 公司的最新媒体d s p 处理器d m 6 4 2 进行h 2 6 4 编码器设计，最终 仅实现了q c i f 格式图像的实时编码，而文献 9 则是在e q u a n t o r 公司的b s p - 1 5 上实现了c i f 格式全i 帧的编码，编码速率也只达到1 5 f p s 。 从h 2 6 4 编码器的产品方面来说，针对d s p 平台开发的h 2 6 4 编码器有很 多，可见其应用前景是被业界所普遍看好的。另外当前在各类d s p 平台上进行 h 2 6 4 编码器设计的高校很多，但真正实现c i f 格式图像实时编码器的研究成 果是非常少的，充分证明了课题的研究价值。 2 3 本章小结 h 2 6 4 a v c 先进视频编码标准，代表了当今视频压缩的最先进水平，标准 以其优秀的编码效果、网络的亲和性以及广泛的应用领域，成为当今视频编码 研究和产业领域的焦点。而基于d s p 平台的h 2 6 4 编码器，由于其小型化以及 专用化的特点，受到国内外各大高校和企业的关注，从当前广泛应用的产品以 及各大高校的各类研究成果足以说明其广阔的应用前景。而由于各种原因，在 众多高校中，以d s p 为平台设计研究的h 2 6 4 编码器的性能并不理想，很少能 够达到c i f 格式图像实时编码。因此，基于d s p 平台的h 2 6 4 实时编码器是非 常具有研究和实现价值的课题。 基1 二b s p 1 6 处理器的h 2 6 4 视频编石j 5 器的优化j 实现 第3 章b s p - 16 处理器及其硬件和软件开发平台 3 1 现代d s p 处理器 d s p 可以代表数字信号处理技术( d i g i t a ls i g n a lp r o c e s s i n g ) ，也可以 代表数字信号处理器n0 l ( d i g i t a ls i g n a lp r o c e s s o r ) ，前者是理论上的技术， 后者则是在模拟信号变换成数字信号以后进行高速实时处理的专用处理器。 d s p 处理器，是一种具有特殊结构的微处理器，其内部采用程序和数据分 开的哈佛结构，具有专门的硬件乘法器，广泛采用流水线操作，提供特殊的 d s p 指令，可以用来快速地实现各种数字信号处理算法。 2 0 世纪6 0 年代以来，随着计算机和信息技术的飞速发展，数字信号处理 技术应运而生并得到迅速的发展。现在，数字信号处理器( d s p ) 已经在许多领 域得到极为广泛的应用，这其中就包括数字音视频处理。 目前市场上d s p 芯片厂商针对媒体专用d s p 处理器推出了很多产品，例如 t i 公司的t m s 3 2 0 系列，a d i 公司的b l a c k f i n 系列，e q u a t o r 公司的b s p 系 列，p h i l i p s 公司的t r i m e d i a 系列，a t & t 公司的d s p 系列和m o t o r o l a 公司的 m c 系列等等。本课题选择e q u a t o r 公司的最新媒体处理器b s p 一1 6 及其开发平 台g a b e l f i s hi i 作为项目实现平台，主要考虑到e q u a t o r 是最早涉足媒体专用 d s p 处理器产品领域的公司之一，多年的开发经验使其专用媒体处理器针对媒 体处理的优化及应用的解决方案非常成熟。而采用e q u a t o r 公司d s p 处理器进 行h 2 6 4 编码器设计的高校研究成果非常少，在b s p 一1 6 处理器上进行h 2 6 4 编 码器设计实现的研究，目前还没有过相关报导。这使本课题的选题具有一定的 先进性和挑战性，下面对b s p - 1 6 处理器及其开发平台进行介绍。 3 2e q u a t o rb s p 一16 处理器 b s p _ 1 6 n 1 3 是美国e q u a t o r 公司推出的b s p 高速宽带信号处理器家族的最新 第3 章b s p 1 6 处理器及其硬件和软件开发甲台 成员。b s p 系列处理器是专门以媒体应用为中心设计的高效媒体处理d s p ，以高 度集成的单芯片满足宽带产品的需要。作为其最新成员b s p - 1 6 ，其采用了基于 台基电的0 1 3 微米的集成工艺，与其前一代d s p 处理器b s p - 1 5 相比，b s p - 1 6 的工作频率从4 0 0 m h z 提升至5 0 0 m h z ，处理能力提高至5 0 g o p s ( 每秒5 0 0 亿次 整数计算) ，每秒可执行8 0 亿次乘加运算，是b s p 1 5 的1 2 5 倍，平均功耗从 3 w 降到1 7 w ，面积也从8 8 r a m 2 减d , n6 0 姗2 。 为了进一步降低成本，这个高集成的系统芯片设计还包括：可降低存储成 本并增加一倍存储带宽的高速d d r s d r a m 存储控制器；支持可显示希腊字母的 用户介面，以及从v g a 监视器到h d t v ( 高清电视) 的显示输出范围的显示器刷 新控制器；可提高整体性能的协处理器，包括一个快速2 dd m a 引擎和一个用于 优化数据流处理的r i s c 协处理器；用于放大和缩小的视频刷新模块；用于硬件 编解码，支持数字许可权管理的3 d e s 引擎；强化的一系列整合视频及音频输入 输出控制设备，这些设备支持下一代消费产品，其中包括高清晰( b t 1 1 2 0 ) 数 据流输入输出视频处理和多种标准清晰度( b t 6 5 6 ) 的数字视频流处理；通过 4 个1 2 s 音频输入和8 个1 2 s 音频输出的多频道音频编解码；支持以太网、i d e 和n a n d 快速闪存记忆体的网络和存储设备控制器。b s p - 1 6 以其低廉的成本和 突出的性能，像其前辈d s p 处理器一样，在数字媒体处理方面保持了业界领先 优势。 b s p - 1 6 广泛适合于各类视频音频压缩系统，包括微软w i n d o w sm e d i a9 系 列、h 2 6 4 a v c 、d i v xv i d e o 、r e a lv i d e o 、m p e g - 4 、m p e g - 2 、m p 3 、a c 3 、 a a c 、h 2 6 3 、j p e g 、m j p e g 和o n 2v p 6 等。结合i m m e d i a t o o l s 软件开发环境， 完全支持c c + + 编程，大大缩短了开发周期。b s p 1 6 即可以作为一款从属的视 频协处理器，还可以单独作为嵌入式系统的主处理器，这样节省了额外的微处 理器的开销。b s p - 1 6 可运行在l i n u x 、v x w o r k s 和e c o s 操作系统下，并带有如 协议栈、j a v a 虚拟机、w e b 浏览器以及用户界面等当今媒体应用所必须的全套 系统软件。 1 3 基| r b s p 1 6 处理器的h 2 6 4 视频编码器的优化与实现 它是视频会议、高清数字电视、实时监控系统、低码率流媒体和数字前端 系统的理想处理器。b s p 一1 6 集高性能和高能源利用率于一身的特点，使其成为 无线和便携视频终端的必然选择。 3 2 1 系统框图 b s p 一1 6 宽带信号处理器内部框图n 2 1 如图3 1 所示。b s p 一1 6 主要由一个超长 指令字处理器内核( v l i wc o r e ) 、数字安全管理协处理器( d e s ) 、可编程位流协 处理器( v l x ) 、数据流直接内存寻址控制器( d s ) 、视频滤波协处理器( v f ) 、片 内存储器、显示刷新控制器( d r c ) 和大量的数字i 0 接口组成。 3 2 2b s p - 1 6 芯片的功能特点 区别于通用d s p ，宽带信号处理器b s p 一1 6 具有以下几个突出的特剧1 2 1 ： ( 1 ) 高度流水线的超长指令字( v l i w ) 处理核心 v l i w 核心内有4 个整数型a l u s ，2 个6 4 位s i m d ( 单指令多数据) a l u s ，2 个专为多媒体运算而设计的1 2 8 位s i m da l u s 。v l i w 核心每个指令周 期可并行执行4 步操作，并且支持8 位、1 6 位、3 2 位、6 4 位数据类型独立的 s i m d 运算。v l i w 带有较大容量的片内存储空间，包括3 2 个l 位预寄存器，8 个1 2 8 位专用寄存器，1 2 8 个3 2 位通用寄存器( 能奇一偶配对成6 4 个6 4 位通用 寄存器使用) 。 ( 2 ) 先进的高吞吐量存储器组织 指令通过一个3 2 k b 的2 通道指令缓冲器，以l r u 取代机制被送到v l i w 处 理器。指令以压缩的格式被存储，数据则通过一个3 2 k b 的4 通道，4 层交叉存 取的数据缓冲器，以l r u 机制被送到v l i w 处理器。独立的指令、数据和d m a 存 储器管理单元( 删u ) 相互分开，各有一个完全组相联的、1 6 个条目的转换旁 视缓存器起存储器保护作用。片外存储器通过一个高速的6 4 位d d r - s d r a m 接口 接入，最高支