（通信与信息系统专业论文）基于dsp的t264编码库优化及应用.pdfVIP

独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 日期： 羔鱼k ! ：兰 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 非保密论文 本人签名： 导师签名： 于保密范围，适用本授权书。 日期：型竺! ：兰 日期： 竺鞋生兰 f p j 1 ，- 基于d s p 的t 2 6 4 编码库优化及应用 摘要 t 2 6 4 是目前广泛应用的基于h 2 6 4 标准的开源编码器，它的结构较为简单， 可以在多种平台上实现多种格式的视频编码。1 2 6 4 编码器既可以用作算法的研 究，又可以用作工程的实际应用。 t m s 3 2 0 d m 6 4 2 ( 以下简称d m 6 4 2 ) 是砸公司推出的一款高性能d s p 处理 器，它主要用作视频信号处理。该款处理器的内部架构采用哈弗结构，主频为 6 0 0 m h z ，具有4 8 0 0 m i p s 的处理能力：外部还提供了视频、音频、网络等丰富 的接口，用于扩展应用。d m 6 4 2 的这些特点使得它非常适合视频的应用。 本论文主要研究的内容就是在d m 6 4 2 硬件平台上t 2 6 4 编码器的分析、优 化以及应用等。对t 2 6 4 编码的研究主要分析编码的流程和关键运算的耗时情况， 在研究的基础上从算法、c 程序、线性汇编以及存储器这几个方面进行优化，并 进行了测试。其中优化的重点工作集中在了线性汇编和存储器相关的优化上面。 在优化之后，将t 2 6 4 编码库应用到了回环系统和网络视频通信系统之中。 这两个实际的系统软硬件的设计相似，区别在于前者编码后通过监视器显示，而 后者编码后将码流通过网络传输。 经过测试，优化后的t 2 6 4 编码库编码c i f 分辨率视频的帧率超过了2 5 f p s ， 实现了实时编码，并且解码后的视频图像具有较高的主观质量和客观质量；回环 系统以及网络视频通信系统稳定运行。 关键词：t 2 6 4h 2 6 4d s p 线性汇编优化回环网络视频通信 2 m u l t i p l ep l a t f o r m si nm u l t i p l ef o r m a t so fv i d e o t 2 6 4c a nn o to n l yb eu s e di n t h e r e s e a r c ho fa l g o r i t h m ，b u ta l s oc a l lb eu s e da st h ep r a c t i c a le n g i n e e r i n ga p p l i c a t i o n t m s 3 2 0 d m 6 4 2 ( h e r e i n a f t e rr e f e r r e dt oa sd m 6 4 2 ) i sah i g h p e r f o r m a n c ed s p p r o c e s s o ri n t r o d u c e db yt e x a si n s t r u m e n t s ( h e r e i n a f t e rr e f e r r e dt oa st i ) ，i ti sm a i n l y u s e df o rv i d e os i g n a lp r o c e s s i n g t h ep r o c e s s o r si n t e r n a ls t r u c t u r ei sh a r v a r d a r c h i t e c t u r e ，i t sf r e q u e n c yi s6 0 0 m h z ，a n dt h ep r o c e s s o rh a sa4 8 0 0 m i p sp r o c e s s i n g c a p a b i l i t y i ta l s oh a sa r i c hs e to fp e r i p h e r a li n t e r f a c e sf o re x t e n d e da p p l i c a t i o n s ，s u c h a sv i d e o ，a u d i o ，n e t w o r ka n ds oo n w i t ht h e s ef e a t u r e sd m 6 4 2i si d e a lf o rv i d e o a p p l i c a t i o n s t h er e s e a r c hc o n t e n to ft h i st h e s i si n c l u d e sa n a l y s i s ，o p t i m i z a t i o na n d a p p l i c a t i o n so ft h et 2 6 4e n c o d e rb a s e do nt h ed m 6 4 2h a r d w a r ep l a t f o r m t h es t u d y o ft h et 2 6 4e n c o d e ri sf o c u s e do nt h ea n a l y s i so fe n c o d i n gp r o c e s sa n dt h ek e y o p e r a t i o n st i m e c o n s u m i n g o nt h eb a s i so fs t u d y , o p t i m i z a t i o nc a nb ed o n ef r o m a s p e c t so ft h ea l g o r i t h m ，cp r o g r a m ，l i n e a ra s s e m b l y , m e m o r y i tm a i n l yf o c u s e so n t h el i n e a ra s s e m b l ya n dm e m o r y - r e l a t e do p t i m i z a t i o n a f t e rd o i n go p t i m i z a t i o n ，t h et 2 6 4e n c o d el i bi sa p p l i e dt ot h el o o p b a c ks y s t e m a n dn e t w o r kv i d e oc o m m u n i c a t i o ns y s t e m t h et w os y s t e m sh a v et h es i m i l a rs o f t w a r e a n dh a r d w a r e ，t h ed i f f e r e n c ei st h a tt h ef o r m e rd i s p l a y st h er e c o n s t r u c t i o nf r a m e s ，t h e l a t e rs e n d st h eb i t s t r e a mt h r o u g ht h en e t w o r k a f t e rt e s t i n g ，t h ef r a m er a t eo fo p t i m i z e dt 2 6 4e n c o d el i be x c e e d s2 5 f p sf o rc i f r e s o l u t i o nv i d e o ，w h i c hm e a n sr e a l - t i m ee n c o d i n g t h ed e c o d e dv i d e op i c t u r e p r o v i d e sh i 【g hs u b j e c t i v ea n do b j e c t i v eq u a l i t y t h el o o p b a c ks y s t e ma n dt h en e t w o r k c o m m u n i c a t i o ns y s t e ma r er u n n i n gs t a b l e k e yw o r d s ：t 2 6 4h 2 6 4d s pl i n e a ra s s e m b l yo p t i m i z a t i o nl o o p b a c k n e t w o r kv i d e oc o m m u n i c a t i o n 2 人一引 t _ 瞻 目录 第一章绪论。1 1 1h 2 6 4 标准的发展。1 1 1 1 视频编码的发展1 1 1 2h 2 6 4 之前的编码标准2 1 1 3h 2 6 4 标准的新特性4 1 1 4h 2 6 4 标准的应用现状4 1 2 d s p 技术的发展5 1 2 1 d s p 综i 苤! ； 1 2 2d m 6 4 2 的硬件特点6 1 3 优化的可能性及其意义7 1 3 1 优化的意义7 1 3 2 优化的可能性8 1 4 课题研究内容及论文安排8 1 - 4 1 课题的研究内容8 1 4 2 论文安排9 第二章乾6 4 编码库研究1 0 2 1t 2 6 4 编码器结构。1 0 2 1 1t 2 6 4 中的编码技术1 0 2 1 2t 2 6 4 的编码器框图n 2 2 亿6 4 编码库编码流程研究。1 2 2 2 1 帧层编码流程1 2 2 2 2 宏块层编码流程1 3 2 3t 2 6 4 码流结构研究1 4 2 3 1 h 2 6 4 标准码流1 4 2 3 2t 2 6 4 码流的特点。1 5 2 4t 2 6 4 编码器复杂度分析1 6 2 4 1t 2 6 4 常片j 编码函数运行时钟周期统计。1 6 2 4 2 耗时分析及优化策略。1 7 2 5 本章小结1 7 第三章1 r 2 “编码库优化1 9 3 1 优化的策略1 9 1 3 2 算法优化1 9 3 2 1 帧间亚像素搜索算法优化 3 2 2 算法优化结果分析2 0 3 3c 程序优化2 3 3 3 1 嵌入式程序的特点2 3 3 3 2t 2 6 4 编码库中的c 程序优化方法2 3 3 4 线性汇编优化。2 4 3 4 1 线性汇编优化的提出2 4 3 4 2 优化方法总结：。2 5 3 4 3 s a d 计算的线性汇编优化及分析2 8 3 4 4p i a 计算的线性汇编优化及分析2 9 3 4 5 插值计算的线性汇编优化及分析3 0 3 4 6 量化计算的线性汇编优化及分析。3 l 3 4 7 运动补偿计算的线性汇编优化及分析。3 2 3 5 存储器优化3 3 3 5 1d m 6 4 2 存储器结构特点3 3 3 5 2 片上内存的合理利用3 4 3 5 3e d m a 的使用。3 5 3 6t 2 6 4 编码库的测试3 6 3 6 1 测试环境及测试对象3 6 3 6 2 测试结果及分析3 6 3 7 才章d 、幺3 9 第四章t 2 6 4 编码库应用。4 0 4 1 基于配6 4 的同环系统应用加 4 1 1 硬件平台的实现 4 1 2 视频采集和显示硬件的调试。4 2 4 1 3 i 1 4 软件平台的实现 网环系统设计。 4 3 4 4 - 4 2 基于t 2 6 4 的网络视频通信系统应用4 6 4 2 1 硬件平台的实现一 4 2 2 网络接口的调试一 4 2 3 软件平台的实现 一4 6 4 8 4 8 4 2 4d s p 网络配置的设计5 0 4 2 5 视频数据发送的设计。5 0 2 4 3 本章小结5 2 第五章工作总结和展望5 3 5 1 工作总结5 3 5 2 进一步的工作5 4 参考文献5 5 j l l 【谢5 7 攻读学位期间发表论文5 8 3 4 t 叠 “ 北京邮电大学硕十研究生学位论文 1 1h 2 6 4 标准的发展 1 1 1 视频编码的发展 第一章绪论 随着宽带网络建设的快速推进，网络的带宽和规模也在迅速发展。有了宽带 网络的有力支撑，视频通信开始更加广阔的应用到人们的日常生活之中。 视频信息是指利用人类的视觉获得的信息，它给人的印象深刻而具体，非常 的直观；视频的信息能够保证内容的准确性，不易和其他的内容相混淆，非常的 确切，不会导致不必要的损失；由于视频的信息包含了图像的各个像素，因此可 以让人同时看到更多的信息，具有并行高效的特点【1 】：根据统计资料显示，人们 每天通过视觉获取的信息大约占据了外界信息总量的7 0 左右，也就是说大部分 的信息都是视频信息。 虽然视频信息有如此多的优势，但是原始的视频数据包含的信息量很大，因 为其内容丰富，有时变化剧烈，具有很多的细节信息，这就导致了视频信息传输 所需的网络带宽相对要宽很多。例如，一路可视电话或者会议电视信号，如果要 保证良好的质量，在不压缩的情况下大约需要几m b p s ，压缩后大约需要 3 8 4 k b p s ；又如，一路高清晰度电视信号( h d t v ) 的信息量更加的巨大，在不 压缩的条件下需要惊人的1 g b p s ，即使利用m p e g 2 技术压缩仍然需要约 2 0 m b p s i 。 如果所有的视频信息不经过压缩而在网络上传输，所需要的网络带宽是惊人 的，即使目前宽带网络有了飞速的发展，但是仍然无法满足视频信息传输的需求。 因此必须找到一种视频压缩的方法，在保证视频质量满足一定条件的情况下，尽 可能的使视频信息占用更少的带宽。 通过分析发现，视频信息在空间上以及时间上都具有很强的相关性。空间上 的相关性体现在每一帧的图像内部，相邻的像素点变化剧烈的概率非常小，因此 临近的像素值非常的接近，这也说明了空间上存在很大的冗余度；时间上的相关 性体现在相邻帧之间的，临近的帧反映了视频内容随时间的变化，由于大部分视 频或者视频的大部分内容剧烈运动的概率很低，因此相邻的帧之间具有很高的相 似度，这也说明了时间上存在了很大的冗余度。为了消除这两个方面的冗余度， 产生了帧内预测和帧间预测这两种技术手段。在频谱分析的角度，视频信号中包 北京邮电大学硕：仁研究生学位论文 含着能量上占大部分的直流和低频成分，即图像的平坦部分，也有少量的高频成 分，即图像的细节。针对视频信息的这个特点，可以在变换域采用一系列的方法 进一步的压缩。 1 1 2h 2 6 4 之前的编码标准 近些年来，图像和视频压缩一直是一个活跃的研究和发展领域，各大组织提 出了许多不同的压缩解压缩系统和算法。为了鼓励协调工作，竞争和增加机会， 有必要定义标准的压缩算法，使得来自不同厂商的产品能够有效地沟通。这种需 求促进了一系列主要视频压缩国际标准的发展，这其中包括j p e g ，m p e g 和 h 2 6 x 系列标准。 1 9 9 0 年r r u t 制定了h 2 6 1 标准。其设计的目的是能够在带宽为6 4 k b p s 的 倍数的综合业务数字网( i s d nf o ri n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) 上质量可接 受的视频信号。编码程序设计的码率是能够在4 0 k b p s 到2 m b p s 之间工作，能够 对c i f 和q c i f 分辨率的视频进行编码。h 2 6 1 是第一个实用的数字视频编码标 准。h 2 6 1 使用了混合编码框架，包括了基于运动补偿的帧间预测，基于离散余 弦变换的空域变换编码，量化，z i g z a g 扫描和熵编码。h 2 6 1 编码时基本的操 作单位称为宏块。h 2 6 1 使用y c b c r 颜色空间，并采用4 ：2 ：0 色度抽样，每个宏 块包括1 6 x 1 6 的亮度抽样值和两个相应的8 x 8 的色度抽样值。h 2 6 1 使用帧问预 测来消除空域冗余，并使用了运动矢量来进行运动补偿。变换编码部分使用了一 个8 x 8 的离散余弦变换来消除空域的冗余，然后对变换后的系数进行阶梯量化， 之后对量化后的变换系数进行z i g z a g 扫描，并进行熵编码( 使用r u n l e v e l 变长 编码) 来消除统计冗余。h 2 6 1 标准仅仅规定了如何进行视频的解码，并没有定义 编解码器的实现。编码器可以按照自己的需要对输入的视频进行任何预处理， 解码器也有自由对输出的视频在显示之前进行任何后处理。 1 9 9 6 年i t u t 制定了h 2 6 3 标准。h 2 6 3 是国际电联h u t 的一个标准草 案，最初是为低码流通信而设计的。然而实际上这个标准可用在很宽的码流范围， 而非只用于低码流应用，它在许多应用中可以认为被用于取代h 2 6 1 。h 2 6 3 的 编码算法与h 2 6 1 一样，但做了一些改善和改变，以提高性能和纠错能力。h 2 6 3 标准在低码率下能够提供比h 2 6 1 更好的图像效果，h 2 6 3 的运动补偿使用半象 素精度，而h 2 6 1 则用全象素精度和循环滤波；数据流层次结构的某些部分在 h 2 6 3 中是可选的，使得编解码可以配置成更低的数据率或更好的纠错能力； h 2 6 3 包含四个可协商的选项以改善性能；h 2 6 3 采用无限制的运动向量以及基 于语法的算术编码；采用事先预测和与m p e g 中的p b 帧一样的帧预测方法： 2 北京邮电大学硕士研究生学位论文 h 2 6 3 支持5 种分辨率，即除了支持h 2 6 1 中所支持的q c i f 和c i f 外，还支持 s q c i f 、4 c i f 和1 6 c i f ，s q c i f 相当于q c i f 一半的分辨率，而4 c i f 和1 6 c i f 分别为c i f 的4 倍和1 6 倍。 1 9 9 8 年l u t - t 推出的h 2 6 3 + ，它是h 2 6 3 建议的第2 版，提供了1 2 个新 的可协商模式和其他特征，进一步提高了压缩编码性能。如h 2 6 3 只有5 种视频 源格式，h 2 6 3 + 允许使用更多的源格式，图像时钟频率也有多种选择，拓宽应 用范围；另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨率，增 强了视频信息在易误码、易丢包异构网络环境下的传输。另外，h 2 6 3 + 对h 2 6 3 中的不受限运动矢量模式进行了改进，加上1 2 个新增的可选模式，不仅提高了 编码性能，而且增强了应用的灵活性。 在h 2 6 x 系列标准发展的同时，i s o i e c 活动图像专家组( m o v i n gp i c t u r e e x p e f lg r o u p ) 也在致力于视频压缩的发展和标准的制定工作。 m p e g 1 是m p e g 组织制定的第一个视频和音频有损压缩标准。视频压缩 算法于1 9 9 0 年定义完成。1 9 9 2 年底，m p e g 1 正式被批准成为国际标准。m p e g 1 是为c d 光碟介质定制的的视频和音频压缩格式。一张7 0 分钟的c d 光碟传输 速率大约在1 4 m b p s 。而m p e g 1 采用了块方式的运动补偿、离散馀弦变换 ( d c t ) 、量化等技术，并为1 2 m b p s 传输速率进行了优化。m p e g 1 随后被v i d e o c d 采用作为核心技术。m p e g 1 同样采用d p c m d c t 混合编码方式，但与h 2 6 1 和h 2 6 3 标准不同，m p e g 更侧重于控制视频质量而不是码率。在编码方法上， m p e g 1 除了包含i 帧( i n t r a c o d e df r a m e ) 和p 帧( p r e d i c t i v ef r a m e ) 外，还增 加了b 帧( b i d i r e c t i o n a lf r a m e ) 和d 帧( d cf r a m e ) 。 一 1 9 9 5 年i s o i e c 和i t u t 共同制定了m p e g 2 标准，这个标准在i t u t 的 协议中被称为h 2 6 2 建议。制定m p e g 2 的初衷是希望得到一个针对广播电视质 量( c c i r 6 0 1 格式) 的视频信号的压缩编码标准，但实际m p e g 2 是一个通用的标 准，它能在很宽的范围内对不同分辨率和不同输出比特率的图像信号有效地进行 编码。该标准主要是针对数字视频广播( d v b ：d i g i t a lv i d e ob r o a d c a s t ) 、高清晰 度电视h d t v 等制定的4 9 m b p s 运动图像及其伴音的编码标准。m p e g 2 系统 与m p e g 1 系统向下兼容，核心编码技术仍是分块d c t 和帧间运动补偿预测技 术，但开始支持半像素预测，引入“帧和“场 两种编码模式，成为一个得到 普遍应用的国际标准。m p e g 2 的成功之处在于它的共性和兼容性，标准规定了 分辨率从低到高的4 个级别( 1 e v e l ) 5 个档次( p r o f i l e ) 共1 1 种单独的技术规格， 分别用于标准数字电视、高清晰度电视，码率从4 m b p s 一1 0 0 m b p s ，可以满足不 同用途的需要。为了适应信道的变化和扩大应用范围，m p e g 2 采用三种分级编 码：空间域分级、时间域分级和信噪比分级，这种分级办法可以为不同用户提供 3 北京邮电大学硕： 研究生学位论文 不同质量的服务。 1 1 3h 2 6 4 标准的新特性 h 2 6 4 和基于以前的标准( 如h 2 6 1 、h 2 6 3 、m p e g 1 、m p e g 2 ) 中的编 解码器功能块的组成并没有什么区别，主要的不同在于各功能块的细节。由于视 频内容时刻在变化：有时空问细节很多，有时大面积的平坦。这种内容的多变性 就必须采用相应的自适应的技术措施；由于信道在环境恶劣下也是多变的，例如 互联网，有时畅通，有时不畅，有时阻塞，又如无线网络，有时发生严重衰落， 有时衰耗很小，这就要求采取相应的自适应方法来对抗这种信道畸变带来的不良 影响。这两方面的多变带来了自适应压缩技术的复杂性1 1 2 j 。h 2 6 4 就是利用实现 的复杂性获得压缩性能的明显改善。 1 1 4h 2 6 4 标准的应用现状 随看我国数字两清电视改造的推进以及i p t v 等新媒体的小断涌现，对例络 带宽有了更高的要求。由于技术陈旧需要更新以及收费较高等原因以m p e g 2 为代表的第一代音视频编码标准技术即将退出历史舞台；由于专利许可政策过于 苛刻，虽属第二代音视频编码技术的m p e g - 4 也前途未卜。h 2 6 4 将会取代 m p e g 2 成为主要的数字视频信源编码标准。 目前h 2 6 4 编码的实际产品应用主要有a s i c ( 专用集成电路) 、d s p 以及 x 8 6 这几种平台。每个平台方案都有相应的优点和缺点。 表1 - 1 不同解决方案的优缺点 方案优点 缺点 a s i c成本低廉，便于推广无法进行软件升级，系统支持的 每个编码器都需要单独的硬件， 浪费资源 d s p由于其可编程，基于单个应用开c a b a c 等模块在移植到d s p 后 发的i p 能够得到重复利用，可对效率比较低，功耗问题得不到有 不同的压缩标准编码；集成了丰效解决 富的外围设备，开发方便 x 8 6提供丰富的应用程序，开发周期价格昂贵，不易普及 较短 也正是综合考虑各个方案的优缺点，课题最终采用了基于d s p 的h 2 6 4 编 码方案。 4 北京邮电大学硕：量：研究生学位论文 1 2d s p 技术的发展 1 2 1d s p 综述 d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 是一种独特的微处理器，是以数字信号来处 理大量信息的器件【8 j 。其工作原理是接收模拟信号，转换为o 或1 的数字信号， 再对数字信号进行修改、删除、强化，并在其他系统芯片中把数字数据解译回模 拟数据或实际环境格式。它不仅具有可编程性，而且其实时运行速度可达每秒数 以千万条复杂指令程序，远远超过通用微处理器，是数字化电子世界中日益重要 的电脑芯片。它的强大数据处理能力和高运行速度，是最值得称道的两大特色。 d s p 芯片，也称数字信号处理器，是一种特别适合于进行数字信号处理运算 的微处理器，其主要应用是实时快速地实现各种数字信号处理算法。根据数字信 号处理的要求，d s p 芯片一般具有如下主要特点： ( 1 ) 在一个指令周期内可完成一次乘法和一次加法； ( 2 ) 程序和数据空间分开，可以同时访问指令和数据； ( 3 ) 片内具有快速r a m ，通常可通过独立的数据总线在两块中同时访问； ( 4 ) 具有低开销或无开销循环及跳转的硬件支持； ( 5 ) 快速的中断处理和硬件i o 支持； ( 6 ) 具有在单周期内操作的多个硬件地址产生器； ( 7 ) 可以并行执行多个操作； ( 8 ) 支持流水线操作，使取指、译码和执行等操作可以重叠执行。 当然，与通用微处理器相比，d s p 芯片的其他通用功能相对较弱些。 在我国市场上，移动电话、数码相机等d s p 产品的主要应用领域走势良好， 需求旺盛，推动着d s p 市场持续增长。在无线领域，我国手机用户继续大规模 增加，手机需求的大幅增加带动了我国d s p 市场的高速增长。在数字消费领域， 我国新兴的数字消费类电子产品进入增长活跃期，市场呈现高增长态势，用户认 知率和普及率大幅提高，数码消费市场的高速增长推动了d s p 市场的发展。此 外，计算机、通信和消费类电子产品的数字化融合也为d s p 提供了进一步的发 展机会。 目前，在v o i p 、d s l 、c a b l em o d e m 、3 g 、数字相机和马达控制等需要实时 处理大量数字信息的应用中，都可见到d s p 的身影，d s p 无疑已经成为推动数 字化进程的动力l 刀。 d s p 应用的快速发展为数字信息产品带来广阔的发展空间，并将支持通信、 计算机和消费类电子产品的数字化融合。在无线领域，d s p 遍及无线交换设备、 5 北京邮电大学硕士研究生学位论文 基站、手持终端和网络领域，并涵盖从骨干基础设施到宽带入户的设备，包括 v o l p 网关和口电话、d s l 和c a b l em o d e m 等。面向群体应用，d s p 在媒体网关、 视频监控、专业音响、数字广播、激光打印等应用中表现出色；面向个人应用， d s p 在便携式数字音频和影像播放器、指纹识别和语音识别等应用中表现不俗； 针对嵌入式数字控制应用，d s p 极大地满足了工业界的需求，如数字变频电力电 源设备、工业缝纫机等；d s p 也极大地满足了消费电子的需求，如空调、冰箱、 洗衣机等。 随着d s p 生产技术和工艺的进步，新型的d s p 产品将会不断涌现，并得到 广泛应用。 1 2 2d m 6 4 2 的硬件特点 d s p 芯片采用1 1 公司的t m s 3 2 0 d m 6 4 2 a g d k ( 简称d m 6 4 2 ) 。d m 6 4 2 是 t i 公司推出的面向数字多媒体应用的d s p 芯片f 1 8 l 。d m 6 4 2 基于c 6 4 x 核心架构， 集成了丰富的外围设备和接口；最高主频达到了6 0 0 m h z ( 指令周期1 6 7 n s ) , 并行处理指令的能力最高可达到每个指令周期处理8 条3 2 位指令，因此最大指 令处理速度为4 8 0 0 m i p s 。该d s p 为5 4 8 脚b g a 封装，高度集成化。d m 6 4 2 内核电压为1 4 v ，i 0 电压为3 3 v 。 d m 6 4 2 的片上外设资源非常丰富，包括： ( 1 ) 三个可配置的视频接口，可以和视频输入、输出或传输流输入无缝连 接。 ( 2 ) v c x o ( 压控晶体振荡器) 内插控制端口( v l c ) 。 ( 3 ) 1 0 1 0 0 m b p s 以太网口( e m a c ) 。e m a c 提供了d s p 核与以太网收 发器问高效的接口，支持1 0 b a s e - t 和1 0 0 b a s e t x 的全双工或半双工数据传 输。 ( 4 ) 数据管理输入输出模块( m d i o ) 。 ( 5 ) 多通道音频串行端口( m c a s p ) 。 ( 6 ) 1 2 c 总线模块。d m 6 4 2 使用1 2 c 总线可以很容易的控制外围设备如 d a c 、a d c 等，与系统中的其他控制器通信或实现用户接口。 ( 7 ) 两个多通道有缓存的串口( m c b s p ) 。m c b s p 可以和多种标准接口， ( 8 ) 三个3 2 位通用定时器。 ( 9 ) 用户可配曼的1 6 位或3 2 位的主机端口接口( h p l l 鲫p 1 3 2 ) 。 ( 1 0 ) 6 6 m h z3 2 位的p c i 接口。这个接口和3 2 位宽的主机接口( h p i ) 复用。d m 6 4 2 通过这个集成的p c i 接口可以连接到一个p c i 主机。 6 北京邮电大学硕十研究生学位论文 ( 1 1 ) 通用i o 端口( g p i o ) 。共有1 6 个g p i o 引脚，提供专门的通用i o 支持。一些引脚是和其他外设引脚复用的。另外，g p i o 输入信号还可以触发 c p u 中断或e d m a 事件。 ( 1 2 ) 6 4 位的外部存储单元接口，支持和同步或异步存储单元的连接。e m i f 有四个片选空间，最大总线速率1 3 3 m h z 。支持6 4 位、3 2 位、1 6 位和8 位的 数据总线宽度，可以连接s d r a m 、s r a m 、s b s r a m 、f l a s h 和f i f o 等多种 存储器件。 在d m 6 4 2 中所有的外设都是通过增强型d m a 控制器连接到d s p 核心的。 核心中包括两个几乎一模一样的部分，每个部分都包含有一组通用寄存器( 3 2 个* 3 2 位) 和4 个功能模块( l 、s 、m 、d ) 每一种功能模块都可以执行一类操 作。其中l 单元和s 单元可以执行大部分逻辑、算术、位移等运算，m 单元主 要执行乘法运算，d 单元主要是寻址及一些简单的算术运算。每个部分还包括了 一组用于读取数据的数据通路l d 、存储数据的s t 以及地址通道d a ，此外在这 两个部分之问还有交叉通道x 1 和x 2 。 在d s p 核心中除了l 1 缓存器是程序无法控制的，其他的部分诸如使用哪个 运算单元、使用哪条数据通道都是程序可以控制的。所以认真的安排并行汇编语 言的执行顺序可以使d s p 的性能发挥到极限。如果每个周期d s p 核心中的8 个 单元全部有事情可作，而且流水线安排也很紧凑，d s p 的运算速度可达到 6 0 0 m * 8 = 4 8 0 0 m i p s 的理论极限速度。 1 3 优化的可能性及其意义 1 3 1 优化的意义 虽然d s p 处理器的体系结构设计先进，但是由于通用的程序是采用高级语 言编写的，而且编译器的能力有限，因此无法充分发挥硬件的优势。通用的算法 结构和流程非常简单，但是不够高效，在许多运算细节还可以做出更加合理的改 进。 正是由于编译器的局限性、算法结构的不合理性问题的存在，才需要进行优 化工作。优化的工作和系统的开发是相辅相成，相互促进的。系统的开发只是让 程序有了一个可以运行的框架，但是运行效率低下的系统距离实用还有很大的差 距。课题需要的是一个处理c i f 格式视频可以高于2 4 f p s 的编码库，而在优化前 的帧率只能达到2 f p s ，为了达到实用目标，必须进行优化。 因此，优化是开发过程中必不可少的一个环节，具有非常重要的意义。 7 北京邮电大学硕士研究生学位论文 1 3 2 优化的可能性 程序的执行的基础是处理器，因此程序的优化是和处理器的发展密不可分 的。课题研究的t 2 6 4 编码库基于的处理器是d m 6 4 2 ，这款d s p 处理器是精简 指令集处理器r i s c 由于指令集简化，因此流水线以及常用的指令都可以用硬件执行。并且采用 了大量的寄存器，使得大部分的指令操作都在寄存器之间进行，提高了速度。又 由于采用缓存一主机一外存三级存储结构，使取数与存数指令分开执行，使处理 器可以完成尽可能多的工作，且不因从存储器存取信息而放慢处理速度。 这些先进的处理器设计，为程序结构的优化提供了硬件基础。如前文介绍， d s p 处理器在硬件上提供了两组运算单元，这种双重功能单元的设计在硬件层次 提供了并行处理的能力，从而使得在程序优化时变串行计算为并行计算为可能。 这样一来，我们可以将复杂的计算划分为简单的分离的若干部分去处理，从而显 著降低系统耗时。d s p 处理器采用了超标量的设计，这是一种依靠多个执行路径 使多条指令在流水线中的一种方式，本质上讲属于依靠空间换取时间的策略，这 也是d s p 处理器主频不高但是却具有强大的运算能力的原因。这就为实际的程 序优化循环结构从而利用软件流水提供了可能。 1 4 课题研究内容及论文安排 1 4 1 课题的研究内容 针对课题采用的t 2 6 4 编码库进行研究，分析其用到的编码技术以及t 2 6 4 工程的模块化构成和各个模块的耗时情况。通过对配6 4 编码工程的分析，对后 面的优化工作和应用的工作做理论上的准备。 在对t 2 6 4 编码库进行理论分析的基础上，结合现有的t 2 6 4 编码工程在算 法优化领域已经进行的工作，继续在算法上对t 2 6 4 编码库进行了优化。然而事 实证明仅在算法上对t 2 6 4 编码库优化还不能完全实现预期的c i f 格式视频的实 时编码，因此在程序级、汇编级以及存储器方面对1 2 6 4 编码库做了进一步的优 化工作。 在对t 2 6 4 编码库优化后，达到了c i f 格式视频的实时编码，将优化好的编 码库应用到了回环系统以及网络视频监控系统之中，前者是一个视频采集、压缩、 显示的平台，可以用来进行视频的主观效果测试。后者是实际的目标系统，实现 从视频的采集压缩到网络发送一系列完整的功能应用。 8 北京邮电大学硕j ：研究生学位论文 1 4 2 论文安排 本文首先对作为本文研究基础的h 2 6 4 编码技术作了全面论述，阐明了本文 工作的研究背景，之后介绍了d s p 嵌入式平台特别是课题所采用的d m 6 4 2 这款 d s p 处理器的知识和特点，然后通过对t 2 6 4 编码器进行了分析研究，详细介绍 了开发过程中进行的优化和应用工作。 本文剩下的章节安排如下： 第二章主要详细研究了t 2 6 4 编码库这一h 2 6 4 标准的开源实现。 第三章主要分算法、c 程序、线性汇编以及存储器四个方面讲述了实际工程 中的优化方法，结合作者实践中的优化经验，总结了每个方面的优化策略，并列 举了一些实例加以说明。 第四章介绍了t 2 6 4 编码库应用的两个系统，即回环系统和网络视频通信系 统。设计实现了软件平台和硬件平台，并且基于设计的软硬件平台进行了系统的 开发。 第五章对全文做了总结，并对今后的工作提出构想。 9 北京邮电大学硕研究生学位论文 第二章t 2 6 4 编码库研究 2 1 1 2 6 4 编码器结构 2 1 1t 2 6 4 中的编码技术 目前在业界h 2 6 4 编码的开源实现主要有j m 参考模型、x 2 6 4 以及t 2 6 4 三 种。其中j m 参考模型主要应用于算法以及理论研究，因其结构冗余不适宜工程 实际应用故很少使用。x 2 6 4 与t 2 6 4 是工程实际使用较多的两种开源编码器，其 中t 2 6 4 吸取了x 2 6 4 以及j m 参考模型甚至x v i d 编码的优点，结构简单所以相 对开发容易，因此课题选用了t 2 6 4 算法。 t 2 6 4 编码库作为h 2 6 4 标准的一个开源实现，主要由帧内预测、帧间预测、 d c t 变换及量化、z i g z a g 扫描、环路滤波以及熵编码六大部分构成。h 2 6 4 标准 中规定了基本、主要以及扩展三个档次，课题采用的是基本档次，因此只对课题 用到的基本技术进行阐述。 帧内预测i l l 主要是利用同一帧图像相邻像素具有相关性来消除空间的冗余 度，t 2 6 4 编码库中对亮度分量提供了4 x 4 以及1 6 x 1 6 两种尺寸的宏块预测，对 色度分量提供了8 x 8 尺寸的宏块预测。小尺寸的宏块可以用于细节变化较多的区 域，而大尺寸的宏块主要用于比较平坦的区域。对于每种尺寸，又细分为多种预 测模式，在原始的1 2 6 4 编码库中是对所有的模式进行计算，然后选取其中的最 优模式作为最终的尺寸的最终模式来进行帧内预测的。 帧间预测【1 】主要是利用已编码视频帧和基于块的运动补偿的预测模式，用于 消除时间上的冗余度。t 2 6 4 编码库中的预测宏块大小提供了从1 6 x 1 6 到4 x 4 的 各种尺寸，帧问的搜索算法整像素采用的是菱形搜索结合小钻石搜索的算法，亚 像素搜索采用的是8 邻域全搜索的方式。由于是基本档次，因此只有i 帧和p 帧 图像，且没有使用h 2 6 4 标准中的多参考帧，而是选用