（通信与信息系统专业论文）基于dsp的音视频编解码技术的研究.pdf

基- j d s p 的青视频编解码技术舶 ! 】f 究 中文摘要 甚低码率的视频图像编解码技术和语音编解码技术是多媒体信息处 理领域的一个研究方向。在各种音视频编解码实现方法中，有纯软件实 现的方法，有软硬件结合实现的方法。我们采用了基于d s p 的软硬件结 合的方法实现音视频编解码，d s p 芯片的内部结构是专门为数字信号处 理设计的，d s p 芯片比通用的c p u 更适合做数字信号处理，因此基于 d s p 的实现方法具有速度快，易于更新算法的优势。本文在介绍了音视 频编码原理基础上，我们设计了基于d s p 的视频传输系统，本文也详细 介绍了视频传输系统的硬件调试，实现了基于d s p 的h 2 6 3 视频编解码 标准和g 7 2 3 1 语音编解码标准，并对两算法进行了部分优化。在系统硬 件设计上，系统处理器选择t i 公司的t m s 3 2 0 c 6 7 1 1 ，以b t 8 1 9 a 作为视 频a d 采集芯片，通过1 2 c 总线对b t 8 1 9 a 的工作模式设置，使图像数 据格式符合h 2 6 3 标准所需的单场q c i f ，数据传输采用了h p i 方式。在 算法实现上，首先在p c 机上仿真实现了基于c 语言的h - 2 6 3 和g 7 3 2 。l 算法，并将核心代码移植到以t i 公司t m s 3 2 0 c 6 7 11d s k 上。针对h 2 6 3 核心算法模块：d c t 、i d c t 和运动估计模块，运用了全零检索、钻石搜 索法等技术；对( 3 7 2 3 1 算法根据d s p 芯片结构特点和算法代码的实现 方法，对算法实现代码进行了优化，取得了良好的效果。 关键词：h 2 6 3 ，( 3 7 2 3 1d s p 作者：严新民 指导教师：黄贤武 a b s t r a c t批十d s p 的啬视频编解峭技术的训究 a b s t r a c t v i d e o - a u d i oc o d i n g d e c o d i n gr e a l i z a t i o no fl o wb i t r a t ec o m m u n i c a t i o ni s i m p o r t a n ta s p e c t i nm u l t i m e d i ai n f o r m a t i o n p r o c e s s i n g a m o n gm a n y m e t h o d s ，w h i c hr e a l i z ev i d e oc o d i n ga n da u d i oc o d i n g ，t h em e t h o db a s e do n d s pa p p e a r sr e m a r k a b l ea d v e n t a g e ，s u c ha sh i g hs p e a d ，e a s yt om o d i f ya n d e s a yt om i g r a t e ，b e c a u s ed s p sc o r ei sd e s i g n e dt op r o c e s s i n gd i g i t a ls i g n a l a n di sm o r es u i t a b l ef o rs i g n a lp r o c e s s i n gt h a ng e n e r a lc p u a u d i o v i d e o c o d i n g d e c o d i n gt h e o r yi si n t r o d u c e df i r s t l yi nt h i sp a p e r , t h e na v i d e os y s t e m b a s e do nd s pi sd e s i g n e d ，t h em e t h o do fd e b u g g i n gt h i ss y s t e mi sp r e s e n t e d i n d e t a i l ，t h e r e a l i z a t i o no fh 2 6 3r e c o m m e n d a t i o na n dg 7 2 3 1 r e c o m m e n d a t i o nb a s e do nd s pi si n t r o d u c e df i n a l l y t h et m s 3 2 0 c 6 711 s i g n a lp r o c e s s o ri sa d o p t e di nv i d e os y s t e ma sm a i np r o c e s s o r ，a n db t s1 9 ai s a d o p t e da sv i d e o a dc o l l e c t i o nc h i p f i r s t l yt h ec o r ea l g o r i t h m so ft w o r e c o m m e n d sa r es i m u l a t e do np c ，t h e nm i g r a t e dt ot m s 3 2 0 c 6 711d s k h 2 6 3c o r ea l g o r i t h mm o d u l e s ( d c t , d c t , m o t i o ne s t i m a t i o n ) a r ed i s c u s s e d ， am o t i o ns e a r c ha l g o r i t h mu s i n gz e r ob l o c kd e t e c t i o nt e c h n o l o g y , i sp r o p o s e d i nt h i sp a p e lw eo p t i m i z e dg 7 2 3 1r e c o m m e n db a s e do nd s pa r c h i t e c t u r e g o o de f f e c th a sb e e ng a i n e db yo p t i m i z i n gt h et w oc o r ea l g o r i t h mm o d u l e s b a s e do nt h ec o n f i g u r a t i o no fd s pa n di m p l e m e n t a t i o no fc o d e k e y w o r d s ：h 2 6 3 ，g 7 2 3 1 ，d s p w r i t t e n b y ：x i n m i ny a n s u p e r v i s e db y ：x i a n w uh u a n g 摧于d s p 的青视频编解鸦技术的研究 始一章慨述 第一章概述 随着信息技术的发展和通信网络的不断升级，人们对多媒体通 信的要求也越来越高，多媒体信息量大，尤其是视频信息，在不压 缩的条件下，其传送速率大约需1 4 0 m b i t s 。现有信道的带宽仍然是 制约其发展的主要因素。在有限带宽下，必须对视频信号和音频信 号进行高效的压缩。目前视频压缩技术逐渐成熟，出现了一系列视 频压缩编码的国际标准。这些标准又可以分为两类，一类是针对宽 带信道的，如h 2 6 1 、m p e g 1 、m p e g 2 等都是基于综合数字业务 1 碉( i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ，i s d n ) 等宽带信道的：另一类 是针对窄带信道的，如h 。2 6 3 、m p e g 4 、h 2 6 l 是基于低于6 4 k b i t s 的信道。甚低码率( 6 4 k b i t s ) 视频压缩在应用中的巨大潜力日益被人 们认识，如在公共电话交换网( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ， p s t n ) 上传送可视电话及监控业务，在移动网上传送各种视频。 c - 7 2 3 1 是一种语音压缩编码算法，提供了6 3 k b s 和5 3 k b s 两种编 码算法，且都能提供较高的语音质量，是多媒体通信中推荐的几种 语音编码算法之一。 1 1 图像压缩编码 从信息论的角度出发，离散无记忆信源的冗余度寓于信源服从 的非等概分布之中。因此，数据压缩的基本途径之一，就是设法改 变信源的概率分布，使其尽可能服从非均匀分布，用最佳编码方法 使平均码长逼近信源的熵。联合信源的冗余度寓于信源间的相关性 之中，因而去除它们之间的相关性，使之成为不相关或几乎不相关 的信源。 视频图像信息源的信息冗余度很高，若能去除这些冗余数据， 就可以使原始图像数据量极大地减少，易于实现图像压缩。因此研 究图像压缩编码技术，在多媒体通信领域具有重要意义。针对图像 数据存在以下冗余1 】【2 1 ： ( 1 ) 空间冗余 笫一章概述基于d s p 的音视频编解峭技术的研究 这是静态图像存在的最主要的一种数据冗余。例如幅图像中 有一块表面颜色均匀的区域，在此区域中所有点的光强和色彩以及 饱和度都是相同的，这种空间连贯性就称为空间相关或空间冗余。 ( 2 ) 时间冗余 这是序列图像( 电视图像，运动图像) 中经常包含的冗余。序列 图像中的相邻帧往往包含相同的背景和运动物体，只不过运动物体 所在的空间位置略有不同。这种相邻帧间的高度相关性就称为时间 冗余。 ( 3 ) 信息熵冗余 也称为编码冗余，由信息论的有关原理可知，为表示图像数据 的一个像素点，只要按其信息熵的大小分配相应比特数即可，而对 于实际图像数据的每个像素，很难得到它的信息熵，因此一般是对 每个像素采用相同的比特数来表示，这样就必然存在冗余，这种冗 余就称信息熵冗余。 由于空间、时间冗余和信息熵冗余都决定于图像数据的统计特 性，因此把它们统称为统计冗余。 ( 4 ) 结构冗余 在有些图像的部分区域内存在着非常强的纹理结构，或是图像 的各个部分之间存在有某种关系，例如自相似性等，就称此为结构 冗余。 ( 5 ) 知识冗余 有些图像的理解和某些知识有相当大的相关性，例如：人脸的 图像有固定的结构，五官间的相互位置信息就是一些常识。这种冗 余就称为知识冗余。 ( 6 ) 心理视觉冗余 事实表明，人类的视觉系统对图像场的敏感性是非均匀和非线 性的。例如，由图像系数的量化误差引起的图像变化在一定范围内 就不能为人眼所觉察。而在记录原始的图像数据时，通常假定视觉 系统是线性的和均匀的，对视觉敏感和不敏感的部分同等对待，这 样就产生了比理想编码更多的数据，这就是视觉冗余。 基于d s p 的皆视频犏解码技术的研兜 第一章概述 正是由于以上原因，图像的数据压缩是可行的。如果将多媒体 信源以多维函数表示，压缩就是去除这些多维函数的自相关性和互 相关性。如果不进行有效的数据压缩，则多媒体信息传输和存储都 很难实用化，而采用数据压缩的好处就在于： ( 1 ) 能降低信息的传输费用； ( 2 ) 能降低信息的存储费用； ( 3 ) 在保证信息实时传输且不失真的前提下通过压缩编码可降低信 源的信息传输量，可以降低发射机功率，对于多媒体移动通信系统 尤为重要，如目前的用w a p ( w i r e l e s sa p p l i c a t i o np r o t o c 0 1 ) 手机上 网等。 针对不同的数据冗余，可使用不周的压缩编码方法。经典的图 像压缩编码方法就是利用统计冗余来达到减少图像数据量的目的， 如图1 1 所示。从图中可以看出，经典的图像编码采用的是混合编码 的方法。 图1 1 经典的图像编码框图 1 2 语音压缩编码 语音信号处理的一个重要应用是进行语音编码。在数字通信系 统中，语音信号被编码成二进制数字序列，通过信道传输或存储， 再经过解码恢复成可昕懂的语音。最简单的数字编码方法是对语音 信号直接作模数变换，只要采样率足够高，量化比特数足够大，可 以保证解码恢复的语音信号有很好的音质。然而对语音信号直接数 字化所需的码率很高。例如普通电话通信中采用8 k h z 采样，用1 2 b i t 进行量化，传输一路话音需要9 6 k b s ，为了提高传输效率，必须对 语音信号进行压缩编码。 堑皇塑垒拈十d s p 的音视额编斛6 马投术的研究 ( 1 ) 语音压缩编码的基本依据【3 1 第一，语音信号的产生机理和它的结构性质表明，语音信号存 在很大的剩余度。语音压缩本质上就是通过识别这些剩余度并设法 去掉它们，从而达到压缩比特率的目的，语音信号的剩余度归纳起 来主要体现在以下几个方面： 语音信号样本音相关性很强，基短时谱是不平坦 浊音语音段具有准周期特性 声道的形状及变化的速率是有限的 传输码值的概率分布是非均匀的 是由语音信号产生机理的物理结构所决定的，是与采 用的特定编码方法有关。相邻语音样本之间的相关性产生的剩余度， 体现在其短时谱的不平坦性上，可以通过适当的滤波来除去，声道 形状及变化和速率是有限的，是语音信号分帧处理的基础，允许语 音信号可以按帧处理，例如以1 0 3 0m s 为一帧进行传输，的剩余 度主要被各种概率编码器所利用。 第二，利用人类听觉功能特点是语音压缩编码的另个途径， 例如人类听觉中有一个重要特点一听觉的“掩蔽”现象，个强音 能抑制一个同时存在的弱音，利用这性质，可以抑制与信号同时 存在的量化噪声。 ( 2 ) 两种编码方法 语音编码方法大致可以分为波形编码和分析合成方法。波形编 码要求重构信号圣( 珂) 的各个样本尽可能地接近原始信号x ( 订) 的值，即 要求量化误差的e ( 刀) 能量最小，e ( 疗) 定义如公式( 1 1 ) 所示。 e ( 疗) = 王( 拧) 一x ( 门) ( 1 1 ) 分析合成系统是以语音产生模型为基础，把语音信号变换成模型参 数后进行编码，因此又叫参数编码，分析合成系统中解码后的语音 样本与原始信号没有对应的关系，合成语音音质好坏借助于主观评 定。通常采用的方法有平均意见得分法( m e a no p i n i o ns c o r e ，m o s ) ， 判断韵字测试法( d i a g n o s t i cr h y m et e s t ，d r t ) ，判断满意度测量 法( d i a g n o s t i ca c c e p t a b i l i t ym e a s u r e ，d a m ) 等。平均意见得分评 皋手d s p 的哥桃壤编解码技术的 0 f 究 第一章概述 分标准如表1 - 1 所示【4 1 。 表1 - 1m o s 五级评分标准 m o s 得分质量级别失真级别 5优不察觉 4 良 略有察觉 3 可 有察觉 2 差 明显察觉，但可忍受 1坏 不可忍受 1 3 课题的研究意义 视频、音频压缩编解码技术朝着更高的压缩比，更小的失真度， 更快的编解码速度，更小的花费，更加实时的播方向不断发展，并 且针对此提出了许多实现方案。 本课题将就h 2 6 3 视频压缩标准和g 7 2 3 1 语音编码标准的具体 实现进行研究，并且开发一个基于t m s 3 2 0 c 6 7 1 1 d s k 的图像采集传 输系统。与专用芯片相比，采用数字信号处理器芯片( d i g t a ls i g n a l p r o c e s s o r s ，d s p s ) 的优点首先是算法的修改和升级都比较方便，其次 可以很容易地将其他控制协议、复用协议和通信协议添加进来，扩 展功能模块形成完全的系统。 1 4 论文结构 本论文的结构安排如下： 第一章概述 简要地介绍了视频、音频压缩编码的理论依据、实现方法及课 题的研究意义。 第二章视频传输系统设计 本章对d s p 芯片内、外部的接1 ：3 电路进行研究，系统介绍整个 视频传输系统的结构，并给出本系统采用几款芯片的介绍。 第三章视频传输系统的调试 本章介绍系统调试过程，着重分析了调试过程中的一些问题及 批于d s p 的音视频编解码技术的研究 解决方法。 第四章基于d s p 的g 7 2 3 1 和h 2 6 3 编解码算法的实现 本章对两种编码算法在d s p 系统上的实现进行了详细的介绍， 并给出了几种优化方法。 第五章结束语 本章概括总结了本文所作的工作，并给出下一步研究工作的方 向。 第三审视频传输系统实现基于d s p 的脊视频编解码技术的研究 第二章视频传输系统设计 设计d s p 系统之前，首先根据应用系统的功能要求确定系统的 性能指标、信号处理的要求，分析输入信号和所要求的处理结果， 设计系统并确定所采用的数字信号处理算法，并估算实现信号处理 的时间、精度等要求选择d s p 芯片以及与之配套的开发系统，对 d s p 芯片的资源进行分析，进而综合考虑系统要求，得到最后系统 配置，再进行具体的应用设计。 应用设计包括两个都分：硬件设计和软件设计两个方面。系统 样机都要完成基于d s p 的开发系统进行硬件和软件的调试。系统调 试完成后，就可以将软件脱离开发系统而直接在应用系统上运行。 本章主要介绍硬件系统设计，硬件系统的调试在第三章中详细介绍。 2 1 实时视频传输系统系统结构 本课题任务之一是基于d s p 的实时图像传输系统的设计和实 现，系统的实现方案为完全脱机式，即d s p 芯片作为主c p u 实现 采集传输视频图像和解压缩编码的算法运算和编码控制。本系统采 用高速d s p 芯片代替专用算法芯片，在芯片速度满足实时性要求下， 通过改变算法实现视频的不同传输标准，使系统的适用性更强。系 统不仅在d s p 上实时实现视频图像的处理，而且可以与p c 机进行 实时传输视频图像。设计了基于t m s 3 2 0 c 6 7 1 1d s k ( 以下简称d s k ) 的实时视频图像数字处理系统5 1 6 1 7 】f s 】【9 】【1 0 1 1 ，其基本结构方框图如 图2 1 所示。 工作过程如下： 输入的视频模拟复合信号经视频模数( a d ) 转换为亮度( y ) 、色 度( c b c r ) 数字信号进入帧缓存，待完成一帧图像a d 转换后，启动 d s k 的e d m a ( e n h a n c e dd i r e c tm e m o r ya c c e s s ) 通道将此帧数据移 入d s k 进行压缩编码处理或存储，处理后的码流可选两种方式进行 解压缩处理：一种方式是经d s k 的主机接1 2 ( h o s tp o r ti n t e r f a c e ，h p i ) 进入p c 机，由p c 机完成软解压得到视频图像；另一种方式是经通 用串行总线接1 2 ( u n i v e r s a ls e f mb u s ，u s b ) 传到p c 机上，由p c 机完 第二三章视频传输系统实现 基于d s p 的脊视频编解码技术的研究 成软解压得到视频图像。 系统完成的主要功能有：视频编码完成模拟视频信号到数字视 频信号的转换，实现数据的采集；视频压缩和解码功能。同步动态 随机存储器( s y n c h r o n o u sd y n a m i cr a n d o m - a c c e s sm e m o r y , s d r a m ) 是为了扩展存储空间和为更复杂算法做准备的。从硬件框图中可以 看出，整个系统分为两个模块：基于d s p 芯片的核心算法板和视频 采集卡。 一碱b f 8 1 驰舯辛l 鉴b e m 【f t m $ 3 2 0 c 6 7 i l 可i 程逻e p 辑r 3 芯2 5 片6 c p l 。l 一 6 7 1 l _ m c b s _ pd 敝 上i 接口 接口 s 。l r a y m 5 7 存6 4 储1 6 器| = = 坠令 - ：4 u s b 接nc y 7 c 6 8 0 0 1 | = = = $ f t i c u 拦刺 1 基于d s k 的视频系统基本结构方框图2 d s 芯片的选择 21系统对dsp的要求 的要求是实现视频、音频压缩编解码，视频压缩编码采 用缩标准是国际电信标准咨询委员会(itut)h2631121建议，音 频编码采用的压缩标准是itut(37231建议。以h263建议 中使用的一种图像格式qcif(176144)为例，当该图像格式下 的速度达到15帧，秒，即视为实时，若每一个像素点采用8位 编则数据传输率是3 m b p s 。 的信号处理算法是每隔一定的时间间隔循环一次。以1 5 帧的视频图像来说，这个时间间隔为115秒，记为r。假设dsp 芯指令周期为f，则该dsp芯片在这个间隔里所能提供的最大 第二三章视频传输系统实现基于d s p 的脊视频编解码技术的研究 运算量为r f 条指令。 2 2 2d s p 芯片的选择 本系统选择r n 公司的t m s 3 2 0 c 6 7 1 1 ( 以下简称c 6 7 1 1 ) 芯片 1 1 4 1 1 5 1 6 】【1 7 】。c 6 7 1 1 是t i 公司继定点d s p 芯片c 6 2 x 系列后开发的 一种新型浮点d s p 芯片。该芯片在c 6 2 x 的基础上加以改进，除了 具有c 6 x 系列的共同特点外，还具有自己的一些特点： ( 1 ) 速度快。指令周期为6 n s ，峰值运算能力为1 3 3 6 百万条指令 秒( m i p s ) ( 2 ) 支持i e e e 格式的3 2 位单精度与6 4 位双精度浮点操作。 ( 3 ) 运算能力、智能外设、大容量的片内存储器和大范围的寻址能 力，使c 6 7 11 适合于运算能力和存储量有高要求的应用场合。 开发工具支持方面，1 r i 公司的代码产生工具、代码调试工具功 能很完善，支持汇编、c 或c 与汇编混合模式下的代码的编写调试 任务，c 语言编程调试方便也是浮点d s p 芯片的优势。 c 6 7 1 1 应用于本系统不仅极大地提高视频图像处理的速度，也 使算法的实现更为灵活和多样化。 t m s 3 2 0 系列d s p 芯片的系统集成和调试工具t b l 主要有：c 汇 编源码调试器( cs o u r c ed e b u g g e r ) 、初学者套件d s k ( d e s i g n e r ss t a r t k i t ) 、软件模拟器( s i m u l a t o r ) 、评估板( e v m 板) 、硬仿真器( ) s ) 等。 硬件开发系统中，本系统选择的d s k 印刷电路板如图2 2 所示。 图2 2t m s 3 2 0 c 6 7 1ld s k d s k 是美国德州仪器公司( t i ) 推出韵一种主流评估和学习产 第三币视频传输系统实现 基于d s p 的脊视频编解码拄术的研究 品，其优越的性能使得其在网络、通信、图像等许多领域获得了广 泛的应用。d s k 既可以通过并口与微机相连使用，也可以使用外部 电源供电作为独立的模块工作，并通过x d s 51 0 仿真器进行调试。 d s k 板上配置了c 6 7 1 l 芯片，最高可以运行在1 5 0 m h z 的时 钟频率上：提供了1 2 8 k 8 b i t 的f l a s h ；i m 3 2 b i t 的1 0 0 m h z 的 s d r a m ；通过e m i f 接口可以扩充内存。此外还配置有j t a g 控制 器，电源管理器件，一个1 6 位的音频接口，支持5 5 k h z 至4 8 k h z 等常见取样频率。 d s k 可用来进行系统级的调试，是进行d s p 芯片软硬件开发的 最佳工具，该板提供外扩展予卡的接口，可以对其进行功能拓展。 2 3a d 视频芯片 视频图像采集电路是实现模拟视频信号数字视频信号的转换。传 统的视频信号的获取和处理一般采用模拟方式，将摄像机采集的全 电视信号同步分离、模拟锁相、模拟解码，再进行数字化。这种模 拟电路设计制造比较复杂、而且调试困难。随着现代电视技术的发 展，数字式锁相和数字式解码专用芯片相继问世。 本系统选择的视频a d 芯片是c o n e x a n t 公司的b t 8 1 9 a t l 9 1 。 b t 8 1 9 a 与b t 8 1 7 a 、b t 8 1 5 a 的引脚和寄存器都是兼容的，能对复 合的n t s c p a l 视频信号和s 视频信号进行解码。b t s l 9 a 的低功 耗使它广泛应用予台式机和笔记本电脑的p c 视频采集卡上。 b t 8 1 9 a 能将摄像机采集的全电视信号解码为亮度、色度分离的数字 视频信号，该芯片的内部结构如图2 3 所示。 图2 3b t 8 1 9 a 的功能框图 第二三章视频传输系统实现 基于d s p 的脊视频编解码技术的研究 b t 8 1 9 a 的主要特点是： ( 1 ) 支持任意分辨率的视频输出格式a ( 2 ) 可以对输入图像进行任意切割。 ( 3 ) 输出格式y c r c b ( 4 ：2 ：2 ) ，亮、色数据分别输出，为数据压 缩提供了方便。 ( 4 ) 自动对输入的p a l n t s c 格式进行侦测。 ( 5 ) 1 2 c 总线接口支持对内部寄存器的编程改变工作模式。 ( 6 ) 两种视频输出模式：同步像素输出( s p i ) 和异步像素输出 ( a p i ) 。 2 4 数据缓冲器 c 6 7 1 l 的运行速度很高，不仅需要从a d 通道获取数据，同时 还要访问数据存储器、程序存储器等，因而在它与a d 转换器之间 需要设置数据缓冲器。视频缓存器选用了a v e r l o g i c 公司高速 f i f o ( f i s r ti nf i r s to u t ) 器件a l 4 2 2 b 2 0 1 。使用该视频帧缓存的好处在 于输入输出总线是独立的，且没有地址总线，简化了电路设计。 a i a 2 2 b 由3 m - b i t s 组成的动态读写存储器( d r a m ) ，配制成 3 8 4 k * s b i t 的f i f o ，它的接口对用户非常友好，因为所有的复杂动 态读写存储器操作都由内部的动态读写存储器控制器管理。现在市 场上流行的同类f i f o 中大多数都是有限存储的，只能提供场电视 ( t v ) 信号，不能够保存一整帧电视信号，a i a 2 2 b 提供比一帧电视信 号多5 0 的存储空间，大大提高了a l 4 2 2 b 的应用范围。 a l 4 2 2 b 的主要性能参数如下： 3 8 4 k 8b i t sf i f o 结构 独立的读，写操作，所以可以工作于不同的i o 速度 3 3 v 供电电压，支持5 v 信号输入 2 5s d r a m 芯片 本系统中采用的s d r a m 芯片是h y 5 7 v 6 4 1 6 t 2 1 l ( 2 2 1 ， h y 5 7 v 6 4 1 6 是h y n i x ( 原现代电子) 的一款6 4 m b i t sc o m s 的s d r a m ， 主要用于需要大容量的应用系统中。h y 5 7 v 6 4 1 6 被分成4 个b a n k ， 基于d s p 的脊视频编解码技术的研究 每个b a n k 是由i m * 1 6 b i t s 组成。h y 5 6 7 v 6 4 1 6 能在时钟的上升沿提 供同步操作，所有的输入输出信号都是同步工作在时钟的上升沿； 所有的数据通道在内部都是以管道方式进行传输，所以能提供较大 的带宽：所有的输入输出引脚都是与1 r l 电乎相兼容的；在任何时 钟周期里，可以通过一个突发的结束命令来结束一个突发的读写， 或者可以用一个新的突发读写来中断或代替原来的突发的读写。 2 6u s b 芯片 在前一版系统中，利用h p i 接口或j t a g 接口传送数据时，速 度比较慢，如i - i p i 在传输数据里只能达到2 - 3 k b i t s ，使得在传送图 像信号或数据量较大时，等待的时间较长，因此我们在子板上扩展 了一个u s b 接口。在设计u s b 接口时，使用的是c y p r e s s 公司的 e z u s bs x 2 系列的c y 7 c 6 8 0 0 1 芯片脚l ，c y 7 c 6 8 0 0 1 芯片是一款 u s b 2 0 芯片，它内建了u s b 传送器和串行接口引擎( s i e ) ，提供 了4 k 的共享f i f o ，主要应用于d s l 调制解调器，数码相机，打印 机，m p 3 播放器，记忆卡读卡机等系统。 2 7 逻辑控制芯片 逻辑电路的控制采用了a t e m 公司的复杂可编程逻辑器件 ( c o m p l e xp r o g r a m m a b l el o g i cd e v i c e ，c p l d ) e p m 3 2 5 6 t 2 4 1 。e p m 3 2 5 6 是高性能、高密度的互补金属氧化物半导体( c m o s ) c p l d ，采用先 进的o s u mc o m s 电可擦除可编程只读存储器( e e p r o m ) 制造工艺， 提供了5 0 0 0 0 逻辑门，输入至输出的延时为7 5 n s ，计数器频率可达 1 2 6 5 m h z ，包含2 5 6 宏单元，每1 6 个宏单元组成一个逻辑阵列块 ( l a b ) 小组，共享扩展乘积和高速并联扩展乘积项为生成复杂的 逻辑函数提供方便。 c p l d 的使用不仅大大缩小控制电路的体积，而且，为系统的 调试提供了方便。在设计开发阶段，可通过j t a g 口对c p l d 多次 擦写，方便地更改系统的控制逻辑，简化了开发流程。 逻辑控制电路只对系统中的a d 、u s b 、f i f o 与d s k 控制。 a d ，f i f o ，u s b ，d s k 均存在多种工作模式的设置，模式的设置 第二三章视频传输系统实现基于d s p 的脊视频编解码技术的研究 均由c p l d 编程实现。这样在开发阶段大大简化了开发的流程，减 少了因设计阶段对软件、硬件特性了解不足而导致的系统设计缺陷。 基于a l t e r a 公司的m a x + p l u s i i 开发系统的c p l d 设计，大大 降低了电路的调试难度。m a x + p l u s 提供了电路图、文本和波形等 设计输入方式，支持v h d l 、v e r i l o gh d l 、其他的网表接口。 m a x + p l u si i 还提供编译、逻辑综合、仿真和定时分析等功能。 第二三章视频传输系统实现基于d s p 的脊视频编解码技术的研究 第三章视频传输系统实现 本章详细介绍基于d s p 的实时视频传输系统的调试过程。分为 以下三个方面介绍：a d 设置、f i f o 设置和数据传输设置 3 1a d 模式设置 d s k 没有提供视频接口，因此利用d s k 板上提供的两个2 ) 4 0 针双列扩展槽标准接口设计视频采集子板，视频采集的流程如图3 1 所示。 图3 1 视频采集流程 视频模数转换芯片采用的是b t 8 1 9 a ，可以通过设置其内部的 存储器来完成工作模式的设置，具体实现通过1 2 c 总线完成。 3 1 1b t 8 1 9 a 的缺省模式 系统上电后，若对b t s l 9 a 不做工作模式设置，它将工作在缺 省模式下。表3 1 中给出设置不同图像格式对应的水平和垂直缩放寄 存器的值。 表3 1 设- 置b t 8 1 9 a 不同输出格式的寄存器值 全部 输出有 水平缩放垂直缩放寄存器值 缩放率格式 信号效像素寄存器值使用两场使用单场 n t s c7 8 0 * 5 2 56 4 0 + 4 8 00 x 0 2 a a0 x 0 0 0n ，a 全精度 p a l9 4 4 * 6 2 57 6 8 * 5 7 6o x 0 3 3 co x 0 0 0n 饿 枭十d s p 的青视频编解鸦技术的研究第三章视频传输系统实现 c i fn t s c3 9 0 * 2 6 2 3 2 0 * 2 4 00 x 1 5 5 50 x 1 e o oo x o o o 2 ：lp a l4 7 2 * 3 1 23 8 4 * 2 8 8 o x l 6 7 9o x l b o o0 x 0 0 0 q c i f n t s c1 9 5 1 3 li 6 0 * 1 2 0o x 3 a a a0 x 1 a 0 00 x l e 0 0 4 ：lp a l2 3 6 * 1 5 61 9 2 * 1 4 40 x 3 c f 20 x l a o o0 x l e 0 0 f c o nn t s c9 7 * 6 58 0 * 6 00 x 8 6 r i af i x l 2 o x i a 8 ：lp a l1 1 8 * 7 89 6 * 7 20 x 8 9 e 5 0 x 1 2 0 00 x 1 a 0 0 系统在缺省的p a l 制式下，输出的图像大小是6 4 0 * 4 8 0 。c p l d 程序里设置f i f o 的读写复位信号( a l l 和是以r r s t a l f w r s t ) b t 8 1 9 a 的f i e l d 信号的下降沿作为触发信号，在没有对b t 8 1 9 a 设置时， 一帧图像的大小是6 4 0 4 8 0 ( 3 0 0 k ) ，而本系统中采用的f i f o 的大小 是3 8 4 k ，因此f i f o 放不下两帧图像，从而导致图像写时序的混乱。 图3 。2 是在未对b t 8 1 9 a 进行设置时的实验结果，所以必须对 b t 8 1 9 a 进行设置。未对b t 8 1 9 a 进行设置的对候，b t 8 1 9 a 采用隔 行扫描，但是一些编码处理豹是非隔行扫描的图像信号，如在h 2 6 3 编码中，要求输入编码器的图像信号是非隔行扫描的数据。如表3 1 所示，设置输出格式为c i f 时，可以通过设置垂直缩放寄存器，来 设置是采用的单场的，还是两场的。 图3 2 缺省模式下f i f o 获得的输出图像 枭十d s p 的青视频编解鸦技术的研究 第三章视频传输系统实现 v s c a l eh i h s c a l el 0 和h s c a l e _ h i 。对于不同制式，计算 v s c a l e 和h s c a l e 的公式是不一样的，根据系统设计中采用的制 式，我们给出p a l 制的计算公式。公式3 1 给出了在p a l 制下的 h s c a l e 的计算公式，公式3 2 给出了在p a l 制下的v s c a l e 的计 算公式。 h s c a l e = ( 1 1 3 5 p a d 一1 ) * 4 0 9 6 ( 3 1 ) v s c a l e = 0 x 1 0 0 0 0 一 ( s c a l i n gr a t i o n ) - l 】+ 5 1 2 0 1 f f f ( 3 2 ) 以p a l 制q c i f 为例，计算h s c a l e 和v s c a l e 的值，p a l 制q c i f 每行是有2 3 6 个像素，所以h s c a l e 的计算过程如下： h s c a l e = ( 1 1 3 5 2 3 6 - 1 ) 4 0 9 6 = 1 5 6 0 2 = 0 x 3 c f 2 q c i f 格式下，一帧图像是有1 5 6 行，所以对原来的p a l 图像 ( 9 4 4 * 6 2 5 ) 来说，是相当于缩了4 倍，所以s c a l i n g _ r a t i o n 是4 ，代入 公式3 2 得： v s c a l e = 0 x 1 0 0 0 0 一 【4 1 】4 5 1 2 ) & 0 1 f f f = o x i a 0 0 以上给出b t s l 9 a 的图像输出大小的设置。在c p l d 里可以设 置b t 8 1 9 a 输出采用s p i ( 同步) 还是a p i ( 异步) ，系统中设置b t 8 1 9 a 为s p i 的m o d e l ，1 6 位输出，其中高8 位为y 信号，低8 位为u v 信号。 3 1 31 2 c 实现b t s l 9 a 工作模式设置 一、l z c 总线及典型信号时序 1 2 c ( i n t e r - i n t e g r a t e dc i r c u i tb u s ) 总线是p h i l i p s 公司推出的一种串 行扩展总线标准2 5 2 6 1 ，能够实现器件和器件之间的双向通信。1 2 c 使用两根信号线一串行数据线s d a 和串行时钟线s c l 实现半双工 同步数据传送，总线上的每个器件设置唯一地址，并根据所设置的 功能起到发送器或接收器的作用。 1 2 c 总线传输的典型信号有4 个：起始信号( s ) 、终止信号( p ) 、 应答信号( a ) 和非应答信号( n a ) 。其中应答信号有效为“0 ”电平， 枭十d s p 的青视频编解鸦技术的研究第三章视频传输系统实现 非应答信号有效为“l ”电平，如图3 5 所示。 。一k j ：二；厂r 一s m 一寸寸、 厂_ 一_ 一t r s c l g t a r t s t o p a ，1n a ，0 m “呻一- li 厂 s c 。旷飞一旷n 图3 51 2 c 总线典型时序 二、1 2 c 软件实现 c 6 7 1 1 有两个多功能缓冲串i e l ( m c b s p ) ，m c b s p 0 已经作为系统 的音频采集口，因此本系统中把m c b s p l 配置成通用i oi z l ，进行数 据的输入与输出。采用m c b s p l 的管脚d b f s x l 和d b f s r l 来控制 d s p 的d bc l k x l ( 作为1 2 c 的s d a ) 与b t 8 1 9 a 的b t _ s d a 相连，d s p 的d bc l k r l 作为s c l 时钟信号来控制b t 8 1 9 a 的b t _ s c l ，产生时钟 信号。图3 6 是d s p 和a d 的1 2 c 信号连接示意图。 图3 6d s p 和a d 的1 2 c 连接 ( d bf s x l - - 1 ) & & ( d b _ f s r l - - - 0 ) 则由d s p 向b t 8 1 9 a 发送数 据，当( d b _ f s x l - - = 0 ) & & ( d b f s r l = = 1 ) 时从b t 8 1 9 a 中读入数据至s j d s p 。 下面介绍利用d bc l k x l 和d bc l k r l 实现1 2 c 的时序，设置为发送模 式1 2 7 】。 a 初始化i o 设置为发送模式 # d e f i n es e t _ s d a ( h m s b s p ) m c b s p _ f s e t h ( h m s b s p ，p c r ，c l k x p , 1 ) 枭十d s p 的尊雠颊编解鸦技术的研究 第三章视频传输系统实现 # d e f i n es e t _ s c l ( h m s b s p ) m c b s p _ f s e t h ( h m s b s p ，p c r ，c l k r p , 1 ) # d e f i n ec l r _ s d a ( h m s b s p ) m c b s p _ f s e t h ( h m s b s p ，p c r ，c l k x p , 0 ) # d e f i n ec l r _ s c l ( h m s b s p ) m c b s p _ f s e t h ( h m s b s p ，p c r ，c l k r p , 0 ) v o i di 2 c _ i n i t _ i 0 0 ( m c b s pf s e t h ( h r n s b s p ，s p c r ，r r s t , 0 ) ； m c b s pf s e t h 0 a m s b s p ，s p c r ，x r s t , 0 ) ； m c b s pf s e t h ( h m s b s p ，p c r ，r i o e n ，1 ) ；，设置m c b s p 为通用i o 模式 m c b s p _ f s e t h ( h m s b s p ，p c r ，x 1 0 e n ，1 ) ； f s xo u t ( h m s b s p ) ； f s r _ o u t ( h m s b s p ) ； s e t _ f s x 0 a m s b s p ) ； c l rf s r ( h m s b s p ) ； s d a _ o u t ( h m s b s p ) ； s c l _ p u t ( h m s b s p ) ； b 开始信号的模拟 v o i di 2 c _ s t a r t 0 s e t _ s d a ( h m s b s p ) ；i s d a 2 i s e t _ s c l 0 m a s b s p ) ；s c l = i d e l a y ( d e l a y _ t i m e ) ； c l rs d a ( h m s b s p ) ；s d a 2 0 d e l a y ( d e l a