（生物医学工程专业论文）基于dsp的嵌入式视频压缩硬件平台的设计与实现.pdf

a b s t r a c t a b s t r a c t i ns o m ec a s e st h a td i g i t a lv i d e os u p e r v i s o ra r eu s e d ，p e o p l eh o p ev i d e oc o d ec a l lb e t r a n s p o r t e di n t op s t no rg p r sw i r e l e s sn e t w o r k i nt h i sc a s et h em o r ee f f i c i e n tl o w - b i t v i d e oc o m p r e s sa r i t h m e t i ci si nn e e d t h i sp a p e rd e s i g n sa n dr e a l i z e sal o w - b i tv i d e oc o m p r e s s i o nh a r d w a r ep l a t f o r m b a s e do nd s ef i r s t l y , o nt h eb a s i so fa n a l y z i n gt h eo u t p u ts i g n a l so ft h ev i d e oa d c s a a 7111 ，p a p e rd e s i g n sap i n g - p a n gc a c h et oc o l l e c ta n dc a c h et h ei m a g ed a t a , w h i c h m a k es u r et h ei m a g ed a t af r a m e sc a nb ec a c h e de n t i r e l y p a p e rr e a l i z e st h ep i n g p a n g c a c h eo p e r a t i o nl o g i cb ya p p l y i n gv h d lp r o g r a m ，a n dd o e ss o m ef u n c t i o ns i m u l a t i o n s t h er e s u l to ff u n c t i o ns i m u l a t i o nr e v e a l st h a tt h i sp i n g - p a n gc a c h ec a nw e l lc a c h et h e i m a g ed a t af r a m e t h e np a p e re m p h a s i z e st h ed s ph a r d w a r ed e s i g n , p a r t i c u l a r l y i n t r o d u c e ss o m eh a r d w a r ed e s i g nt h o u g h t ，s u c ha sh o wt od e s i g nt h ed s p sl e a s ts y s t e m ， h o wt oc o n n e c tw i t he x t e r n a lm e m o r yi n c l u d es d r a ma n df l a s h ，a n dh o wt od e s i g n o t h e ro n c h i pp e r i p h e r a l s w h a tf o l l o w si st h ed i s c u s s i o no fs e v e r a li s s u e so fh i g hs p e e d d s p p c bd e s i g n i nt h ee n d ，p a p e rg i v e sb r i e f l yi n t r o d u c t i o no ft h ef u n c t i o na n d c h a r a c t e ro fd s p s i n t e g r a t e dd e v e l o p e n v i r o n m e n tc c s 2 0 ，a sw e l la ss o m e p r o g r a m m i n gm e t h o d k e y w o r d s ：e m b e d d e dv i d e o c o m p r e s s i o n p i n g - p a n gc a c h e d s pf p g a 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特a i d n 以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：墨查堡日期丝丑：三：箩 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本人签名：兰烂 导师签名：盘髓= 日期幽! 呈，翌 日期趋丑：三：堕 第一章绪论 第一章绪论 1 1 选题目的及研究内容 随着信息技术的高速发展，有关数字图像和数字视频的应用越来越广。众所 周知，数字化的视频图像数据量非常大，例如应用于会议电视的c i f 格式( 3 5 2 x 2 8 8 像素，每像素1 2 比特) 的彩色图像数据量约为1 2 m b 帧，而i t u r 7 0 9 标准 的高清晰度数字电视( 1 9 2 0 x1 1 5 2 像素，每像素1 6 比特) 的数据量约为3 5 4 m b 帧，如果不经过压缩编码处理，直接将数字视频图像信息用于通信或者存储，将 对存储器的容量，传输信道的传输率( 带宽) ，以及c p u 的处理能力等方面带来 非常大的挑战。为了解决这些问题，对视频图像进行压缩编码就显得十分迫切了。 数字视频监控作为数字视频技术的一种应用，广泛用于银行、商场、交通管 理、生产现场管理等场合。近年来数字视频监控技术的需求量进一步增加，市场 上因此出现了大量各种型号的视频压缩编码卡，以满足不同场合的视频监控的需 求。常见的视频监控系统大多是通过架设专用的有线媒介，或者租用电信运营商 的通信线路来传输视频信号的，前者工程建设工期长、前期投入比较大，后者受 周边环境的影响较大，因此两者在矿山等偏远地区和地形复杂地区的应用受到限 制，急需寻找新的解决方案。事实上，在有些使用场合，比如说无人值守的仓库， 机房，变电站等，并不一定需要活动图像传输，对视频的压缩帧率要求并不是太 高。他们希望监控设备能够使用方便、维护简单，且尽可能的利用现有的资源。 所以，如果能通过公共交换电话网( p s t n ) 或者通用分组无线业务( g p r s ) 的 无线网络来传送视频编码数据，将给用户带来新的选择，使得许多工程难题可以 轻而易举的得到解决。 中国移动的通用分组无线业务( g p r s ) 网络覆盖率广，具有基于i p 、实时在 线、按流量计费、方便、性价比高等优点。因此，利用现有的中国移动g p r s 网 络和i n t e m e t ，可以在不适合架设有线网络的特殊地理环境下，代替传统的有线视 频监控系统，对远程目标进行视频监控。g p r s 数据传送速率理论上最高可达 1 6 4 k b p s ，但目前只可支持5 3 6 k b p s 的峰值传输速率，这样，就需要一种高效的低 比特率的视频压缩编码算法，来对视频图像进行压缩编码。 本课题就是应这一需求而提出的，我们将设计与实现一个基于d s p 的嵌入式 视频压缩硬件平台，用于研究低码率视频编码算法及其实现。希望能在它提供的 实验数据的基础上，探索出一种低功耗、低成本的嵌入式低比特率视频图像压缩 编码卡的解决方案，用于基于低比特信道传输视频编码的远程监控。 2 基于d s p 的嵌入式视频压缩硬件平台的设计与实现 1 2 国内外研究现状 1 2 1 视频图像编码技术的发展 图像可分为静态图像和运动图像，因此图像编码也可分为静止图像编码和运 动图像编码。由于实际的运动图像都是一帧一帧的传输，通常将运动图像看作是 一个沿时间轴分布的图像序列。视频图像就是一种运动图像。对视频图像压缩编 码就是对构成视频的图像序列中的图像进行编码，所以对数字化的视频图像压缩 编码时需要考虑时间变量。 从数字图像信号的特点来说，图像压缩编码的可能性在于三个方面【l 】：首先， 在空间域上，图像具有很强的相关性。例如，一般连续色调的图像中，两个相邻 采样点之间的幅度值很相近，可以根据图像中某一点的像素值推断出其相邻点的 像素值。其次，在频率域上，图像低频分量多高频分量少。然后，人眼观察图像 时有暂留与掩盖现象，因而可以去除一些信息而不影响视觉效果，在时间上相邻 的两帧图像大部分像素值变化很小。 图像编码方法大致可分为经典的方法和现代的方法。经典的方法遵循香农信 息理论，而现代的方法则突破了这一理论框架。 经典的图像编码是建立在香农( s h a n n o n ) 信息论基础上的，它以经典的集合 论为基础，用统计概率模型来描述信源。它被称为基于像素的编码方法。经典的 图像编码方法一般来说分为三个阶段。第一是信号处理阶段，它是把图像信号进 行变换、处理，使数据处于易压缩、量化的状态；第二是量化阶段，量化是用少 量值表示多量值的过程；第三是熵编码，即无失真编码，最后产生压缩码流。对 图像采用不同的处理、量化和熵编码，就产生了不同的图像编码方法。经典的图 像压缩编码系统的组成框架图示于图1 1 。 厂 厂 广 输入图像叫变换器卜叫量化器卜_ 叫熵编码 _ + 压缩码流 i 一i 一i 一 图1 1 图像压缩系统的组成框图 经典图像编码方法是基于信息论的理论框架，对图像进行线性处理，产生信 息保持或有限失真的压缩图像。其中最基本的h u f f m a n 编码，预测编码和变化编 码理论至今仍然被普遍应用于图像压缩编码的国际标准中。变换编码是于6 0 年代 末提出并于7 0 年代发展起来的，它将图像分割成若干子块，通过对其正交变换把 时间域信号变换到变换域上，使变换后各系数的统计分布比较集中，能量集中在 低频域中，并使变换域中各系数间的相关性大大降低，然后对其分配比特。对方 差大的分配以较多的比特，反之分配以较少的比特，从而实现总比特率的压缩。 第一章绪论 变换法具有压缩比例高、抗噪性能好等特点。 经典图像编码的核心方法是分块的d c t 变换，其基本步骤是：首先将图像分 块，例如8 x 8 、1 6 x 1 6 的像素块，然后逐块进行正交变换，去掉样本间的相关性， 最后对变换系数进行量化、编码。d c t 是目前最佳的图像变换，它有很多优点： d c t 是正交变换，它可以将8 x 8 图像的空间表达式转换为频率域，只需要用少量 的数据点表示图像；d c t 产生的系数容易被量化，因此可以获得好的块压缩：d c t 算法的性能很好，它有快速算法，如采用快速傅立叶变换可以进行高效的运算， 因此它在硬件和软件中都容易实现；而且，d c t 算法是对称的，所以利用逆d c t 算法可以用来解压缩图像。 经典图像编码方法以信息论为基础，出发点是消除图像中的统计冗余，但它 未考虑信息接受者的主观特性及事件本身的具体含义、重要程度等。 真正代表视频编码方向的是基于内容的第二代视频编码技术，它所关心的是 如何去消除视频内容的冗余，编码时充分考虑人眼视觉特性这一因素。因为人们 采用由形状，纹理等定义的区域来表征视频数据，现代编码方法也可被称为基于 对象的编码方法。在图像质量相当的情况下，现代编码方法与经典方法相比，压 缩比可以提高几十倍或更高。现代编码方法主要有分形法、模型法、神经网络法 和小波法等。 现代编码方法充分利用了计算机图形学、计算机视觉、人工智能与模式识别 等相关学科的研究成果，为图像压缩编码开拓了广阔的前景。在实验条件下，这 些编码方法可以取得非常出色的编码性能，但是，由于现代方法增加了分析的难 度，所以大大增加了实现的复杂性。 1 2 2 低比特率视频图像压缩标准 视频图像压缩编码技术经过几十年的发展，到现今已经形成一系列标准。国 际标准化组织i s o 和国际电工委员会i e c 关于静止图像的编码标准j p e g 和 j p e g 2 0 0 0 ，国际电信联盟i u t - t 电视电话会议电视的视频编码标准h 2 6 1 ，h 2 6 3 ， h 2 6 4 和i s o i c e 关于运动图像的编码标准m p e g 1 ，m p e g 2 和m p e g - 4 等。针 对于低比特率情况下的应用，j p e g 2 0 0 0 ，m p e g - - 4 和h 2 6 4 都提供了很好的支持。 j p e g 2 0 0 0 采用全帧离散小波变换( d w t ) 取代了j p e g 基本系统中的基于子 块的d c t 变换，由于d w t 自身具有多分辨率图像表示性能，并且它可以大范围 地去除图像的相关性，将图像能量分布更好的集中，因此压缩效率得到提高。 j p e g 2 0 0 0 格式的图片压缩比可在j p e g 标准的基础上再提高1 0 0 o , , 3 0 ，而且压缩 后的图像显得更加的细腻平滑，尤其在低比特率下，具有良好的率失真性能，以 适应窄带网络、移动通信等带宽有限的应用需求。 4 基于d s p 的嵌入式视频压缩硬件平台的设计与实现 m p e g - 4 是基于对象的低比特率视频压缩编码标准。它有一个显著特点： m p e g - 4 标准既可用于4 m b s 的高比特的视频压缩编码，又可用于5 6 4 k b s 的低 比特率的视频压缩编码。它支持基于内容的可分级性，即把内容、质量、复杂性 分成许多小块来满足不同用户的不同需求，这样m p e g 4 可以利用很窄的带宽， 通过帧重建技术，压缩和传输数据，用最少的数据获得最佳的图像质量，满足低 比特率应用的需求。另外，m p e g 4 注重多媒体系统的交互性和灵活性。m p e g - 4 的这些特点，使得其适合于在窄带移动网上实现多媒体通信，在窄带的公用电话 网上实现可视电话业务。 h 2 6 4 是由i s o i e c 与i t u t 组成的联合视频组( j v t ) 制定的新一代视频压 缩编码标准。其应用目标及其广泛，可满足各种不同速率、不同场合的视频应用。 在相同的重建图像质量下，h 2 6 4 比h 2 6 3 和m p e g - 4 ( s p ) 减小5 0 码率。因 为具有较好的抗误码和抗丢包的处理能力，h 2 6 4 可以适应丢包率高、干扰严重的 无线信道中的视频传输。h 2 6 4 支持不同网络资源下的分级编码传输，从而可以获 得平稳的图像质量。相对于先期的视频压缩标准，h 2 6 4 引入了很多先进的技术， 包括4 x 4 整数变换、空域内的帧内预测、1 4 像素精度的运动估计、多参考帧与 多种大小块的帧间预测技术等。新技术带来了较高的压缩比，同时大大提高了算 法的复杂度，h 2 6 4 的算法复杂度是现用编码压缩标准的4 倍以上，但是可以相信， 随着硬件设备处理能力的提高，h 2 6 4 将在越来越多的应用中体现出它的优势。 这些标准算法融合了各种性能优良的图像编码方法，代表了当前图像编码水 平，因此，我们对低比特率视频编码算法的研究应该建立在现有视频图像压缩标 准上。 1 2 3 视频图像编码卡的种类 目前市场上流行的视频压缩编码卡大致上可以分为纯软件压缩卡，低端硬压 缩卡，高端硬压缩卡。大多数视频压缩编码卡都支持m p e g - 4 编码标准或h 2 6 4 编码标准。 纯软件压缩卡一般通过视频采集卡把模拟视频信号变为数字视频信号，再把 数字视频信号通过p c i 总线或者u s b 总线传输到p c 机里面，由p c 机完成视频 压缩编码。由于受到p c 机处理能力以及总线传输速度的限制，这种视频编码方案 具有工作状态不稳定，压缩效率不高等缺点。高端的硬压缩卡一般由专用的视频 处理芯片来完成视频编码，比如p h i l i p 公司的p n x l 5 x x 系列和t i 公司的d m 6 4 2 系列芯片。这种视频编码卡工作十分稳定，兼容能力强，可以同时处理多路音视 频信号，但一般成本较高，价格昂贵。低端硬压缩卡不仅继承了硬压卡的稳定性， 又有较低的价格，因此越来越受到用户欢迎。低端硬压缩卡主要来说有两种方案： 第一章绪论 5 a s i c 和d s p 。相比较而言，d s p 方案开发周期更短，更加灵活，方便附加功能来 满足市场不同的需求，例如可以实现动态改变帧率、强制关键帧输出、加盖时间 戳、动态检测等功能。 嵌入式视频压缩编码卡一般属于硬压缩卡。它可以脱离计算机环境独立执行 视频压缩编码算法，且能控制压缩码流的传输。这类视频编码卡拥有嵌入式系统 的所有优点：上电即工作，体积小，功耗小，成本低，安装灵活，能适应各种工 作环境。 嵌入式视频压缩编码卡形式多样，功能丰富。比较高级的嵌入式视频压缩卡 支持网络接入功能，只需一个网络接口，就能通过以太网或互联网与远程终端建 立t c p 舢d p 连接将视频编码传输出去。常见的嵌入式视频压缩编码卡一般使用标 准异步串行接口作为视频编码码流输出端，如果加上m o d e m 或g p r sm o d e m ， 就可以非常方便的将视频压缩码流通过p s t n 网络或g p r s 网络进行传输。 1 3 本文主要工作及内容安排 本文的任务是，基于t i 公司的一款低功耗d s p 处理器t m s 3 2 0 v c 5 5 0 9 a ，设 计并实现一个嵌入式视频压缩硬件平台，用于对低比特率视频图像压缩编码算法 进行验证评估。 硬件平台首先将输入的p a l 制模拟视频信号转换成y u v 4 ：2 ：2 格式的数字图 像信号，由f p g a 控制数字图像信号的采集和缓存，然后用d s p 处理器把数字图 像信号进行压缩编码，最后再通过异步串口把压缩编码输出。 本课题现已完成的工作包括： ( 1 ) 分析系统功能，完成了系统硬件方案的设计。 ( 2 ) 完成了系统原理图的设计，电路板布局布线，电路板组装调试。 ( 3 ) 完成了图像采集和帧缓存控制逻辑的设计。在f p g a 中用v h d l 实现了 乒乓式缓存，且进行了功能仿真。 ( 4 ) 完成了d s p 硬件设计。对d s p 外部存储器接口( e m i f ) 及其它d s p 片 上资源进行了研究，充分发挥出d s p 片上资源的作用。 ( 5 ) 熟悉了c c s 2 0 开发环境，设计了部分d s p 片上外设驱动程序和功能验证 程序，对d s p 片上资源进行了功能验证和调试，并实现了部分应用程序。 本文内容结构安排如下：第一章，绪论。介绍选题目的、意义，以及国内外 研究现状。第二章，系统方案设计。介绍模拟视频信号数字化的基本知识，以及 整个硬件系统方案设计思路，包括视频采集方案设计，图像信号处理流程设计。 第三章，视频采集及缓存的实现。具体介绍视频采集芯片的功能及其输出信号的 特点，介绍乒乓式缓存逻辑如何实现对图像数据帧进行采集和缓存的，并对乒乓 6 基于d s p 的嵌入式视频压缩硬件平台的设计与实现 式缓存逻辑进行了功能仿真。第四章，d s p 处理器的硬件设计。我们详细介绍如 何设计d s p 的最小系统，如何安排存储器映射空间，如何进行s d r a m 、f l a s h 外部存储器扩展，以及如何对其它片上外设进行设计。并总结了高速电路板设计 中的一些常见问题。第五章，开发环境介绍和软件设计。简单介绍d s p 集成开发 环境c c s 2 0 的功能特性，说明部分程序的设计思路。第六章总结，对视频压缩硬 件平台和已完成的工作进行总结。 第二章系统方案设计 7 第二章系统方案设计 在本章中，将首先介绍视频信号的数字化，以及数字图像常见格式等视频压 缩的基本知识，然后在此基础上，根据系统的功能要求说明系统总体方案的设计 思路。 2 1 视频信号的数字化 目前，世界上主要有三种不同的电视系统：p a l 系统、n t s c 系统、s e c a m 系统。我国使用的p a l 彩色电视制式规定，一帧图像的总行数为6 2 5 ，采用隔行 扫描方式。行扫描频率是1 5 6 2 5 h z ，周期为6 4 i t s ；场扫描频率是5 0 h z ，帧频是2 5 h z 。 在发送电视信号时，每一行中传送图像的时间是5 2 2 p , s ，其余的1 1 8 1 x s 是行扫描 的逆程时间，不传送图像。每一场的扫描行数为6 2 5 2 = 3 1 2 5 行，其中2 5 行作场 回扫，不传送图像，因此每帧只有5 7 5 行有图像。 y u v 彩色模型是应用于电视传播系统的色彩模型【l l 。j v 彩色模型可以使得 视频信号的传输所需带宽减少，并能与单色电视系统兼容。采用y u v 彩色模型的 重要性在于它的亮度信号y 和色差信号u 、v 是分别分离的。如果只有y 分量而 没有u 、v 分量，那么这样的图像就是黑白灰度图。y u v 彩色模型可以解决彩色 电视机与黑白电视机的兼容问题，使得黑白电视机也能收到彩色信号。 模拟视频信号经过采样、量化后，就成了数字视频信号。通常是对视频信号 的三基色信号r 、g 、b 或对亮度信号y 、色差信号u 、v 分别进行数字化处理。 由于人类对亮度的灵敏度比色差的灵敏度更高，因此对人类来说，一幅彩色图像 的亮度信息比色差信息丰富。所以有必要把亮度信号和色差信号分开并分配不同 的比特率进行编码。为了将彩色图像按亮度和色差分别处理，就要把r g b 空间表 示的彩色图像变换到y u v 彩色空间。 v 色彩空间与r g b 色彩空间的转换关系如式2 1 ： 】厂 u 矿 o 229 一o 147 0 615 o 587 一o 289 一o 515 o 1l4 0 436 一o 1oo r g b ( 2 1 ) 如果要由y u v 空间转化成r g b 空间，只要进行相反的逆运算即可。 数字视频信号用亮度信号传输细节，用色差信号u 、v 进行大面积着色。因 此对于亮度信号y 的空间采样较密，对于色差信号u 、v 的空间采样较疏。数字 8 基于d s p 的嵌入式视频压缩硬件平台的设计与实现 化后的图像通常有以下几种y u v 格式： ( 1 ) y u v 4 ：2 ：2 格式。在4 ：2 ：2 格式中，色差信号u 、v 的采样频率均为亮度信 号采样频率的一半。图2 1 给出了4 ：2 ：2 格式中亮度信号和色差信号的采样点位置。 色差信号在水平方向上的采样点数为亮度信号的一半，而在垂直方向的采样点数 与亮度信号相同。 图2 1y u v 4 ：2 ：2 格式中采样点 ( 2 ) y u v 4 ：2 ：0 格式。图2 2 给出了4 ：2 ：0 格式中亮度信号和色差信号的采样点 位置。色差信号在水平方向上的采样点数和垂直方向的采样点数均为亮度信号的 一半。 图2 2y u v 4 ：2 ：0 格式中采样点 一般的，y u v 4 ：2 ：2 用于视频制作和编辑，y u v 4 ：2 ：0 用于视频发行。 进入视频编码器后，编码器一般按照规定格式进行编码。例如c i f 格式，对 于亮度信号y ，每幅图像扫描2 8 8 行，每行3 5 2 像素；对于色差信号u 、v ，则为 1 4 4 行，每行1 7 6 个像素。除了c i f 格式，还有q c i f ( 或称为1 4 c i f ) 、s u b 、qcif 4 c i f 、1 6 c i f 等图像格式。 第二章系统方案设计 9 2 2d s p 处理器简介 数字信号处理技术的核心和标志是数字信号处理器【2 】。快速傅立叶( f f t ) 等 实用算法的提出促进了专门实现数字信号处理的处理器的分化与发展。数字信号 处理器强调运算处理的实时性，因此d s p 芯片除了具有一般处理器的高速运算和 控制功能外，还针对实时信号处理，在处理器结构、指令系统和指令流程上做了 很大改动，其结构特点如下： ( 1 ) d s p 普遍采用程序总线和数据总线分开的哈佛结构或改进的哈佛结构， 与传统的的冯诺依曼结构相比，指令执行速度大大提高。哈佛结构是并行的体 系结构，程序和数据存放在不同的存储空间，因此d s p 可以同时取指令( 来自程 序总线) 和取操作数( 来自数据总线) ；并且，还允许在程序总线和数据总线之间 互相传递数据。这种并行的总线结构使得d s p 很容易实现单周期乘加运算。 ( 2 ) d s p 大都采用流水线技术。流水线结构将指令分解为取指令、译码、取 操作数和执行等几个阶段。在程序运行过程中，同一时间的不同指令处于不同运 行阶段，从而可以在不提高时钟频率的条件下减少每条指令的执行时间。流水线 有助于提高程序的实时性。 ( 3 ) d s p 具有乘法累加单元。针对滤波、相关运算、矩阵运算等需要大量乘 法累加运算的特点，d s p 处理器使用专门的硬件来实现单周期乘法和累加两个运 算。而且提供专门的m a c 指令。 ( 4 ) 高效的特殊指令。d s p 指令集设计了一些特殊的d s p 指令用于专门的数 字信号处理操作。这些指令充分利用了d s p 的并行结构，提高了指令执行的并行 度，从而大大提高了信号处理的实时性。 ( 5 ) 特殊的寻址方式。d s p 片内有多条总线可以同时进行取指令和多个数据 存取操作，它们可以在当前访问的前后自动修改指针内容，以指向下一个要访问 的地址，并且支持循环寻址和倒序寻址。 ( 5 ) 零开销循环。d s p 算法的特点之一是主要的处理时间用在程序的循环结 构中，因此多数d s p 都有专门支持循环结构的硬件。所谓零开销，是指循环计数、 条件转移等循环机制由专门硬件控制，从而处理器不用花费任何时间。 ( 6 ) 丰富的片内外设。d s p 芯片内集成了众多硬件资源。如定时器、u a r t 、 u s b 、d m a 控制器等，配合片内多总线结构，处理器和外设之间的数据传送速度 大大提高。且简化了接口设计。 此外，现有的d s p 处理器都有比较完善的软件和硬件开发工具支持。良好的 技术支持、完整的用户手册和开发文档、优秀高效的代码生成器、完备的软硬件 调试环境都会降低开发难度，缩短产品的开发周期。 l o 基于d s p 的嵌入式视频压缩硬件平台的设计与实现 2 3 硬件平台方案设计 本文中所实现的视频压缩硬件平台，主要用于对视频图像压缩编码算法进行 验证评估。希望能在它提供的实验数据的基础上，探索出一种低功耗、低成本的 嵌入式低比特率视频压缩卡的解决方案，用于基于低比特信道传输视频编码的远 程监控。 现有的硬件压缩卡有三种实现方案【3 】：一是基于专用d s p 芯片；二是基于通 用d s p 芯片；三是基于可编程逻辑器件f p g a 。基于专用d s p 芯片的设计应用范 围受限，而且价格较高。基于通用d s p 芯片和可编程逻辑器件f p g a 的设计都比 较灵活，但是，用可编程逻辑器件f p g a 实现视频压缩算法难度很大，而且开发 周期时间较长。基于通用型d s p 芯片的设计具有设计简便、灵活等优点，特别适 合新型产品的研究开发。 我们可以将d s p 方案与f p g a 方案综合起来考虑，以充分发挥它们各自的优 势。比如说，在许多情况下，诸如缩放、解隔行、滤波和色度空间变换这些功能， 比视频压缩算法本身消耗更多的d s p 指令周期，用f p g a 实现这些功能能让d s p 处理器专心于压缩算法实现和事务管理、通讯管理。现有的a l t e r a 公司的可编程 逻辑器件在其内部提供了嵌入式硬件乘法器和高效的嵌入式存储块，可以轻易实 现高效的d s p 算法，因此可以考虑利用f p g a 高速、并行的优势，在f p g a 里面 预先对格式的数字视频信号进行预处理。 2 3 1 系统功能结构框图 视频压缩是按照数字格式转化，数据采集，数据缓存，数据计算和数据通讯 逐步完成的，视频压缩硬件平台的功能结构框图如图2 3 所示。 模拟 视频 图2 3 系统功能结构框图 图像采集模块的任务是把模拟视频信号采样、量化为数字图像信号。模拟视 频信号只有经过图像采集模块变为数字图像信号之后，才能进行压缩编码。视频 数字化后的数据量一般都比较大，而且，在进行视频图像压缩编码时，要求获取 的图像是完整的帧，所以系统中需要足够的存储空间来用于视频图像帧缓存。图 像采集模块不断的将数字图像数据流传输进f p g a 图像预处理模块，f p g a 图像预 第二章系统方案设计 处理模块使用f p g a 控制视频图像数据的采集和缓存。另外，f p g a 还负责解隔行、 缩放等图像预处理功能。 d s p 是系统核心部分。d s p 作为中央处理器，不只是执行视频图像压缩算法， 还负责控制系统中各部分的工作，以及整个系统与外部的数据通讯。d s p 视频压 缩编码部分除了d s p 处理器之外，还包括d s p 正常工作所需要的最小系统、外部 扩展存储器和f l a s h 。 d s p 视频压缩编码部分完成压缩编码后，要将压缩码流传输至用户端，这部 分工作由存取通信模块来完成。用户端发送给视频压缩硬件平台的控制命令，也 是经过存取通信模块传输进来的。存取通信模块是整个系统与外界通信的唯一窗 口。 我们可以按照系统的主要功能，把整个系统分两个大的部分：视频图像采集 模块和视频图像压缩模块，后面两章将分别对这两个功能模块的实现进行详细讨 论。 2 3 2 系统硬件结构图 嵌入式视频压缩系统包括硬件设计和软件设计两部分，在进行硬件设计的时 候需要对运算速度，数据宽度，内存容量，系统功耗，器件封装以及调试方式等 各方面进行综合考虑。系统硬件结构图如图2 4 所示。 f 系统电源+ 电源监视+ 看门狗 图2 4 系统硬件结构图 系统中使用的视频解码芯片为p h i l i p 公司的高性能视频a d 芯片s a a 7 11 1 。 它的电路高度集成，体积小，可用于桌面视频系统、数字电视、图像处理、可视 电话等应用。视频压缩硬件平台的输入为p a l 制模拟视频信号。我们将s a a 7 11 l 1 2 基于d s p 的嵌入式视频压缩硬件平台的设计与实现 的输出数据格式设置为y u v 4 ：2 ：2 ，数据宽度为1 6 位。同时，将s a a 7 1 1 1 的同步 时钟l l c ，场同步信号v r e f ，行同步信号h r e f 、奇偶场信号r t s 0 送入f p g a 内，作为数字图像数据采集和缓存的同步控制信号。如果我们只需要对黑白图像 进行处理，那么只采集y u v 4 ：2 ：2 数据高8 位的亮度信号即可。 f p g a 芯片我们选择了a l t e r a 公司的可编程逻辑器件e p l c 6 q 2 4 0 c 8 。这是 c y l o n e 系列器件中一款非b g a 封装的可用i o 脚最多的芯片。之所以不选择b g a 封装形式的芯片，是从低成本的角度来考虑的，因为b g a 封装形式对布线，组装 和返工的要求都比普通贴片芯片的要求要高。c y c l o n e 系列器件基于一种全新的低 成本架构，它支持低成本的高性能解决方案。 d s p 处理器t m s 3 2 0 v c 5 5 0 9 a 控制协调各个器件的工作，且对视频图像数据 进行运算，和外部进行通信。d s p 和f p g a 之间的握手信号包括e m i f 外部存储 器接口和两个中断以及两个通用输入输出( g p i o ) 引脚，d s p 把g p i o 引脚作输 出用，用于读取视频图像帧数据时的握手信号。 之所以在系统中选用t m s 3 2 0 v c 5 5 0 9 a ，在于几个方面的考虑： 首先，图像压缩算法中间数据量大，要求处理器的片上内存尽可能大，尽量 避免对外部存储器进行读写操作。v c 5 5 0 9 a 的片上存储器包括3 2 k 1 6 位 d a r a m ，9 6 k x1 6 位s a r a m ，共1 2 8 k 位的存储空间。其中d a r a m 为双地址， 在每个周期内可以对其进行两次操作( 两次读，两次写，一次读和一次写) ，这样 可以大大增加片上存储器的利用效率。 其次，5 5 0 9 a 片上资源非常丰富，包括1 2 c 总线( 多主从接口) ，3 个m c b s p s ( 一个与多媒体卡数字加密卡m m c s d 串行接口复用引脚) 。利用1 2 c 总线对 s a a 7 1 1 1 的片内控制寄存器进行读写操作，可以非常方便的实时控制s a a 7 1 1 1 的 工作状态；利用m c b s p 配合d m a ，软件编程实现u a r t 功能，无须专门的硬件 u a r t ，从而节约了电路板空间。 然后，v c 5 5 0 9 a 具有1 4 4 引脚l q f p 封装，非常方便器件安装、调试。 最后，v c 5 5 0 9 a 的功耗小。工作在2 0 0 m h z 主频下时，消耗仅1 0 0 m w ，非常 适合嵌入式应用。 由于d s p 在进行视频图像压缩时中间数据量非常大，片上存储器空间不能满 足运算要求，因此需要对d s p 进行外部存储器扩展。在这里我们选用一个4 m 1 6 位的高速s d r a m 以及一个2 5 6 k x1 6 位的f l a s h 扩展存储器。f l a s h 芯片用于 固化d s p 上电自举用的程序。系统上电时，系统自举程序将系统程序从f l a s h 内 装载入到程序空间运行。s d r a m 影射为数据空间。 视频压缩硬件平台采用乒乓式缓存来控制图像的采集和帧缓存。乒乓式缓存 的设计思想是，当对其中一个存储器a 进行写操作的时候，对另一存储器b 进行 读操作将数据送入运算单元进行处理，如果存储器a 的写操作已经完成，存储器 第二章系统方案设计 1 3 b 的读操作也已完成，则对存储器b 进行写操作，对存储器a 进行读操作，如此 交替进行，可以保证数据在不停地传输进来的同时能得到及时的处理，不会造成 数据丢失。我们选择相对便宜，且存取时序简单的高速大容量s r a m 作为帧存储 器。这里使用的两个s r a m 的容量都为5 1 2 k x1 6 b ，每一个s r a m 足以存储一帧 5 7 6 7 2 0 x1 6 b 的y u v 格式的图像数据。 视频压缩硬件平台上电后，d s p 通过1 2 c 总线初始化s a a 7 11 1 ，设置其视频 采样、量化的参数，以及其输出数据流格式。f p g a 控制帧缓存模块将视频图像数 据按帧缓存下来并进行去隔行预处理。帧缓存模块把视频图像数据的一帧数据缓 存下来并进行预处理之后，会给d s p 一个中断信号，通知d s p 一帧图像数据已经 准备好了。d s p 将一帧图像数据通过d m a 方式读入片上存储器进行处理。图像数 据经过系统压缩编码后，压缩编码将通过r s 2 3 2 异步串行口或u s b 接口传输至用 户端。视频压缩硬件平台主要研究使用于低比特率信道的视频压缩编码，因此经 过压缩编码的图像数据量会很少，完全可以由r s 2 3 2 异步串行接口来传输。u s b 主要用于调试阶段中的数据存取。其中，u s b 接口是d s p 芯片自带的，支持u s b 1 1 传输协议；r s 2 3 2 异步串行口是通过软件编程d s p 片上m c b s p 0 来模拟实现的。 1 4 基于d s p 的嵌入式视频压缩硬件平台的设计与实现 第三章图像采集和帧缓存的实现 本章将首先介绍p h i l i p 公司的高性能视频输入处理芯片s a a 7 1 11 的功能特性 和工作原理，并分析在v p o 输出y u v 4 ：2 ：2 格式时的信号时序特点。然后我们在 乒乓操作的基础上，设计了一种能保证图像数据帧完整性的乒乓式缓存用于采集 和缓存图像数据。本章重点研究乒乓式缓存的实现及其功能仿真。 3 1 1s a a 7 1 1 1 简介 3 1s a a 7 1 1 1 功能特性 s a a 7 1 1 1 是一款广泛应用于桌面视频、多媒体、数字电视、图像处理、视频 电话的高性能视频输入处理芯片1 4 。s a a 7 11 l 采用3 3 v 的c m o s 电路，高度集成 了模拟前端和数字视频编码器。它包括两路模拟视频处理通道，一个时钟产生电 路，一个自动箝位和自动增益控制电路，一个多制式数字解码器，一个亮度对比 度饱和度控制电路，以及色彩空间矩阵。它的解码器基于行锁定时钟解码的原理， 能将p a l 制和n t s c 制电视信号分解成c c i r 一6 0 1 格式的兼容色彩格式。 s a a 7 l l l 主要有以下特点： ( 1 ) s a a 7 1 1 l 共有四路模拟视频信号输入端，可以为4 路c v b s 或2 路s 视频( y c ) ，可以编程选择四路视频输入中的一路或者两路组成不同的工作模式。 在芯片内部有两路模拟视频信号处理通道，包括箝位电路、模拟信号放大器、抗 混叠滤波电路和8 位a d 。可进行静态增益控制或自动增益控制。 ( 2 ) 能实现行同步、场同步信号的自动监测、分离，并且行同步信号的起始 位置与结束位置均可根据需要进行编程控制。 ( 3 ) 场频5 0 h z 或6 0 h z 自动检测，并在p a l 制和n t s c 制之间自动切换， 并能对不同输入制式的亮度信号、色差信号进行处理，并实现亮度、色度和饱和 度的片内实时控制。 ( 4 ) 1 2 c 总线接1 ：3 ，可以对片内寄存器进行设置，方便用户设置自己所需要 的功能。 ( 5 ) s a a 7 1 1 1 输出为1 6 位v p o 总线，支持不同位宽的数据输出格式。支持 输出格式有：1 2 位y u v 4 1 1 、1 6 位y u v 4 ：2 ：2 、8 位c c i r 6 5 6 、1 6 位5 6 5 r g b 和 2 4 位的8 8 8 r g b 。 ( 6 ) 有片内时钟产生电路，通过数字p l l 锁定行同步。输出信号提供采样时 第三章图像采集和帧缓存的实现 钟、行同步、场同步等多种同步信号。 3 1 2s a a 7 1 1 1 工作流程 s a a 7 1 1 1 的功能框副2 j 如图3 1 所示。当视频信号从模拟输入端输入后，首先 进行模拟信号处理，其中一路通过缓冲器输出到a o u t 端用于监视，另一路经a d 后产生数字色度信号和亮度信号分别对它们进行处理。经过处理的亮度信号y 一 路送到色度信号处理电路，再经过综合处理后产生u 、v 信号，经r g b 色彩变换 矩阵产生r g b 信号，然后根据控制寄存器设置，从v p o 输出相应格式的数据； 另一路亮度信号y 进入同步分离电路，由数字p l l 产生行同步信号h s ，场同步 信号v s ，同时产生与h s 锁定的时钟信号l l c 和l l c 2 。l l c 频率为2 7 m h z ，l l c 2 是它的二分频信号。 图3 1s a a 7 1 1 1 功能框图 s a a 7 1 1 1 有a l l l 、a 1 1 2 、a 1 2 1 、a 1 2 2 这4 路模拟信号输入，2 个模拟信号主 通道由输入端切换器，箝位电路、模拟放大器、抗混叠滤波器、视频c m o sa d 转换器组成。 1 6 基于d s p 的嵌入式视频压缩硬件平台的设计与实现 色度信号处理电路的工作流程如图3 2 所示：从a d 出来的8 位数字色度信 号送到正交平方解码器的乘法输入端，在这里使用了2 个副载波信号，两副载波 信号的相位偏移为9 0 0 ，频率则由当前所输入视频信号的色彩制式所决定。从平方 解码器出来的色差信号经过低通滤波来获得所需的带宽的色差信号。然后色差信 号再被送入亮度、对比度和饱和度控制电路以完成诸如a g c ，色度信号幅度匹配， 亮度对比度、饱和度控制，限制y u v 在1 1 4 4 范围内工作。亮度信号y 被送到色 度信号处理器中，和经过增益控制及延时补偿以及梳状滤波后的u v 信号一起进 入r 图3 2 色度电路工作过程 亮度信号处理电路的工作流程是：8 位亮度信号( c v b s 、s v h s 或h 1 8 格式) 被送入可切换的前置滤波器，在此补偿高频分量的损耗。色度信号陷波器( 中心 频率4 4 3 或3 5 8 可选) 可消除大多数色彩载波信号，因此，对s v h s 、h 1 8 格式 的信号必须是旁通的。亮度信号的高频分量能够在两个具有可选传输特性的带通 滤波器中得到增强( 通过1 2 c 总线控制锐度增加) 。然后此信号与原始信号( 未增 强高频分量) 进行叠加以产生y 信号供上面的色度信号处理电路使用。 经过预滤波后的亮度信号的另一路将用于同步处理。其主要作用是进入带宽 为1 m h z 的同步滤波器来分离同步信号。同步信号分离出来后，经过相位检测进 入环形滤波器，然后经过计数器和场处理器来产生相应的行同步信号h s 、场同步 信号v s 。 3 1 3s a a 7 1 1 1 控制寄存器 s a a