（通信与信息系统专业论文）基于vme总线的视频目标跟踪系统的研究与实现.pdf

摘要 摘要 视频目标跟踪是近年来发展起来的一种新型跟踪技术，它融合图像处理、自 动控制、信息科学等技术，是一种能从图像信号中实时的自动识别目标，提取目 标位置信息，自动跟踪目标运动的技术。随着高性能的数字信号处理器和现场可 编程门阵列的出现，视频目标跟踪技术的实用性和灵活性等优势都逐渐凸现出来。 本文首先介绍了基于e 总线的视频目标跟踪系统的设计方案和视频目标跟踪 系统中各硬件模块的设计实现方法，然后详细介绍了基于v e r i i o gh d l 的可编程逻 辑设计以及系统级设计，其中包括v l 怔总线接口、乒乓操作、l v d s 、s v g a 显 示等，实现了v m 巳总线在视频目标跟踪系统中的应用。本论文所作的工作即是基 于f p g a 设计技术和v m e 总线技术的视频目标跟踪系统的设计与实现。 关键字：视频目标跟踪图像处理d s pf p g av m e 总线 a b s t r a c t a b s t r a c t 3 d e 0o b j e c tt r a c “n gi san e w 仃a c k i l l gt c c t m o l o g yd e v e l o p e d 血r e c e n ty e 缸s n c o m b i i l e st l l e t e c h n o l o g yo fi m a g ep r o c e s s i n g ，a u t o m a t i cc o n 仃o la r l di 1 1 f o r n l a t i o n s c i e n c e ni st h et c c l l i l o l o g yt 0a u t o m a t i c a l l yt o g e t l l e rt or e c o 鲥z et a 唱e t si n 丘d mi 1 1 1 a g e s i 弘a li nr e a l 恤n e ，锄dg e tt a r g e t s p o s i t i o nt ot m c ki t sm o v e m e n t 砌t l lt h e 印p e a 瑚c e o fh j 曲p e 而加觚c ed i g i t a ls i 印a ip r o c c s s o r sa n df i l e dp r o g r a i 砌a b l eg a t ea m y ，t h e a 蛔1 t a g e sl i k ep m c t i c a b i l i t ) ra 1 1 df l e x i b i l 时o fv i d e oo b j e c t 缸a c k i n gt e c l l i l o l o g yh 硒 e m e r g e d t h j sp a p e rf i r s ti n 仃o d u c e st h ed e s 咖s c h e m eo ft 1 1 ev i d e 0o b j e c t 仃a c “n g s y s t e mb 船e do nv m eb i l s ，趾dt h ei n l p l e m e n t a t i o nm e t i l o d so f e a c hf 吼c t i o n a li n o d u l e a i l dt h e i li ti n 仃o d u c e st l l ed e s 硒o f f p g a 衄ds y s t e ml e v e lb a s e do nv e r i l o gh d li l l d e t a i l ，i i l c l u d i n gv m eb u sc o n n d l ，p i n g p o n go p 删i o i l ，l 、，d s ，t l l ef o 肌o fs v g a s c h e d u l i n ga n ds oo n ，a n di i i l p l e m e n t su s i n gv m eb l l si i lv i d e 0o b j e c tt m c k i l l gs y s t e m m ys t u d i e so f 伽sp a p e ra r et i l ed e s i 印a n di l n p i e m e n t a t i o no fv i d e 0o b j e c tt r a c “n g s y s t e mb 邵e do nt h et e c h l l o l o g yo ff p g ad e s i g na n dv m eb 啷 k e ) 哪o r d ： v i d e oo b j e c tt r a c i 【i n g i m a g ep m c e s s i n g d s pf p g a eb u s 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：敢日期2 丛i 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。( 保密的 论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名：查趑 导师签名：j 盟日期! 篁：! ：z 第一章绪论 第一章绪论 1 1 视频目标跟踪的产生与发展【l 】 图像跟踪能从图像信号中实时的分离目标，提取目标位置信息，自动跟踪目 标运动。图像跟踪实际上是机器人视觉在军事上的特殊应用。它是在特定条件下 人工智能技术的具体应用。它的发展是随着电子技术、集成电路、计算机的发展 而发展的。 视频目标跟踪是2 0 世纪8 0 年代发展起来的一种新型的图像跟踪技术，它把 图像处理、自动控制、信息科学有机地结合起来，形成了一种能从图像信号中实 时的自动识别目标，提取目标位置信息，自动跟踪目标运动的技术。视频目标跟 踪的实用性很强，它的发展和现在高速计算机的发展紧密相连的。 1 9 9 1 年，美军在海湾战争中大量使用了电视图像制导和武器控制系统，从电 视台播放的美军飞机攻击地面目标的画面中常常可以看到带有十字线和小方框标 志的黑白电视图像，这正是视频目标跟踪系统中监视器上的图像。一旦操纵员用 小方框( 叫做“跟踪窗”) 套住了目标，按下跟踪开关，则跟踪系统就自动跟踪瞄 准目标，把目标的位置数据输出给火控计算机，操纵员随时可以向目标进行攻击。 视频目标跟踪系统工作时不向外辐射无线电波，不会被敌方的电子侦察装置 发现。它也不会受到敌方的电子干扰装置施放的干扰所影响。由于从电视监视器 上能直接看到目标图像，因而能可靠地辨别目标、识别敌我。 这就是说，隐蔽性、直观性、抗电子干扰性是视频目标跟踪系统的突出优点。 这在军事应用上是极其宝贵的。 视频目标跟踪和传统的点跟踪制导方式相比，具有如下特点：隐蔽性、直观 性、抗干扰性，能选择最佳攻击角度和攻击点；并且视频目标跟踪系统工作是被 动式的，不向外辐射无线电波和各种光波，因此不会被敌方的电子侦察装置和光 源告警装置发现，也不易被敌方施放的干扰装置所影响；由于电视监视器上能直 接看到目标图像，更能可靠地辨识目标、识别敌我。特别是现在红外图像传感器 的应用，对分辨目标真假、看透烟雾遮蔽更为有效。使用这种跟踪方式的武器威 力倍增，是目前各国积极发展和应用的一种主流跟踪方式。 早期d s p 的运算能力不够强大，跟踪的效果( 体现在运算速度、处理图像大 小、背景复杂程度等方面) 也就难以达到人们的期望。近年来随着微电子技术的 发展，d s p 的运算功能大大提高，d s p 做一次m a c ( 一次乘法和一次加法) 的时 问已由最初的4 0 0 i l s 降低到1 0 n s 以下，处理能力提高了几十倍。d s p 片内r a m 也大大增加，有的甚至达到2 m b y t e s 。目前硬件研究的热点被称作未来数字电路系 2 基于旺总线的视频目标跟踪系统的研究与实现 统基石的f p g c p l d 技术也被引入视频目标跟踪系统的设计中，大大简化了电路 规模，减少了投资，缩短了开发周期。在这两项技术的影响下出现了d s p + f p g a 组成的实时信号处理系统，其中软件实现灵活的d s p 负责主要的运算工作，f p g a 则作为协处理器负责预处理以及控制工作。国内在这方面已有许多单位做过这样 的应用，如北京理工大学朱玉文等人2 0 0 3 年提出的t m s 3 2 0 c 3 2 p c m 6 0d s p ( 6 0 m h z3 0 0 m i p s ) + x c 2 s 1 0 0 p q 2 0 8 f p g a ( 1 0 万门) 方案l ”，军械工程学院王 永仲等人提出的基于1 m s 3 2 0 c 6 2 0 3d s p ( 2 5 0 m h z 2 0 0 0 m i p s ) + v e r t e x 3 0 0 e ( 3 0 万门) 方案l 等。 1 2 视频目标跟踪系统的原理组成】 视频目标跟踪系统由摄像头、图像监视器、图像信号处理电路、伺服机构等 部分组成。通常在成像跟踪系统中还含有图像识别部分。常见的视频目标跟踪系 统结构框图如图1 1 所示。 图1 1 视频目标跟踪系统结构框图 下面分别介绍视频目标跟踪系统中的各个组成部分： 1 摄像头 摄像头是对景物摄像的装置，是系统所处理信息的来源。根据系统指标不同 选用不同的摄像头。 2 监视器 监视器是用来显示从摄像头采集进来的图像，操作人员可以直观的看到目标 的情况和跟踪的效果。监视器通常采用模拟信号处理方式成像，而处理和计算单 元均采用数字信号处理方式，因此需要通过a d 变换器将摄像头摄取的时序模拟 信号转换成数字信号后再进行处理。a d 变换器的容量及速度视摄像头的每帧总 像素数、总灰度数以及帧速而定。监视器还可同时显示跟踪系统的控制信号状态 和跟踪状态，以便操作者能够监视跟踪系统的工作状态并及时做出调整。 3 预处理器 预处理器根据系统的要求对图像信号进行预行处理，改善图像质量或减小运 第一章绪论 算量，提高目标的对比度，抑制噪声和干扰。主要包括： ( 1 ) 噪声抑制：有两种噪声抑制方法一频域滤波与空域平滑。频域滤波 是针对图像中噪声在频谱中的分布选取不同滤波器从而滤除噪声；空 域平滑是选择多幅图像或一幅图像中的相邻若干点然后取平均值。在 本文介绍的跟踪系统中我们采用了空域平滑去噪技术； ( 2 ) 图像变换：它对于解决大计算量和提高计算速度有较大的使用价值。 常用的变换方法有f o l l r i e r 变换、k l 变换、d c t 变换等； ( 3 ) 图像增强：它可以扩展对比度，增强图像对象的边缘，消除噪声或保 留图像中感兴趣的某些特性而抑制另一些特性。图像增强对于人的视 觉而言，可以让观察者得到直观清晰且适于分析的图像，而对于自动 分析的机器系统，其结果将直接有助于机器系统对景物的感知和理解。 增强技术包括：灰度变换、直方图变换、邻域平均法、低通滤波、中 值滤波、高通滤波以及同态滤波等； ( 4 ) 图像校正：既有图像的几何校正，如镜头的像差、中心的偏移、扫描 线非线性等，也有模拟图像进行数字化时产生的量化误差的补偿。 4 目标定位单元 目标定位单元将从摄像头采集进来的图像信号进行自动阈值选取、图像分割、 模板提取、图像匹配、特征提取、数据融合等一系列处理和计算得出目标在屏幕 中的位置。 ( 1 ) 图像分割与匹配 图像分割是为了把目标从背景中分开。它是后续其它处理的基础，是提高系 统跟踪性能的关键。这里采用阈值法进行自适应分割，它可获得完整的目标信息。 图像匹配是用事先得到的目标图像模板，在整幅图像中寻找与之近似的图像区域， 并返回其位置信息。此方法适用于目标较大或目标与背景灰度相差不大、边界模 糊的情况。 ( 2 ) 目标特征提取 采用图像分割等方法可从图像中提取出目标的长、宽、高、灰度等信息，进 而可求出高宽比、灰度比、目标形状等信息。 ( 3 ) 目标识别 利用( 2 ) 中提取出来的目标特征，结合本系统用于机载系统中目标的实际情 况，制定出一些识别的原则，当符合这些原则时才被认定为目标。 5 跟踪控制单元 跟踪控制单元用来对经目标定位单元处理后提取出的目标保持跟踪。它包括 对目标运动状态和位置进行预测，当目标被遮挡进行记忆跟踪，按操作员指定的 跟踪模式进行跟踪，多种数据进行融合，调整位置偏移量，向伺服系统输出一定 基于v 总线的视频目标跟踪系统的研究与实现 偏差量等。 目标定位可根据目标特征及战场实际情况采用手动捕获或利用目标尺寸、位 置、运动轨迹等参数进行自动捕获。跟踪方式有边缘跟踪、矩心跟踪、形心跟踪、 相关跟踪、记忆跟踪等多种方式。对于有界目标或小目标( 目标尺寸为几个像素) ， 采用矩心跟踪和形心跟踪效果比较理想；对于无界目标或背景复杂且尺寸较大的 目标，相关跟踪比较理想。在目标被遮挡时可采用记忆跟踪对目标进行预测。在 实际应用中，通常将多种跟踪方式综合起来使用。跟踪波门有固定波门和自适应 波门两种方式，其中自适应波门滤除背景干扰能力强，但也带来了跟踪系统带宽 下降的问题。实际应用中，应根据系统指标合理选区自适应波门的尺寸。 6 伺服机构 由跟踪处理器送来的目标偏差量，经伺服机构中的控制处理器处理，转换成 所要求的控制信号，驱动伺服机构跟踪目标。 伺服平台通常是一个可在俯、仰两个方向转动的两轴电机驱动平台，电视摄 像头安装在平台上。它可以直接将视频跟踪系统输出的模拟位置误差信号连接到 自己的模拟控制接口，也可以接收视频跟踪系统输出的数字位置误差信号。电视 摄像头和其它光电传感器可以和雷达安装在同一平台上，也可以和其它光电传感 器一起构成独立平台。 7 控制接口和操作人员 操作人员通过控制接口可以人为的强制设定跟踪方式、跟踪波门大小等。而 跟踪系统通过读入控制接口的控制信息相应的改变跟踪方式。 1 3v i 咂总线介绍及当前国内外发展动态【5 1 【6 1 咂( v e r s am o d l l l ee 啪c a r d ) 总线由m o t o r o l a 的v e r s a 总线发展而来，而 v e r s a 总线是m o t o r o l a 公司于1 9 7 9 年设计的一种支持其m c 6 8 0 0 0 c p u 的总线。 1 9 8 1 年，m o t o m l a 、m o s t e k 、s i 印e t i c s 及n l o m s o n 等公司共同宣布将v m e 总线定 为公共区域内的一个非专有标准，从而成为国际上最早提出的3 2 位标准总线，并 得到越来越多的支持。1 9 8 3 年，i e e e 提出了v m e 总线标准建议。1 9 8 6 年，v m e 总线正式被i e c 制定为总线规范。1 9 8 7 年，a n s i 协会和i e e e 共同制定了v 总线标准( i e e e l o l 4 1 9 8 7 ) 。 v m 巳总线是一种高性能、并行方式、实时性好、可靠性高及机械性能和抗电 磁干扰能力强的一种系统总线，可用于多c p u 、高速数据传输、实时性要求高和 电磁干扰严重的场合，由于其多方面的优越性目前多用于工控机、仪器仪表、实 时处理和军事通信等众多领域。经过多年的改造升级，v m e 总线系统已经发展的 非常完善，围绕其开发的产品遍及了工业控制、军用系统、航空航天、交通运输 第一章绪论 和医疗等领域。时至今日，v m e 总线在高性能背板总线市场上已占有主导地位。 v m e 总线标准包括机械标准和电气标准两部分，前者规定了诸如机柜、底板、 插件板等的物理尺寸，后者则描述了总线的工作情况、每项事务处理所涉及的功 能模块以及控制它们行为的规则。 v m e 机械构架中的主要部分为底板，是一个印刷电路板。它的大小有三种型 号：3 u ( 1 6 0 m m x l o o m m ) 、6 u ( 1 6 0 胁2 3 3 衄) 和9 u ( 3 6 7 i i l n l x4 0 0 m m ) 。 根据v m e 总线标准，v m e 系统中有三种连接器，它们分别是p o j 0 、p 1 j 1 和p 2 j 2 ， “p ”和“j ”分别代表了p u 飓和j a c k 连接器。p l 以1 和p 2 姐2 连接器有9 6 个管 脚，排列成三排，每排3 2 个管脚；p o ，j 0 连接器则有9 5 个管脚。3 u 型背板只具 有p 1 j 1 或p 2 j 2 连接器，而6 u 型背板则同时具有p 1 j 1 和p 1 2 j 2 连接器。最常 用的是6 u 主板。底板上配置了+ 5 v 和1 2 v 电源，为每个主板供电。 尽管自最初规范公布以来，v m e 总线标准有了很大的发展，但是这些早期的 主板仍可与最新技术兼容。 1 9 9 5 年，v s 0 ( v i t as t a n d a r do r g a n i z a t i o n ) 批准了v m e 总线规范的修订版， 即v m e 6 4 ，从而在机械和电气方面为设计者提供了最初标准的超集。该修订版把 6 u 板的数据宽度和寻址范围扩大到了6 4 位，带宽增加了一倍，达到8 0 m b p s 。该 修订版还修改了总线协议，以实现循环重试和增加了自动“即插即用”功能。v s 0 还批准了一种低噪声连接器系统，但却保证符合最初i e e e l 0 1 4 1 9 8 7 规范的主板 无需进行修改就可以使用。 1 9 9 8 年，v s o 又批准了另一个超集v m e 6 4e x t e n s i o 璐( v m e 6 4 x ) ，以 缓解总线上的拥塞现象并增加i 幻引脚。v m e “x 增加了一个新的1 6 0 脚连接器， 用以代替9 6 脚底板连接器。它还在现有连接器之间增加一个9 5 脚p 0 j 0 连接器， 从而可用更多的5 v 直流电源引脚和新的3 3 v 电源引脚来提高底板的供电能力。 总线带宽也再次加宽，而两个边缘总线循环则把数据速率提高到1 6 0 m b p s 。 v m e 6 4 x 还增加了更多的用户自定义i o 脚、后传送模块、弹出手柄和初步的“热 插拔”功能。v m e 6 4 x 的新型底板连接器很有意思，因为它既可以向后兼容，又 可以向前兼容。 1 9 9 9 年，v i t a ( v m eb u si n t e r l l a i i o n a lt r a d ea s s o c i a t i o n ) 批准了2 e s s t 传输 协议，这是一种信源同步传输协议，采用的信号调制技术能够在总线的每个处理 器周期传输两比特数据，相当于8 倍总线带宽，这样数据传输性能大为改进。它 取消了剩余的数据选通边缘中的一个，并且把理论数据速率提高到了3 2 0 m b p s ， 与v m e 6 4 相比，实际速度将达到原来的8 倍。 v m e 技术目前的优势在于多年的技术积累，其完备的规范和得力的技术支持 能满足大部分客户的具体要求。此外，它的模块性也是一个非常大的优势，因为 对于很多的嵌入式系统来说，加入额外的i ，0 是常有的事，而v m e 能很好的满足 6 基于v m e 总线的视频目标跟踪系统的研究与实现 这一特点。v m e 提供了2 1 个扩充插槽，而且新加入的模块并不影响系统的整体 性能。 不过，v m e 毕竟是八十年代的技术，很多用户对v m e 在带宽方面的进展不 太满意。因为在这个海量数据的时代，带宽是一个压倒性的指标。不过，厂商们 并未对v m e 丧失信心，他们在想尽一切办法来延长v m e 的寿命。s b s 公司推出 的v x s 标准和v i t a 开发的v p x 标准就是一种新的尝试。v x s 为引用交换结构 创造了条件，而v p x 则将开关结构信号速率提升到了6 2 5 g b s 。与此同时，许多 v m e 总线背板开始使用p m c ( p c im e z z 卸j 1 1 ec a r d ) 插槽，以便能直接使用p c i 板卡。制造商们还吸取了p c i 板卡的构造因素，来让v m e 板卡跟上行业的步伐。 v m e 的成就是众所公认的，但要想在未来的l o 年重新焕发活力，制造商们还要 继续的努力。对于这种非常有弹性的技术，悄然的衰落可能不会是多数人所愿意 看到的。 1 4 啪总线的选择考虑 v m e 总线由于其可观的市场需求量和应用前景，许多研究机构和生产商投入 大量人力物力进行v m e 总线技术的进一步研究，这使得v m e 总线处于不断发展 中。 v m e 总线在我国军事中应用非常广泛。纵观v m e 总线的发展，国外已经更 新换代了好几代了。经过反复研究和论证，视频目标跟踪系统采用v m e 总线作为 底板总线。 1 5 毕业设计的主要工作 1 基于f p g a 的非致冷式红外成像系统的设计 参与完成原理设计和硬件电路设计。 2 基于v m e 总线的视频目标跟踪系统的研究与实现 ( 1 ) 根据设计要求，参与完成系统的硬件设计，各种元器件的选择，完成 系统原理图的设计； ( 2 ) 参与完成系统第一版的p c b 设计，完成后续版本的p c b 版图的设计修 改； ( 3 ) 完成视频目标跟踪系统元器件的焊接，参与完成硬件电路的调试； ( 4 ) 完成可编程逻辑设计( 如内部p l l 和f i f 0 、乒乓读写操作、s v g a 时 序产生、i d s 方式传输、v m e 总线控制等) ，实现了图像信号的处理、 显示，同时还实现了v 加b 总线主、从设备间的数据通信等；配合d s p 第一章绪论 7 调试整个系统； ( 5 ) 完成系统验收测试，提供后期技术支持。 3 基于1 m s 3 2 0 c 6 2 0 3d s p 的实时图像跟踪系统的设计与实现 参与完成硬件电路设计、元器件的焊接、f p g a 设计以及系统调试等。 本文首先介绍了基于v m e 总线的视频目标跟踪系统的设计方案、调试以及性 能测试；其次针对机载系统，详细介绍了v m e 总线在视频目标跟踪系统中的应用。 本文的工作侧重于f p g a 的设计和v m e 总线接口的设计。 第二章视频目标跟踪系统的硬件设计 第二章视频目标跟踪系统的硬件设计 2 1 视频目标跟踪系统的设计方案 9 视频目标跟踪系统的硬件结构是整个系统的基础，因此它的设计将直接决定 着整个跟踪系统的性能好坏。一个完善成熟的系统，硬件的稳定是前提。 在视频目标跟踪系统总体设计时，解决好完善的跟踪算法和跟踪实时性要求 之间的矛盾，是进一步提高跟踪系统有效性和可靠性的关键。根据实时性、可靠 性及模块化的要求，同时由于图像数据量较大，需要大容量的图像帧存体，这样 使视频目标跟踪系统的复杂度提高，也使视频目标跟踪系统的设计难以小型化。 系统硬件采用d s p 十f p g a + v m e 总线的结构，选用1 r i 公司高端的数字信号处理芯 片t m s 3 2 0 c 6 2 0 3 做主处理器，使用双总线并行技术，运行速度高，处理数据能力 强；选用舢t e r a 公司的低成本、高性能的现场可编程门阵列芯片e p 2 c 3 5 ，模块化 各个功能模块，完成时序控制和各接口模块之间的控制，使系统的灵活性有了显 著提高；选用v m e 总线，可以满足跟踪系统数据实时采集、高速处理大量数据的 要求，有利于后续功能的扩展。 2 1 1 视频目标跟踪系统主要技术指标 1 跟踪系统技术指标： ( 1 ) 图像分辨率7 6 8 5 7 6 帧； ( 2 ) 图像采样灰度：8 b i t s ； ( 3 ) 输入视频信号：电视或红外摄像头输出的p a l 制式正极性黑白电视信 号，v p p = 1 v ； ( 4 ) 搜索跟踪范围：7 6 8 5 7 6 ； 2 跟踪系统接口指标： ( 1 )电源：+ 5 v ，1 5 v ： ( 2 ) 机械接口：由于采用v m e 总线标准的6 u 型背板，连接器有p o 、p 1 、 p 2 ，其中p o 头为9 5 d i n 插头，p l 和p 2 头选用9 6 d i n 插头。 3 印制电路板尺寸：l 块2 3 3 m m 1 6 0 m m 矩形。 1 0 基于v m e 总线的视频目标跟踪系统的研究与实现 2 1 2 视频目标跟踪系统总体设计【7 】【8 】【9 在跟踪系统总体设计时，根据实时性、可靠性及模块化的要求，系统选用高 端数字信号处理芯片t m s 3 2 0 c 6 2 0 3 作为主处理器，现场可编程门阵列芯片e p 2 c 3 5 实现图像信号预处理、采样控制、字符叠加、s v g a 时序信号的产生及v m e 总线 控制等功能。跟踪系统采用d s p 的e m i f 和m 双总线并行技术和模块化设计 结构。视频目标跟踪系统构成方案总体框图如图2 1 所示： 图2 1 视频目标跟踪系统总体框图 视频目标跟踪系统由t v 或f l i r 传感器输入队l 制视频模拟信号，经钳位、 预放、a ，d 变换器后转换为1 2 b i t s 灰度的数字图像信号，送入图像预处理单元，每 像素采样周期为6 4 m 。 采样后的数字图像信号以1 5 6 2 5 z 的时钟速率通过硬件流水线滤波电路， 完成3 3 的空域平滑滤波，去除噪声和脉冲干扰。滤波模块由f p g a 产生，实现 实时在线滤波。 一路滤波后的数字图像信号进入f p g a 内部产生的异步f i f o ，在数据达到半 满时产生中断通知d s p 读取数据存入其内部r a m 中。d s p 内部划分两个区域， 可以保存两场图像，交替存储和处理。 1 m s 3 2 0 c 6 2 0 3 数字信号处理器作为主运算器，主要完成对图像的检测跟踪、 通过f p g a 完成v l e 总线数据指令的处理和输入输出等。 字符处理控制完成跟踪系统输出误差、跟踪模式、跟踪状态等信号的叠加和 第二章视频目标跟踪系统的硬件设计 显示。输出的字符叠加信号分为两路：一路叠加到模拟电路中，在监视器上显示； 另路叠加到s v g a 信号中，在c r t 显示器上显示。 另一路滤波后的数字图像信号经f p g a 的控制轮流存储到两片帧存体中，由 f p g a 根据s v g a 信号的相应要求产生s v g a 显示所需的行、场同步信号，数字 r g b 信号在行、场同步信号以及其它控制信号的作用下输出。像素时钟、数字i m b 信号和行、场同步信号经过l v d s 显示接口( 0 p e nl d i ) 转换为多路差分对信号， 实现高速、远距离传输，然后在接收板上接收这些信号，恢复成显示所需的模拟 r g b 信号和行、场同步信号，并在c r t 显示器上显示。 另外，v m e 总线和d s p 之间通过f p g a 内部的v m e 总线控制模块实现数据 的传输、处理和响应。 本系统采用内同步结构，由同步分离电路产生行、场同步信号用于整个系统 的同步及标志线的产生。 f l 船h 用来存储d s p 程序，f p g a 将程序存储到相应的配置芯片里，保证系统 脱机运行。 2 2 视频目标跟踪系统的设计特点 在设计视频目标跟踪系统中，一方面，从跟踪稳定性和可靠性考虑，要求采 用比较复杂的识别算法和跟踪算法；另一方面，从实时性考虑，又要求各种复杂 算法在电视场扫描周期内完成。为此，我们选择t 1 公司高端的数字信号处理芯片 t m s 3 2 0 c 6 2 0 3 和a l t e r a 公司高性能的现场可编程门阵列芯片e p 2 c 3 5 来设计实现 视频目标跟踪系统。 1 选用t i 公司高端的数字信号处理芯片，提高了数据的处理能力【l 0 】【”】。 1 m s 3 2 0 c 6 x 系列的数字信号处理芯片，是美国1 1 公司于1 9 9 7 年推出的新一 代高端系列的d s p 。其中c 6 2 “c 6 4 x 为定点d s p 系列，c 6 7 x 为浮点d s p 系列。 c 6 x 系列采用了具有独立程序和数据总线的修正的哈佛总线结构，即一套2 5 6 位的 程序总线、两套3 2 位的数据总线和一套3 2 位的d m a 专用总线，并且内部数据存 储器以b l o c k s 和b a n k s 进行划分，从而大大提高了指令执行的并行度和数据存取 的并行度，提高了工作效率。使用t i 公司配合c 6 0 0 0 推出了世界上第一个效率可 达7 0 、8 0 的汇编语言级c 编译器，它产生的代码的平均效率是以往d s p 编译 器的3 倍。 t m s 3 2 0 c 6 2 0 3 是c 6 x 系列中的3 2 位定点数字信号处理芯片。其特点为： ( 1 )高性能定点d s p t m s 3 2 0 c 6 2 x ：4 3 3 3 1 1 s 指令周期；2 5 0 3 0 0 m h z 时钟 速度；每个指令周期执行8 个3 2 b i t s 指令；性能上达到2 0 0 0 - 2 4 0 0 m i p s 。 ( 2 )c 6 2 0 3 b 和c 6 2 0 2 g l s 球栅阵列( b g a ) 封装与c 6 2 0 4 g l wb g a 封装 1 2 基于v m e 总线的视频目标跟踪系统的研究与实现 在管脚上是兼容的。 ( 3 ) c 6 2 0 3 b 和c 6 2 0 2 b 的g n z 和g n y 封装在管脚上是兼容的。 ( 4 )采用v e l o c it ia d v a l l c e dv e r y - l o n g - h l s 1 l c t i o n w o r d ( v l l w ) c 6 2 xd s p 核：具有8 个独立的功能单元，其中6 个a l u ( 3 2 4 0 b i 乜) ，2 个 1 6 b i t s 1 6 b i t s 的乘法器，浮点系列支持i e e e 标准单精度和双精度浮点 运算；专用存取结构，3 2 个3 2 b i t s 通用寄存器；指令打包技术，减小 代码容量；l o o 条件指令。 ( 5 ) 指令集特征：字节寻址( 8 16 3 2 b i t sd a 诅) ；8 b i t s 溢出保护；饱和度； 位域扩展、置位、清零；位计数；标准化。 ( 6 ) 7 m b i t s 片上s r a m ：3 m b i t s 作为内部程序存储器高速缓冲存储器( 9 6 k 3 2 b i t s 指令) ；4 m b i t s 作为内部数据存储器( 5 1 2 k b ”e s ) 以2 块2 5 6 k b y t e s 形式组成。 ( 7 ) 3 2 m b i 乜外部存储器接口( e m i f ) ：提供与同步存储器如s d r a m 或 s b s r a m 的无缝接口；提供与异步存储器如s r a m 或e p r o m 的无缝 接口；5 2 m b y t e s 可寻址的外部存储器空间。 ( 8 ) 四通道的直接存储器存取( d m a ) 控制器。 ( 9 )内置灵活的p l l 锁相时钟电路。 ( 1 0 ) 3 2 m b i t s 扩展总线( l l s ) ：提供与通用p c i 桥接芯片的无缝“氐缝接 口；提供与通用同步或异步微处理器总线的无缝低缝接口；主从模式； 提供与同步f i f 0 s 和异步外围设备的无缝接口。 ( 1 1 ) 三个多通道缓冲串口( m c b s p s ) ：提供与t 1 e 1 、m v m 、s c s a 协议 的直接接口；兼容s t 总线开关；每个多通道缓冲串口多达2 5 6 个通道； 兼容a c 9 7 ；兼容串行外围接口( s p i ) 。 ( 1 2 ) 两个3 2 b i t s 的通用计数器。 ( 1 3 ) 支持正e e 1 1 4 9 1 ( j t a g ) 边界扫描接口。 ( 1 4 ) o 1 5 u mc m o s 工艺，5 层金属处理；3 5 2 脚b g a 封装( g n z ) ，3 8 4 脚b g a 封装( g l s ) ，3 8 4 脚b c 徂封装( ( n y ) 。 ( 1 5 ) i o s 采用3 3 v 供电，内核采用1 5 v 供电。 早期的跟踪系统的设计鉴于d s p 的处理能力以及片内r a m 的容量多采用外 置帧存体。本跟踪系统由于采用了1 m s 3 2 0 c 6 2 0 3 d s p ，内部有5 1 2 k b y t e s 的r a m ， 因此充分利用内部空间把图像数据直接存储于d s p 内部，由于d s p 的读写速度很 快，而图像数据很慢，采用异步f i f o 能使低速设备和高速设备有机的结合，在异 步f i f 0 准备好数据后，d s p 集中读取。由于节省了外部帧存体，大大的降低了系 统复杂度，提高了系统的稳定性和数据的处理速度，也有利于系统的小型化。 2 选用a l t e r a 公司高性能的现场可编程门阵列，提高了系统的设计灵活性【1 2 j 。 第二章视频目标跟踪系统的硬件设计 本系统选用的可编程逻辑器件是舢t e r a 公司推出的高性价比的c y c l o n e i i 系列 中的产品e p 2 c 3 5 。c y c l o n e i i f p g a 是基于s t r a t i ) 【的9 0 岫工艺推出的低成本的 f p g a 。作为第二代c y c l o n c 系列，与第一代相比，c y c l o n ei if p g a 系列以极低的 成本实现了更大的容量，特性更加丰富。最大的c y c l o n ei i 器件的规模是c y c l o n e 的3 倍，其增加了硬的d s p 块，在芯片总体性能上要优于c y c l o n e 系列器件。 c y c l o n ei i 器件采用1 2 v 、9 0 i l i n 、低k 绝缘、全铜工艺，提供了4 6 0 8 到6 8 4 1 6 个逻辑单元，并具有一整套最佳的功能，包括嵌入式1 8 b i t s 1 8 b i t s 乘法器，专用 外部存储器接口电路，1 1 7 k b i t s 到11 2 5 k b i 乜的嵌入式r a m 块，锁相环( p l l ) 和高速差分l 能力。c y c l o n c 器件具有多达四个锁相环，四个时钟控制块，1 6 个全局时钟网络。p l l 的输出、c l k 管脚、d p c l k 输入管脚和c d p c l k 管脚都 可以直接驱动全局网络。每个器件支持多种i 0 标准，如l 、r d s 、l v p e c l 、s s t l 1 8 、 s s t l 2 、p c i 、p c i x 、l v t r l 、l c m o s 等。与c y c l o n e 器件类似，c y c l o n e 器件中也有用于实现高速存储器接口的d q d q s 延时电路。在支持高速差分接口 方面，c y c l o n ei i 器件也有较大的改善，其l v d s 发送端的数据速率可以支持 6 2 2 m b i 以，而接收端的数据速率可以支持8 0 5 m b i 体。 我们充分利用可编程逻辑器件的灵活性，实现了数字控制逻辑，完成了图像 数据的实时滤波、字符叠加、乒乓操作、s v g a 时序产生、v m e 总线接口控制等 功能。具体的可编程逻辑设计将在下一章中介绍。 3 采用乒乓操作，实现了数据无缝的处理。 由于d s p 内部数据存储器分为两块，而c p u 和d m a 分别访问这两块存储器 时不会发生冲突，所以我们可以将图像数据也分别存入这两块中，c p u 处理一块 存储空间图像数据时，d m a 向另一块存储空间搬移图像数据实现乒乓操作。其具 体控制由d s p 实现。 同样，本系统为了保证f p g a 接收的图像信号能实时的传输，保证显示的连 续性，我们使用了两片帧存体来交替存储图像数据。当一片帧存体接收图像数据 时，另一片帧存体将上一个周期接收到的图像数据发送出去，然后交换工作，实 现乒乓操作，如图2 1 中所示。其具体控制由f p g a 完成。 4 采用l 、r d s 传输，实现s v g a 信号高速、远距离的传输。 5 选用v m e 总线，提高了系统的可扩展性。 关于乒乓操作、l d s 传输、v m e 总线等将在后续章节中具体讨论。 1 4 基于v m e 总线的视频目标跟踪系统的研究与实现 2 3 视频目标跟踪系统的硬件设计 2 3 1 视频输入、同步分离及d 变换电路 视频输入为峰一峰值l v 的c c i rp a l 制视频信号，一路经钳位后至同步分离 电路分离出场同步信号、复合同步信号和奇偶场信号；一路经多级视频放大后至 d 变换器输入端，输出1 2 b i t s 的数字图像信号；另一路到视频输出放大电路，叠 加字符后输出到监视器上显示。电路结构框图如图2 2 所示。 射随器 号 图2 2 视频输入、同步分离及d 变换电路 视频信号带宽一般为5 m h z 。d 变换器输入电压要求为o 5 v 。这里采用增 益带宽积为1 5 m h z 的视频放大器，每级均为反相工作方式。两级放大后输出为正 极性电视信号，幅度为+ 5 v 。d 变换器采用1 2 b i 协、最高采样频率2 0 m h z 的器 件，采样频率为1 5 6 2 5 m h z 。采样后的数字化图像灰度分辨率是1 2 b i 协，像素时间 是6 4 i l s 。每场采样7 6 8 2 8 8 点，共计2 1 6 k 点。采样后的图像像素经滤波后进入 f p g a 内部f i f o ，然后再存入d s p 的内部r a m 。 2 3 2 视频输出及字符叠加电路 本系统视频输出主要分为两个方面，一个是模拟视频输入信号在叠加字符后 直接输出到监视器上显示；另一个是模拟视频输入信号经过前端模拟电路、d s p 和f p g a 的处理，以s v g a 信号的形式，通过o 咖l d i 接口输出后传输到显示处 理板上，然后在c r t 显示器上显示。 视频输出及字符叠加电路完成视频信号的输出，以及在视频信号上叠加波门 以及字符等相关信息。输入的视频信号经过放大叠加字符后输出到监视器上， f p g a 根据控制台的信息和运算结果在同步信号的控制下通过模拟加法器将波门、 控制信息等叠加到视频信号上。视频输出及字符叠加电路原理框图如图2 3 所示。 第二章视频目标跟踪系统的硬件设计 视频 图2 3 视频输出及字符叠加电路 2 3 31 m s 3 2 0 c 6 2 0 3 d s p 配置 输出 t m s 3 2 0 c 6 2 0 3 d s p 有u s 和e m i f 两条3 2 b i t s 外部总线。x b l l s 总线可用于 连接p c i 总线控制芯片、同步异步微处理器、主从控制器和同步f i f 0 和异步外 设等。这里连接了f p g a ，由f p g a 来产生一个异步f i f o ，同时l l s 也用来设 置d s p 工作模式。e m i f 接口用来连接同步和异步存储器，可寻址空间为5 2 m 。 e m i f 总线有4 个空间，本设计方案分配空间为： c e o 一用于d s p 与可编程逻辑器件之间的接口； c e l 一连接f l a s h 存储程序用于脱机工作加载程序； c e 2 - 空： c e 3 一空。 通过锁相环将外部晶振产生的3 2 m h z 时钟8 倍频，使得1 m s 3 2 0 c 6 2 0 3 d s p 工作在2 5 6 m h z 下。t m s 3 2 0 c 6 2 0 3 d s p 采用的是1 5 v 内核电压和3 3 v 的i 0 电 压，由一片t p s 7 0 4 4 8 供电。电源芯片t p s 7 0 4 4 8 的1 5 v 输出端最大可输出2 a 电 流，另一路3 3 v 输出端最大可输出1 a 电流，满足1 m s 3 2 0 c 6 2 0 3 d s p 对电源功率 的需要。 2 3 40 p e n l d i 接口电路【1 3 l d s ( l o w v o l 诅g ed i 仃e r e i n i a ls i g n a l i l l g ) 是一种低摆幅的差分信号技术，能 够满足今天高性能数据传输应用的需要。它使得信号能在差分p c b 线对或平衡电 缆上以几百m b p s 的速率传输，其低压幅和低电流驱动输出实现了低噪声和低功 耗。l v d s 标准已成为业界最流行的差分数据传输标准。 与兀l 、c m o s 、e c l 、p e c l 等标准相比，l v d s 具有许多优点：高速传输 能力；低噪声低电磁辐射；抗干扰能力强；低功耗；具有故障安全( f a i l s a f e ) 特性，确保可靠性；终端匹配方便；低成本等。这些特性使得l v d s 在需要高速 率和低功耗的场合，如计算机、通信设备、消费电子等方面得到了广泛应用。 在本系统中，滤波后的数字图像信号经f p g a 的控制轮流存储到两片帧存体 中，f p g a 根据s v g a 信号的相应要求产生s v g a 所需的行、场同步信号，轮流 1 6 基于v m e 总线的视频目标跟踪系统的研究与实现 从两片帧存体中读出数字图像信号，同时f p