（通信与信息系统专业论文）dsp在视频图像目标检测跟踪中的应用.pdf

哈尔滨工程大学硕士学位论文 捅要 由于数字计算技术及相应的信号处理技术的飞速发展，近几十年来数 字图像处理技术发展非常迅速，并在科学研究、工农业生产、资源的遥感 探测、医疗卫生、空间探索、航天探索等各个领域内应用越来越广泛。尤 其在现代战争里，图像处理技术极为重要。除了对算法本身有很高的要求 以外，其图像处理的速度是至关重要的。但是图像处理无论是在理论研究 还是在实际应用中，都需要图像处理系统。随着微机的普及应用，原来以 大型机、小型机的结构变成了以微机为主机的结构，微机图像处理系统由 此成为图像处理系统的主流。微机图像处理系统从机箱式结构发展为板卡 式结构，从低速处理发展为高速处理，而且在高速图像处理中也引入了 m m x s s e 技术，微机图像处理系统的这种高速发展，使得图像处理技术 的应用更加广泛。 本文设计了一个以d s p 为核心的快速检测跟踪系统，分别从硬件与 软件算法上对系统进行了详细介绍。另外还分别介绍了图像处理和图像识 别技术的发展与应用，d s p 技术的特性和应用。该系统由于采用最新图像 处理技术使用d s p 芯片和相关存储器器件来实现系统的功能，提高了 系统的实时性，降低了功耗，使系统的可靠性大大增强。在软件算法实现 上，采用了模板匹配算法，以实现更准确的目标检测跟踪。另外，在具体 实现时对算法进行优化，以提高系统的实时性。编程中采用t m s 3 2 0 c 6 0 0 0 的汇编语言，充分利用了c 6 2 0 2 的硬件资源及其强大的指令系统，代码执 行效率高。系统的硬件部分已调试完成，软件部分采用t i 的s i m u l a t o r 和m a r l a b 对程序进行调试，实现了算法的模拟和仿真。 关键词：微机图像处理；图像识别；d s p ；模板匹配；目标检测 哈尔滨工程大学硕士学位论文 a b s t r a c t a st h e r a p i dg r o w t ho ft h ed i g i t a lc a l c u l a t i o n st e c h n i q u ea n dt h e c o r r e s p o n d i n gs i g n a lp r o c e s s i n gt e c h n i q u e s ，d i g i t a lp i c t u r ep r o c e s s i n g t e c h n i q u eh a sav e r yg r e a td e v e l o p m e n ti nr e c e n ty e a r sa n da w i d en s eo fs o m e a r e a s ，s u c ha ss c i e n t i f i cr e s e a r c h 、a g r i c u l t u r a la n dm a n u f a c t u r i n gp r o d u c t i o n 、 r e s o u r c e s sr e m o t es e n s i n gp r o b e 、e a l t ha n dm e d i c a lc o m m u n i t y 、s p a c e e x p l o r a t i o n 、s p a c ep r o b i n ga n ds oo n e s p e c i a l l yi nt h em o d e r nw a r f a r e ，i m a g e p r o c e s s i n gt e c h n i q u e si sp a r a m o u n t e x c e p ti th a sag r e a tr e q u i r e ，t h er a p i do f i m a g ep r o c e s s i n gi sv i t a l b u tn om a t t e ri nt h et h e o r yr e s e a r c ho ri nt h ep r a c t i c a l a p p l i c a t i o n , i m a g ep r o c e s s i n gs y s t e m i sb o t h i m p o r t a n t w i t h t h e m i c r o c o m p u t e rp o p u l a r u s e t h es t r u c t u r ew h i c hu s e dm a i n f r a m ea n d m i n i c o m p u t e r i nt h e p a s t h a s c h a n g e di n t o t h es t r u c t u r ei nw h i c h m i c r o c o m p u t e ri s t h ec o r e ，m i c r o c o m p u t e ri m a g ep r o c e s s i n gs y s t e mb e c o m e t h ei m a g ep r o c e s s i n gs y s t e mm a i ns 仃e a mo faf l u i d m i c r o c o m p u t e ri m a g e m a n i p u h f i o ns y s t e mh a sb e e nc h a n g e df r o mc h a s s i ss t r u c t m et op l a t ec a r dt y p ef r o m l o ws p e e dt r e a t m e n td e v e l o p m e n tt oh i g hs p e e dt r e a t m e n td e v e l o p m e n t a n di n t h eh i s hs p e e di m a g ep r o c e s s i n gi th a sd r a wi n t om m x s s et e c h n i q u e w i t h t h e h i 曲s p e e dd e v e l o p m e n t o f m i c r o c o m p u t e ri m a g em a n i p u l a t i o n s y s t e m ，w h i c hm a k et h ea p p l i c a t i o no ft h ei m a g ep r o c e s s i n gt e c h n i q u e sm o r e e x t e n s i v e i nt h i st e x ti th a sd e s i g n e da q u i c k l yd e t e c t i n ga n dt r a c k i n gs y s t e mw h i c h i sr e g a r dd s pa st h ec o r e i th a sar e s p e c t i v e l yd e t a i l e da c c o u n to ft h es y s t e m f r o mh a r d w a r et os o f t w a r ea r i t h m e t i c i n a d d i t i o n ，i th a sr e s p e c t i v e l y i n t r o d u c t i o na b o u tt h ed e v e l o p m e n ta n da p p l i c a t i o no ft h ep i c t u r ep r o c e s s i n g a n di m a g e r e c o g n i t i o nt e c h n i q u e ，d s pt e c h n i q u ea n dp r o g r a m m a b l el o g i c d e v i c e sp r o p e r t ya n da p p l i c a t i o n t h i ss y s t e mu s e st h el a t e s ti m a g ep r o c e s s i n g t e c h n i q u e s - - - u s i n gd s pc h i p a n dr e l a t e dm e m o r yd e v i c et oa c h i e v et h e 哈尔滨工程大学硕士学位论文 s y s t e m s f u n c t i o n ) i ti m p r o v e s i t sr e a lt i m ea n dr e d u c ei t s p o w e r d i s s i p a t i o n , w h i c h m a k e st h e s y s t e m ss e c u r i t y i n c r e a s e i nt h es o f t w a r e a r i t h m e t i c ，t e m p l a t em a t c h i n ga r i t h m e t i ci sa d o p t e dt or e a l i z em o r ep r e c i s ei n o b j e c td e t e c t i o na n dt r a c k i n g i na d d i c t i o n , i to p t i m i z e st h ea r i t h m e t i ci nt h e s p e c i f i ci m p l e m e n tp r o g r e s s t oi m p r o v et h er e a lt i m eo ft h es y s t e m i n p r o g r a m m i n gi tu s e st m s 3 2 0 c 6 0 0 0 a s s e m b l el a n g u a g ea n dm a k e sf u l lu s eo f t h eh a r d w a r es o u r c ea n ds t r o n gr e p e r t o i r eo fc 6 2 0 2 ，i t sc o d eh a sv e r yh i s h i m p l e m e n te f f i c i e n c y t h eh a r d w a r eo ft h es y s t e mh a sd e b u g e dc o m p l e t e l y t h es o f t w a r eu s i n g t i ss i m u l a t o ra n dm a t l a bt od e b u gt h ep r o c e d u r e sa n dr e a l i z et h e i m i t a t i o na n dt h ee m u l a t i o no ft h ea r i t h m e t i c k e yw o r d s ：m i c r o c o m p u t e ri m a g em a n i p u l a t i o n ；i m a g er e c o g n i t i o n ；d s p ； t e m p l a t em a t c h i n g ；o b j e c td e t e c t i o n ； 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指 导下，由作者本人独立完成的。有关观点、方法、数据 和文献的引用已在文中指出，并与参考文献相对应。除 文中已注明引用的内容外，本论文不包含任何其他个人 或集体已经公开发表的作品成果。对本文的研究做出重 要贡献的个人和集体，均己在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 作者( 签字) ：至扬生些 日期：。曲7 年么月2 0 日 哈尔滨工程大学硕士学位论文 第1 章绪论 1 1 图像处理技术的发展与应用 由于数字计算技术及相应的信号处理技术的飞速发展，近几十年来数 字图像处理技术发展非常迅速，并在科学研究、工农业生产、资源的遥感 探测、医疗卫生、空间探索、航天探索等各个领域内应用越来越广泛。尤 其在现代战争里，图像处理技术极为重要。例如将来自卫星的图像用于军 事侦察，以地形匹配实现精确轰炸，以相关运算实现目标检测等等。其中， 除了对算法本身有很高的要求以外，其图像处理的速度是至关重要的。但 是图像处理无论是在理论研究还是在实际应用中，都需要图像处理系统。 随着微机的普及应用，原来以大型机、小型机的结构变成了以微机为主机 的结构，微机图像处理系统由此成为图像处理系统的主流。微机图像处理 系统从机箱式结构发展为板卡式结构，从低速处理发展为高速处理，而且 在高速图像处理中也引入了m m x s s e 技术，微机图像处理系统的这种高 速发展，使得图像处理技术的应用更加广泛。 微机图像处理系统【1 】主要解决的问题是图像的获取、存储、显示和处 理。快速检测与跟踪系统实际上就是一个微机图像处理系统，所以有必要 对图像处理系统做一个介绍。 1 2 图像处理系统 一个基本的图像处理系统由下图构成。 图1 1 图像处理系统的构成示意图 1 哈尔滨工程大学硕士学位论文 图中各模块都有特定的功能，分别是输入、处理和分析、存储、输出。 下面就图像处理系统系统各模块做一个介绍分析。 1 2 1 图像输入模块 图像输入模块主要由图像输入、图像采集两部分构成，这两部分又是 相互关联，相辅相成的。在实际应用中，图像输入一般采用摄像头得到现 场的图像，而现在摄像头输出的信号多为模拟信号。为了实现摄像头和计 算机的接口，必须采用图像采集卡。但是现在市面上的图像采集卡往往数 据采集和数据读取不能同时进行。这给编程和实时控制带来了很大麻烦。 本章先分析一般图像采集卡的缺陷，然后在下一章给出系统设计的原 理思想。由于本图像处理系统基于黑白全电视信掣2 1 ，所以有必要先来介 绍一下黑白全电视信号。 1 、全电视信号及其原理 全电视信号及同步信号基本波形如图1 2 所示。 门厂 厂 厂 厂 厂 厂 n 几几复合黼出 门厂 厂 厂 厂 厂 厂 nn 几复厶麟出 妒场同糊出 门厂 厂 厂 厂 厂 厂 厂 厂 广 厂行僦出 玛厂_ 奇耥出 图1 2 全电视信号及同步信号基本波形 黑白c c d 摄像头经过光电转换将图像( 光信号) 转变为电信号，其最终 输出信号就是黑白全电视信号。它主要由图像信号( 视频信号) 、复合消隐 脉冲和同步脉冲组成，采用格式通常有p a l 、n t s c 、s e c a m 制式等。 电视信号的极性可分为正极性和负极性图像信号。若图像最亮时，对 应其信号电压的幅度最大，则该信号称为正极性信号：反之为负极性信号。 一般常采用负极性信号。将图像信号送到视频放大器中进行放大、处理， 2 哈尔滨工程大学硕士学位论文 同时加入同步机送来的行、场同步脉冲和行、场消隐脉冲，就形成了全电 视信号。 消隐脉冲主要用于消除行场扫描逆程时产生的回扫线，同步脉冲保证 收端与发端的扫描点应有一一对应的几何位置关系。 由于场同步期间没有行同步信号，这会影响在整个扫描过程中的严格 同步。为了解决这个问题，采取在场同步脉冲中开槽的方法用以替代同步 信号。场同步前后两倍行频的脉冲称为均衡脉冲。 电视标准规定，全电视信号的幅度比例是：若以峰值白电平到同步电 平作为1 0 0 ，则峰值白电平到消隐( 黑) 电平值为7 5 ，峰值白电平为0 ，图像信号介于白与黑电平之间。 全电视信号每秒传送2 5 帧图像，每帧6 2 5 行；隔行扫描时每秒5 0 场， 每场3 1 2 5 行。每一行的周期为6 4 9 s ，其中图像占5 2 2 9 s ，行消隐占1 1 8 9 s 。 行同步脉冲为4 7 s ，它比行消隐延迟1 3 9 s 。每一场的周期为3 1 2 5 h z ， 即2 0 m s ，其中场消隐信号占2 5 h + 1 行消隐信号，即等于1 6 0 0 9 s + 1 1 8 9 s 均衡脉冲的宽度为2 3 5 t s 。周期为半行。共1 2 个( 前6 个，后6 个) 。场同 步脉冲的宽度为2 5 h 的时间( 即1 6 0 l x s ) 。场同步脉冲有6 个槽脉冲，其宽 度为4 7 u s 。 在全电视信号中，把奇数场同步信号的前沿作为一场的起点，第1 、2 、 3 行是场同步信号，第4 、5 、6 行是后均衡脉冲，7 2 2 行还是场消隐信号， 该场消隐信号从前场6 2 3 行开始，因此，整个消隐信号是2 5 行加一个行消 隐的时间。图像信号从2 3 行出现到3 0 9 5 行为止，共2 8 7 5 行，这就是第 一场或称奇数场。从3 0 9 5 行开始又是下一场的场消隐信号及前均衡脉冲， 在3 1 2 5 行出现下一个偶数场的同步脉冲，奇数场到此结束，偶数场开始。 一个奇数场加上一个偶数场合在一起称为一帧。 2 、一般图像采集卡的原理 一般图像采集卡的结构如图1 3 所示： 首先对视频信号进行预处理和同步分离。预处理主要是进行放大、亮 哈尔滨工程大学硕士学位论文 度、对比度调节、信号限幅( 保护a d ) 。同步分离电路主要是分离出信号 中的行同步和场同步信号，供采集卡的时序电路使用。然后由高速的a d 转换器把处理后的视频信号转化为数字信号，在时序电路的控制下写入存 储器。 但这样的采集卡有一个问题，数据采集和数据读取不能同时进行。不 妨设奇数场扫描期间，每采样一次就将a d 转换的结果存入存储器，在偶 数场期间，计算机将存储器中的数据读入计算机。但是，由于在计算机读 存储器时，a d 转换的结果并不能同时写入该片存储器，即存储器不能同 时进行读和写两种操作，所以会丢掉偶数场的信息。这个问题的解决方法 将在第4 章给出。 图1 3 图像采集卡原理图 1 2 2 图像存储模块 图像包含有大量的信息，因而存储图像也需要大量的空间。在图像处 理和分析系统中，大容量和快速的图像存储器是必不可少的。在计算机中， 图像数据最小的量度单位是比特( b i 0 。存储器的存储常用字节( 1b y t e = 8 b i t ) 、干字节( k b y t e ) 、兆( 1 0 6 ) 掣青( v l b y t e ) 、吉( 1 0 9 ) 字节( g b y t e ) 、太( 1 0 1 2 ) 字节( t b y t e ) 等表示。存储1 幅1 0 2 4 x 1 0 2 4 的8 b i t 图像就需要i m b y t e 的存 储器。用于图像处理和分析的数字存储器可分为三类： ( 1 ) 处理和分析过程中使用的快速存储器 ( 2 ) 用于比较快地重新调用的在线或联机存储器 4 哈尔滨工程大学硕士学位论文 ( 3 ) 不经常使用的数据库存储器 1 2 3 图像输出模块 图像输出模块也可以叫图像显示模块。图像处理的最终结果用于显示 给人看。对图像分析来说，分析的结果也可以借助计算机图形学技术转换 为图像形式直观地展示。所以图像显示对图像处理和分析来说是非常重要 的。 常用的图像处理和分析系统的主要显示设备是电视显示器。输入显示 器的图像也可以通过硬拷贝转换到幻灯片、照片或透明胶片上。除了电视 显示器，可以随机存取的阴极射线管( c r t ) 和各种打印设备也可用于图像 输出和显示。 1 2 4 图像处理和分析模块 对图像处理和分析一般可用算法的形式描述，而大多数算法可用软件 实现，只有在为了提高速度或克服通用计算机的限制下才用特制的硬件。 进入9 0 年代，人们设计了各种与工业标准总线兼容的可以插入微机或工作 站的图像卡。这不仅减少了成本，也促进了图像处理和分析专用软件的发 展。这些图像卡包括用于图像数字化和临时存储的图像采集卡，用于以视 频速度进行算术和逻辑运算的算术逻辑单元，以及帧缓存。此外，许多基 本的图像处理和分析软件包也已商品化。 1 3 快速检测跟踪系统设计的背景和要求 现代图像处理技术发展迅速 3 1 ，各种基于i s a 、p c i 等总线的图像处理 卡已能在市场上买到，但是价格比较昂贵，这些图像处理卡主要是用来进 行图像采集，处理功能比较简单，对于特殊需要不能很好地满足，往往需 要加上后续处理部分，这给特殊需要的用户带来了不便。快速检测系统是 一个基于视频图像目标的系统，除了必须进行一般的图像采集外，主要进 行图像目标的处理，其中包括目标的识别。根据课题的需要，快速检测系 5 哈尔滨工程大学硕士学位论文 统处理的目标主要为军事目标。在实际处理一帧图像中，搜索图像目标时， 由于图像目标的出现带有一定的随机性，尤其对军事目标而言，如何快速 而准确地捕获敌方目标并进行打击对作战的胜利取着决定性的作用，然而 单纯通过软件来搜索局限于计算机的配置，而且难以满足系统实时性的要 求，所以根据课题的需要，我们设计了一个软件和硬件结合起来的快速检 测系统来加速图像的处理。该系统具有以下的特点和功能： ( 1 )图像预处理功能 ( 2 )a t 总线结构 ( 3 )目标帧处理时间 五 5 实验结果比较 下面对几种阈值分割方法的效果作一下比较： 1 6 堕堡堡三墨奎堂堕主堂垡丝皇 图2 5 阈值分割结果 1 7 哈尔滨工程大学硕士学位论文 表2 1 阈值分割算法时间对比 图像尺寸 算法淤 6 4 6 41 2 8 1 2 82 5 6 2 5 6 5 1 2 5 1 2 恢度期望 0 ，2 m s0 7 m s2 7 m s 1 2 8 m s 最大类间方差 3 0 m s3 6 i t i $5 7 m s 1 5 9 m s 直方图 0 2 m s 0 8 m s3 5 m s1 4 5 m s 循环分割 0 ，2 m s 0 7 m s2 7 m s1 2 9 m s 可以看出，用类间方差法和循环分割法具有较好分割效果，通过大量 的实践证明，类间方差法和循环分割法具有更广泛的适用。而循环分割法 与类间方差法相比在处理小图像时更具有速度优势。 2 2 图像跟踪算法 跟踪方法分为形心跟踪和相关跟踪，一般情况下，当目标较小或目标 较单一时采用形心跟踪方式。 2 2 1 形心跟踪算法 数字信号处理器t m s 3 2 0 c 6 2 0 2 对波门内的数字图像进行处理，包括 噪声滤波、边缘增强，自适应求阈值，根据该阈值再从波门内的数字图像 中分割出目标象元，然后根据分割出的全体目标象元位置数据和目标象元 的总点数，计算出目标的形心；该形心数据则作为下一场波门的跟踪数据； 目标的形心相对于视场中心的位置数据，则作为目标的偏差数据。噪声滤 波可采用平滑滤波或中值滤波。边缘增强在这里作为提取目标的特征，我 们采用了改进的s o b e l 算子提取目标的边缘。 在跟踪窗口中，目标的形心计算公式如下【6 】： f ( x ，y ) ( 2 1 9 ) 八 p ，1 ，州 = k 哈尔滨工程大学硕士学位论文 f ( x ，y ) ( 2 2 0 ) 2 2 2 图像匹配跟踪算法 图像模板匹配是目标跟踪的关键，在图像处理的研究中是一个很重要 的研究方向。两幅图像之间的匹配算法可以归结为二者的某一特征值的相 关度量。通过将模板图像与待匹配图像进行相关运算，得到一个相关值。 再根据这一相关值的大小就可以判断二者是否匹配。 图像匹配涉及到两大方面：匹配特征的选择和对特征进行相关性计算 的方法的选择。匹配的特征有三个不同层次的选择：图像象素的灰度值、 图像的物理形特征和图像内容描述的特征。 根据图像匹配特征的不同层次，匹配算法大致可分为三类： l 、直接利用原始图像的象素值进行匹配 可以充分利用图像的所有信息来高精度地区分不同对象，但因此处理 的信息量很大，计算复杂度高。这类算法的特点是对图像之间的微小差别 非常敏感一个细微的变化( 如光照条件的微小变化而导致的图像灰度值的 细微变换) 就会对匹配算法的计算结果产生很大的影响，有可能导致匹配的 失败。所以这种算法杭噪声，抗干扰能力比较差，适用于两幅图像具有相 同外界条件的情况下作精细的匹配。 2 用图像的物理形状特征进行匹配 图像的物理特性，如边缘、骨架、角点等等，需要进行相关计算的象 素数有了明显的减少，并具有了更强的适应能力。这种算法对于一些细微 的干扰不太敏感，而是依赖于提取的图像特征。其关键是寻找易于识别和 区分的特征，基于特征集之间的相似性度量来找到模板在图像中的匹配位 置。 八墨、 “ 一= 圪 哈尔滨工程大学硕士学位论文 3 用高级特征的算法：如基于约束的树搜索 可以利用深度优先的搜索策略，依靠解译树寻找局部一致的匹配。基 于多尺度特征作特性匹配，则是对图像信息引入多种级别的抽象，遵循先 轮廓后细节，先宏观后微观，先易于辨认的部分后较为模糊的部分的人类 视觉匹配规律，能够提高图像匹配的可靠性。 匹配算法有绝对平衡搜索法a b s ( a b s o l u t eb a l a n c es e a r c h ) 【7 】、归一 化相关算法【引、灰度投影算法、基于统计矩的匹配算法等等。 ( 1 ) a b s ( a b s o l u t eb a l a n c es e a r c h ) 这种算法的思想很简单，就是用模板图像和待匹配图像上的搜索窗口 之间的象素灰度值的差别，来表示二者的相关性。如果差别小于预定的阈 值认为相关成功，否则就认为匹配失败。 计算a b s 值有两种算法，可以根据不同的匹配场合来选择合适的算 法，它们是最小均方误差函数( m s e ) 、最小平均绝对值函数，它们定义 如下： m s e ( i , 护赤蚤善( 砌川) 廿( 斛f 斛 q 2 d m a d ( 2 志萎酽( m 川廿( 肿珈枷i q 忽 m s e ( i ，) = y f ( i ，_ ，) ( 2 2 3 ) 其中 嘶) = 胪沏川卜瓮斛力卜 ( 2 2 4 ) t 为估算阈值，根据式( 2 2 4 ) ，小于闽值t 的象素被归入匹配象素，否 则被归入非匹配象素。 这种方法的思路简单，实现方便，但有明显的局限性，一旦待匹配图 像或模板图像之一的灰度值发生线性变化，这种算法就无所适从了。而且 哈尔滨工程大学硕士学位论文 由于不同的模板和图像有不同的背景灰度值和不同大小的搜索窗口，所需 的合适的阈值也各不相同，很难事先选定一个合适的阈值。 ( 2 ) 归一化互相关匹配 归一化互相关匹配算法【l5 】是一种经典的匹配算法，经常写为n c ( n o r m a l i z e dc o r r e l a t i o n ) 算法。通过计算模板图像和待匹配图像的互相关 值来确定匹配的程度，互相关值最大时的搜索窗口位置决定了模板图像在 待匹配图像中的位置。互相关定义一般有如下两种形式： n c ( i ，_ ，) = mn ( “聊， ) 一于( m ，n ) ) ( ，( m + f ，玎+ ，) 一f ( m + i ，n + ，) ) m = ln = l mn m ， ( r ( 删，以) 一于( m ，甩) ) 2 ( f ( 珑+ f ，n + _ ，) 一声( 州+ f ，一十，) ) m = lj t l - m = ln - i t ( m , n ) = 志萎m 善n 嘶朋 ( 2 2 5 ) ( 2 2 6 ) 砌“，斛护志萎善f ( 斛斛_ ，) q 2 7 n c 算法具有很高的准确性和适应性，对图像灰度值的线性变换具有 “免疫性”，即所求的n c 值不受灰度值的线性变换的影响。但是考虑到图 像中的自相关值都比较大，因此在互相关计算过程中，相似度形成以模板 存在的真实位置为中心的平缓的峰，往往无法检测到准确的尖峰位置，使 得确定模板的准确位置很难。n c 搜索算法的缺点是计算耗时过于庞大， 在应用时所用的计算时间过长。但可以通过其它加速算法来进行改进，如 s s d a ( 序贯相似度检测算法) 、图像金字塔等等。此外，还可以利用快速傅 立叶变换在频域进行互相关运算，在实际应用中也有一定的实用意义。 2 3 运用目标运动预测方法 在目标跟踪过程中，每帧图像中运动物体的位置是不相同的，可以根 哈尔滨工程大学硕士学位论文 据目标以前的运动轨迹来初步确定下一帧目标所在的位置，然后再在这个 位置附近对目标进行细致的匹配搜索，已达到加快搜索速度的目的。 物体运动状态一般是有规律可循的，如物体的运动轨迹一般是连续可 导的，物体的运动轨迹曲线是时间t 的函数；物体运动的速度是连续化的， 也是时间t 的函数；在一段较小的时间间隔内，物体运动的加速度也可以 认为是不变的。这样物体运动的规律是可预测的，即我们可以根据物体在以 前的几帧图像中的位置和某种算法预测出物体即将要到达的大致位置。然 后，在下一帧图像中，我们就可以不必在整幅图像中搜索物体，而仅仅在 预测位置或预测位置附近就可搜索到目标。 为了可靠地跟踪被跟踪目标和进入跟踪窗口的干扰，需由已知的物体 历史运动轨迹预测出目标将要到达的下一个位置，根据速度和加速度理论 可得出由目标的三个先前运动坐标预测新的运动坐标的公式 9 j ： 设物体运动的前三个位置坐标为( 玉，y i ) ( x 2 ，y 2 ) ( x j ，y 3 ) ，要求的预测位 1 置坐标为似y ) ，根据速度与加速度的理论：v = v o + 甜j = 咿+ 去口f 2 ，在x z 和y 方向上分别应用以上公式，其中的加速度a 可认为是不变的，而时间 t 对于两个相邻帧来说，恰好是两帧之间的间隔时间，我们也可以认为t 是一个常数，可推导出结果： 堕玺堡三堡奎兰堡主兰竺丝茎 第一点伍1 y 1 ) 图2 6 运动预测不意图 这样，目标在前三帧中的运动位置我们已经得到，根据这三个历史运 动位置，我们可以将下一帧图像中目标将要到达的位置计算出来。实验证 明，在目标的速度不发生突变，即目标运动加速度在短时间内变化不大的 情况下，用以上方法预侧出的目标运动位置是比较准确的。 目标运动预测的缺点是，在实际跟踪过程中，摄像机可能会发生抖动 现象，这样会影响目标预测的准确性，甚至导致预测失败。因此，这种算 法要考虑系统自身的坐标变化。 2 4 本章小结 图像模板匹配是目标跟踪的关键，在图像处理的研究中是一个很重要 的研究方向。基于灰度的自动灰度分割首先根据图像本身的灰度分布进行 初始分割。由于不同图像中灰度分布范围、对比度等情况不同，为了达到 自动识别的目的，需要考虑使用自适应的处理方法。 哈尔滨工程大学硕士学位论文 第3 章系统设计的原理及构成 3 1 系统设计的理论基础 图像检测技术是随着计算机的发展而兴起的- - 1 3 新技术，特别对于图 像目标的检测识别，已进行了相当多的研究，取得了不少成果。在电视跟 踪系统、视频分析系统中应用目标检测技术，可解决多目标跟踪等复杂的 跟踪检测问题，使新系统的性能远远超过以往的系统。它创始于五十年代 后期，在六十年代初开始崛起，几十年来取得了长足的发展。它以研究某 些对象或过程( 统称图像) 的分类与描述为主要内容。 图像检测的范围极广，很难用一种分类法将其全部概括。为简单起见， 现从信息的维数来看，图像识别、处理及应用的分类如表3 1 所示。 表3 1 图像检测按信息分类图 信息维数信息处理信息检测信息应用 一维信号处理声音检测 语言、雷达、医学( 心电图等) 、 地震波、震动波、水声等 二维文字处理、图片 文字识别、图片文字、图像、遥感、医学( x 处理、图像处理识别、图像检测光图片及图像) 、高能物理等 三维 物景分析全息检测目标机器人、目标识别、机器 人视觉等 图像检测可在分割的基础上选择需要提取的特征，并对某些参数进行 测量，再提取这些特征，最后根据测量结果作分类。为了更好地检测图像， 还要对整个图像作结构上的分析，对图像进行描述，以便对图像的主要信 息得到一个解释和理解，并通过许多对象相互间的结构关系对图像加深理 解，以便更好地帮助检测。对图像检测环节来说，输入是图像( 一般是经过 处理过的图像) ，输出的类别和结构分析见图3 1 ，而结构分析的结果则是 堕叠堡三垦奎堂堡主堂堡丝奎 对图像作描述，以便对图像的重要信息得到一种理解和解释。 图像 类型+ 结构分析。 囤像检测 ( 特征抽取、毋奏、分析) 图3 1 图像识别示意图 值得注意的是，图像分割不一定完全在图像处理时进行，对有些问题， 一面进行分割，一面进行识别，如机械零件的分拣、分档就是如此。所以 说，图像处理和图像识别是相互交叉的。 本文的检测与跟踪系统是一个图像处理和图像识别相互结合的系统。 系统在对视频图像目标进行处理时，先通过模板匹配算法检测出图像目标， 从而实现图像目标的跟踪。首先需要了解一下其中使用的相关技术和算法。 3 1 1 模板匹配 在对图像的识别中，匹配技术起着重要的作用。匹配可在不同的层次 上进行，这是因为知识可在不同的层次运用。对于每个具体的匹配，它都 可以看作是对两个已有的表达找其对应性。如果两个表达是相似的，匹配 也就是在相似的意义上进行的。当两个表达都代表图像中的目标时，就称 之为目标匹配。 模板匹配是图像匹配中最常用、最简明的方法，也称子图像匹配或窗 匹配，也有人称之为基于面积或邻域的匹配。若在被搜索图s 中有待寻的 目标，且同模板有一样的尺寸和方向，匹配的主要工作是将模板t 在搜索 图s 上平移并进行相关计算，相关值最大处即为匹配最好处。如果相关值 大于给定的阈值，则可认为在s 上存在模板t 所代表的图像区域。 方便起见，设模板t 的大小为m x m ，点( x ，y ) 的灰度值用函数w ( x ，y ) 表示。同样的设搜索图s 的大小为n n ，点( x ，y ) 的灰度值用函 数f ( x ，y ) 表示，这里m ! n 。设模板t 叠放在搜索图s 上平移，模板覆 堕笙堡三矍奎堂堡主兰垡堡茎： 盖下的那块搜索图为子图s “，i ，j 为这块子图的左上角象点在s 图中的坐 标，称之为参考点。i 和j 的取值范围为：l 奎，j 剑二m + 1 可以用下列两种测度之一来衡量丁和s u 的相似程度。 d f i ，力= i s “7 ( r n ，n ) 一t ( m ，n ) 】2 刚) 2 刭蹦m 神一酏h ) | ( 3 2 ) 展开式( 3 1 ) 则有 z 磁力= 2 1 ：! 矽( 码刁】2 一乏! ：! y ( 鹕砷曩巩功+ 2 ! 矾鹕刁 2 ( 3 3 ) 上式等号右边第三项表示模板的总能量，是一个常数，与( i j ) 无关， 第一项是模板覆盖下那块子图的能量，它随( 功) 位置而缓慢改变，第二项 是子图像与模板的互相关，随( 巧) 而改变，t 和s 。匹配时这项取值最大， 因此可用下列相关函数作相似性测度： 啪) ：至型竺塑竺 ( 3 4 ) 雄力：t 西面 q 卅 或归一化为 r ( i , j ) ：，。( 如砷玎玛功 ( 3 5 ) 可知上式中，o ! r ( i ，j ) g ，并且仅在比值s i o ( m ，n ) t ( m ，n ) 为常数时 r ( i j ) 取极大值1 。采用模板匹配法计算量较大，但d s p 的高速性大大提高 了计算速度，保证了匹配计算的实时性。 3 2 系统设计的原理和构成 视频图像目标快速检测跟踪系统是基于图像处理和图像识别的基础上 哈尔滨工程大学硕士学位论文 设计的软件和硬件结合的系统，该系统是一个实时图像信号处理系统。实 时图像信号处理系统要求系统必须有处理大数据量的能力，以保证系统的 实时性；其次对系统的体积、功耗、稳定性都有比较严格的要求。该系统 中使用的实时图像信号处理算法中经常用到对图像目标的求和、求差运算， 区域特征提取等不同层次、不同种类的处理。其中有的运算本身结构比较 简单，但是数据量大，计算速度要求高：有些处理对速度并没有特殊的要 求，但计算方式和控制结构比较复杂难以用纯硬件实现。因此，视频图像 目标检测系统是运算速度高，运算种类多的综合性信息处理系统。 从以上叙述，可以发现图像数据量大，算法复杂度高，大多数的算法 虽可用纯软件来实现，但软件往往局限于计算机的配置，使得图像处理的 速度比较慢，实时性差，特别在图像目标跟踪、模式识别等图像处理方面。 所以结合1 3 节中实现实时图像处理的三个根本方法和课题的实际情况， 为了提高图像处理的速度或克服通用计算机的限制必须采用特制的硬件。 尤其是寻求一种高速的通用数字处理芯片，寻找一种快速的算法就显得十 分必要了。 系统正是基于以上两个目的设计的。文章分别从硬件和软件两方面对 系统进行了详细论证。其中硬件部分为一块基于p c 机a t 总线的插卡，主 要用到了d s p 芯片和相关存储器器件，从图3 1 看出，它由视频预处理电 路、a d 转换电路、视频同步分离电路，锁相电路、存储器电路、d s p 和 可编程器件、总线接口等构成，各部分相互协调工作来完成视频信号的采 集、存储和处理。软件部分实现模板匹配算法和形心跟踪算法，具体实现 由d s p 完成。系统通过软件和硬件相结合来完成视频图像目标的检测。 3 3 本章小结 本章主要介绍了系统设计的理论基础和原理。理论基础包括图像识别、 模板匹配算法以及跟踪算法。另外在对系统的设计原理和处理工作进行了 ，说明。 哈尔滨工程大学硕士学位论文 第4 章系统硬件描述 4 1 系统硬件工作原理 图4 1 系统硬件工作原理框图 从图4 1 中可以看出，d s p 之前的硬件处理是一个视频图像的采集过 程，图像目标具体处理的实现是在d s p 中进行的。视频图像信号经摄像头 c c d 输入后，分两路进行视频预处理，对信号进行放大。从预处理电路出 来的信号分别进入a d 转换电路和视频同步分离电路中。a d 转换器由视 频同步分离器控制其采样，将模拟图像信号转换成2 5 6 级数字图像信号 a d o a d 7 。a d 0 a d 7 与d 0 d 7 ( - - 值化图像的阈值) 经过可编程器件中 的比较器比较，对灰度图像信号进行二值化。二值化后的数据进入移位寄 存器进行锁存，待进入的数据够1 6 位时，在移位时钟的控制下移出数据， 生成数据位a d d 0 a d d 1 5 。视频信号经同步分离电路分离出行、场等 同步信号，同步信号进入可编程器件后，通过计数电路产生双1 3r a m 的 地址信号。锁相倍频电路控制视频信号行方向的同步。场方向的同步由可 编程器件控制。另外，a d 转换器的时钟信号、清零信号，双1 2 1r a m 的 写信号，两块r a m 的片选信号，d s p 的数据选通等都由可编程器件产生。 图像信号二值化后进入数据r a m ，两块r a m 交替工作，形成乒乓结构， 2 b 哈尔滨工程大学硕士学位论文 进行图像数据的存取。因为图像信号数据量大，d s p 内部的数据r a m 较 小，所以外部挂有数据缓存r a m ；d s p 的执行程序放在外部程序r o m 中。 当d s p 处理完数据后，处理结果送入另外一片数据r a m 中进行缓存。总 线控制器控制端口的读写，经a t 总线，最后计算机输出图像目标的角偏 差，即图像目标的形心坐标。 硬件部分是系统的一个重要部分，硬件电路中器件的选择以及器件的 功能和特性，尤其是器件的速度等直接影响着系统实时性的实现以及它的 性能。本章就对系统的硬件部分做一个详细描述。 4 2 系统d s p 芯片介绍 数据量大是图像数据的一大特点，数据传输速率高是图像数据的另一 个特点，特别是对于一些转瞬即逝的图像信息，常规的软件不能及时地给 予处理，因此必须要采用硬件设备来加速图像处理。快速检测与跟踪要求 系统具有实时处理数据的能力，这对一般的软件处理来说是较难实现的。 d s p 近些年来发展迅速，它具有一系列优点使得高速图像处理系统广泛采 用d s p 来实现。世界上第一片d s p 芯片是美国德州仪器公司于1 9 8 2 年推 出的第一代产品：t m s 3 2 0 c 1 0 。经过十几年的发展，d s p 器件在高速度、 可编程、小型化等方面都有了长足的发展，单片d s p 。芯片每秒可完成1 6 亿次的运算( 1 6 m i p s ) ，生产d s p 器件的公司也不断壮大，例如，a n a l o g d e v i c e ，l u c e n t i n c m o t o r o l a ，t e x a si n s t r u m e n t 等都是著名的d s p 器件生产 厂家。由于各d s p 厂家的竞争及生产工艺的不断提高，使得d s p 器件的 价格不断下降，其应用面从起初的局限于军工，航空航天等领域，扩展到 今天的诸多电子行业及消费类电子产品中。下面就简单介绍一下d s p 的特 点。 1 、多总线结构 世界上最早的微处理器是基于冯诺伊曼( v o n - n e u m a n n ) 结构的，其取 指令，取数据都是通过一条总线完成的，因此必须分时进行，在高速运算 哈尔滨工程大学硕士学位论文 时，往往在传输通道上会出现瓶颈效应。而d s p 内部一般采用的是哈佛 ( h a r v a r d ) 体系结构，它在片内至少有四套总线：程序的数据总线，程序 的地址总线，数据的数据总线和数据的地址总线。这种分离的程序和数据 总线，可允许同时获取指令字( 来自程序存储器) 和操作数( 来自数据存 储器) ，而互不干扰，这意味着在一个机器周期内可以同时准备好指令和操 作数。这种多总线结构就好象在d s p 内部架起了四通八达的高速通道，保 障运算单元及时地取到需要的数据，提高运算速度。因此，对d s p 来说， 内部总线是个资源，总线越多，可以完成的功能就越来越复杂。 2 、多处理单元 d s p 内部一般都包括多个处理单元，如硬件乘法器( ，) ，累加器 ( a c c ) ，算术逻辑单元( a u j ) ，辅助算术单元( a r a u ) 以及d