（通信与信息系统专业论文）基于dsp的实时智能视频跟踪系统设计.pdf

摘要 近年来随着硬件技术的不断发展和分析技术的不断拓展，各种图像识 别系统的研究和丌发得到了广泛地重视。在图像识别领域，特别是在动态 图像序列背景( 静止背景成像变化) 中，运动目标的识别与跟踪凶其广泛 的应用前景而成为一个重要的研究课题。 本论文将介绍一种动态背景下运动目标的检测与跟踪系统。陔系统的 核心算法是基于快速傅立叶变换( f f t ) 的相位相关配准算法。其工作原理 为：首先它通过f f t 运算计算出相邻两帧图像的功率谱；其次将两个功率 谱进行单位归一化得到相位谱并对相位谱进行互相关操作；经过对相位相 关谱进行i f f t 运算获得相位相关函数；然后检测这一互相关函数的最高峰 及其坐标值( p ，口) ，该坐标值就是两帧图像背景部分的偏移量：最后埘两帧 图像进行二次差分操作，得到运动目标位置。 硬件设计以t i 公司的高性价比、高速浮点的d s pt m s 3 2 0 v c 3 3 芯片作 为主处理器。该芯片具有四级流水线结构，可在单周期内执行一次浮点数 乘和一次浮点数加操作。硬件系统的其它部分包括视频解码芯片r v p 5 1 1 j ； f l a s h 程序存储器；s r a m 数据缓存器；r s 4 8 5 总线发送控制等电路，与d s p 电路共同构成低成本实时智能视频跟踪系统硬件平台。 试验结；i 酝明此系统能够高效实时的检测运动目标并实现对耳杯的跟 踪。 关键词：相位相关配准d s p 模式识别 a b s t r a c t t h em a i ns t u d yf i e l di nt h ep a d e ri st h em e t h o d o l o g yt oc h e c ka n dt r a c k m o v i n go b j e c t i nd y n a m i cb a c k g r o u n d t h em a i n a l g o r i t h mn a m e d p h a s e r e l a t e dm a t c h i n ga l g o r i t h mb a s e do nf a s tf o u r i e rt r a n s f o r mi s i n t r o d u c e da n di th a s5s t e p s f i r s t l yt w of r a l l i e so fi m a g e sa r et r a n s f o r m e dt o 血e i rp o w e rs p e c t r u m sw i t hf f ts e c o n d l yt h et w op o w e rs p e c t r u m sa r e t r a n s f o r m e dt ou n i t a r yv a l u e sa n dm u l t i p l ye a c ho t h e rt ob u i l dp h a s e r e l a t e d s p e c t r u mo ft w oi m a g e s t h i r d l yt h ep h a s e r e l a t e ds p e c t r u mi st r a n s f o r m e dt o p h a s e r e l a t e df u n c t i o n w i t hi f f t f o u r t h l yt h eh i g h e s tp e a kv a l u eo ft h e f u n c t i o ni sd e t e c t e dt og e tt h ep o i n t sc 0 0 r d i n a t ew h i c hi st h et w oi m a g e s o f f s e t f i n a l l y 山eo b j e c t se x c u r s i o ni sc a l c u l a t e dt h r o u g hq u a d r i cd i f f e f e n c eas y s t e m b a s e do ni m a g ep h a s e r e l a t e dm a r c h i n ga l g o r i t h mi sa l s oi n t r o d u c e di nt h i s p a p e r h i g h p e r f o r m a n c ef l o a t i n g p o i n tt m s 3 2 0 v c 3 3d s pc h i pi sm a i n p r o c e s s o ro fs y s t e m sh a r d w a r e t h ec h i ph a se x c e l l e n tp e r f o r m a n c e p r i c er a t e a n df l o a t i n g - p o i n tp r o c e s s i n gc a p a b i l i t y i t sp i p e l i n es t r u c t u r ei sm a d eu po f4 f u n c t i o nu n i t s ，a n di tc a ne x e c u t eo n ea r i t h m e t i cl o g i co p e r a t i o na n done m u l t i p l yo p e r a t i o ni nas i n g l ec y c l e t h ew h o l ep r o c e s sc h e c k i n ga n dt r a c k i n g m o v i n go b i e c ti nt h es y s t e mi sa sf o l l o w s t h ea n a l o gv i d e os t r e a mc r e a t e db v c c dc a m e r ai ss e n tt ov i d e od e c o d e rt v p 514 5 w h i c hc a nt r a n s f o r mv i d e o s t r e a mt os e p a r a t ey u v s i g n a l o n l yys i g n a li su s e di nt h ea l g o r i t h m ，a n dt h e s i g n a li st r a n s f e r r e dt od s pc h i pt of m t h e rp r o c e s s w i t hp h a s e r e l a t e d m a t c h i n ga l g o r i t h ma n do t h e ra s s i s t a n ta l g o r i t h m ，t h em o v i n go b j e c tc a nb e d e t e c t e d a t i e ra l lk i n d so fa l g o r i t h m sa r ef u l f i l l e d t h ec o n t r o li n s t r u c t i o n g e n e r a t e dd s pi ss e n tt oc a m e r ar u n n i n gc o n t r o l l e rt h r o u g hr $ 4 8 5s e r i a 】b u s a n dd r i v ec a m e r at ot r a c kt h eo b j e c t t h ee x p e r i m e n tr e s u l ti n d i c a t e st h es y s t e m c a ne f f e c t i v e l yc h e c ka n dt r a c km o v i n g o b j e c t m o r e o v e ri t i sab e t t e r a n t i - j a m m i n gs y s t e m k e yw o r d s ：p h a s e r e l a t e d ，m a t c h ，d s p , p a t t e r nr e c o g n i t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究l ：作和耿 得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得查盗盘堂或其他教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：讯起 签字| 二：| 期： 】o o 怦王月门f 1 学位论文版权使用授权书 本学位论文作者完全了解苤生盘茔有关保留、使用学位论文的 规定。特授权鑫盗盘堂可以将学位论文的全部或部分内容编入有关数据 库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查蒯和 借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权浇明) 学位论文作者签名：饬l 老 签字同期：2 0 6 悔2 月2n 锄躲乡j 群 签字同期：j ，妒年月扩r 1 第一章 绪 论 第一章绪论 1 1 实时智能视频识别跟踪系统概述 近年来随着硬件技术的不断发展和分析技术的不断拓展，各种识别系 统的研究和丌发得到了广泛地重视。识别是人类社会活动、生产活动及科 研活动中最基本最重要的活动之一。随着人类社会活动、生活和研究的深 入发展，需要识别对象越来越多，内容越来越复杂，要求也越来越高。实 际中为了减轻人们的工作强度、改善工作条件，避免某些工作的危险性， 或为了减少费用，提高识别速率和识别正确率，或者是完成某些人类不能 完成的识别任务，人们希望机器能具有类似入的识别功能，让机器代替人 进行有关的识别工作。人类希望机器具有的识别功能包括：视觉、听觉、 嗅觉、味觉及触觉等。据统计，人类获取的信息有8 0 以上来自视觉，因 此图像形式的数据和信息识别就显得更为重要。 在图像识别领域，运动图像的处理与分析| ；= i j 益受到学术界和工业界的 重视，特别是在动态图像序列背景( 静j i 背景成像变化) 中，运动目标的 i = 别与跟踪因其广泛的应用前景而成为一个重要的研究课题。与静态图像 相比，动态图像的基本特征就是灰度发生变化。具体晚来，存对某 景物 拍摄到的图像序列中，相邻两帧图像间至少有一部分像元的狄度发生了变 化，这个图像序列就称之为动态图像序列1 2j 。 在动态图像中，造成图像灰度变化的原因是多种多样的，主要有以卜 几类【3 l ： 1 景物本身发生了变化：物体发生了变形( 扩大或缩小) 或运动t 旋 转、平移) ： 2 相机与景物发生了相对运动：相机的平移、旋转使图像内容发7 t 了 改变； 3 照度变化：照射景物的光源发生变化导致物体亮度改变： 根掘对运动图像的观察经验，得出以下结论：运动可能导敛狄度的时 变。它的逆论是不成立的，即狄度的时变不一定就是有运动引起i “。照度捌 环境光反射的改变同样会引起灰度时变。在实际图像跟踪过程中，图像的 狄度变化是由以上三种情况共同作用的结果导致了运动目标在图像上造 成的变化与静止背景成像的变化混淆在一起，这就给目标的识别增大了难 度，在这种情况下如何实时精确的识别和跟踪运动目标成为这+ 课题的研 究重点。 在各种图像识别方法中，模式识别( p a t t e r nr e c o g n i t i o n ) 的应用最为 第一章绪论天津人学硕十论文 广泛。模式识别是指运用机器和分析算法进行分类( c l a s s i f i c a t i o n ) 和识别 ( r e c o g n i t i o n ) ，为能让机器执行和完成识别任务，应对分类以别划象进行 科学的抽象，建立它的数学模型，用以描述和代替它，称为这种对象的描 述为模式( p a t t e r n ) 5 1o 模式识别是根据研究对象的特征或属性，运用一定 的分析算法认定它的类别，要求分类识别的结果尽可能地符合事实。 功能较完善的模式识别系统在进行模式识别之前，首先要进行学习或 对它进行训练，这包括两个过程学习训练和识别分类。廊用f 1 的不同、 对象知识多少不同、采用的分类识别方法可能不同，采用的学习方法也可 能不同，分类识别系统和过程也将有所不同。 下面对识别系统的主要步骤作简要介绍【6 】： 1 特征提取 无论是识别过程还是学习过程，都要对研究对象固有的、本质的重要 特征或属性进行量测并将结果数值化，或对目标进行分解产q i 基冗并列其 符号化，形成特征矢量或符号，从而产生代表对象的模式。 2 特征选择 通常能描述对象的元素很多，在保证满足分类识别f 确率要求的条件 下，按某种准则尽量选用对正确分类识别作用较大的特征，使得用较少的 特征量就能完成分类识别任务。 3 学习和训练 为有效地让机器具有分类识别功能，人们应首先对它送行训练，将人 类地识别知识和方法以及分类识别对象的知识输入机器中，产t 卜分类_ i = ! 别 的规则和分析程序，这一过程一般要反复进行多次，不断修f 错误、改进 不足，最后使系统正确率达到设计要求。 4 分类识别 在学习、训练之后，所产生地分析规则及程序用f 未知类别的对象u 别。 其中第三步、第四步是图像识别成败的关键因素。以相似性为基础的 图像匹配算法，很好的解决了这两个问题，被广泛应用于机器的分类识别 功能的i ) i j 练和学习中。现在此方面典型的应用主要有指纹识别，地图迎配 识别，导航仪器，运动目标识别跟踪等，本论文研究的方向袁圮足如阿采川 模式以别理论实现动态背景下运动目标的检测与跟踪系统。 1 2d s p 芯片概述 d s p 一卷片，也称数字信号处理器，是。种特别适合进jj ：数信号处卿 第一章绪论 运算的微处理器，其主要应用是实时快速地实现各种数字信号处理算法。 根据数字信号处理的要求，d s p 芯片一般具有如下主要特点【7 l ： f 1 ) 在一个指令周期内可完成多次乘法和多次加法； ( 2 ) 程序和数据空间分开，可以同时访问指令和数据； ( 3 ) 片内具有快速r a m ，通常可通过独立的数据总线在两块巾同叫防 问； ( 4 ) 具有低开销或无开销循环及跳转的硬件支持； ( 5 ) 快速的中断处理和硬件i o 支持； ( 6 ) 具有在单周期内操作的多个硬件地址产生器： ( 7 ) 可以并行执行多个操作： ( 8 ) 支持流水线操作，使取指、译码和执行等操作可以重叠执仃。 世界上第一个单片d s p 芯片是1 9 7 8 年a m i 公司发布的$ 2 8 1 1 ，1 9 7 9 年美国i n t e l 公司发布的商用可编程器件2 9 2 0 是d s p 芯片的个主要罩程 碑。这两种芯片内部都没有现代d s p 芯片所必须有的荤周期乘法器。1 9 8 0 年，同本n e c 公司推出的g pd 7 7 2 0 是第一个具有乘法器的商用d s p 芯 片。之后出现了多个d s p 商，其中包括美困德州仪器公司( t e x a s i n s t r u m e n t s ，简称t i ) ，日本的h i t a c h i 公司，m o t o r o l a 公司，美国模拟器 件公司( a n a l o gd e v i c e s ，简称a d ) 等公司。如今，t i 公司的一系列d s p 产品已经成为当今世界上最有影响的d s p 芯片。t i 公司也成为世界上最大 的d s p ：芒；= 片供应商，其d s p 市场份额占全世界份额近5 0 。以f 刈_ j i 公司的t m s 3 2 0d s p 芯片系列进行介绍，并对浮点型芯片特点进行【千细 说明。 根据d s p 芯片工作的数据格式来分类的。数据以定点格式工作的d s p 芯片称为定点d s p 芯片，数据以浮点格式工作的d s p 芯片称为浮点d s p 芯 片。 1 2 1t i 定点d s p 芯片 自1 9 8 2 年t i 推出第一个定点d s p 芯片t m s 3 2 0 1 0 以来，j 、i 的定点d s p 芯片已经经历了t m s 3 2 0 c 1x 、t m s 3 2 0 c 2 x c 2 x x 、t m s 3 2 0 c 5 x 、 t m s 3 2 0 c 5 4 x 、t m s 3 2 0 c 5 5 x 、t m s 3 2 0 c 6 2 x 等几代产品，产品的件能价 格比不断提高，应用越来越广泛。它们与浮点芯片拥比，具有低功耗，低 价格等优势，主要的应用领域任于高速的定点数字计算应用中，翅型j 、t 川 有音频处理，图像处理，通信设备等。 1 2 2 t i 浮点d s p 芯片 第一章绪论大泮人学项- h 论文 t i 公司浮点d s p 芯片组主要包括三个系列，分别为 t m s 3 2 0 c 4 x 、t m s 3 2 0 c 6 7 x ，它们在性能和应用方面略有不同。 1 2 2 1t m s 3 2 0 c 3 x t m s 3 2 0 c 3 x 是t i 的第三代产品，也是第一代浮点d s p 芯片。该芯片 将在第三章中进行介绍。 1 2 2 2t m $ 3 2 0 c 4 x t m s 3 2 0 c 4 x 系列浮点处理器是专门为实现并行处理和满足其他一些 实时应用的需求而设计的。其主要性能包括2 7 5m o p s 的惊人速度和 3 2 0 m b y t e s 的吞吐量。 1 2 2 3t m s 3 2 0 c 6 7 x 这是t i 公司继定点d s p 芯片t m s 3 2 0 c 6 2 x 系列后开发的一种新型浮 点d s p 芯片。该芯片的内部结构在t m s 3 2 0 c 6 2 x 的基础上加以改进，内部 同样集成了多个功能单元，可同时执行8 条指令，其运算能力叮达l g f l o p s 8 1 。 1 2 - 3 多处理器d s p 芯片t m s 3 2 0 c 8 x t i 公司除了生产定点和浮点两类d s p 芯片之外，还推出了功能强大的 多处理器d s p 芯片t m s 3 2 0 c 8 0 。该芯片内部集成了5 个微处理器，处理速 度达到每秒2 0 亿次操作，与外部交换数据的速度为每秒4 0 0 m b y t e ，特别适 合于会议电视等多媒体应用。 1 3 本论文的结构 第二章智能跟踪算法，主要介绍了算法方案选择、本系统的主体算法 相位相关配准算法、自适应算法及后续算法，并对整体算法流程及算 法软件仿真过程进行介绍，最后对算法软件仿真效果做出结论。 第三章7 f m s 3 2 0 v c 3 3 芯片介绍，介绍了d s p 芯片各功能币元、指令系 统以及编程仿真环境c o d ec o m p o s e r 。 第四章实叫智能跟踪系统硬件殴训，介绍了硬件系统总体结构、齐功 能模块接口设计以及硬件设计中的问题与解决。 第五章实时智能跟踪系统软件设计及代码优化，介绍了软什波计方案 各模块的设计和软件设计中的问题与解决。 第六章系统综合调试，介绍r 系统软硬件和综合调试方法。 第一章绪论 第七章对本论文研究课题进行总结。 附录部分列出了t m s 3 2 0 v c 3 3 的汇编指令集。 由于本人水平有限，论文中难免有错误和不足之处，望各位老师不齐 批评、指正。 第一二章智能跟踪算法大泮人学硕十沦义 2 1 算法方案选择 第二章智能跟踪算法 传统的运动图像处理包括预处理、图像分割、特征提取、物体_ i = 别、 运动参数估计，运动物体跟踪等处理步骤，其中最重要的一步是图像分割。 图像分割所遵循的基本原则是使所考虑的特征或属性在分割后的区域内部 是相同或相似的，而这些特征或属性在相邻的区域中是0 i 同的。图像分割 可以用均一性观点提取各个不同类型的区域，也可以用差异性观点提取不 同类型区域的边界，或者综合运用上述两个观点。目标特征提取的内容包 括目标的特殊点( 如角点) 、线、边界、区域的敏感数值或符号的描述_ i 。 然而在各种各样的背景中把性质不能确定的运动物体分离出来是极其困难 的，有时甚至无法做到。 为了解决这一关键问题，放弃使用根据目标边界特征点来分割图像的 方法，转而利用目标图像序列中相临图像背景部分的相天性，i 司时汁意图 像的平移变化对图像的高频分量影响较大，而对低频分量影响较小等特点， 采用快速图像匹配算法中的f f t 相关算法结合抑制几何失真影响算法中的 相位相关算法作为图像分割的主体算法，并辅以窗口选择的自适应算法， 从而根据两帧图像的某一背景部分的相关性，精确快速的得到两帧图像的 整个背景部分的偏移量，以此将两帧图像的共同部分稳定在相同位酣一 通过二次差分的方法，使运动目标从图像中“暴露”出来如。 2 2 整体算法流程 灰度输入 下面对整个系统算法流程进行介绍，整体流程如图2 - 1 所示： 相位相关； 存储的i 二帧窗口 配准 f f t 变换结果 得山目 标位置 窗1 3 选择 = i 预处理 配准厉二 次差分 位移测量 ，l 轭相乘 = 刽门化 川抛物线法对 维相关峰插值 图2 - 1素统囊详算i 丢旒程询 第一章 智能跟踪算法大泮人学硕十论文 整体算法由三部分组成，分别是前期的自适应窗口选择和网像预处理， 中期的相位相关配准，后期的二次差分和确定目标位置。以下分n x , i 它们 进行详细介绍。 2 ，3 自适应窗口选择和图像预处理 2 3 1 自适应窗口选择 出于面对的场景不固定，光线和各种干扰的变化都会对后续核心算法 相位相关配准算法的精度和置信度产生影响，而且相位相关配准算法 的运算量很大，使用整帧图像进行配准算法运算，会影响了监控系统的实 时操作性能，因此采用了一系列的自适应算法，来有效地降低算法的运算 量。 首先对配准算法进行深入分析，该算法是针对两帧图像中共同背景部 分的相关性进行配准的，这也就是说：可以1 i 用计算整幅图像的相位相关 配准函数，而可以采用一个自适应的窗口区域，在窗口内的图像数据作为 整幅背景图像的典型值，对其进行配准，得到整幅背景的偏移量从而在 不影响配准精度的前提下，有效的降低了图像配准的运算量。 该问题的关键在于窗口区域的选取，需要保证窗口区域内，始终是两 帧图像的共同背景部分，只有这样才能实现良好的配准性能。奉课题采j f j 以下步骤选取窗口： 选取图像中心的6 4 x 6 4 点区域作为窗口区域，因为目标n + 能从各个方 向进入图像视野内，所以提取中心区域作为初始窗口区域可以有效的消除 干扰。 运动到视野中心时，将导致中心部分的6 4 6 4 点区域配准失9 攻( 通过 前一次发送控制指令与配准结果相比较的方法确定) ，这时随机选取矩形图 像四角位置其中一角的6 4 x 6 4 点区域进行配准操作，直到得到f 确的配准 结果为【j ：= 。这个期间系统增大了运算量，可能导致无法实时发出跟踪指令， 但此时运动目标刚好处于视野中心位置，不会瞬间移出视野，当运动门标 移出视野中，瑁寸，中心位置的配准结果又会萨确，从而又可以再次实现 f 常跟踪。 2 3 2 图像预处理 为了加快相位相关配准算法的搜索速度和匹配性能改善，拒蝴l | 贞图像 执行相关处理之前，必须对被匹配的图像进行适当的预处理最为常川的 第一章 智能跟踪算法大泮人学硕十沦文 预处理方法是去均值法。在实际中，出于图像的均值常常是非零的，因此， 当两图进行相关比较时，在度量值中就会出现一个“直流分量，结果使得 度量值的极值与图像背景电平的比值下降，且相关峰变宽。从而给匹配点 的检测带来了困难，而且降低了定位精度。因此，为了消除这些缺点，在 执行相关之前，必须对图像进行去均值处理。方法是，首先利用统计理论 计算出图像的均值估计，然后从图像中减去这个均值，就可以得到一个零 均值的图像【3 】。 2 4 图像匹配算法介绍 图像匹配算法是图像处理中的一种较常用的算法，具何运算景小，精 度高等特点，被广泛用于实时图像处理系统中。它丰要包括以下两种情况 t 0 1 ：模板匹配和连续图像的匹配滤波。 2 4 1 模板匹配 图像中检测物体的最基本方法之一是模板匹配法。此法是将所要检测 的物体的模板与图像中所有的位置物体进行比较。如果某一位霄物体。孔亥 模板匹配，则该物体就被检测出来，认为是与模板相同的物体。 2 4 2 连续图像的匹配滤波 在图像处理系统中，匹配滤波器是一种空i 日j 滤波器，它输出关于输入 图像与参考图像之阃的空阳j 相关性测度，并利用这种相关性测度柬确定输 入图像中是否含有参考图像，并进行两图像的空间匹配任务。 这种简单的相关测度有两个基本问题。第一是相关函数曲面町能较f 缓，以至难以准确检测出峰值：第二是图像噪声有可能掩盖相关峰值。如 果进一步考虑到图像内各点的空间相关性，修改相关测度，则n j 能使两个 问题的影响减轻。 2 5 实用的匹配算法” 2 5 1 快速匹配算法 相关算法总的运算量为窗口内的相关运算量乘以窗口位旨数。圳此 各种快速匹配算法的基础就是分别或同时设法减少算法运强鞋和 i 鬃声 扰，以达到快速运算目的。 第二章智能跟踪算法犬泮人学颂f _ 沦义 2 5 1 1 变灰度级相关算法 变灰度级相关算法又称幅度排序相关算法，这种算法是由两个步骤组 成的。第一步，把实时图像中的各个灰度值按幅度大小排成列的形式，再 对它进行二进制编码，然后根据j 进制排序的渚列，把实时图变换称二二进 制阵列的一个有序的集合 o n ，n = l ，2 n 。这一过程称之为幅度排序预处 理。第二步，序贯地将这些二进制队列与基准图进行由粗到细的相关，直 到确定出匹配点时为止。在这种相关算法中，相关运算是按狄度级的分层 出粗到细，逐级进行相关运算，逐缴相关运算的窗口位置数目是愈柬愈少 的，从而大大地减少了总体运算量。 2 5 1 2f f t g 关算法 由傅立叶分析中的相关定理可知，两个函数在定义域中的卷积等于它 们在频域中的乘积；而积相关( 即互相关) 是卷积的一种特定形式，因此， 存在着另种计算积相关函数的方法。这种算法将在下一节中进行详细介 绍。 25 13 序贯相似度检测算法( s s d a ) 这种匹配算法是巴尼亚( b a r n e a ) 和西尔弗曼( s i l v e r m a n ) 在1 9 7 2 年 最先提出来的 3 3 】并称之为序贯相似度检测算法，简称s s d a 算法。实践表 明，它在处理速度上比f f t 相关算法提高了一个到两个数量级，而比简干 的m a d 算法快几十到几百倍，但它的最大缺点是算法逻辑推导复杂，比较 难于在实际应用中实现。 2 5 1 4 分层搜索的序贯判决算法 这种算法又叫变分辨率相关算法，是直接基于人们先粗后细寻找事务 的惯例而生成的。与变灰度级相关算法类似，它也包括两步。第一步，列 被匹配的图像进行分层预处理，方法是将图像按2 x 2 象素的邻域逐个网格 地进行平均处理，从而得到一个分辨率较低和维数较小的图像，然后，将 此图像再用同样的方法处理后，得到一个分辨率更低和维数更小的剧像： 依此进行可构成组分辨率由高到低，而维数由大到小的图像序列。第二 步进行先粗后细的相关运算。 2 5 2 抑制几何失真影响的相关算法 如前所述，几何失真是影u 向图像匹配性能的一个很重要的因素。【划此， 如何减小集合失真对匹配性能的影响，这是一个在实际中必须加以考虑的 问题。为此，在预处理方面，可以采用几何校正方法，或者采h 受几何火 9 第一章 智能跟踪算法犬汴人：学硕十论文 真影响小的匹配算法，例如，不变矩匹配算法，相位相关算法，点模式匹 配算法等等，下面对这几种算法进行详细介绍。 2 5 2 1 不变矩相关算法 一一幅图像的7 个不变矩对于平移、旋转及比例变化是不变的，即不受 几何失真的影响。两图像之间的相似性可用7 个不变矩的相似程度来度量。 这种方法需对输入图像的各窗口位置计算该窗口内的7 个不变矩，运算量 较大。 25 22 相位相关算法 几何失真对图像的高频分量影响大，而对低频分量影响小，所以，采 用低通滤波器，以傅立叶频谱为基础的相位相关算法，可以人人减少几何 失真对匹配性能的影响。下面一节将对其进行详细介绍。 2 5 2 3 点模式匹配算法 一幅图像经过特征抽取之后，可用由有限个点模式构成的集合柬表不。 每个点模式具有位置信息与特征描述量。由于点模式是图像的特征化描述， 使表征图像信息的数据量大大压缩，因此具有提高图像匹配速度的很大潜 力。特别是这种特征化描述的本身具有对某些畸变不敏感的性质，冈此宵 可能建立对某些畸变不敏感的特征匹配算法。但这种算法的局限性存f 二选 取具有较好稳定性、受噪声的影响小、易于提取的模式基元是非常酬媾的。 2 6 相位相关配准算法原理 2 6 1 算法基本原理 以下对相位相关配准算法原理进行详细介绍： 假定：一帧图像具有行，y 列，总像元数为x y ，图像狄度量化等 级数为上；对于图像中的每一个像元，其扶度值是时问和它在图像中的位 置的函数厂( ，k ，f ) ，其中t 表示时阳j ，k ，f 表示像元的行号和列号，从而 帧图像定义了一个狄度矩阵。第i 帧图像的灰度矩阵为 八n f ( i ，l ，1 ) f ( i ，2 ，1 ) f ( i ，1 ，2 ) f ( i ，2 ，2 ) f ( i ，1 ，y ) f ( i ，2 ，r ) 取出任意相邻两帧图像进行分析，自适应算法取出共j 司背景掰li ，然 第二章智能跟踪算法大洋人学颂 。沦文 后对其进行去均值等预处理，从而消除硬件系统噪声的影响，同时碱小了 运算量。预处理之后，它们的灰度矩阵分别为；和 。首先求出其n n 的 傅立叶变换f i ( m ， ) n 一1n l f ( 肌，”) = f i ( k ，1 ) e 一心州“” 女= 0 = 0 式中，k = o ；，= 0 ；2 一，- 1 ；n = 一， 一1 。接着对z 和五的傅立叶变换结果进行互相关操作，得到两窗口的 互相关功率谱】，然后对这一互相关功率谱进行归一化处理，得到相位相 关谱g 。( m ，月) g 舢c m ，勰揣叫删，高案揣 公式f 2 3 ) 式中，w ( m ，胛) 是频域加权函数。并取如卜形式 w ( m ，月) = “l f f m ，月) ( 帆h ) 当口= 0 时，w ( m ，1 7 ) = l ，g 。( m ， ) 代表相位相关谱，而当口= 1 时， w ( m ，f ) = fe ( m ，月) 沏，一) ，g 。( m ，n ) 代表普通的功率相关谱。通过在 0 和1 之间改变a 的值，就可以产生两种匹配算法。这早取a 一0 ，w ( , q l ，”) = l ，得到相位相关谱。由此及傅立叶变化的理论可知，这个相位谱包含了 两图背景部分位置平移的所有信息，而且它是一个频谱幅度在全频域内为i 的频谱。 对这个相位相关谱进行二维f f t 逆变换，得到两个痴口的相位互相关 函数r ( p ，q ) 为 1 “v ，2 1 _ 1 f 一2 1 一1 1 咖砌2 矿一。= - ( n 2 g ) + 加i ，咖皿” 相位相关函数是个位于两窗口位置偏移( 风，吼) 处的艿脉冲函数：在 理想情况卜，当两窗口完全相似时，其值为1 ，反之则为0 。由于相位相关 函数对于灰度值及其刻度的变化是不变的所以十目位相火算法是不受这u 些 误差因素影响的。此相关函数的最高峰所对应的坐标值就是曲图化肖偏移 ( p 。q o ) 。 g t 十i l 位相关配准算法得到了两帧图像偏移( z ，。，q 。) ，这偏移量具有。 第二章智能跟踪算法 定的误差。为提高位移测量精度，对最高峰处的相关峰值采用抛物线内插。 设p 。和q 。为两图像最大相关峰值所对应的平移量，由于空削量化的原因， p 。和q 。只能是整数。设最大相关峰值所对应的平移量实际为p 和q ，它们 的估计为 i = p 七6 q 2 q + 内插公式为 r ( p o + i ，q o ) 一r ( q o 一1 ，q o ) 2 一r ( p o + i ，q o ) + 2 r ( p o ，q o ) 一r ( p o 一1 ，q o ) 公式( 2 6 a ) 公式( 2 6 b ) 石赢而r ( p o 可, q o 葡+ 1 ) 瓦- r ( q 万o , q 丽o - 1 ) 忑面 公式( 2 _ 7 b ) 2 卜r ( p o ，g o + 1 ) + 2 r ( p o ，g o ) 一r ( p o ，g o 一1 ) 虬叫 根据估计出的p 和q ，将 反向平移( p ，q ) 即可与：配准。 2 6 2 算法匹配置信度 在图像匹配中，相关算法的匹配置信度是用虚假定位概率( 汜作，f f ) 来描述的。所谓虚假定位概率就是指相关平面中离匹配点近处的最大旁瓣 超过主峰( 匹配点的相关峰) 的概率。 现在，为了得出相位相关算法虚假定位概率的解析式，作如下的假殴： 令爿。和a ：分别表示主峰和旁瓣峰的幅值； 这两个峰值都是高斯的，并把测量得到的幅值a 和a ，视为均值； 它们的标准偏差均为o - 一l 胁，这里m 表示图像的总的像元数。凼 为傅立叶相位角在( 一丌，厅) 弧度范围内，它类似于一个具有均匀分和的、刁i 相关的随机变量所以这一假设是合理的。 在这些假设之下，相位相关算法的虚假定位概率肼一1 可以表示为 尸盯= 志e 唧 一警卜 其中 仃：n s “2 若令 a a ， 2 盯 则有 第二章智能跟踪算法 j d 肝= 击= ：呐，屈e x p ( 7 渺= 圭。r f c ( a , - a 2 ) 压a 公式( 2 _ 1 1 ) 把公式2 - 9 代入其中，得 p f f = 委咖h a 2 ) 4 丽s g 公式( 2 1 2 ) 因为旁瓣峰表示离匹配点远处的最大起伏，所以实际的a ：可能比测出 的值大，结果使得用公式2 1 2 计算出来的p f f 偏大。因此，为了使其逼近 于实际情况，将公式2 - 1 2 修正为 p f f = e r f c y ( a l a 2 ) 4 而s g j 公式( 2 1 3 ) 其中y l ，在实际中取y = 1 5 就可以了 1 2 1 。 显然，若计算出来的这个概率的值愈小，则表示离匹配点远处的旁瓣 峰超过主峰的可能性就愈小，即匹配置信度就愈高，反之则就愈低。 2 7 二次差分和确定目标位置 由上面的相位相关配准算法，可以得到两帧图像的整体偏移量，然后 就可以对两帧图像进行差分操作，得到两帧图像中目标位置的混合图像。 因为整个跟踪过程，目标的图像是全程记录的，所以一次差分后的图像可 以与前一次得到的运动目标的图像进行二次差分操作，得到现在目标的位 置j 。根据当前目标位置相对于前一帧位置的变化，得到运动目标的运动力 向和运动速度等信息，从而得到下一步控制摄像器材转动的控制指令。 2 8 整体算法的软件仿真 整体算法的仿真通过v c + + 6 0 自行设计的软件仿真实现。软件的界面 如图2 - 2 所示： 软件输入采用摄像头采集到室内环境，运动目标为行走中的人，文件 保存为8 位精度的亮度信号文件( b m p ) ，计算结果有图像相对于自卜一帧图 像的偏移量( p ，q ) ，运动目标的坐标值，配准成功与失败的判断汞1 摄像义 发出的下一条控制指令等信息。 第二章智能跟踪算法天泮人学硕十论文 图2 2仿真算法软件界面 这里，整体算法运算结果( 如图2 3 a 所示) 与直接进行两帧图像数据 二次差分的方法试验结果( 如图2 3 b 所示) 进行了比较，因为二次差分是 多数目标检测中进彳亍的重要一步，与直接二次差分后的结果进行比较，可 以比较客观的反映算法的有效性和正确性。由结果比较可以看出，直接 次差分的目标无法j 下确被识别到，相位相关配准算法后的二次差分的目标 被正确识别，可以证明相位相关配准算法是可靠有效的。在整幅图像的配 准中，可以精确到一个象素点，而且具有极高的精确度。而采用窗口区域 的配准代替整幅图像的配准，虽然有效地降低了运算量，但会增加配准失 败的可能，通过前期成功的选取窗口，可以有效地消除这一干扰。 图2 3 a算法配准后二次差分 矧2 3 b直接二次差分 第三章t m s 3 2 0 v c 3 3 芯片介纠大洋人学硕卜论文 31 概述 第三章t m s 3 2 0 v c 3 3 芯片介绍 3 1 1t m s 3 2 0 c 3 x 系列芯片介绍 t m s 3 2 0 c 3 x 系列d s p 中目前拥有t m s 3 2 0 c 3 0 、t m $ 3 2 0 c 3 1 、 t m s 3 2 0 c 3 2 和t m s 3 2 0 v c 3 3 四种型号芯片。t m s 3 2 0 c 3 0 是t l 公司第一款 浮点d s p 芯片，c p u 内部有一个浮点乘法器和一个浮点a l u ，片内集成了 两个定时器，两个全双工同步串口，一个d m a 控制器。t m s 3 2 0 c 3 1 是 t m s 3 2 0 c 3 0 的简化和改进型，它在t m s 3 2 0 c 3 0 的基础上去掉r 一般用户 不常用的些资源，降低了成本，是一个性能价格比较高的浮点处理器， 在国内已得到了较广泛的应用。t m s 3 2 0 c 3 2 是t m s 3 2 0 c 3 l 的进一步简化 和改进。t m s 3 2 0 v c 3 3 是t i 公司最新一代3 x 系列产品，它具有高达 1 5 0 m f l o p s 的浮点运算量，片内集成了大量r a m ，并且采用内核l8 v ， 外设3 3 v 供电的低功耗设计，指令周期为1 3 1 1 7 n s ，成为性价比最高的浮 点d s p 芯片【7 1 。 3 1 2t m s 3 2 0 v c 3 3 芯片特点 t m s 3 2 0 v c 3 3 是t i 公司新推出的t m s 3 2 0 c 3 x 系列新一代浮点d s p 。 它是在原来的t m s 3 2 0 c 31 浮点d s p 的基础上开发的一个价格更低的版本， 该产品以高速、低功耗、低成本、易于开发为显著特点。由于它采用了内 部1 8 v 、外部3 3 v 供电，因而功耗比原有3 x 系列型号降低了大约一个数 量级，而且能支持高达1 5 0 m f l o p s 的运行速度，是需要高速浮点运算应 用场合的一种理想的d s p 器件1 1 3 10 t m s 3 2 0 v c 3 3 功能模块图如图3 一l 所示。 t m s 3 2 0 v c 3 3 采用1 4 4 脚l q f p 封装结构。它的主要性毹如卜f r 4 1 具有高速的浮点运算能力，其中t m s 3 2 0 v c 3 3 。1 5 0 型在l3 n s 单刷期指 令执行时间时为1 5 0 m f l o p s 和7 5 m i p s ：而t m s 3 2 0 v c 3 3 1 2 0 型在 1 7 n s 巾周期指令执行时间时为1 2 0 m f l o p s 和6 0 m i p s ； 带有3 4 k x 3 2 位( 1 1 m 位) 的片内双端口s r a m ，分为2 个1 6 k x 3 2 位块和2 个1 k x 3 2 位块： 内含5 倍频的锁相环( p l l ) 时钟发生器； 低功耗，在l5 0 m f l o p s 下运行叫，功耗低- 2 0 0 m w ： 带有3 2 位的高性能c p u ；可进行1 6 3 2 位整数和3 2 4 0 位的浮点操作； 具有四个内部泽码片选管脚，可大大简化与i o 及存储措的借 第二章t m s 3 2 0 v c 3 3 芯片分纠天冲人学硕_ 卜跄文 带有自启动程序装载功能 图3 1t m s 3 2 0 v c 3 3 功能模块图 具有微计算机和微处理器两种工作模式，外部中断，叮选择边沿触发力， 和电平触发方式： 第二章t m s 3 2 0 v c 3 3 芯片介1 7 具有3 2 位的指令字，2 4 位的地址线： 内含8 个扩展精度寄存器； 片内、片外、i o 具有统一的地址空阳j ，片内外设资源丰富，其中包括 一个同步串行口，2 个3 2 位定时器和一个d m a ； 采用t i 公司的0 1 8 u r nt i m e l i n et m 制造技术； 采用1 4 4 管脚l q f p 封装： 带有2 个地址发生器、8 个辅助寄存器和2 个辅助寄存器运算单兀 ( a r a u s ) ： 具有两种低功耗模式： 支持2 个或3 个操作数指令： 在一个单指令周期内可并行进行算术逻辑单元( a l u ) 和乘法器运算： 具有块重复功能； 可零开销循环和单周期分支； 具有条件调用和条件返回指令； 有互锁指令，可支持多处理器操作； 总线控制寄存器配置选通控制等待状态数； 采用1 8 v 内核，3 3 vi o 供电： 具有符合i e e e1 1 4 9 1 标准的片内扫描仿真接口( j t a g ) 。 3 2 芯片各功能单元介绍 3 2 1c p u 部分 t m s 3 2 0 v c 3 3 芯片o ”1 内部采用以寄存器为基础的c p u 结构。c p u 包含 以下功能模块： 1 浮点定点乘法器 2 算术逻辑单元( a l u ) 3 3 2 b i t 桶型移位器 4 c p u l c p u 2 和r e g l r e g 2 内部总线 5 辅助寄存器算数单元( a r a u s ) 6 c p u 寄存器组 c