（信号与信息处理专业论文）基于dsp的运动目标自动跟踪系统的设计和研究.pdf

摘要 随着社会的快速发展，目标跟踪系统的发展已经越来越成熟，它被广泛应用 于军事、工业和商业等领域中，已经成为了现实生活中不可缺少的一部分。智能 化的提出，更促进了目标跟踪系统的发展，目前运动目标的自动跟踪已经成为监 控领域中最热门的话题之一，更重要的是，它的出现实现了从被动跟踪模式向主 动跟踪模式的转变，并且通过对运动目标的计算和预测，能实现对运动目标的智 能跟踪。 论文首先研究了基于运动目标的识别和跟踪的算法。分析了在有运动目标存 在的图像序列中目标的检测方法，确定了运动目标质心的求取方法，在这个基础 上提取出了运动目标的模板，并把此模板应用于进一步的运动目标匹配与跟踪 中。 随后论文研究了基于t m s 3 2 0 d m 6 4 2 的运动目标自动跟踪系统的设计和实 现。研究了s 3 2 0 d m 6 4 2 的性能特点，提出了以t m s 3 2 0 d m 6 4 2 为核心处理 器的运动目标自动跟踪系统的硬件实现方案，并进行了论证。该硬件电路包括视 频解码a d 、视频编码d a 、数据缓冲器、d s p 、c p l d 、u a r t 、数据存储和 f l a s h 等功能模块。本文详细介绍了运动目标自动跟踪系统中各个功能模块的 硬件电路设计及系统时序的设计和实现。经过对所设计的系统的实际测试，软硬 件性能均达到了实时性、可靠性和稳定性等指标。该课题已经成功的结题，各项 指标均满足合作单位的要求。 关键词：运动目标检测，模板匹配，自动跟踪，云台，t m s 3 2 0 d m 6 4 2 ，c p l d ， d s p b i o s a bs t r a c t w i t ht h ef a s td e v e l o p m e n to ft h es o c i e t y , t h ed e v e l o p m e n to ft a r g e tt r a c k i n g s y s t e mi sm o r ea n dm o r em a t u r e t a r g e tt r a c k i n gs y s t e m ，w h i c hp l a y sn i li m p o r t a n t r o l ei nt h es o c i e t y , i sw i d e l yu s e di nv a r i o u sf i e l d so fm i l i t a r y , i n d u s t r i a la n d c o m m e r c i a l t h es u g g e s t i o no fi n t e l l e c t u a l i z a t i o nf l l r t h e ra c c e l e r a t e st h ed e v e l o p m e n t o ft a r g e tm o n i t o rs y s t e m t h em o v i n gt a r g e ta u t o - t r a c k i n gh a sb e c o m eo n eo ft h e m o s tp o p u l a rt o p i c so fm o n i t o r i n gf i e l d w h a ti sm o r ei m p o r t a n t ，i t sa p p e a r a n c e r e a l i z e dt h et r a n s f o r mf r o mt h ep a s s i v et r a c k i n gp a t t e r nt oa c t i v et r a c k i n gp a t t e r n a n d m o v i n gt a r g e ta u t o t r a c k i n gc a nb e c o m ea ni n t e l l e c t u a l i z e dt r a c k i n gv i ac a l c u l a t i o n a n df o r e c a s t i n go fm o v i n gt a r g e t t h et h e o r yo fm o v i n gt a r g e ti d e n t i f y i n ga n dt r a c k i n gi sd i s c u s s e di nt h ef i r s t s e c t i o n t h em e t h o d so ft a r g e td e t e c t i o na r ea n a l y z e di ns e q u e n c ei m a g ew h i c h i n c l u d em o v i n gt a r g e t ，a n dt h ec a l c u l a t i o nm e t h o d so fm a s sc e n t e ra r ei n t r o d u c e d t h e n ，t h et e m p l a t eo fm o v i n gt a r g e ti sa b s t r a c t e do u t ，w h i c hi sa p p l i e di nm o v i n g t a r g e tm a t c h i n ga n dt r a c k i n g i nt h en e x ts e c t i o no ft h i sd i s s e r t a t i o n , t h ed e s i g na n di m p l e m e n t a t i o no fm o v i n g t a r g e ta u t o t r a c k i n gm o n i t o rb a s e do nt m s 3 2 0 d m 6 4 2i ss t u d i e d a f t e ra n a l y z i n g t h ep e r f o r m a n c ea n dc h a r a c t e r i s t i c so ft m s 3 2 0 d m 6 4 2 ，t h ei m p l e m e n t a t i o ns c h e m e o fm o v i n gt a r g e ta u t o - t r a c k i n gm o n i t o rw i t ht m s 3 2 0 d m 6 4 2 弱t h ec o r ep r o c e s s o r i sp u tf o r w a r d t h eh a r d w a r eo ft h es y s t e mi n c l u d e ss u c hf u n c t i o nb l o c k sa sv i d e o d e c o d e ra d ，v i d e oe n c o d e rd a ，d a t ab u f f e r , d s p , c p l d ，u a r t , d a t am e m o r ya n d f l a s h t h i sd i s s e r t a t i o ni n t r o d u c e st h eh a r d w a r eo fe v e r yf u n c t i o nb l o c ka n dt h e r e a l i z a t i o no fs y s t e mt i m i n g a c c o r d i n gt ot h ep r a c t i c a lm e a s u r e m e n to ft h i ss y s t e m ， t h ep e r f o r m a n c eo fb o t hh a r d w a r ea n ds o f t w a r ea l lm e e tw i t hs u c hr e q u i r e m e n t sa s s t a b i l i t y , r e l i a b i l i t ya n dr e a lt i m ee t c t h i sp r o j e c th a ss u c c e s s f u l l yc o m p l e t e d ，a n da l l i t st e c h n i c a ls p e c i f i c a t i o n sa r ea l i g n i n gw i t ht h er e q u i r e m e n t s k e yw o r d s ：m o v i n gt a r g e td e t e c t i o n ，t e m p l a t em a t c h i n g ，a u t ot r a c k i n g ， p a n t i l e ，t m s 3 2 0 d m 6 4 2 ，c p l d ，d s p b i o s 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得丕盗盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：私觞伽签字日期妒7 年，月日 学位论文版权使用授权书 本学位论文作者完全了解苤注盘堂有关保留、使用学位论文的规定。 特授权墨生盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：孕殇私 签字日期：御年j 月和日 f 。 别僦：部伽 签字日期：少7 年， 月扣日 第一章绪论 1 1 背景 第一章绪论 目标跟踪系统是随着电视、摄像机和微处理芯片的出现和发展而壮大起来 的。在短短的几十年的发展历程中，伴随着新技术革命的不断冲击，目标跟踪系 统经历了好几个阶段 1 】【2 】： 1 、一对一监控系统 这是目标跟踪系统最早期的形式，主要是以监视器( 大多数都是电视) 和摄 像机一对一监视为主，连接方式是靠视频电缆一对一直接相连，这种连接方式有 多少个摄像机就需要多少个监视器。 2 、控制电路系统 人们在实践中慢慢地发现，这一对一监控模式是一种极大的资源浪费，随之 逐渐出现了视频切换器，来弥补这一缺陷，伴随着变倍镜头及云台的引入，控制 器也开始出现。但是此时的切换控制电路系统因受技术的限制，只是简单的硬件 电路组合，视频切换和控制是独立的，控制多是采用多路开关，配合多芯电缆一 对一直接连接的线控方式。这种控制电路系统的缺点是传输距离要求不能太远， 而且布线复杂，操作繁琐，难以实现多中心控制，系统容量小，扩展困难，不能 实现区域联网。 3 、微处理器监控系统 二十世纪七、八十年代，随着新技术革命的兴起，微处理器开始发展起来， 微处理器开始用于闭路监控系统中，它将切换电路和控制电路合二为一，这是一 个很大的进步。但受当时单片机的限制，系统功能容量及运行速度有限，体积大， 容易死机，无对话式屏幕菜单，缺乏良好的人机界面，而且操作步骤多，兼容性 差，系统升级困难，因此这一微处理监控系统也越来越跟不上时代的步伐。 4 、过渡型数字视频跟踪系统 九十年代，随着数字视频技术的高速发展，数字化的概念开始慢慢被人们所 接受。一些厂商看到这一领域有好的发展前景，将本身用于民用的一些视频技术 转化过来，推出了应用于监控领域的目标跟踪视频系统，由于这些厂商以前没有 监控领域的背景和实际经验，设计出来的产品也许在视频处理上有一定的特长， 但往往不符合安全要求和行业规范。这类系统虽然有一个漂亮的界面，标榜为数 字化系统，但在功能需求上不符合公安部安防标准，存在安全隐患，并且大多数 第一章绪论 都是功能简单的小系统，无法进行系统扩展。 5 、目标自动跟踪管理系统 随着芯片的发展，单片芯片提供的功能越来越强大，速度也越来越快，为了 朝着监控的便携发展，越来越多的监控系统设计基于脱离p c 的单片板，结合安 防监控的实际要求，运用最新的数字视频技术、现场总线技术、网络通讯技术建 立一套软硬件相互结合、崭新、完整的安防体系，这是未来监控系统发展的方向。 运动目标的自动跟踪是监控领域研究中的一个重要的课题【3 1 。通过监控设备 监控动态场景，早已被广泛应用于社会生活的各个方面，从社区和重要设施的保 安监控到城市和高速公路上的交通监控，从军事目标的检测到智能武器，监控设 备作为人类视觉的延伸起着非常重要的作用。一些重要的场所如银行、机场和大 型仓库等的保安设施中常常都装有一些可视化的监控设备，这种早期的监控系统 已经可以满足人们“眼见为实”的要求，但是此类监控系统是静态的，它要求监 控人员不停的监视屏幕，获得视频信息，再通过人为的理解和判断，才能得到相 应的结论和相应的决策。而让监控人员长期盯着众多的监视器又是一项非常繁重 的任务，尤其在一些监控点比较多的情况下，监控人员几乎无法做到完整而又全 面的监控。所以对基于视频图像的监控系统的智能化要求越来越迫切，于是本课 题提出了运动目标的自动跟踪，它就是要依赖计算机视觉，在不需要人为干预的 情况下，通过对摄像机拍录的图像序列进行自动分析，实现对动态场景中某个突 发目标的定位、识别，并在此基础上分析和判断目标的行为，以求达到对运动目 标跟踪或者对某个突发情况的报警，从而做到既能完成日常管理又能在异常情况 发生的时候及时做出反应。 运动目标的自动跟踪主要涉及摄像机标定、目标识别、模板匹配与跟踪等内 容，运动目标的自动跟踪具有广泛的应用前景及巨大的潜在经济价值，它已引起 了许多科研机构及研究人员的浓厚兴趣。 在运动目标自动跟踪系统t 4 j ，往往由于工作环境的变化、工作状态的变化、 不同工作阶段的变迁以及人工干扰的影响等，智能化的跟踪常常很难适应，因此 在系统中必须有较好的人工智能和抗干扰的能力，所以自动跟踪系统是一个涉及 到图像处理、模式识别、人工智能以及自适应控制多领域问题的综合解决。 1 2 目标自动跟踪系统发展现状 自动跟踪系统从无到有，经过近二十年的发展已经进入了一个高速发展时 期，行业竞争日渐自热化，每个企业都面临着生死的抉择和挑战。静态的监控系 统不会再有九十年代初奇高的利润空间，更不会有九十年代中期金融行业安装视 2 第一章绪论 频监控系统迅猛的浪潮，可以说市场进入一个相对饱和的状态，同时模拟系统也 不再适应社会发展的需要，因此现在众多厂商开始朝着目标自动跟踪系统方向发 展。 随着设备的不断发展，自动跟踪技术也日趋完善。在自动跟踪技术中，先通 过图像传感器来获取连续或离散的图像序列，然后通过相应的算法来获得运动目 标的有关信息，如位移、速度等。在比较先进的目标跟踪系统中，通常采用雷达 或望远镜及c c d 构成的地面图像探测设备来获得图像序列，再利用一些典型的 边缘检测算子来检测图像的边界并确定目标的位置。自动跟踪技术也可以用在非 军用场合下，比如车辆的自动驾驶、动态模式识别等各种场合下。自动跟踪技术 也将逐渐被广泛的应用在广大人民的生活中，同时，这又促进了自动跟踪技术的 发展。自动跟踪技术使用设备简单，简化人为干扰，能及时对异常做出反映，这 正是自动跟踪和其他跟踪方法的最大差别，也是自动跟踪能得到各个大公司关注 的主要原因。 目前三星、索尼、松下等安防业大公司始终致力于目标自动跟踪设备的研究， 国内公司如也在不断的努力。目标自动跟踪系统不仅符合信息产业的未来发展趋 势，也代表了监控行业的未来发展方向。智能化的全数字自动跟踪系统迅速占领 市场是必然的趋势，目标自动跟踪系统不仅仅用于安防的目的，它会向更高、更 远的方向发展。融合自动化控制、网络通讯、智能管理等多方面更是大势所趋【5 】。 1 3 本课题的主要任务 本文设计和完成了一套运动目标自动跟踪系统，通过该处理系统能够实时采 集摄像头的数据，经过视频解码后进入数字信号处理器进行必要的处理，包括图 像信号的差分、二值化、质心提取、模板提取和匹配等，最后利用运动目标运动 的象素间隔数转化为摄像头转动角度和转动角度到摄像头转动速度等算法，转换 为控制字序列通过串口发送到摄像头的云台控制器上，控制器通过控制字的命令 执行相应的动作( 水平转动、垂直转动、调焦等) 以达到自动跟踪运动目标的目 的。 项目开始后详细分析了系统的整体要求，对多种解决方案进行了比较，最终 采用了一款专用多媒体处理芯片t m s 3 2 0 d m 6 4 2 1 6 】来实现系统的自动跟踪功能， t m s 3 2 0 d m 6 4 2 是t i ( t e x a si n s t r u m e n t s ) 公司推出的高档3 2 位d s p 系列产品，内 部时钟高达7 0 0 m h z ，运算速度达到5 7 6 0 m i p s ，再加上内部有2 5 6 k 字节的存储 器、6 4 通道的e d m a 通道、灵活的e m i f a 和视频v p 接口，使得构成实用化的运 动目标自动跟踪系统成为可能。本系统的电路以高速d s p 芯片d m 6 4 2 为核心器 第一章绪论 件，外接视频编解码器、s d r a m 、f l a s h 和时序逻辑控制器( c p l d ) 等。选 择芯片时充分考虑了其性能、信号接口上的匹配等，消除了制约处理性能的瓶颈。 本文一开始介绍了自动跟踪软件相关的算法，然后再研究了系统硬件整体实 现以及系统各个模块的实现，最后讨论了基于d s p b i o s 的系统软件实现。 4 第二章运动目标的识别与跟踪 第二章运动目标的识别与跟踪 在运动目标自动跟踪过程中，运动目标的检测和识别的准确性对随后的跟踪 有相当重要影响。系统要实现目标的智能跟踪，主要需要两个模块：运动目标识 别模块和运动目标跟踪模块。一般情况下，识别模块从采集进来的图像序列中获 知是否存在运动的目标，如果存在，则给出运动目标在视频图像中的位置、大致 轮廓和运动方向，随后把相关的数据交给目标跟踪模块，目标跟踪模块根据给定 的目标位置、方向建立跟踪模式，也即为后续跟踪过程初始化目标模板模型。 基于运动目标识别和跟踪的一般流程是：通过对静止背景不断检测，直到找 到运动目标，再对运动目标特征进行描述，提取出目标的模板特征，初步估计目 标的运动矢量，再根据目标运动状态，进入目标跟踪模式，通过对云台的控制调 整摄像头水平方位、垂直方位和焦距以达到跟踪目标的目的，并且每次跟踪后都 判断是否需要对目标特征模板进行更新，这样又开始进入下一轮的跟踪过程。 2 1 图像差分技术 目前检测运动目标的方法有光流法【8 1 、帧间差阈值法【9 1 和m u m f o r d s h a h 模 型【7 1 等方法，本文主要通过帧间差阈值法来对运动目标进行检测。 2 1 1 图像的差分 摄像头中有目标的运动意味着图像有变化，判断图像中是否有运动目标中的 依据是图像强度的变化，可以用图像序列中相邻或相隔帧对同一方向采集的图像 做差分，差分结果表示对应图像点象素强度的相对变化，图像差分运算定义为【1 0 】： 监( x ，y ) = s ( x ，y ，t + a t ) - s ( x ，y ，f )( 2 - 1 ) 其中s ( x ，y ，t ) 为灰度图像序列在t 时刻，点( 工，y ) 处的灰度值，a s ( x ，y ) 是 f + 垃时刻与t 时刻图像序列的差分图像。 式2 1 运算只涉及到对应象素强度的相减运算，这种运算在算法上是相当容 易实现的。图像差分的结果在某种程度上反映了景物的较高层次性质或者说蕴涵 在图像平面上的运动目标的变化。如果景物中存在几个相互独立的运动物体，则 差分图像是这些运动效应的组合，在实际的图像中，差分图像与静止的边缘图像 _ 样，并不是有理想封闭的轮廓区域组成，而且往往是表示出不完整的变化信息， 差分图像如图2 1 所示。 镕= i 动目# m 别与a 镕 钠一盔 背景图像 2 12 阈值判断 图2 - i 差分图像 背景中有目标的图像 图像帧间差法这种方法在算法上很容易实现速度也快，但是缺点是抗干扰 能力不强，比如风吹动树、下雪或两帧之间灯光的突然变化都会影响帧间差的结 果，由于这些干扰在系统中可能会误判为有运动的物体影响系统的正确性因 此本文采用改进的算法】来实现： 判决条件如下 物x , y , t + a t ) 。( w ，川”“玄，毛 。“旷跏川l ( z - 2 ) 如果式2 - 2 成立，则说明在检测区域内有运动的目标，反之如果不成立，则 说明在检测区域内没有运动的目标。 式中s ( x ，y ，t + a t ) 为图像序列在f + ，时刻点( ，y ) 处的灰度值，t 为灰度闽 第二章运动目标的识别与跟踪 值，阈值的选取好坏决定了目标识别的灵敏度，入为抑制参数，a 为检测区域内 的象素总数，一般为一帧图像的象素数。 九寺i s ( x ，y ，t + a t ) - s ( x ，y ，t ) l ( 2 3 ) 善，y e j | 式2 3 表示光线的整体变化。在检测区域内象素足够多的前提下，如果图像 光照比较小，这一项的值趋于零，如果图像光照明显，则添加项的值明显增大。 因此光照等带来的变化，可以在添加项中取适当的值，使得式2 2 式判决条件不 成立，系统判断为没有运动的目标，这样就抑制了光照等变化带来的影响。但是 在这种情况下，但对于小目标的运动也可能使判决条件不成立，这样系统又产生 误判。 为了克服上述方法的缺点，本文通过对上面算法继续改进，对目标大小提供 选择。对于不同监控目标与场景，图像中的目标大小有所不同，由于运动物体边 缘点最可能满足式2 2 ，所以可以只对运动物体的边缘点进行判断，容易得到目 标越大，式2 - 4 集合u 中的像素个数越多，因此将判决条件改为如下： u = m li s ( x , y ，f + a t ) 一s ( z ，y ，f ) i t + 九寺i s ( z ，y ，t + h t ) - s ( x ，y ，f ) l ，m b 一j ，y e 彳 ( 2 - 4 ) 式中s ( x ，y ，f + a t ) 为图像序列在f + f 时刻，点( 工，y ) 处的灰度值，t 为灰度阈值， 阈值的选取好坏决定了目标识别的灵敏度，x 为抑制参数，。为检测区域内的 象素总数，b 表示t 时刻的图像区域的边缘点的集合，所以可以知道运动目标越 大，u 中的元素个数也越多。 m c ( 2 5 ) 式中l ：表示集合u 中的元素数量，m 表示集合u 满足报警的最少元素数 量，此判别条件一定程度上限定了检测区域的目标大小，有助于提高报警准确性， 避免了由于较小目标的干扰而导致的误报。 2 2 图像二值化 以上通过对不同时刻两图像的差分，显示灰度值较大的区域是由于运动目标 或噪声导致而产生的。灰度化的差分图像并不能真正地标识出运动区域和非运动 区域，而且由于噪声的干扰，往往也不能通过判断灰度值的方法来标识运动区域 和非运动区域，在这种情况下，可以通过先对图像进行二值化操作，再运用模式 识别和数字形态学，人为的去除一些噪点，这样就可以将差分图像划分为运动区 域和非运动区域。 7 第= i 运动目标m 剐与甩踪 大部分差分图像的噪声都服从高斯分布由于差分图像中相对噪声区域较 大且具有相同分布而运动变化区域不具有此性质，因此可选择差分图像的均值， 标准偏差作为相对噪声的均值和标准偏差的估计值。根据概率论中高斯分布的 “3 口”特性，服从高斯分布的随机变量主要分布在以均值为3 j 范围内。即当差 分图像满足 博( x ，y , t ) 一u ( x ，y ，t ) | 3 0 - ( t )( 2 - 6 ) 时噪声可以得到有效的抑制。 其中： = f + 3 a( 2 - 7 ) j f f l =焉嚣忑而 s ( x ，f ) 为灰度图像序列在t 时刻点( j ，y ) 处的灰度值， ( f ) 为图像序列在 c 时刻的均值，口( f ) 为图像序列在t 时刻的标准偏差，m 、n 为图像的行数、列数 ( 本系统中m 、n 分别为2 8 8 、3 6 0 ) 。在这里选取阈值瓦= f + 3 j 然后根据选 取的阈值进行二值化处理。 跗m f ) - 鬈。卜( 2 - 9 )剐 f ) 2 ，i 若 其中s ( x ，h t ) 是差分图像二值化后的图像，这种方法的好坏程度关键在于相 对噪声均值和标准偏差的初始估计值的可靠程度。这种方法基本上能消除噪声 图2 - 2 为差分图像二值化前后的对比。 差分图像 图2 - 2 差分图像的二值化 值化后图像 第二章运动目标的识别与跟踪 2 3 图像的质心 在后续的运动目标匹配中，如果进行整个运动目标的匹配，则会大大影响系 统的性能，而且也没有必要进行整个运动目标匹配。实践证明，对运动目标的某 个特征模块进行匹配，其实也能达到相应的效果，因此可以把运动目标跟踪的问 题转化为对运动目标的某个特征模块的跟踪。本系统先采用质心算法，求取出运 动目标的质心，即能够确定出物体所在的位置，然后再以质心为中心提取出合适 的特征模板，这样系统对运动物体自动跟踪的问题就转化为对特征模板的自动跟 踪问题，从而简化了系统软件的复杂性，为下一步的目标匹配做好了准备工作。 2 3 1 二维直角坐标系的定义 本文采用如下的表示方法表示二维直角坐标系：s ( x ，y ，t ) 为灰度图像序列在 t 时刻，点( 工，y ) 处的灰度值，点( x ，y ) 代表图像中横坐标为x ，纵坐标为y 的像 素点，对于任意t 时刻的图像，采用下图2 3 所示的直角坐标系。 图2 3 图像二维直角坐标系 那么，对于图像上的很多点组成的集合来说( 这些点可能连通，也可能离散) ， 它们构成了一点集，记为w ，也即 矽= ( x ，y ) l s ( x ，y ) = o ) ( 2 一l o ) 同时w 中所有的点的灰度也构成一个集合，把这个灰度集合中的重复元素 去掉，称这个灰度集合为w 的灰度集合，分别记行灰度集合为r ( w ) ，列灰度集 合记为c ( w ) 。 2 3 2 运动目标质心求取算法 对于已经二值化之后的图像可以采用质心算法【1 3 】，求取出运动目标的质心， 即能够确定出物体所在的位置，运动目标的质心算法可以由以下式子得到： 第二章运动目标的识别与跟踪 x g ( x ，y ) 五= 鼍产l 一一 ( 2 1 1 ) 五2 虿1 f 一 弘。) g ( x ，j ，) x = ly = l mn y g ( x ，j ，) 咒= 二二 产 一 ( 2 - 1 2 ) 咒2 育1 广一 u 。l z j g ( x ，y ) 其中t ，”分别目标质心位置，、m 为图像行和列的象素个数( 在本系统 中，m 和的值分别为3 6 0 ，2 8 8 ) 。 求取质心的算法比较简单，而且计算量小，在短时间内就可以完成计算。在 简单背景模式下，质心算法比较有效，不论速度还是精度都能够达到要求，但是 在复杂背景下，质心提取有一定的困难，导致跟踪的性能有所下降，对二值化图 像求取质心如图2 4 所示。 提取质心 = = = 二= 图2 4 对二值化图像提取质心 2 。4 运动目标的模板提取与匹配 运动目标是一直处于运动中的，求取目标的质心目的就是提取出模板的特征 块，以便能后续的目标匹配，模板的大小可以由系统自适应，当目标离摄像头较 远时，可以使模板小一些，反之，当目标离摄像头比较进时，模板可以稍微取大 一些，这样可以大大的提高系统的性能。 2 4 1 模板提取 由上一节可以得到运动目标的质心坐标，用这个质心坐标就可以根据目标的 * = t 自i f l # 的* ；目镕 坐标和给定的模扳的尺寸大小，从原始图像之中提取出模板。 模板提取的基本思想如下：由质心算法得出的质心坐标为中心按给定的尺 寸分别向横向和纵向两个方向扩展，这样就形成了模板所覆盖的区域如图2 5 所示的覆盖区域，将所覆盖的区域从图像中提取出来，这样就得到了所要的模板。 覆盖区域 = = = = = 图2 - 5 以质心为中心的覆盖区域 在提取的模板的过程中，有可能会出现质心坐标所在的位置靠近图像的边 缘，如果按照上述的两边扩展求模板的方法，会使得模板覆盖的区域超出图像的 区域，所以这种情况下应该采取特殊措施当质心位置靠近边缘的时候，使得模 板不会取得图像边缘以外的无关数据。本系统所采取的方案是当出现上述情况 时，系统自动重新采取图像，重新求取运动目标的质心和模板，直到能够正确提 取出模板为止如图2 - 6 是以质心为中，t l , 提取的模板。 原始图像 图2 - 6 模板的提取 提取的模板 第二章运动目标的识别与跟踪 2 4 2 模板匹配 1 、模板匹配原理【1 4 】 模板匹配是目标跟踪的重要组成部分。把不同探测器或同一探测器在不同时 间、不同成像条件下对同一景物获取的两幅或多幅图像在空间上对准，或根据已 知模式到另一幅图中寻找相对应模式的处理方法就叫做模板匹配。 假设要在搜索区域中寻找与模板图像相关度最大的位置，可以先通过模板匹 配来计算两者的相关度，图2 7 是模板匹配算法的示意图。 4 2 a b c def g hi 6 8 原始图像 口 模板 图2 - 7 模板匹配算法示意图 假设模板叠放在原始图像上平移，模板覆盖下的部分记作子图咒，其中f ， _ ，是这块模板的左上角像点在原始图像中的坐标。从图2 - 7 中可得出f ，j 的取值 范围：1 i k m + 1 、l l n + i 。 其中m 为原始图像高度和宽度，m ，i 1 为模板高度和宽度 m ， d ( i ，j ) - - ( 历，n ) - t ( m ，刀) 】2 ( 2 1 3 ) m = ln = l 或者 mn d ( i ，- ，) = l ( m ，n ) - t ( m ，刀) i ( 2 - 1 4 ) ，”= in = l 把式2 1 3 展开 mnmwmw d ( i ，) = 渺7 ( 脚，疗) 2 2 ( 搬，n ) x t ( m ，以) + 旷( 肌，刀) 】2 ( 2 1 5 ) m = ln = lm = ln = lm = lh ；l mn 式2 1 5 中e r ( m ，刀) 】2 表示模板的总能量，是一个与f ，无关的常数。 1 2 第二章运动目标的识别与跟踪 i s u ( m ，甩) 】2 是模板覆盖下那块原始图像的能量，它随( f ，) 位置而缓慢 m = ln = l mn 改变。2 s u ( 所，n ) x t ( m ，刀) 是原始图像和模板的互相关函数，随( f ，) 的变化 而迅速改变。当模板和原始图匹配时这一项的值最大，因此可用下列相关函数来 反应匹配程度： r ( i ，j ) = s l 7 n = l mn m = ln = l t ( m ， 刀) 】2 ( 2 - 1 6 ) 2 、模板匹配数学模型 模板匹配算法是计算模板和匹配区域的相似程度，以最相似位置为匹配点。 由于模板需要在匹配区域上逐次匹配，如果匹配区域比较大，模板也较大，则运 算量会相当大，所以需要选择合适匹配模板和算法以满足系统的实时性要求。 模板大小对系统性能和计算量的影响很大，模板过大导致运算速度慢，实时 性差，模板过小又会减少目标的特征数据量，降低匹配的灵敏度，增大目标检测 难度。在实际操作中，由系统自动检测目标，结合摄像头反馈回来的焦距，当目 标距离远或焦距比较大时就把目标模板取小一些，如果目标距离进或焦距比较小 时则把目标模板取大一些，这样所含目标的信息量比例就比较大，使系统的跟踪 效率大为提高，本系统在1 0 倍焦距时选用的模板为4 0 * 3 2 象素。 由于系统板的数据处理能力比较有限，需要针对摄像头自动跟踪技术的特点 来简化数学模型，选定计算量较小的计算公式。目标跟踪算法主要用来确定目标 位置，可以用匹配误差的相对大小作为目标判别的依据，误差最小的位置就是目 标位置，不再考虑绝对相似程度。 上述的相对匹配程度公式中，选择计算量最小、效率最高的公式2 1 3 作为 原始数学模型。匹配点位置算法完成整个匹配区域内的最小匹配误差点检索，表 示为公式u 纠： 置一村+ l 一 ，+ imn d 矗( f ，j ) = m i n i s 7 ( 聊，n ) - t ( m ，刀) 】2 ( 2 一1 7 ) i = 1 = l m = ln = l 其中变量足、三为匹配区域尺寸；m 、为模板尺寸。 系统采用2 8 8x3 6 0 象素的匹配区域，1 0 倍焦距时模板选用4 0x3 2 象素， 如果在匹配区域内采用逐点匹配法，则匹配花费时间就要0 6 s 左右，这样严重 的影响系统的性能，因此可以在匹配区域内采用间隔象素点匹配法，如从第一行 的第1 个象素点，第3 个象素点，第5 个这样匹配，这样虽然损失了系统的 精确度，但是大大提高了系统的速度。 竺慨一 第二章运动目标的识别与跟踪 虽然采用了上述方法提高系统速度，但在后续程序的调试过程中，还是发现 程序匹配执行起来占用了系统大多数资源，后来修改了匹配的算法，直接将模板 对应的象素值进行相减，然后对差值的绝对值进行累加，作为最后判定的误差值， 寻找误差累计的最小值作为匹配的最佳点，从而确定目标所在的位置，忽略了模 板的总能量和模板覆盖下那块图像子图的能量的计算，这样节省了大部分的计算 时间，从而在保证了目标成功匹配率的同时提高了系统的实时性。 2 5 象素间隔数转化为摄像头转动角度的算法 通过匹配得到运动目标的位置之后，与图像中心的坐标位置进行比较，可以 表2 1 摄像头焦距和对应张角的关系( 单位：度) 焦距角度d 水平角度h垂直角度v 15 8 14 7 93 6 9 x 25 5 54 5 73 5 2 35 2 84 3 63 3 5 4 5 0 24 1 43 1 9 54 7 63 9 23 0 2 64 4 93 7 o2 8 5 74 2 3 3 4 92 6 8 83 9 73 2 72 5 2 9 3 7 o3 0 52 3 5 1 03 4 42 8 42 1 8 1 13 1 82 6 22 0 1 1 22 9 12 4 o1 8 5 1 3 2 6 52 1 81 6 8 1 42 3 91 9 71 5 1 1 52 1 21 7 51 3 4 1 6 1 8 61 5 31 1 8 x1 7 1 6 01 3 21 0 1 1 81 3 311 o8 4 1 91 0 78 86 7 2 08 16 65 1 2 l5 44 53 4 2 22 8 2 31 7 1 4 第二章运动目标的识别与跟踪 得到摄像头把目标放置图像中心位置处所需要移动的象素的间隔数目，这样就能 够使得目标一直处于图像的中心位置处，使目标一直保持在的摄像头的视野之 内，这就是运动目标的跟踪。然而在实际之中，摄像头的转动是通过云台来进行 控制的，而云台的控制信息是通过角度信息发送指令对摄像头进行控制的，因此， 须把象素间隔信息转化为角度信息，转化的原理和规则如下所述： 当摄像头的镜头的焦距不同的时候，镜头的中心位置对成像面所张的角度也 是不同的，表2 1 显示了不同的焦距对应的张角的值，因此可以利用这个张角来 进行象素间隔和角度的计算的。 假设通过匹配得到的象素的横向和纵向的应该移动象素的间隔分别为x ，y 象素，如图2 8 所示。 系统处理的图像的大小为2 8 8 3 6 0 象素，假设所选定的是摄像头的十倍焦 距，从表2 1 中可以查到，摄像头在兄y 方向的张角分别为，2 8 4 度和2 1 8 度， 对于咒y 方向分别如图2 - 9 和图2 1 0 所示。 在x 方向上的象素的个数为3 6 0 ，在1 0 倍焦距时x 方向张角为2 8 。4 ，所以 位置 _ 1 y l i 土0 位置2 图2 - 8 匹配得象素间隔 象素间隔数为z 时候所对应的张角应为： 瓦础= 2 8 4 x ( x 3 6 0 ) ( 2 1 8 ) i 3 6 02 84 0 l 图2 - 9x 轴方向的张角计算 在】，方向上的象素的个数为2 8 8 ，在1 0 倍焦距时y 方向张角为2 1 8 ，所以 象素间隔数为y 时候所对应的张角应为： 1 5 第二章运动目标的识别与跟踪 y 哪l t = 2 1 8 x ( y 2 8 8 ) 图2 1 0 】，轴方向的张角计算 这样就完成了象素数到摄像头在两个方向上应该转动大角度的转换，也就获 得了运动目标的运动参数。 2 6 摄像头转动角度转换为摄像头转动速度的算法 通过把象素间隔数转化为摄像头转动角度，就可以得到摄像头应该转动的角 度，但是给摄像头发送的应该是摄像头转动速度命令。根据s a m s u n g 提供的协 议( p r o t o c 0 1 ) ，横向和纵向转动的最大速度是两倍的关系，所以可以把需要转动的 角度进行比较，如果横向的转角大于纵向转角的二倍，就让横向以最大的速度转 动；反之，如果纵向的转角大于横向转角的二倍，就让纵向以最大的速度转动， 这样就能够确定需要转动的时间，从而也能够确定另一个方向上需要转动的速 度。 2 7 系统的算法实现 程序工作的基本流程是这样的：从摄像头输出的标准模拟视频信号，经过开 发板上的s a a 7 11 3 视频解码芯片变成为数字视频信号( b t - 6 5 6 格式) ，然后输入 到d m 6 4 2 中，由d m 6 4 2 的v p ( v i d e op o r t ) 口接收数字视频数据，其中分辨率 为7 2 0 5 7 6 象素。在每秒钟的2 5 帧的图像中，一开始选取第一帧作为背景图像， 第六帧作为假设已经有运动物体进入后的图像，两幅图像差分，过滤出运动物体 的区域，然后进行判断是否存在运动物体，如果没有运动的物体则继续从采集背 景开始执行程序，如果判断出有运动的物体，则对差分图像进行二值化，进一步 凸现出运动目标的轮廓，然后通过数学上的质心算法，求取出目标的质心，而后 1 6 心ti悼ir 第二章运动目标的识别与跟踪 围绕这个质心，上下各扩展出一个矩形的区域，将此区域的图像灰度信息提取出 来，作为模板，然后继续后续采集图像，将模板在其上面滑动，通过计算累计误 差，求取出最佳位置，认为这是物体运动到的位置，而后通过象素间隔数转化为 摄像头转动角度的算法和摄像头转动角度转换为摄像头转动速度的算法得出 r s 4 8 5 指令序列，通过串口( r s 4 8 5 电平标准) 发送摄像头能接受的指令序列， 使摄像头转动到指定的位置，如此往复，系统程序流程图如图2 1 1 所示。 ( 开始 ) l j r 实时的灰度图像与背景图像差分 一 二值化处理 上 投影法求取目标质心 j 依据质心位置提取模板 0 匹配 以及p c i 接口等。 3 2 1 1c p u 结构【6 】【1 8 】【1 9 】 c p u 由程序取指令单元、指令分配单元、指令译码单元、两个数据通道、 6 4 个3 2 位通用寄存器、控制寄存器、控制逻辑单元、测试、仿真及中断逻辑单 元组成。 c p u 有两个可进行数据处理的数据通道a 和b ，每个通道有4 个功能单元 ( l ，s ，m 和d ) 和一个包括3 2 个3 2 位通用寄存器的寄存器组。功能单元执行 逻辑、移位、乘法、加法和数据寻址等操作，每条3 2 位指令占用一个功能单元。 片内程序存储器的总线宽度为2 5 6 位，使每个时钟周期可取8 条3 2 位指令。程 序取指单元、指令分配单元、指令译码单元在每个c p u 时钟周期可以从程序存 储单元到功能单元传递8 条3 2 位指令，这些指令的执行发生在两个数据通道( a 和b ) 中的每个功能单元内，控制寄存器组控制着各种操作的操作方式。 第三章t m s 3 2 0 d m 6 4 2d s p 介绍 3 2 1 2 存储器映像【6 】【1 8 】【19 】 d m 6 4 2 的片内有1 6 k 字节的一级程序高速缓存( c a c h e ) 和1 6 k 字节的一 级数据高速缓存，内部还有2 5 6 k 字节的r a m ，可通过软件全部配置成r a m 或 者全部配置为二级高速缓存，也可以部分配置为r a m 和二级高速缓存。 d m 6 4 2 寻址大小为4 g 字节，其中当前可使用的为1 g 字节，其余保留用于 以后扩展。存储器映射空间分为内部存储空间、片内外设空间和片外存储空间： 1 、内部存储空间 d m 6 4 2 内部存储空间是3 2 位可字节寻址的地址空间，内部r a m 一共有 2 5 6 k 字节，可通过软件全部配置成r a m 或者全部配置为二级高速缓存，也可 以部分配置为r a m 和二级高速缓存。 2 、外部存储空间 d m 6 4 2 通过扩展外部存储器接口( e 慨) 存取数据空间和程序空间合在 一起的外部存储器。当前d m 6 4 2 可使用的外部存储空间分为4 个空间( c e 0 、 c e l 、c e 2 和c e 3 ) ，每个区大小为2 5 6 m 字节，e m i f a 可与外部存储器实现无 缝连接。 3 、片内外设( o n c h i pp e r i p h e r a l s ) 片内外设包括以太网口( e m a c ) 、多通道音频串口( m c a s p ) 、外部存储器 接口( e m a c ) 、视频接口( v p ) 、多通道缓冲串口( m c b s p ) 以及p c i 接口。 3 2 1 3 外部存储器接口【6 】【1 8 】【1 9 】 图3 2 是c 6 4 x 的外部存储器接口(