（通信与信息系统专业论文）红外视频图像目标识别跟踪技术与c60实现.pdf

a b s t r a c t v i d e ot a r g e td e t e c t i o na n dt r a c k i n g i sa v e r yi m p o r t a n t f i e l di n d i g i t a l v i d e o p r o c e s s i n g a n d a n a l y s i s i t i s w i d e l y u s e d c i v i l l y a n d m i l i t a r i l y t h i s d i s s e r t a t i o nd i s c u s s e st h et e c h n i q u e so fm o v i n go b j e c t d e t e c t i o na n dt r a c k i n gu n d e rm o v i n gb a c k g r o u n d ，a n d t h ei m p l e m e n t a t i o n o f “c 6 xp r o c e s s i n gb o a r d h o s tp cs y s t e m ” t h e d e s i g n o f “c 6 xp r o c e s s i n gb o a r d - h o s tp cs y s t e m c a n b e d i v i d e di n t of o u r p a r t s ：h a r d w a r ed e s i g n ，d r i v e rd e s i g n ，p r o c e s s i n g s o f t w a r ed e s i g na n da p p l i c a t i o ns o f t w a r ed e s i g n i nt h i sd i s s e r t a t i o n ，t h e p l a no fh a r d w a r e ，t h ek e yt e c h n o l o g i e so f d e t e c t i o na n dt r a c k i n gm o v i n g o b j e e tu n d e rm o v i n gb a c k g r o u n da n d t h e i ri m p l e m e n t a t i o no nd s pa r e d i s c u s s e d t h ev i d e om o v i n go b j e c ti sd e t e c t e db yt h ew a yo ft e m p o r a li m a g e d i f f e r e n t i a lw i t hc a m e r am o t i o nc o m p e n s a t i o n f i r s t l y ，t h ec a m e r am o t i o n i se s t i m a t e da n dt h e nc o m p e n s a t e d ；a f t e rt h a t ，t h ep o s s i b l ea r e ao ft h e m o v i n gt a r g e t i se s t i m a t e db yt h e t e m p o r a l d i f f e r e n t i a lo ft h ev i d e o s e q u e n c e ；a n df u r t h e rt h ev i d e oo b j e c ti ss e g m e n t e do u tb yt h ew a y o f b i n a r yt r a n s f o r m a t i o no ft h ei m a g ew i t hs t a t i s t i c a l l ya d a p t i v et h r e s h o l d a l s o ，i no r d e rt oa c c u r a t e l yt r a c kt a r g e ti nr e a lt i m e ，t h ep o s s i b l et a r g e t a r e aa n dp o s i t i o ni sp r e d i c t e db yp r e d i c t i o nt e c h n o l o g y a c c o r d i n gt ot h ew o r k i n gs t a t e s ，t h ep r o c e s s i n gp r o g r a mi s d i v i d e d i n t of o u rm o d a l s ，w h i c hc a r r yo l lt h es t a t e s ：s e a r c h ，c a p t u r e ，t r a c ka n d m e m o r y t h es y s t e m i s r u n n i n gi n t h ef o u rs t a t e st o a c c o m p l i s h t h e d e t e c t i o na n dt r a c k i n go ft h em o v i n gv i d e oo b j e c t k e y w o r d s ： c a m e r am o t i o ne s t i m a t i o nm o t i o nc o m p e n s a t i o n m o v i n gt a r g e td e t e c t i o n p r e d i c t i o na n d t r a c k i n g i m p l e m e n t a t i o no nc 6 x m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的 研究工作及取得的研究成果。据我所知，除了文中特别加以 标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得电子科技大学或其它教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 签名：日期：o t a 啼, 1 年0 月，占日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学 位论文的规定，有权保留并向国家有关部门或机构送交论文 的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科 技大学可以将学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存、汇编 学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签名： 日期：渺z 誓i f 滋 年o - 月名日 皇孟型垫查兰堡圭丝塞一一 第一章前言 1 1 课题来源与研究任务 本课题是外协课题，同时也是基金预研项目。该课题为“红外视 频运动目标检测跟踪技术”图像目标的检测与跟踪是图像处理、分析 应用的一个重要领域，是当前相关技术领域的研究前沿。所应用到的 各种技术几乎涵盖了图像处理、分析的各个方面。在计算机视觉、交 通监控、可视预警、机器导航等诸多民用领域有着广泛的应用，同时 在靶场电视测量、火力拦截、导弹电视制导等军用领域也发挥着重要 作用。图像目标识别跟踪中的一些关键技术如：对感兴趣目标的分割、 描述、跟踪等在第三代视频压缩技术中的视频对象平面( v o p ) 的生 成，以及根据图像内容的视频信息的检索等领域也都有着重要的应用。 本课题要求完成的研究任务有： 1 红外场景的观测 2 运动目标图像识别跟踪 3 图像序列中目标图像保存 4 目标图像特性分析 5 与其他系统命令、数据的交互 为了完成这些研究任务可以把课题分解成四个部分：目标识别与 跟踪系统的硬件平台设计；基于该硬件平台的处理程序设计；p c 机和 d s p 处理板块接口的驱动程序：基于p c 机的上层应用程序。在硕士学 习期间参加了以下工作：系统的整体方案设计：运动目标图像检测、 跟踪系统软件方案设计和p c 仿真；跟踪系统软件的c 6 0 实现；系统 联调。 1 2 国内外研究发展动态 最基本的图像目标识别跟踪系统由传感器( 各种摄像机) 、图像处 理单元、跟踪处理器、伺服机构组成。见图l 一1 。 第1 页 皇孟型垫查兰堡圭丝塞一一 第一章前言 1 1 课题来源与研究任务 本课题是外协课题，同时也是基金预研项目。该课题为“红外视 频运动目标检测跟踪技术”图像目标的检测与跟踪是图像处理、分析 应用的一个重要领域，是当前相关技术领域的研究前沿。所应用到的 各种技术几乎涵盖了图像处理、分析的各个方面。在计算机视觉、交 通监控、可视预警、机器导航等诸多民用领域有着广泛的应用，同时 在靶场电视测量、火力拦截、导弹电视制导等军用领域也发挥着重要 作用。图像目标识别跟踪中的一些关键技术如：对感兴趣目标的分割、 描述、跟踪等在第三代视频压缩技术中的视频对象平面( v o p ) 的生 成，以及根据图像内容的视频信息的检索等领域也都有着重要的应用。 本课题要求完成的研究任务有： 1 红外场景的观测 2 运动目标图像识别跟踪 3 图像序列中目标图像保存 4 目标图像特性分析 5 与其他系统命令、数据的交互 为了完成这些研究任务可以把课题分解成四个部分：目标识别与 跟踪系统的硬件平台设计；基于该硬件平台的处理程序设计；p c 机和 d s p 处理板块接口的驱动程序：基于p c 机的上层应用程序。在硕士学 习期间参加了以下工作：系统的整体方案设计：运动目标图像检测、 跟踪系统软件方案设计和p c 仿真；跟踪系统软件的c 6 0 实现；系统 联调。 1 2 国内外研究发展动态 最基本的图像目标识别跟踪系统由传感器( 各种摄像机) 、图像处 理单元、跟踪处理器、伺服机构组成。见图l 一1 。 第1 页 苎= 型堕j 一 1 1 图像目标跟踪系统框图 随着电子技术的发展跟踪系统的有了发生了巨大的变化。重要发 展就是图像处理单元的数字化。将视频信号进行a d 转换，然后采用 基于d s p 、f p g a 等硬件技术，实现各种复杂的图像处理跟踪算法，真 正实现图像的识别与跟踪，它可输出准确的目标位置信息和运动参数。 其优点是精度高，抗干扰能力强。 从大量的有关文献进行分析和研究的结果来看，对于识别跟踪处 理而言，重要的处理技术包括：图像分割技术、目标识别技术、目标 预测跟踪技术。 1 图像分割：图像分割技术是将图像中的目标区域与背景区域进行 划分，提取出图像目标的处理技术。图像分割技术又可分为灰度 门限分割技术、随机场模型分割技术、模糊处理分割技术、边缘 检测分割技术、基于图像分形模型的分割技术和利用小波变换的 分割技术等等。 灰度门限分割技术是较早的且普遍使用的一种技术。文献【1 】 采用了贝叶斯分类准则确定分割门限，这是较早的利用信号检测 理论提出的方法。文献【2 ，3 】利用直方图信息来确定分割门限。然 而这些方法的一个共同缺陷是仅仅利用了直方图信息而忽略了空 域的细节，其处理效果不能令人十分满意。因此。人们又在直方 图信息或贝叶斯分类准则的前提下，加入了空域的判决条件，充 分利用空域信息，取得了较好的分割效果。文献 4 ，5 】提出了基于 m a r k o f f 随机场模型和g i b b s 随机场模型的分割提取方法。 2 罂 皇王型垫查兰堕主兰壅一 基于图像分形学模型对图像进行分割也是一种较特殊的方 法。该模型被证明是一种描述自然场景的模型。文献【6 】基于分形 模型，利用分形维数( f r a c t a ld i m e n s i o n ) 实 了自然纹理分割。另 外，小波变换的研究在近年来也有较大的发展，它为图像的描述 和刻画提供了一个多尺度逼近，在图像边缘检测算法中有较多应 用。 2 图像识别：首先提取目标特征的描述，般而言提取出目标图像 的几何信息( 如：长宽比、占空比、面积等) 、统计特性( 目标图 像的各阶统计矩) 、以及最能代表目标图像的特征图像。然后通过 相关匹配的办法识别图像。相关匹配技术是系统在建立起目标模 型后，利用目标特征模型参数，以一定的准则和路径，根据参考 图像与实时固像的相关程度，从而确定出目标相对位置信息的处 理技术。 匹配技术涉及两个基本内容：相关准则和搜索路径。文献【7 】 中就p r o d 相关算法和相关m a d 算法分别进行了深入探讨。 p r o d 算法采用最大相关值准则，受嗓声影响较大；而m a d 算法 采用最小平均绝对误差准则，具有运算简单、精度受噪声影响小 的特点。 由于传统的穷举搜索匹配运算量大，因此在搜索路径的问题 上出现了许多快速算法。文献【7 】提出一种基于图像空间坐标域进 行快速搜索的算法，其基本思想是将相关运算从粗分辨率到细分 辨率逐步迸行，它是一种较可行的算法。文献 8 】则提出一种基于 图像数字特征空间的快速搜索法，它在有序化特征空间以折半法 为核心进行快速搜索，为搜索路线的设计提供了新的研究思路。 3 预测跟踪技术：全域搜索往往实时性较差为了能够做到实时跟踪 运动目标我们需要根据以往的信息预测运动目标的可能轨迹，在 运动目标可能位置搜索运动目标从而减轻运算负荷达到实时的要 求。 文献【9 】讨论了对非刚体形变目标，如行人等目标的识别和跟 踪：文献【1 0 】讨论了在目标识别跟踪中目标运动参数的k a l m a n 滤 波和测量。 第3 页 第一章前高 1 3 研究结果及论文安排 第一章：介绍课题的来源、要求，以及相关技术的国内外发展动 态。 第二章：红外运动目标识别、跟踪系统的方案设计。首先讨论了 课题的基本任务：接着讨论了系统实现的分层结构；最 后讨论了系统的软硬件实现方案。 第三章：介绍了运动目标检测的关键技术，如摄像机运动的估计、 补偿、目标分割等 第四章：介绍了运动目标跟踪的关键技术，如运动轨迹的逼近、 预测技术。 第五章：介绍了运动目标检测跟踪算法的c 6 0 实现技术，包括c 6 0 程序的流程以及c 6 0 程序与应用程序的交互。 第六章：介绍c 6 0 系统的软硬件联调的基本情况 最后是致谢和参考文献。 第二章红外视频图像动目标检测、跟踪系统方案设计 根据上一章所述的任务要求，本章讨论了一个基于p c 机的目标识剔 与跟踪系统的硬件方案，以及软件方案设计。 2 1 红外运动目标识别跟踪系统任务功畿划分 红外运动目标识别跟踪系统的基本框图如下图： 固2 1 红外运动目标识别、跟踪系统的框图 红外摄像机的数据经过c 6 0 处理卡处理，检测到运动目标后把目标的 参数系统状态参数等信息送到主机( h o s tp c ) ，由主机进杼迸一步的分析 然后把分析结果送到其他系统去同时本系统的主机还可以接收其他系统 输入的数据以及命令 本课题要求完成的运动目标识别跟踪处理系统可以采用如图2 2 的 四层结构模型。 上层应用软件 系统硬件驱动屡 系统应用软件层 识鄹鼹昧算法) 系统物理层 ( 硬件平台) 图2 2 系统层次结构模型 其中系统物理层是整个系统最基本的支撑平台，是系统软件实现的基 础：系统应用软件层决定了系统的具体算法。是系统实现识别跟踪任务的 簟s 页 第二章红外视频图像动目标检测、跟踪系统方案设计 根据上一章所述的任务要求，本章讨论了一个基于p c 机的目标识剔 与跟踪系统的硬件方案，以及软件方案设计。 2 1 红外运动目标识别跟踪系统任务功畿划分 红外运动目标识别跟踪系统的基本框图如下图： 固2 1 红外运动目标识别、跟踪系统的框图 红外摄像机的数据经过c 6 0 处理卡处理，检测到运动目标后把目标的 参数系统状态参数等信息送到主机( h o s tp c ) ，由主机进杼迸一步的分析 然后把分析结果送到其他系统去同时本系统的主机还可以接收其他系统 输入的数据以及命令 本课题要求完成的运动目标识别跟踪处理系统可以采用如图2 2 的 四层结构模型。 上层应用软件 系统硬件驱动屡 系统应用软件层 识鄹鼹昧算法) 系统物理层 ( 硬件平台) 图2 2 系统层次结构模型 其中系统物理层是整个系统最基本的支撑平台，是系统软件实现的基 础：系统应用软件层决定了系统的具体算法。是系统实现识别跟踪任务的 簟s 页 苎三! 垒堑墨塑望垒垫璺壁垒篓：苎堕堕笪查墨垦生一 核心；系统硬件驱动层负责系统底层数据与上层主机的数据交换以及硬件 资源的调度与管理：上层应用软件，完成人机交互的和其他辅助功能，它 包括目标识别与跟踪系统的主机操作界面，图像数据及相关特征数据的存 储以及与其他系统的信息、数据交互。 红外运动目标识别跟踪处理系统要求完成以下的一些任务： 1 能够自动切换视频信号的输入方式，用户可以选择视频信号源为模 拟或数字信号。模拟视频数字化精度要求精度为8 b i t p i x e h 数字视 频通道的要求按r s 4 2 2 传输协议接收数据，像素精度为1 4 b i t p i x e l ； 2 实时( 2 0 m s ) 显示原始红外图像数据于主机监视器( 红外场景监 测) 3 系统具有自动目标跟踪和指定目标跟踪两项功能 4 系统能被人为中断当前工作状态并强制进入某些工作模式 5 系统具有网络双向通信能力，将系统状态、目标位置及近邻域图像 实时传送，并能接收目标的距离数据 6 实时( 2 0 m s ) 给出目标的位置、系统工作状态 7 实时存储目标邻域原始红外图像数据 8 对红外基本可视的亮或暗目标，捕获、识别、跟踪概率9 5 为了完成这些任务，可以确定整个处理系统的基本功能模块。各个功 能模块及它们之间的关系如下图： 一 一一一一一一一一一一一一一一一一，一+ 一 图2 3 目标识别跟踪系统功能模块图 数字成像与存储功能模块：该功能模块主要功能是把红外摄像机的 视频输入信号转化成系统能够处理的数字图像数据。该功能模块主要 由视频接口、输入缓存、图像存储器组成。视频接口：红外摄像机有 皇至登茎查兰堡主丝苎二一 模拟和数字两路视频输出：c c i r 制式的黑白模拟视频信号和按照 r s 4 2 2 数据传输协议进行传输的数字视频信号。本系统要求对两路视 频信号都能够进行处理。该部分由a d 变换器、差分接收器、电平转 换器组成。输入缓存：本系统的视频数据率大约为4 m s ，而处理卡上 的总线频率高达5 0 m s 在系统中选用了3 2 k 1 8 的高速f i f o 用来减少 数据传送时总线申请的次数，提高系统的处理效率。图像存储器：目 标跟踪识别算法涉及到多帧图像的处理。系统中配置了2 5 6 k x l 6 的图 像存储器以便于存储4 帧3 2 0 2 4 01 6 b i t 像素的图像。 2 、 控制模块：通过一片大容量的f p g a 实现对所有器件如：输入缓冲 f i f o 、s r a m 、视频接口电路、d s p 、p c i 接口电路等的逻辑控制。以 及1 6 位数据到3 2 位数据的装配工作。 3 、 数据处理功能模块：为了达到实时处理视频图像的要求选用了由 t i 公司的高性能d s p 。d s p 将存贮于s r a m 中的图像数据调入d s p 中 进行算法处理，同时将处理结果存储于s r a m 中，为了满足主机显示的 要求，d s p 同时还要完成将一个字节的数据变换为三个字节数据的工 作。d s p 和f p g a 共享系统总线。 4 、板块与p c 机接口功能模块：选用专用p c i 接口芯片- - p c i 9 0 5 4 ， 通过该功能模块实现p c 机与处理板卡的数据、命令交互。 5 、 主机应用程序功能模块：该功能模块拥有主机对目标识别与跟踪系 统的操作和管理，以及完成一些比如：图像的显示，图像数据的存储， 目标特性分析，系统的远程控制，数据的网络传输等系统的辅助功能。 2 2 红外运动目标识别跟踪处理系统硬件平台 为了达到系统设计指标同时考虑到硬件系统的稳定性、可调试性、本 系统采用了以高速d s p ( t m s 3 2 0 c 6 2 0 2 ) 为核心的基于分时共享系统总线 的硬件结构。硬件系统的核心是t m s 3 2 0 c 6 2 0 2 ，在c 6 2 0 2 片内有d a t a m e m o r y ：1 2 8 k 字节的d a t am e m o r y 和2 5 6 k 字节的p r o g r a mm e m o r y 。c 6 2 0 2 有3 2 个3 2 b i t 通用寄存器和8 个并行处理单元。并行处理单元包括2 个3 2 b i t 乘法器和6 个算术逻辑单元。采用v l i w 结构，单指令字长为3 2 b i t ，8 个 指令组成一个指令包。芯片内部设置了专门的指令分配模块，可以把指令 第7 黄 ： 皇至登茎查兰堡主丝苎二一 模拟和数字两路视频输出：c c i r 制式的黑白模拟视频信号和按照 r s 4 2 2 数据传输协议进行传输的数字视频信号。本系统要求对两路视 频信号都能够进行处理。该部分由a d 变换器、差分接收器、电平转 换器组成。输入缓存：本系统的视频数据率大约为4 m s ，而处理卡上 的总线频率高达5 0 m s 在系统中选用了3 2 k 1 8 的高速f i f o 用来减少 数据传送时总线申请的次数，提高系统的处理效率。图像存储器：目 标跟踪识别算法涉及到多帧图像的处理。系统中配置了2 5 6 k x l 6 的图 像存储器以便于存储4 帧3 2 0 2 4 01 6 b i t 像素的图像。 2 、控制模块：通过一片大容量的f p g a 实现对所有器件如：输入缓冲 f i f o 、s r a m 、视频接口电路、d s p 、p c i 接口电路等的逻辑控制。以 及1 6 位数据到3 2 位数据的装配工作。 3 、数据处理功能模块：为了达到实时处理视频图像的要求选用了由 t i 公司的高性能d s p 。d s p 将存贮于s r a m 中的图像数据调入d s p 中 进行算法处理，同时将处理结果存储于s r a m 中，为了满足主机显示的 要求，d s p 同时还要完成将一个字节的数据变换为三个字节数据的工 作。d s p 和f p g a 共享系统总线。 4 、板块与p c 机接口功能模块：选用专用p c i 接口芯片- - p c i 9 0 5 4 ， 通过该功能模块实现p c 机与处理板卡的数据、命令交互。 5 、主机应用程序功能模块：该功能模块拥有主机对目标识别与跟踪系 统的操作和管理，以及完成一些比如：图像的显示，图像数据的存储， 目标特性分析，系统的远程控制，数据的网络传输等系统的辅助功能。 2 2 红外运动目标识别跟踪处理系统硬件平台 为了达到系统设计指标同时考虑到硬件系统的稳定性、可调试性、本 系统采用了以高速d s p ( t m s 3 2 0 c 6 2 0 2 ) 为核心的基于分时共享系统总线 的硬件结构。硬件系统的核心是t m s 3 2 0 c 6 2 0 2 ，在c 6 2 0 2 片内有d a t a m e m o r y ：1 2 8 k 字节的d a t am e m o r y 和2 5 6 k 字节的p r o g r a mm e m o r y 。c 6 2 0 2 有3 2 个3 2 b i t 通用寄存器和8 个并行处理单元。并行处理单元包括2 个3 2 b i t 乘法器和6 个算术逻辑单元。采用v l i w 结构，单指令字长为3 2 b i t ，8 个 指令组成一个指令包。芯片内部设置了专门的指令分配模块，可以把指令 第7 黄 苎三主垒箜塑曼簦垫旦塑丝兰二_ 墨壁墨苎垄墨堡生一 包同时分配到8 个处理单元。当工作主频为2 0 0 m h z 时如果8 个处理单元 同时运行，芯片的最大处能力为1 6 0 0 m i p s 能够满足运算的需要硬件结 构如图2 - - 4 所示： 圈2 4 硬件结构图 2 3 视频数据流分析 硬件系统中的视频数据转移可以用图2 5 表示 图2 5 硬件系统数据转移图 苎三主垒箜塑曼簦垫旦塑丝兰二_ 墨壁墨苎垄墨堡生一 包同时分配到8 个处理单元。当工作主频为2 0 0 m h z 时如果8 个处理单元 同时运行，芯片的最大处能力为1 6 0 0 m i p s 能够满足运算的需要硬件结 构如图2 - - 4 所示： 圈2 4 硬件结构图 2 3 视频数据流分析 硬件系统中的视频数据转移可以用图2 5 表示 图2 5 硬件系统数据转移图 1 数字或模拟视频信号从红外摄像机进入视频接口，由视频接口电 路采集、处理原始视频信号，得到统一的数字视频数据和视频同 步信号； 2 数字视频数据从视频接口进入输入缓冲f i f o ，当f i f o 到达半满 状态时，由控制逻辑电路发出读取f i f o 数据的请求，控制逻辑电 路向d s p 申请总线的占用权，等到d s p 把总线释放给控制逻辑电 路以后，由控制逻辑电路读取f i f o 中的数据写入到s r a m 中。 在这个过程中，控制逻辑电路还要把两个1 6 位的图像数据装配成 3 2 位的图像数据； 3 当控制逻辑电路向s r a m 写完一帧图像数据时，它向d s p 发出图 像存放完成中断；d s p 接收到中断后从s r a m 中读取数据，进行 处理，并将处理结果送到p c 机，同时d s p 将当前帧的视频数据 进彳亍组装，即将一个8 位的图像数据转换成按r g b 格式存放的3 2 位图像数据，送到s r a m 中。 4 d s p 处理和装配完一帧图像后，向p c i 9 0 5 4 发送中断，表示图像 数据已经准备好了；p c i 接口电路读取s r a m 中装配好的视频数 据和处理结果，并由它送往p c 机，显示处理后的视频图像和运动 目标的一些特征数据 2 4 红外目标识别与跟踪系统软件方案 红外目标识别与跟踪系统的软件由驱动程序、目标识别跟踪软件和上 层应用程序三部分组成。本节就目标识别与跟踪软件的设计进行讨论。 目标识别与跟踪系统可以看成是个有多个工作状态的信息处理系 统。这个系统可以用：目标搜索、目标捕获、目标跟踪、记忆跟踪四个状 态来描述。 2 4 1 多状态信患处理系统的基本结构 为了完成目标识别跟踪的任务需要将系统的状态空间进行划分。划分 的准则就是将目标跟踪这一基本任务划分为各个阶段性的任务，为此将系 统的状态划分为四个基本状态：目标搜索、目标捕获、目标跟踪、在短暂 第9 页 1 数字或模拟视频信号从红外摄像机进入视频接口，由视频接口电 路采集、处理原始视频信号，得到统一的数字视频数据和视频同 步信号； 2 数字视频数据从视频接口进入输入缓冲f i f o ，当f i f o 到达半满 状态时，由控制逻辑电路发出读取f i f o 数据的请求，控制逻辑电 路向d s p 申请总线的占用权，等到d s p 把总线释放给控制逻辑电 路以后，由控制逻辑电路读取f i f o 中的数据写入到s r a m 中。 在这个过程中，控制逻辑电路还要把两个1 6 位的图像数据装配成 3 2 位的图像数据； 3 当控制逻辑电路向s r a m 写完一帧图像数据时，它向d s p 发出图 像存放完成中断；d s p 接收到中断后从s r a m 中读取数据，进行 处理，并将处理结果送到p c 机，同时d s p 将当前帧的视频数据 进彳亍组装，即将一个8 位的图像数据转换成按r g b 格式存放的3 2 位图像数据，送到s r a m 中。 4 d s p 处理和装配完一帧图像后，向p c i 9 0 5 4 发送中断，表示图像 数据已经准备好了；p c i 接口电路读取s r a m 中装配好的视频数 据和处理结果，并由它送往p c 机，显示处理后的视频图像和运动 目标的一些特征数据 2 4 红外目标识别与跟踪系统软件方案 红外目标识别与跟踪系统的软件由驱动程序、目标识别跟踪软件和上 层应用程序三部分组成。本节就目标识别与跟踪软件的设计进行讨论。 目标识别与跟踪系统可以看成是个有多个工作状态的信息处理系 统。这个系统可以用：目标搜索、目标捕获、目标跟踪、记忆跟踪四个状 态来描述。 2 4 1 多状态信患处理系统的基本结构 为了完成目标识别跟踪的任务需要将系统的状态空间进行划分。划分 的准则就是将目标跟踪这一基本任务划分为各个阶段性的任务，为此将系 统的状态划分为四个基本状态：目标搜索、目标捕获、目标跟踪、在短暂 第9 页 1 数字或模拟视频信号从红外摄像机进入视频接口，由视频接口电 路采集、处理原始视频信号，得到统一的数字视频数据和视频同 步信号； 2 数字视频数据从视频接口进入输入缓冲f i f o ，当f i f o 到达半满 状态时，由控制逻辑电路发出读取f i f o 数据的请求，控制逻辑电 路向d s p 申请总线的占用权，等到d s p 把总线释放给控制逻辑电 路以后，由控制逻辑电路读取f i f o 中的数据写入到s r a m 中。 在这个过程中，控制逻辑电路还要把两个1 6 位的图像数据装配成 3 2 位的图像数据； 3 当控制逻辑电路向s r a m 写完一帧图像数据时，它向d s p 发出图 像存放完成中断；d s p 接收到中断后从s r a m 中读取数据，进行 处理，并将处理结果送到p c 机，同时d s p 将当前帧的视频数据 进彳亍组装，即将一个8 位的图像数据转换成按r g b 格式存放的3 2 位图像数据，送到s r a m 中。 4 d s p 处理和装配完一帧图像后，向p c i 9 0 5 4 发送中断，表示图像 数据已经准备好了；p c i 接口电路读取s r a m 中装配好的视频数 据和处理结果，并由它送往p c 机，显示处理后的视频图像和运动 目标的一些特征数据 2 4 红外目标识别与跟踪系统软件方案 红外目标识别与跟踪系统的软件由驱动程序、目标识别跟踪软件和上 层应用程序三部分组成。本节就目标识别与跟踪软件的设计进行讨论。 目标识别与跟踪系统可以看成是个有多个工作状态的信息处理系 统。这个系统可以用：目标搜索、目标捕获、目标跟踪、记忆跟踪四个状 态来描述。 2 4 1 多状态信患处理系统的基本结构 为了完成目标识别跟踪的任务需要将系统的状态空间进行划分。划分 的准则就是将目标跟踪这一基本任务划分为各个阶段性的任务，为此将系 统的状态划分为四个基本状态：目标搜索、目标捕获、目标跟踪、在短暂 第9 页 苎三塞塾丝! 缕里簦垫旦堡垫曼二_ 垦蔓墨苎查塞望笪_ 一 丢失时的目标记忆跟踪。通过实现各个阶段性状态的任务，系统就可以实 现对目标长时间地稳定跟踪。目标识别跟踪系统软件采用如图2 6 所示 的多状态信息处理机的结构： 系统状态参教 图2 6 多状态信息处理机结构框图 在这个多状态处理机中，0 l 【 表示数据流控制器；0 2 【】、0 3 、0 4 】、 0 5 【】分别表示搜索、捕获、跟踪、记忆跟踪四个状态；o s 表示参数输出模 块。 一数据流控制器o l 】： 根据参数输出模块0 5 【】输出的状态参数所指示的下一个状态控制视 频数据流的流向。 二搜索状态0 2 】： 处理输入的视频图像序列，在全域或者指定的区域搜索可能的运动目 标。搜索状态的信息处理结构框图如下： 一摄黼产 目标区域分割 h i | if 一戤黼ph 猢学 f 图2 7 搜索状态信息处理框图 图中h l 【】、h 2 】、h 3 【】、h 【】、h 5 【】分别表示摄像机运动估计算子、 摄像机运动补偿算子、目标可能区域估计算子、目标区域分割算子、目标 参数提取算子。 1 0 皇王缱盔塑主堕l 一。一 摄像机运动估计算子h l 【】：对两帧图像估计摄像机的运动参数矢量厅 厅= h i f ( x , y ，七) ，f ( x ，y ，七+ 1 ) 】 ( 2 1 ) 摄像机运动补偿算子h 2 【】：根据摄像机运动参数矢量补偿摄像机的全 局运动 厂o ，y ，k ) = 2 i f o ，y ，七) ，司 ( 2 - - 2 ) 目标可能区域估计算子h 3 】：首先对补偿了摄像机运动的厂( 工，y ，k ) 和 和f ( x ，弘七) 进行差分运算，然后分割差分图像获得目标可能存在区域 r e g ( k ) r e g ( k ) = 日3 【厂( y ，k + 1 ) 一厂( z ，弘七) 1 ( 2 3 ) 目标区域分割算子h 4 】：在目标可能存在区域对目标进行分割获得目 标丁( 女) ： t ( k ) = h 4 【厂( 工，y ，k + 1 ) r e g ( k ) ( 2 4 ) 目标参数提取算子h 5 【】：对分割后的目标图像进行描述，获得目标的 特征参数向量s k 以便于目标识别匹配运算。目标特征参数有很多，比如各 种统计矩特征、各种几何形状特征等。提取出的目标特征参数向量因该满 足以下条件： 1 可识别性：所建立的目标特征向量s 。要与背景有明显的区别。 2 平稳性：对于目标特征向量s 。要具有短时的平稳特性，这是进行 识别运算的基础 3 降维：在保证识别的前提下，要尽量降低特征向量s 。的维数， 在实际的目标识别与跟踪系统中，目标的特征参数向量s 。可以表示 为： s k = 【只他) ，日( 七) ，乙( 七) 】 ( 2 - - 5 ) 其中：只( 七) 表示目标的形心位置 s 。( 女) 表示目标的形状参数，可以采用许多描述算予，这里采 用：目标的外接四边形；目标的面积；目标的长宽比。 瓦( 七) 表示目标的灰度特征，这里采用：目标的亮度均值。 三捕获状态0 3 】： 根据算法全域搜索视频序列图像中的运动目标，并对搜索出来的目标 与搜索状态输出的目标进行匹配： 纂i i 页 苎三兰堑箜望塑曼簦塑旦蔓竺型二_ 墨壁墨鉴壅壅堡生- 一一 图2 - - 8 捕获状态信息处理框图 目标匹配算子h 6 】： 矾c 以，s 。，= ：罢嚣萎盏( 2 - - 6 ) 四跟踪状态0 4 【】： 运用预测技术根据目标以前的运动状态预测出目标可能位置和区域 在目标可能位置内搜索运动目标。 目 图2 9 跟踪状态信息处理框图 目标预测算子h 7 【】：根据以前的目标特征参数信息预测目标的可能位 置和区域： p r e 一只( 七+ 1 ) ，p r e r e g ( k + 1 ) 】= h 7 【瓯，墨一l s k 一】 ( 2 - - 7 ) 五记忆跟踪状态0 5 】： 当目标丢失时调整预测的区域，搜索目标： 图2 一l o 记忆状态信恳处理框图 预测调整算子h 7 【】：调整目标可能存在和区域： ， - p r e 一只( 七+ 1 ) ，p r e r e g ( 七+ 1 ) 】= h i 【p r e 一只( 七+ 1 ) ，p r e r e g ( k + 1 ) 】 ( 2 8 ) 六表示参数输出模块0 5 f 】： 目标参数送到p c 机，供主机分析保存：根据系统状态和目标参数调 整下一个状态，供数据流控制器分配视频数据流。 2 4 2 目标识别与跟踪系统的状态及状态转换 苎三兰堑箜望塑曼簦塑旦蔓竺型二_ 墨壁墨鉴壅壅堡生- 一一 图2 - - 8 捕获状态信息处理框图 目标匹配算子h 6 】： 矾c 以，s 。，= ：罢嚣萎盏( 2 - - 6 ) 四跟踪状态0 4 【】： 运用预测技术根据目标以前的运动状态预测出目标可能位置和区域 在目标可能位置内搜索运动目标。 目 图2 9 跟踪状态信息处理框图 目标预测算子h 7 【】：根据以前的目标特征参数信息预测目标的可能位 置和区域： p r e 一只( 七+ 1 ) ，p r e r e g ( k + 1 ) 】= h 7 【瓯，墨一l s k 一】 ( 2 - - 7 ) 五记忆跟踪状态0 5 】： 当目标丢失时调整预测的区域，搜索目标： 图2 一l o 记忆状态信恳处理框图 预测调整算子h 7 【】：调整目标可能存在和区域： ， - p r e 一只( 七+ 1 ) ，p r e r e g ( 七+ 1 ) 】= h i 【p r e 一只( 七+ 1 ) ，p r e r e g ( k + 1 ) 】 ( 2 8 ) 六表示参数输出模块0 5 f 】： 目标参数送到p c 机，供主机分析保存：根据系统状态和目标参数调 整下一个状态，供数据流控制器分配视频数据流。 2 4 2 目标识别与跟踪系统的状态及状态转换 皇王登茎丕兰! 主丝苎 2 4 2 1 目标识射与跟踪系统的状态 由于目标运动或环境变化等因素的影响，输入的序列图像变化是很大 的，目标本身的图像变化也很大，系统需要根据有限的条件在这种随机信 号中准确地提取出目标参量，并对时变的目标参量进行识别。 1 搜索状态 系统根据输入参数选择搜索模式。如果是自动搜索系统就根据算 法全域搜索视频序列图像，一旦发现目标转入捕获状态；如果是指定 目标跟踪系统就处于等待指定目标状态，当系统给出指定目标的初始 位置并发出跟踪命令，系统搜索到指定位置的目标后转入捕获状态。 搜索状态输入：视频图像序列在指定目标跟踪时还有指定的目 标位置信息。 搜索状态输出：目标参数：目标形心位置、目标面积、目标外接 四边形、目标灰度均值、目标背景对比度等分量； 系统所处的状态。 2 捕获状态 在输入的视频图像序列中全域搜索可能的运动目标，然后与搜索 状态搜索到的目标进行特征匹配，如果连续n 匹配成功就认为目标的 捕获成功，进入跟踪状态。否则回到搜索状态。在实际的系统设计中 n 。2 捕获状态输入：视频图像序列，搜索状态输出的目标参数。 捕获状态输出：目标参数；系统所处的状态 3 跟踪状态 处于正常跟踪状态时，运用预测跟踪技术对目标可能位置以及目 标可能存在区域进行预测，从而减小搜索范围达到实时跟踪的目的。 系统对后继的每一帧图像在预测的范围进行处理，检测出目标，并给 出目标的位置信息等，如果未能发现目标就转入短暂记忆状态。 跟踪状态输入：视频图像序列，搜索、捕获状态输出的目标参数 跟踪状态输出：目标参数；系统所处的状态 4 记忆跟踪状态 第1 3 页 苎三皇堑箜塑塑曼曼垫曼壁曼：一堡曼墨苎丝堡笪 由于一些外界的原因如目标被遮挡、覆盖会出现在跟踪状态时目 标丢失的现象。此时虽然由于运动目标的各种识别特征可能发生比较 大的随机变化，但由于目标的运动的规律性决定了其中一些如：位置、 速度等仍是可以预测的。系统通过预测算法估计目标的特载向量的一 部分分量。当记忆跟踪的时问超过最大记忆时间以后系统自动转入搜 索状态重新搜索运动目标。 记忆跟踪状态输入：视频图像序列，搜索、捕获状态输出的目标 参数。 记忆跟踪状态输出：预测的目标参数；系统所处的状态。 2 4 2 2 目标识别与跟踪系统状态转换 整个系统的运行是个状态转换和进程激活的过程。我们结合图2 6 讨论系统的状态设计以及状态转换。 图2 6 系统状态转换图 ( 1 ) 搜索状态( s e a r c h ) 系统根据输入参数选择搜索模式，如果是自动搜索系统就根据算 法全域搜索视频序列图像，旦发现目标转入捕获状态；如果是指定 目标跟踪系统就处于等待指定目标状态，一旦系统给出指定目标的初 始位置并发出跟踪命令，系统搜索到指定位置的目标后转入捕获状 态。 1 4 。皇王登垫盔竺堡圭丝兰一 相应的转换条件c l 找到目标 自动搜索时： c 1 ：s e a r c h j c a p t u r e = s e a r c h m o d e f a u t os e a r c h f i n d _ t a r g e t = t r u e s y s _ o r d e r = s y s o r d e r s t a r t ) 指定目标跟踪时： c i ：s e a r c h j c a p t u r e = s e a r c h m o d e = p o i n ts e a r c h f i n d t a r g e t = t r u e s y s o r d e r = s y s _ o r d e r s t a r t ) ( 2 ) 捕获状态( c a p t u r e ) 根据算法全域搜索视频序列图像，搜索出来的目标与搜索状态输 出的目标特征进行匹配，如果匹配成功就进入跟踪状态，否则回到搜 索状态。 相应的转换条件c 2 ，c 3 c 2 ：捕获不成功 c a p t u r ejs e a r c h = s e a r c h m o d e = a u t o s e a r e h l p o i n t _ s e a r c h c a p t u r e s u c c e s s = f a l s e c 3 为：捕获成功 c a p t u r e t r a c k = f s e a r c h m o d e = a u t o s e a r e h l p o i n t s e a r c h c a p t u r e _ s u c c e s s 2 t r u e ( 3 ) 跟踪状态( t r a c k i n g ) 纂1 5 页 苎三兰垒丛堡塑鬯堡垫皂量丝墨二_ 曼壁墨苎杰墨堡生一 系统处于正常跟踪状态时，系统对后继的每一帧图像进行处理， 检测出目标，并给出目标的位置信息等，实行相继帧跟踪，如果未能 发现目标就转入短暂记忆状态。 相应的转换条件c 4 ，c 5 ： c 4 为：成功跟踪 t r a c k t r a c k = t r a c k _ s u c c e s s = t r u e ) c 5 为：目标