（通信与信息系统专业论文）红外视频动目标识别跟踪系统的pci接口通信设计.pdf

摘要 ( 运动目标识别与跟踪技术是数字图像处理领域中的一个重要研究课 、 题，它在军事及民用领域均有广泛的应用需求a 我们的研究项目一红外运 动 1 标_ 【j 别跟踪系统基于赢。陛艟d s p j 划：洲钎机实现d s p 冈像垃j t 卡对视频图像进行实时处理，完成运动目标识别与跟踪功能。主控计算机 为运行w i n d o w sn t 操作系统的工控p c 。主控p c 上的w i n 3 2 应用程序实 现整个系统的操作控制及后端数据处理功能。d s p 图像处理卡与p c 主机 间的接口为p c i 总线。 本论文研究基于p c i 总线的d s p p c 红外运动目标识别跟踪系统的上 下层通信与数据传输设计。我们的d s p p c 系统的p c i 总线接口采用p l x 公司的p c i 9 0 5 4 芯片。本文首先介绍系统的功能要求及设计方案，接着介 绍对系统上层主控程序与d s p 处理卡控制信息交互与数据传输的分析。在 此基础上，依据p c i 9 0 5 4 接口芯片的数据传输功能，主要介绍系统的p c i 接口功能模块的硬件实现及其w i n n t 驱动程序设计。论文最后介绍了驱 动程序的安装测试及系统设计实现中存在的问题。 一 f 从整个系统的调试运行结果来看，p c i 9 0 5 4 驱动程序很好的完成了系统 上下层控制命令通信与数据传输任务。) 尸 关键词视频图像处理 p c i 总线 d m a d s p p c 系统 设备驱动程序 uf 科技人坝| | 、化沦文：摘要 a b s t r a c t t h em o v i n go b j e c td e t e c t i o n 、r e c o g n i t i o na n dt r a c k i n gt e c h n o l o g yi sa n i m p o r t a n t r e s e a r c h s u b j e c t i n d i g i t a li m a g ep r o c e s s i n gd o m a i n t h i s t e c h n o l o g ya n di t sa p p l i c a t i o na r ee a r g e n t l yr e q u i r e di nm i l i t a r ya n dc i v i l a f f a i r s i m p l e m e n t a t i o no fourr e s e a r c hp r o j e c t i n f r a r e dm o v i n go b j e c t d e t e c t i o na n dt r a c k i n gs y s t e mi sb a s e do nd s pw i t hh i g hp e r f o r m a n c ea n d h o s tc o m p u t e r o b j e c td e t e c t i o na n dt r a c k i n gi sc a r r i e do nw i t hd s pi m a g e p r o c e s s i n gb o a r d h o s tc o m p u t e ri sa ni n d u s t r i a lp cr u n n i n gw i n d o w sn t o p e r a t i n gs y s t e m aw i n 3 2a p p l i c a t i o np r o g r a mr u n n i n go np cp e r f o r m st h e w h o l es y s t e mc o n t r o la n db a c k e n dd a t ap r o c e s s i n gf u n c t i o n t h ei n t e r f a c eo f t h eb o a r da n dh o s ti sp c ib u s i nt h i sd i s s e r t a t i o ni sd i s c u s s e dt h ed a t ac o m m u n i c a t i o n d e s i g na n d i m p l e m e n t a t i o no ft h eu p p e ra n du n d e rl a y e rm o d u l eo fd s p - p cv i d e oi m a g e p r o c e s s i n gs y s t e m a tf i r s t ，i si n t r o d u c e dt h es y s t e m sf u n c t i o nr e q u i r e m e n t a n dd e s i g n t h e n ，i sp r e s e n t e dt h ea n a l y s i so ft h es y s t e m sp c ii n t e r f a c e m o d u l e a c c o r d i n gt ot h ed a t at r a n s f e ro p e r a t i o no ft h ec h i pp l xp c i 9 0 5 4 ，i n ，rt h i s p a p e r , i sm a i n l yd i s c u s s e dt h eh a r d w a r ei m p l e m e n t a t i o na n dw i n n t d e v i c ed r i v e rd e s i g no ft h ep c ii n t e r f a c em o d u l e a tt h ee n do ft h e d i s s e r t a t i o n ，i sb r i e f l yi n t r o d u c e dt h ei n s t a l la n dd e b u go ft h ed e v i c ed r i v er t h ed s p - p cs y s t e mr u n n i n gr e s u l ts h o w st h a tp c i 9 0 5 4d e v i c ed r i v e rw o r k w e l la n df u l f i l lt h ed a t ac o m m u n i c a t i o nt a s ko fp c ii n t e r f a c em o d u l e k e y w o r d s ：v i d e oi m a g ep r o c e s s i n g p c i b u s d m a d s p - p cs y s t e m d e v i c ed r i v e r 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研 究工作及取得的研究成果。据我所知，除了文中特别加以标注 和致谢的地方外，论文中不包含其他人已经发表或撰写过的研 究成果，也不包含为获得电子科技大学或其它教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示谢意。 签名：4 立垄迭 日期：舻；年月日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位 论文的规定，有权保留并向国家有关部门或机构送交论文的复 印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学 可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名： 4 立。查：墨 导师签名 第一章引言 1 1 课题来源与研究任务 图像与人类的生活密切相关，图像处理作为重要的现代技术已在多种 领域广泛应用，如通信、航天航空、遥感遥测、生物医学、军事、信息安 全等方面。图像处理必须在计算机技术、数字信号处理与通信技术的支持 下才能更加高速发展与广泛应用。目标识别与跟踪技术是图像处理领域一 个重要的研究方向。它是一门涉及图像处理、自动控制、计算机应用等方 面的交叉学科。它在计算机视觉、可视预警、交通监控等方面都有非常广 泛的应用。图像目标识别跟踪的基本任务如下图1 1 所示。 图1 1 图像目标识别跟踪的基本任务 本论文研究红外运动目标检测与跟踪系统的实现技术。该系统的简单 描述如下：由红外摄像机提供模拟和数字视频输入信号，通过基于 t m s 3 2 0 c 6 x 系列高速d s p 的数字视频处理卡，对红外数字视频运动目标图 像序列作实时处理，完成对运动目标的搜索、捕获、跟踪、记忆，并且将 观测场景图像送往p c 实时显示、运动目标区域图像和特征参数数据送p c 上层主控程序进行实时分析、显示、存储。 简单的说，目标识别与跟踪系统是一个可以完成实时数字视频图像数 据的采集和处理，从而实现目标识别与跟踪功能的数字图像处理系统。我 们的实现平台基于高性能d s p 图像处理卡和主控计算机，主控计算机为运 行w i n d o w sn t 操作系统的工控p c 机，d s p 板卡与主控p c 问以p c i 总 线接1 。l 到此, i j + 称此糸统为d s p p c 视频图像处理系统，晒称d s p p c 系统。 从系统的没计实现上考虑，我们把它分成以下几个研究部分 l 、 系统硬件平台一d s p 图像处理卡设计： 2 、实现目标识别与跟踪算法的d s p 软件设计； 3 、d s p 图像处理卡的w i n d o w sn t 设备驱动程序设计； 4 、 上层主控w i n 3 2 应用程序设计： 在该项目中，佳鲞主盘强崾董王四监缓的d s p 数字视频图像丘 理h l 与p c 主机数据通信与信息交互技术，负责硬件平台的w i n d o w sn t 设备驱 动程序设计。 1 2 相关技术研究动态 本课题研究涉及的一些技术主要有图象处理技术、p c i 总线技术及设 备驱动程序，下面简述相关发展动态。 一数字图像处理技术 早期的图像处理受到计算机的速度和容量的限制只限于对静态图像进 行处理。连续的动态图像能提供更丰富的信息。目标识别跟踪技术就属于 动态图像处理，其关键算法通常包括图像分割和图像识别两个过程。 图像分割技术 图像分割就是根据场景图像和目标图像的特性，将目标图像区域从场 景中表示出来。文献 1 介绍了图像分割的三种方法：区域方法、边界方 法、边缘方法。 区域方法是一种基于图像灰度门限的图像分割技术，它对物体与背景 有较强对比的景物的分割特别有用。它计算简单，而且总能用趱闭而且连 、一 一 通的边乔定义不交叠的区域。选择门限是这种处理算法的关键，它直接影 响图像分割的效果。传统的针对目标与非目标的双峰直方图的分割方法有 很多，如文献 2 中提到的：最小错误概率法、贝叶斯法等。 边界方法利用望墨基查直递鏖埠的健质直接把边界找出来。文献 7 】提 到了三种典型的方法。第种是边界跟踪，选择图像中梯度值最商一点 咖作为：“甲n 咛过掣憎t 1 2 仙- 一 自pf 尢；! 小：? ! 甲芝 - i 、一，ii ? ? e ， 1 奠 出最大灰度级的邻域点作为第2 个边界点。从这一点丌始，就启动了一个 柳章j 1 。1 i 在给定当前和前一个边界点的条件下寻找下一个边界点的迭代过程。这样 就描厕出最大梯度边界。第二种是梯度图像二值化，如k i r s c h 分割法1 3 1 。 第三种是拉普拉斯边缘检测。一个无噪声图像具有陡峭的边缘，可用拉普 拉斯算子将它们找出来。对经拉普拉斯算子滤波后的图像用零灰度值进行 二值化会产生闭合的、连通的轮廓并消除了所有的内部点。由于噪声的存 在，在运用拉普拉斯算子之前需要先进行低通滤波。 用边缘方法来确定图像中物体的边界时，先检测每个像素和其直接邻 接域的状态，以决定该像素是否确实处于一个物体的边界上。具有所需特 性的像素被标为边缘点。边缘检测算子检查每个像素的邻域并对灰度变化 率进行量化，通常也包括方向的确定。有若干种方法可以使用，其中大多 数是基于方向导数掩模求卷积的方法。例如r o b e r t s 边缘算子，r o b e r t s 边 缘检测算子是一利：利用局部差分算子寻找边缘的算子【4 l 。s o b e l 边缘算子 1 5 1 ，图像中的每个点都用这两个核做卷积。一个核对通常的垂直边缘响应 最大而另一个对水平边缘响应最大。两个卷积的最大值作为该点的输出 值。运算结果是一幅边缘幅度图像。p r e w i t t 边缘算子【6 1 与使用s o b e l 算子 的方法一样。图像中每个点都用这两个核进行卷积，取最大值作为输出。 p r e w i t t 算子也产生一幅边缘幅度图像。k i r s c h 边沿算子【3 】，也可以通过卷 积核组成k i r s c h 边缘算子，图像中的每个点都用掩模进行卷积，所有8 个 方向中的最大值作为边缘幅度图像的输出构成了对边缘方向的编码。 图像识别技术 图像识别是指依据输入的空域二维图像信息，根据图像识别模型，进 行相关的图像运算，分析著提取图像的识别特征，然后按图像特征对图像 进行分类识别运算，判断分割处理的是否为要跟踪的目标。目标的识别主 要包括：图像特征的描述和图像特征的识别运算。 图像的特征描述就是建立图像特征向量的过程。建立图像特征向量的 方法最常用的方法就是：建立目标特征参数。常用的目标参数有”1 ： 1 、 几何参数，如目标周长、面积、占空比、长宽比等； 2 、统计参数，目标图像的各阶统计矩。 图像特征向量建立好以后，通过一定的匹配运算来实现目标的i j5 别。常见 的匹配运算有：匹配运算有”1 ：相关、m a d 、m a e 、m s e 等。 uj 二科技人学硕十化论义 二p c i 总线技术 p c i 是p e r i p h e r a lc o m p o n e n ti n t e r c o n n e c t ( 外围组件互联) 的缩写。 这是一种新型的高带宽、处理器无关的局部总线【7 】。p c i 总线为高速i 0 设备提供了更好的支持，它最初由i n t e l 公司于1 9 9 0 年推出1 0 版。p c i 总线技术由几个相关标准规范界定口】。1 9 9 8 年推出的p c il o c a lb u s s p e c if i c a t i o nv 2 2 规范 9 1 允许系统以3 3 或6 6 m h z 时钟使用3 2 或6 4 根 数据线传输数据。因其高性能，p c i 总线在计算机i o 系统中得到了广泛 的应用。近年来又有一些计算机厂商联盟推出p c i x 1 0 标准 1 0 1 进一步改 进了p c i 总线，提高了总线的性能和应用灵活性。 三 w i n d o w s 操作系统平台上设备驱动程序的发展 虽然各种w i n d o w s 平台上的应用程序开发接口( w i n 3 2 h p l ) 基本未变。 但w i n d o w s 系列操作系统平台上的设备驱动程序却经历了许多发展变化， 简介如下： v x di n 类型的驱动程序是早期的驱动程序模型，它出现在 w i n 9 5 9 8 m e 中v x d 可以很好地支持要求运行在1 6 位c p u 环境上的d o s 、 w i n d o w s3 x 应用程序。这种驱动程序在纯3 2 位操作系统环境中不能运行， 如w i n d o w sn t 2 0 0 0 x p 。v x d 类型的驱动程序只能运行在i n t e lx 8 6 处理 器结构的p c 上，开发时涉及汇编语言指令。 n t 式驱动程序 1 2 1 ”1 是可移植的纯3 2 位操作系统w i n d o w s n t 上的驱 动程序，它采用完全不同于v x d 的设计方式更加灵活，全部可以使用c 语言开发，无须涉及汇编指令。该种驱动程序可以随着w i n n t 操作系统 在多种p c 硬件平台上原代码级兼容。 w d m 1 4 1 即w i n d o w s 驱动程序模型( w i n d o w sd r i v e rm o d e l ) ，是 m i c r o s o f t 力推的全新驱动程序模式，旨在通过提供种灵活的方式来简化 驱动程序的开发，在实现对新硬件支持的基础上减少并降低所必须开发的 驱动程序的数量和复杂性。w d m 基于n t 式驱动程序，实现一种分层式 模块化的型驱动程序结构，支持即插即用及电源管理功能。从而使w d m 驱动程序可支持u s b 、i e e e1 3 9 4 、a c p i 等全新的硬件标准。 ? i t 二疆动程序下支持：j ：? 用t ：乙源管嚣囊怂，1 互运i i j z 、i ： 操作系统中，也可在w i n 2 0 0 0 中运行。本论文仅涉及n t 式驱动程序。 鳓尊r j 1 3 研究结果及论文安排 一、研究结果 作者根据d s p p c 视频图像处理系统所要完成的运动目标检测与跟 踪功能，分析了d s p 视频处理卡与上层主控程序的数据传输要求，根据 p c i 接口芯片p l xp c i 9 0 5 4 的数据传输功能，我们决定在少量非实时数据 传输的情况下，我们采用直接读写设备存储区的方式：在要求实时数据传 输时采用中断驱动的d m a 方式。作者负孟国印晁i 心蓬旦里堡丝堡塑 鬯i 旦鲤! ! 型! 竣釜驱动程匿z 一宜成了避= g 迥题图傻处理蠢统对弦 墓基 信垦箜掺的功能! 婪，一虽终窆墨塞堡三矍全塾签旦握坳9 矍矍至煞。 - 一 一 一： 二、论爻章节安排 本论文是对红外视频动羁标检测跟踪系统的亟塞王堡堕结。霉盛垄王 璺缝堡耋逝鱼塞盟丕筮上工星数据通信与信息交互设计，即系统p c i 接v i 模块的软硬件实现。下面对本论文各章节作简单介绍。 第一章：引言 介绍课题来源、研究任务和结果以及相关技术的发展动态。 第二章：c 6 xd s p p c 视频图像处理系统整体方案 首先介绍系统设计要求，根据此要求确定的系统功能模块、系统硬 件平台一d s p 视频图像处理卡介绍，系统软件模块功能介绍。 第三章：d s p 图像处理卡与p c 主控程序的信息交互分析 介绍d s p 视频图像处理卡与上层主控软件的数据通信。首先给出 系统的工作状态和数据传输流程、上层主控程序的功能及系统控制 流。系统上下层通信的数据流与控制流分析。实时数据传输对接口 模块的通信要求。最后的出p c i 接口模块的设计考虑。 第四章：d s p p c 视频处理系统的p c i 硬件接口实现 先介绍p c i 总线技术。接着给出采用专用p c i 接口芯片p l xp c i 9 0 5 4 实现的d s p 视频图像处理。苦与主控p c 的硬件接口。最后介绍数据 传输的硬件操作。 第“章：d s p p c 系统的w i n n t 设备驱动程序设计 介绍w i n d o w s n t 操作系统上适用于d s p p c 系统上下层数据通信 与控制信息交互的p c i 9 0 5 4 设备驱动程序设计实现。 第六章：驱动程序安装调试及设计总结 简要介绍设备驱动程序的开发、安装及调试，系统设计中存在的不 足。 最后是结束语、参考文献和致谢。 鼐一龋 c 6 xf 】s 卜f ，c 视频h 像处理系统雅体力集 第二章c 6 xd s p p c 视频图像处理系统整体方案 视频图像观测及运动目标识别与跟踪系统有重要的实用价值，无论在 军用还是民用领域具有着广泛的应用。根据红外视频动目标识别与跟踪系 统功能我们首先分析出了该系统的功能模型，结合详细的设计要求我们确 定了系统方案。本章简要介绍系统设计方案。 2 1 系统功畿和设计要求 2 1 1 系统功能与模型 红外动目标识别与跟踪系统的输入信号是红外摄像机提供的模拟或 数字视频信号。该系统通过基于c 6 x 系列高速d s p 的数字图像处理卡，实 时的处理红外数字视频序列，完成对运动目标的搜索、捕获、跟踪、记忆。 一 并且在p c 机上实对垦示红外视频图像，实时给出运动目标的空间坐标及 缱延蝇完成运动目标匡彗圈堡丝塞堕查堡壁运程佳输三针对以上功能 要求我们提出了一个工作于主控计算机上的目标识别与跟踪系统功能模 型，如图2 一l 所示： 功能模块f 1 功能模块f 2功能模块f 3功能模块h 图2 1 基于主控计算机的目标识别与跟踪系统功能模型 l 、 视频信号的数字化模块( f j ) 它包括场景成像，视频信号的生成、预处理、模数转换。该模块把 输入的模拟视频信号转换成可供后端模块处理的数字图像数据格式。 2 、数字视频图像处理模块( f 2 ) 运用相关的图像处理算法来实现动目标的识别与跟踪，该模块实现 ! ! ! ：丛些叁竺塑! 兰竺丝兰 目标识别与跟踪系统的核心功能。 3 、 与主控计算机的数据交换模块( f 3 ) 由于系统工作在主控计算机上，所以它必须具有数据交换模块才能 前端处理模块与后端主机总控软件连接。该模块要将上层总控模块的控 制命令传送的系统前端处理模块。将前端处理后的视频场景图像数据和 目标特征参数数据送上层模块作后处理。本论文主要研究该模块的设计 及实现。 4 、 主机上层总控模块( f 4 ) 该模块主要实现主控计算机对目标识别与跟踪控制和管理，同时对 处理数据作后端处理：场景图像的实时显示、处理数据的实时存储、目 标特性分析、系统的远程控制及数据的网络传输等。 2 1 2 系统设计要求 红外目标识别与跟踪系统的主要设计要求如下： l 运动目标速度小于2 0 像素场。 初始搜索状态的目标大小为4 像素1 4 视场。运动目标捕获、识别、 跟踪概率9 5 。 2 实时( 4 0 m s 帧) 显示原始红外场景图像于主机监视器 模拟视频数据输入：c c i r 视频制式的黑白视频信号( 5 0 场秒) 。 数字视频数据输入：采用r s 4 2 2 传输协议，像素精度1 4 b i t 。 视场大小为3 2 0 象素* 2 4 0 象素。 3 实时存储目标邻域原始红外图像数据及目标特征参数 4 系统具有自动目标跟踪和指定目标跟踪功能 5系统开机自检、并将白检结果报告给主机应用程序 根据以上的设计要求结合上小节的功能模型，我们设计d s p p c 视频图 像处理系统用于实现红外图像运动目标识别与跟踪任务，其功能模块如图 2 2 。 第一争c 6 xi ) s i 。| j c 视频例像处圳系统经体山案 图2 2 红外运动目标识别与跟踪系统实现设计功能模块图 图中虚线所包含的功能模块是所要设计实现的部分。从中可以看出p c i 接口模块硬件及其驱动程序软件是联系d s p 图像处理模块与系统上层主控 程序的桥梁，作者负责实现该部分。本论文将作详细介绍。 2 2 系统总体方案设计 根据以上系统功能模型及设计要求我们做了系统整体方案设计，分为 硬件部分和软件部分。首先介绍系统硬件平台一d s p 图像处理卡的设计， 各模块功能简介。接着介绍系统软件模块与功能。 2 2 1d s p p c 数字视频图像处理系统的硬件设计 红外视频动目标识别跟踪系统的硬件平台由工控p c 和高性能d s p ( t m s 3 2 0 c 6 0 0 2 ) 图像处理卡组成，整个系统硬件平台的结构组成如图2 3 所示： 系统硬件平台系统软件模块 f s l f s 2f s 3 图2 3 目标识别与跟踪系统的硬件方案图 下面对系统硬件各功能模块作简要介绍： 一、 视频信号的数字成像模块( f s ，) 该模块主要功能是把红外摄像机的视频输入信号转化为后端d s p 能够 处理的数字图像数据格式。它由视频输入接口、输入缓冲f i f o 、数字图 像存储器( s r a m ) 三部分组成。c c i r 制式黑白视频图像的数字化精度为 8 b i t 象素，r s 4 2 2 标准传输的数字视频精度为1 4 b i t 象素。这些数字视频 数据经f i f o 缓冲后，经f p g a 进行数据装配，将其按1 6 b i t 象素、3 2 0 * 2 4 0 象素帧的格式存入数字图像存储器s r a m 中。以每秒2 5 帧的速度存三帧 连续图像供d s p 处理时使用。s r a m 中其它剩余存储空间用于d s p 与主 7 1 数：一交换：r g b 曩一譬，：黑鬈_ 、：0 7 ：j 、笠：j 2 支三? j 譬互、：? ? 征数据存储区。 站毫c 6 xi ) s | ) i ，c 视频像处删系统祭体办：粜 二、 数字图像处理模块( f s 2 ) 系统要对2 5 帧，秒、3 2 0 * 2 4 0 象素，帧的数字图像进行实时处理，每帧 图像的处理时间不能超过4 0 m s 。同时由于图像处理算法对处理器的运算 能力要求很高。因此该模块采用t i 公司c 6 2 x x 系列高性能d s p 芯片 t m s 3 2 0 c 6 2 0 2 实现，该芯片在工作主频为2 0 0 m h z 时，处理速度可达到 1 6 0 0 m i p s ，其超高性能可以满足系统对实时图像处理的要求。 j 、p c i 接口模块( f s 3 ) d s p 进行图像处理后要向主机以2 5 帧，秒、3 2 0 * 2 4 0 - 象索帧、3 2 b i t 象 素的数据量传输r g b 格式视频场景图像用于实时显示，最大为1 4 场景的 目标图像( t 6 b i t p i x e l ) 及其参数信息送上层主控应用程序作实时分析、 显示、及存储。为满足大量实时数据的传输，d s p 图像处理卡与主控p c 机的接口为p c i 总线。为缩短工程的开发时间、避免复杂的p c i 接口实现， 我们使用了p l x 公司的专用p c i 接口芯片p e i 9 0 5 4 及相关驱动软件开发 包。第四章将详细介绍该模块的硬件实现。 四、控制逻辑模块( 鼢) 系统各模块的逻辑控制采用大容量f p g a 实现。通过它实现对所有器 件的逻辑控制，如：输入缓冲f i f o 、s r a m 、视频接口电路、d s p 、p c i 接口电路等的控制。f p g a 采用x i l i n x 公司x c v 5 0 e 芯片。利用f p g a 芯 片的系统内可编程( i s p ) 性能，完成所有d s p 外围芯片的控制逻辑，并 在其中设置状态寄存器、命令字寄存器等接口寄存器，完成与主机的实时 通信接收主机传送的命令信息和向主机传送的状态信息。 、 2 2 2 红外视频动目标识别跟踪系统软件模块简介 d s p p c 系统的硬件模块实现基本的红外视频图像采集功能，系统的目 标识别跟踪功能完全由系统软件模块实现这些软件模块在系统硬件平台 的基础上扩展系统功能。系统软件的逻辑层次如图2 4 ： 主控计算机与其 操作系统 上层主控应用程序 p c i 设备驱动程序 d s p 软件算法程序 ：j 系统硬件平台 i ： i l 二j l ， ! p c i 接口! 1 l 一一一j 喳哩 孽塞瞪一一一一： 图2 - 4 目标识别与跟踪系统软件层次划分图 整个系统软件包括三个模块：上层主控应用程序、p c i 接口设备驱动 程序、d s p 图像处理程序。下面简介它价的基本功能： 一、系统上层主控应用程序 该软件负责用户与系统的信息交互，系统状态的显示。它接收用户输 入的系统控制命令，通过驱动程序控制系统下层的d s p 软件及硬件资源， 从而影响系统的工作。它还要通过驱动程序接收系统下层传来的处理数 据，实现目标图像数据及其特征数据的存储和显示。 二、p c i 设备驱动程序 该软件直接控制系统硬件，负责底层d s p 程序与上层主机应用程序之 间的信息和数据通信。它把上层主机应用程序的控制信息传递给下层的 d s p 程序或板卡硬件，并把d s p 程序处理完的图像数据及一些特征参数 传递给上层主机应用程序。作者负责实现该程序设计，第五章将详细介绍。 三、d s p 程序 系统主要功能由该软件实现。实时搜索、检测、识别图像序列中的运 动目标，确定运动目标的特征参数和运动轨迹。具体有( 1 ) 搜索在观察 的视频图像场景中，搜索图像运动目标存在的区域。( 2 ) 检测、分割与识 别。检测分割识别运动目标。( 3 ) 确定运动目标( 捕获) 并跟踪。在视频图 像运动目标上确定出运动目标的形心位置、长宽比、平均亮度、背景平均 ! 、生：二j i ，丑互i ? 之竺数据适一，芰：j j ：_ ：j j 、迂土0 ：。 第二章i 】s i 图像处理p 。p c 土控辆”芋的信息交且分析 第三章o s p 图像处理卡与p c 主控程序的信息交互分析 上章简要介绍了整个d s p p c 红外视频处理系统的整体方案，作者负 责其中的d s p 图像处理卡与p c 上层主控程序的p c i 接口通信设计。本章 依据系统功能及上下层通信要求，分析p c i 接口模块韵通信任务、数据传 输建及传输要求。此数据通信任务的实现是由p c i 接，j j 硬件和其w i n d o s n t 设备驱动程序共同完成的。第四章介绍p c i 接口模块硬件实现，第五章介 绍完成系统上下层信息交互任务的p c i 设备驱动程序实现。 3 1 系统的基本状态和数耩传输流程 = ：丕缠基奎丛盔 系统的工作状态主要由d s p 算法程序的运行状态决定。但要实现整个 系统的良好运行，上层主控程序须实现系统的初始化和运行控制。该系统 主要有以下三个基本状态： 1 初始化状态 计算机加电或复位后，操作系统先加载设备驱动程序上层主控程 序运行，系统操作员通过主控程序查看系统硬件自检结果，然后依据 规定的步骤进行系统初始化：下载d s p 程序到板卡、选择输入通道、 设置d s p 算法参数等。 2 场景观测状态 系统初始化完成，由操作员通过上层主控程序启动后，系统即进入 场景观测状态，此时只连续显示场景图像，没有进行目标检测跟踪。 系统只完成视频图像的采集和实时显示功能。 3 运行工作态 系统操作员通过主控程序切换，系统进入连续运行状态。此时系统 有四个子状态：目标搜索、目标捕获、目标跟踪和目标记忆。d s p 图 像处理算法根据对图像数据的处理确定当前系统处于哪个状态。这些 状态信息以及伴随的目标特征数据要送给主控应用程序处理。 系统运行时，系统上下层之间需要交互的信息有处理数据和控制命令， 它们对p c i 接口模块的通信要求是不同的。 二、系统工作时的数据流分析 j _ _ ，_ _ _ _ 一一 系统运行时，红外视频图像数据通过系统硬件模块的流程图如3 1 所 示： l 图3 1 视频数据流框图 d s p p c 视频图像处理系统t 作时的数据流程描述如下： i 、数字或模拟视频信号从红外摄像机进入视频接口模块。视频接口电路 ( 丢f p g a 的控制下将原始视频信号转换为统一的数字视频数据。 i i 、数字视频数据从视频接口模块进入f i f o 作缓冲，等到f i f o 到达半满 状态时，f i f o 发出总线使用申请。在f p g a 的控制下f i f o 将数据送到s r a m 内指定的帧存储区中。当s r a m 接收完一帧图像时，f p g a 将该图像数据存 储区对应的帧状态寄存器置1 ，向d s p 发出数据处理请求。 i v 、d s p 从s r a m 接收指定的帧图像数据，然后依据目标检测跟踪算法和参 数进行处理。处理后的数据有两类，一类是r g b 格式的场景图像，另一类 是系统状态、目标领域及其特征信息。这些数据被d s p 存储到s r a m 中指 定的地址区域中。然后d s p 通过f p g a 和p c i 接口模块向主机发中断，通 知主机接收数据。 3 i 、p c i 接口模块将实时数据由下向上传输。p c i 接口硬件、设备驱动程 序、主机上层应用程序协同完成场景图像数据实时显示、系统运行状态显 示、对目标特征数据的实时分析、显示和存储。 一、翟4 i 黑孳数挥灼，j 时? ! ：要书对p c i 冀瓮篡“：冀紫影”： ，、_ _ d s p p c 视频处理系统的功能要求实时显示视频场景图像和目标特征 4 o 艺分也砖 ? 第一二章d s i ，h 像处理| = 与p c 上控l = ! 1 0 # 的信息交分析 信息，实时存储目标领域图像及特征参数数据。通常的p c 工控计算机及 w i n d o w s n t 操作系统并非严格的实时应用平台，必须采用一定的设计策略 才能够实现实时性要求。 对于一般基于p c 的非实时数据采集应用，可以采用基于中断的p i o 的方式：w i n 3 2 上层应用程序通过设备驱动程序访问设备内存中的采集数 据，然后作进一步处理、分析、显示，对于少量的实时数据通常也可以这 种方式实现。对大量的数据传输则可采用d m a 豹方式。 采用d m a 方式传送视频数据是可以的，但视频数据不但要求传输及 时，还要求传输后的处理也必须及时。若要将大量实时视频数据全部送给 上层w i n 3 2 应用程序，由它来调用绘图函数完成图像显示，则无法达到实 时性要求，对此我们在w i n d o w s n t 平台上对此曾做过实验。这主要因为 w f l m o w s n t 操作系统是个虚拟内存多任务操作系统，其w i n 3 2 应用程序 在一个虚拟环境中运行。操作系统按线程优先级轮流调度每个w i n 3 2 应用 程序运行。位于用户虚拟地址空间中的w i n 3 2 应用程序无法访问物理硬件 地址。虽然设备驱动程序也运行在系统虚拟内存地址空间，但它却可以利 用系统内核态的服务例程访问物理硬件设备地址故在我们的d s p p c 视频处理系统设计时，将视频场景图像的显示任务交由p c i 接口模块硬件 与其驱动软件完成，而不是将这些大量实时视频数据送由w i n 3 2 应用程序 去处理，这样才能很好地实现视频图像显示的实时性要求伴随着每帧场 景图像的少量目标特征数据由驱动程序送到系统上层w i n 3 2 主控程序。因 目标特征信息数据量少，上层主控程序可以实现实时显示、存储与处理。 四、望兰兰竺墨董g 圭垫的邀堡焦绝整童坌堑 场景图像是大小为3 2 0 象素* 2 4 0 象素的灰度图像。模拟视频信号每象 素量化为8 比特，数字视频通道每象素1 4 比特。系统前端数字成像模块将 这些差别统一处理成1 6 b i t s p i x e l 的数字图像供d s p 处理。d s p 进行目标 识别跟踪处理之后，将此图像送主机显示前，须将图像的处理格式转化为 适用于主机图形显示系统的要求格式。通常现代p c 的显示系统是彩色的， 在真彩色模式下工作的显卡每象素是3 2 位的r g b 存储格式，即便是显示 灰度图也必须按照此格式。所以d s p 须将场景图像数据从 3 2 0 + 2 4 0 + 1 6 b i t p i x e l 的处理格式转化为3 2 0 + 2 4 0 + 3 2 b i t p i x e l 的r g b 格式。 乜f 科技人学颂1 ： - 7 - 化论文 该工作也必须由d s p 完成，因为后端软件( 驱动程序或主控应用程序) 的 处理速度相对较慢，影响实时性。故系统仅作场景观测，就要求2 5 帧每 髓32芝0*240*3型2*25bs淼=60s戮=75 m嚣嚣耋愿m bb s 。运动目标及其领域图像数据直接以 3 2 0 * 2 4 0 * 1 6 b i t p i x e l 的处理格式传输给上层应用程序，这些数据及其它实 时信息按4 k b 的数据量处理，故系统总的数据传输率为j 3 3 m h z ，数据宽度3 2 位。整个p c i 总线的最高数据传输率为 3 3 * 3 2 m b s 1 4 2 3 m b ，s ，红外运动目标检测跟踪系统的采集处理卡所需的最 高数据传输带宽不到p c i 总线最高带宽的1 1 0 。因此采用p c i 接口能够完 3 2d s p 视频处壶讳啕上层主控程序间的控制信息交互 3 2 1 上层主控程序的功能任务简介 上层主控程序完成系统的操作与控制、目标特征信息的显示与存储， 实现系统的用户接口界面。其主要功能有： ( 1 ) 系统的自检与工作参数设置 主机控制程序一开始运行就要对跟踪系统的软、硬件进行自检。系统 的各种参数( 视频输入通道、d s p 算法代码及参数、p c 显存虚拟地址等) 设置也须通过主机控制程序传送到系统下层部件。 ( 2 ) 系统状态的显示 系统的工作状态主要由d s p 算法软件运行时的状态( 搜索、捕获、跟 踪、记忆) 决定。其它系统状态，如自检、等待启动、暂停恢复、停止系 统运行等状态，均要通过主机控制程序的人机界面显示出来。 ( 3 ) 目标序列图像的实时采集、存储和重放 为了以后对每一次的识别与跟踪过程进行分析，在对运动目标的识别 暴岛、过矗；，而耍j ；j , j i “0 邻域高诛“j - 上彳、k 息遗j 史，j j i j 菜菜 和存储，这些数据由d s p 处理后产生，山p c i 接口模块传送。 筇1 1 浆d s pi 蜘像处班k 与i cl ：控鞋序的信息交且分析 ( 4 ) 目标序列图像的统计分析和结果的显示 二饔l 苗豁 在对运动目标的识别与跟踪过程中，需要对目标附基本信息( 如：运 v 动轨迹，目标邻域图像的直方图、亮度均值等) 进行实时的分析和显示。 ( 5 ) 目标跟踪方式的设置 系统运行时的跟踪状态有两种工作方式：皇型堡壁和塑塞堡盈有时 视频场景中有乏全誊动嗣拯，系统自动跟踪时，按一定的优先算法自垫跟 踪某个目标。 指定跟踪需要用生塑塞里堡塑塑塑焦置一 、 ( 6 ) 向p c i 板卡下载d s p 程序，启动、停止和复位d s p 的运行 一 为了便于对跟踪系统的功能进行扩展，d s p 的运行程序和初始化数据 是由主机控制程序下载到d s p 的内存中的。此外，主机控制程序还要控制 d s p 的启动停止和复位，从而实现整个系统运行状态控制。上层应用程序 所有7 1d s p 图像处理板卡的访问均通过驱动程序实现。习实时性要求，视 频场景图像显示并不是由主控程序完成的，但主控程序可以对场景显示进 行控制。 3 2 2 扳卡硬件对上层软件提供的资源简介 为实现系统下层处理数据向上层传送，上层控制信息向下层传送。d s p 视频图像处理板卡必须提供可供访问的设备寄存器或存储区。这些用于上 下层通信的资源如下： 一、r g b 格式的显示图像存储区 存放3 2 0 象素* 2 4 0 象素，3 2 b i t 象素r g b 显示格式的场景图像数据。 二、系统运行状态、目标图像及目标特征数据存储区 这些存储区域用于存放d s p 处理后，向上层主控程序传送的用于目标 特征分析、显示和存储的信息。 三、控制寄存器 系统硬件模块的控制，如数字模拟通道选择、手动跟踪参数设置、复 位d s p 、清中断等控制操作均通过这些寄存器实现。 这些资源在望墨旦量j 巡! 塞塑盟，但它们些玺垒过旦g ! 燕旦熊仕 。 才能与p c 硬件系统连接，从而j 能被设备驱动程序操作，进一步为上层 。_ ，。，_ _ - _ _ _ _ _ _ _ _ _ - _ - _ - ，。- - _ _ _ - 。- - - _ _ _ _ _ h ，- _ _ _ _ - _ _ - - _ - 主控应用程序访问。我们的设计中采用p l xp c i 9 0 5 4 作p c i 接口，该芯片 中还有很多寄存器资源。下一章介绍系统的p c i 接口硬件实现。 3 3 系统上下层数据通信及信息交互箩 根据系统功能和状态，上层主控软件和下层硬件平台、d s p 软件必须 进行有机父且通信彳+ 能很好地完成系统任务。具体的通信任务是由p c i 接 口硬件和其驱动软件相互协作实现的。本节综述这些数据通信任务。 一、系统的初始化通信 ( 1 ) d s p 软件代码和初始化数据下传 由主控程序打开硬盘文件，读取其中数据，调用系统的驱动程序将 其写入d s p 片内代码和数据区。 ( 2 ) 主控程序获取由驱动程序传来的目标图像特征参数数据缓冲区在其 虚拟地址空间中的虚拟地址。 ( 3 ) 主机显存虚拟地址传给驱动程序 主控程序通过d i r e c tx 技术获取其显示窗口界面中场景图像显示区 的左上角象素点在主机显存的虚拟地址，将其传给驱动程序。 ( 4 ) 用于上层应用程序和下层驱动程序同步控制的人工复位事件w i n 3 2 内核对象句柄下传给驱动程序 由驱动程序从d s p 图像处理卡送来的有关目标图像特征参数数据信 息送到主控程序的虚拟地址缓冲区后，必须唤醒等待此数据的线程， 使之对该数据进行处理。 二、系统处于工作状态时进行的实时数据流通信 厂。一一“。一 ( 1 ) 实时场景图像显示 ( 2 ) 系统状态( d s p 运行状态) 的实时显示，目标图像及其领域、特征 参数数据上传 三、系统处于工作鉴查墨进行的随机控制流通信 _ - _ 。一 。 ( 1 ) 数字模拟通道选择 r 2 ) d s ；p 饩泱参龋设帝 ( 3 ) 系统运行的启动、暂停、停止 第一二啦1 ) ”i 到像处理卜与l ，c 上控州序的信息交且分析 d s p 的启动、复位，p c i 9 0 5 4 接口芯片的复位。 ( 4 ) 场景观测状态和目标图像处理状态的转换控制 ( 5 ) 自动手动跟踪状态设置 一 系统上下层之间总体的数据与控制通信流程如下图3 2 ： 系统上层主控应用程序 么 一 詹流 控髓 1 系统设备驱动程序