（计算机科学与技术专业论文）复杂背景下运动目标的协同检测技术研究.pdfVIP

摘要 序列图像中运动目标的检测技术是计算机视觉重要的研究内容之一，在机器 人视觉技术、智能监测技术及自动车辆辅助驾驶等领域都有广泛的应用。 由于传统的视频检测技术受到单源传感器成像机理及光谱特性的束缚，已经 无法满足复杂的实际工作环境要求，基于多源视频传感器协同检测技术便成为了 当前的研究热点。本论文在国防基础研究“”的资助下，研究多源视频传 感器协同检测技术，主要工作有： 1 对单源传感器目标检测技术、多源传感器融合检测技术及多源传感器协 同检测技术进行比较与分析。对协同检测技术应满足的要求予以描述，指出协同 检测技术应同时满足实时性、同步性、交互性和鲁棒性四个方面的要求。 2 在完成实验系统架构的基础上，针对红外图像与可见光图像的配准问 题，采用了一种粗匹配加精匹配的方法完成图像配准及目标定位工作。通过粗匹 配得到的特征点对估计图像之间的变换参数，选择适用情况最好的一组作为图像 之间的变换参数完成精匹配。实验验证了该方法的有效性。 3 在序列图像的预处理方面，对空间滤波、时空滤波技术予以介绍在单 源传感器目标检测方面，针对红外图像与可见光图像，分别提出了一种快速自适 应阈值的多帧差分目标检测算法。多种自然复杂环境下的实验表明，所提出的算 法具有较高的实时性与鲁棒性。 4 针对检测结果的自动评价问题，提出了一种基于评价因子及灰色关联分 析的评价方法。首先建立评价因子的数学描述，获得当前检测结果的多个定量的 评价分量；然后通过灰色关联分析，实现对不同检测结果定量、综合的评价。实 验验证了该方法的有效性。 5 针对协同检测技术四个方面的要求，分别提出了一种基于竞争策略和一 种基于竞争与协作策略的协同检测方法。前者是根据检测后的评价结果，直接对 检测结果进行修正；后者首先对各源使用的检测过程进行调整( 如检测算法中的 一些待定参数) ，获得一个更好的检测评价结果，之后再根据评价结果，对检测 结果进行修正。多种自然复杂环境下的实验表明，这两种方法均能较好地满足实 时性、同步性、交互性和鲁棒性的要求，体现出协同检测技术的优点。 关键词：多源传感器目标检测自动评价灰色关联协同检测 b s t r a c t m o v i n gt a r g e t 出= t e c t i o nt e c h i m i o g yi ni n 墙g es e q w m c ei s 咄o fm em o 砒 i m p o n 雒tc 0 曲m ti n n l p 蝴、，i s i o n 雒db c 晰d e l yu s c di nr o b o tv i 刚，i n t e l l i g c n t m o n i t o r i n g 狮dw 蜢c i ei n t c l l i g e n t 栅i l i a r yd r i v cs y s t c m t 砌t i o n a l 、，i d e od e t e c t i t e c h d l o g yi 亭懈缸i 喇b y1 h c p h o 协g 曙p h y m h a n i s m 姐dt l l e 印伐廿a i 惋a c u 糟o fs i n 誊e - 辩n s m ；柚di s 删y 训s f i e db y 坞a l w o r k t t i n g 蟛、，i d e od e t e c t i o nt 量i n o l o g yk i s c d 饥m l l l d 船n s 盯h 邵b n 也e h o t s p o to f n 佣啊a y s 晰t ht l 地s p o n s o r i n gb yt l b 嬲i cr e s e 锄c ho nn a l i o n a ld e f c n ， t h i sp a p e rf o c u 辩3o nt l l es t i l d yo fm l l l t i - s e 璐o r o p l e r a t 砌e t 。c t i o n t h em a i nt a s l ( s a r ea s1 0 1 1 0 w s 1 t h et e c h i l o l o g yo fs h g l e - s e i 憎mt a r g e td c t c c t i o l l ，m 一靶n s o rf l l s i d e t e c t i 蚰 a n d m i l l t i n s 田c o o p e r a t i v c d e t e c t i o n i 3c o m p 删孤da n a l y z e 正t h eb 蛳 r e q u i r e m 吼lo fc o o p e r a t 觚础c t e 髓i t e c h l o g yi sd e 刚b e d ，dt h ct c c h i o g yo f c o o p e r a 土i v e 面；t c c t i o ns h o l l l db c 刚s f i e di l lr e a lt i l 鹏，s y 妇i l i s 轧i n l 删、嘶a n d r o b u s m e s 3 2 a n e rf i l l i s h i i l g 也e 盯c l l i t e o t i l 坞o fl h ec x p e d m 酬s y s t e | 豇af a s tm a l c h i n g a l g o f i t l l mi sa d o p t c da i l n i n ga tl h e 蠡山to f t h em 疵h i n gi nt h ei n 细硎i 玎1 a g e 髓dt b e v i s u a ii m a g e t i 地s n a t e g y 茧mc o 甜s em a t c h i n gt of - m em a t c i l i n gc a n l l i e v et h e j o b o f i l l 均g e 脚t 幽n ga n dt 1 1 et a 唱c tj d c a t i o 也a 搬m 删s t i cd o tp 血b yc o a r 辩m a l c h j j l g i su s e di ne s t j 曲a t i n gt h e 衄坞f o m l a t i o np 猢酏弛dl l s i n gm e 硒鹳tp 啪e t 盯鹧 t l l e 佗a l 咖s f o 衄a t i o np a r 锄e t 盯o fl h ei m a g c sc 如a c h i e v et l l e j o bo ff i n em a t c h i n g e x p e r i i n e n t ss h o wt h a t 吐璩a l g 嘶t l 蛐i se m 肚i 、，e 3 h l 增p 侍_ p r o 嘲s i n go fh a g es e q 蝴，s p a 芏i a lf i l t c r i n gt e c h l o g y 蛆ds p a t i l i 坞f i h e f i n gt c c h j l o l o g ya 坞坞c c 啦瑚1 a m e d 1 n 也et a f g e td 既e c t i o no fs i n g l e - 骶吼s o r a i r r i i n g 砒t h ei n 疔a r e di m a g e 姐dt l i ev i s l l a li l l 均g e 也ed i 任b r e mt a r g c td c t e c t i o n m e 蝴sb a s e do na d a p t i v et l l r e s h 0 i d 印1 e n t a t i o na l g o r i t h ma n dm i d t i - 丘啦e d i 丘b 托n c m ga 圮p l i lf o 押，a r di nt h i sp a p 既e k p e r i m 曲t a i 聆g u l t s b o wt h a lt h c a l g 嘶m mc 锄b el l s c df b rl d 】a d so fo b j e c t sd e t e l c 缸o ne 触t i v e l y ，啊t l lh i g hf e a l 血 a n d b 嘞e 鹪p e r f o m 蛤n 4 a i m m ga tt l l ef h i d to f t l l ed e t e c t i r e s i l l ta m o m a t i c 酬u a t i o i l am e t h o db a s e d o ne v a l i m c i f a c 姗锄dg r a yr e l a t i o ni sp u tf o r v 喝r di l lt l l i sp a p e r a f t e rf i n i s h i i l gt h e m a n l e m a t i c a ld e t i p t i o no fc v a l u 鲥o nf 撕。璐，s e v e r a lq u 锄t m c a l j 伽l a le 砌u a t i o n c o m 脚t sc 锄b eg a i l l e d a n dt 1 1 e i l ，t i 咖g h 伊a yr e l a l i o n m eq u a m i f i c a t i o n a la n d s y n t h c t i c a ie v a i u a t i o nc 强b eg a i l l e d e x p e r i m e n t ss h o wm a tt 量l ca i g o r i m mi s e 酏t i v e 5 a i l l l i i l ga tt l l ef 乩rm q l l i r e m t so f 也ec o o p c r a i i v e - d 慨t i o i l ，t h cm e t l l o db a s e d o nc o m p e t i t i v es 的t e g y 柚dc o m p c t i t i v et 0c o o p 酬v c 删e g ) ，a p u tf o r 删i i lt h i s p a p 眈b a s e d t h ee v a l 憾t i o no ft h ed c t e c t i o nm s l l l t ，t l l ef 0 吼e rm e t l l o dc h a n g e s 也e 血a ld e t e c t i o n 把s m td h c t l y t h cl a t t e f l e m o da d j u s t st h cd e t e c t i p 瓣s s 肌呶 鲫c h 髂t l l ep a _ r a m c t 盯o f t h ed e t t i o na l g o r i m m ，a f t 盱h a v i i l gab t 小c rd e t e c t i r e 砌t ， c h 锄g e st l l ef m a ld e t e c t i o n 坨s i l l t e x p c 渤e n t a l 豫跚l t ss h o wm a tm o m e t l l o d sc a n b e 船t i s f i e di n 删痂n e ，s y n c h m n i s m ，i i l t e r a c t i v i 饥r o b 哪协e s s ，a n d 锄b o d yt l l ev i r h 圮 o f c 0 0 d e r a t e d i i t e c t i o n k e ，w o r d s ： m u l t i - s e n s o r t a 曙e td e t e c t i o 玛玑i t o m a t i ce v a i u a t i o l l g r a yr e l a t i o l l 伽q p e m t i v e d e t e c t i o n 西北工业大学业 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间论文工作 的知识产权单位属于西北工业大学。学校有权保留并向国家有关部门或机构送交论文的复 印件和电子版。本人允许论文被查阅和借阅。学校可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业 大学。 保密论文待解密后适用本声明。 学位论文作者签名：耻 l o o7 年3 月留日 指导教师签名： 2 0 0 7 年弓月_ 日 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位论文，是本 人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 和致谢的地方外，本论文不包含任何其他个人或集体已经公开发表或撰写过的研究成 果，不包含本人或其他已申请学位或其他用途使用过的成果。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式表明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名：d ；报 l o0 7 年3 月宫日 西北工业大学硕士学位论文 第一章绪论 1 1 研究目的和意义 第一章绪论 目标检测在高级人机交互、安全监控、视频压缩、视频会议、医疗诊断等方 面具有广泛的应用前景和潜在的经济价值，从而激发了国内外广大科研工作者及 相关商家的浓厚兴趣。 在现实生活中，大量有意义的视觉信息被包含在物体的运动中尽管人类视 觉既能看到运动又能看到静止的物体，但是在许多场合，如交通流量监测、重要 场所的保安、航空和军用飞行器的制导、汽车的自动驾驶或辅助驾驶等，人们对 运动的物体往往更感兴趣。因此，研究只对运动目标敏感的检测系统具有很重要 的意义 传统的视频检测技术中大量地使用着可见光摄像机作为视觉传感器，它可以 提供颜色、亮度及丰富的纹理信息红外热像仪具有黑暗中感知、对热源敏感、 抗干扰性强及可全天候工作等优点，在价格上也逐渐被越来越多的用户所接受。 目前，目标检测的一个重要发展方向是由单模向多模发展，红外可见光、红外 紫外、红外毫米波、红外激光等复合方式受到了人们的广泛研究由于红外热 像仪和可见光摄像机可以同时对同一场景，获取不同源、相对独立的视觉信息， 实现成像机理及光谱特性上的互补。如何综合有效地使用这些视觉信息，已成为 当前研究人员在视频检测领域的研究热点 本论文基于“”国防基础研究，基于红外可见光模式，主要研究多 源传感器的协同检测技术 1 2 研究概状及存在的问题 运动目标检测技术的历史由来已久，在传统目标检测算法得以改进和完善的 同时，已由单源传感器检测阶段发展到了多源传感器联合检测阶段熵“捌、模 糊判决 町、证据理论删等信息论方法也已被广泛地应用于目标检测领域。 1 2 1 单源检测、融合检测与协同检测的分析与比较 当前绝大多数的检测技术仍建立在单源传感器基础上，由于单源传感器在成 像机理和光谱特性上受到的限制很多，致使其在工作时很难摆脱一些固有缺陷的 西北工业大学硕士学位论文 第一章绪论 影响，例如可见光摄像机受光照变化、阴影等问题的影响，红外热像仪受环境温 度场变化，缺乏足够的纹理信息且对热噪声极为敏感等问题的影响，这些在使用 单源传感器进行目标检测的前提下，均很难得到满意的解决。 融合检测( f u s i o n d e t e c t i o n ) 技术”埘是当前主要的研究方向，它可以在 一定程度上弥补单源传感器检测技术的不足。以红外与可见光两种视频传感器为 例，通常有两种融合检测策略删经过图像配准后，一种如图卜1 ( a ) 所示，先 对两种图像采用某种融合策略进行图像融合( 通常为像素级的图像融合) ，再采 用某种检测方法进行检测，得到最终的融合检测结果。另一种如图卜1 ( b ) 所示， 首先对某种传感器中的目标进行检测( 例如红外序列图像中的目标) ，获取粗略 的目标信息，实现粗检测，获得相应的“粗目标”；再在另一种传感器中以粗检 测的结果为参照或依据，对己获得的“粗目标”及“租目标”的邻域进行精检测， 之后对两次得到的检测结果进行归并、删减及相关的形态学处理，获得最终的融 合检测结果。根据系统结构的不同，可以将这两种方法分别称为一次检测法和多 次检测法。 i图像1图像2 ji i图像融合 i i检测结果 ( a ) 融合检测方法1 框图( b ) 融合检测方法2 框图 图卜1 融合检测方法处理图 多源传感器的融合检测技术在传统的单源传感器检测技术上已取得了突破， 但仍只是简单地将多源图像信息进行联合处理，没有更深入地实现多源信息或获 得的多个检测结果之间的协作。 具体而言，多源传感器的融合检测技术主要存在以下几个问题： 1 采用一次检测法进行图像融合时，不同信息的取舍存在问题。当所保留 2 西北工业大学硕士学位论文 第一章绪论 信息的维数较少时，部分信息往往被认为是次要信息，不得不予以丢弃。当所保 留信息的维数较高时，各信息之间往往会出现冲突，在综合选择时也存在着困难。 2 采用多次检测法时，检测时的误差可以逐级减小( 收敛的) 。但是错误 则逐级放大( 发散的) ；同时，事先固定的系统结构不够严谨，无法满足实际中 复杂的多种环境场景要求。 3 这两种方法均不能有效地对检测过程( 如检测算法中的一些待定参数或 经验参数) 进行合理的选择，无法获得一个更优的检测结果 4 最后仍需要指出的是，采用常规的检测方法，当遇到传统检测算法中存 在的虚假目标、空洞等现象时，融合检测方法很难进行有效地处理，只能通过后 续的形态学等操作降低影响 针对单源检测技术与融合检测技术的缺陷，本文提出协同检测技术 ( c o o p e r a t i v e - d e t e c t i o n ) 如图1 - 2 所示，通过引入目标检测结果的自动判决， 可以对传统检测过程进行调整( 如检钡4 算法中的一些待定参数) ，或是在综合利 用多源传感器提供的各类信息的基础上，对检测结果进行分析及评价，优化最终 的检测结果，降低虚假目标、空洞等现象的影响，能较好地克服单源传感器检测 技术与多源传感器融合检测技术中存在的相关问题 图1 - 2 协同检测技术框图 何谓协同? 关于协同( c o o p e r a t i o n ) ，目前为止学术界没有一个统一的定义， 大多数文献往往用竞争( c o m p e t i t i o n ) 、对抗( a n t 8 9 0 n i z i n g ) 、冲突( c o n f l i c t ) 、 协商( n e g o t i a t i o n ) 、联合( c o a l i t i o n ) 这样一些词语从侧面说明协同的实质。文 西北工业大学硕士学位论文 第一章绪论 献 1 1 总结了关于协同的各种定义，提出“协同是一个自主行为者( a g e n t ) 接受 另一个自主行为者目的过程，其中自主行为者是有接受或拒绝协同的能力的个体 或联合”，本文也倾向于该定义。 针对协同检测技术，本文认为其应包含检测及协同两方面的内容，应同时具 备以下四个方面特点： 1 实时性 实时性是当前任何一种检测技术得以广泛应用的前提和要求。 2 同步性 对多源传感器联合处理技术，同步性是其应满足的前提和要求 3 交互性 协同检测技术与融合检测技术的主要区别在于：融合检测没有能充分地利用 各源传感器提供的原始信息或检测结果，而这种交互性主要体现为竞争及合作两 种策略。 4 鲁棒性 协同检测技术在多种复杂的环境场景下，应具有较高的鲁棒性，体现出其优 点，才能得以广泛地应用。 在具体实现过程中，多源传感器协同检测技术的主要问题有以下四个： 1 多源传感器之间的图像配准 多源传感器之间的图像配准是协同检测技术的前提。它是指将目标及背景像 素从某类传感器映射到另一类传感器，表示在一个统一的场景中。 2 单源传感器目标检测 单源传感器目标检测是协同检测技术的基础。它是指从单源传感器提供的视 频信息中提取出足够、丰富的目标信息，这里的目标信息主要包括目标在图像中 的位置、形状、颜色( 或灰度) 等。 3 检测结果的自动评价 检测结果的自动评价是指对检测过程的中间形式( 体现为像素点) 或检测的 最终形式( 体现为目标区域) 进行自动评价分析，获得一个客观、定量的评价结 果。 4 多源传感器之间检测结果的交互 多源传感器之间检测结果的交互是指充分利用两类传感器中获得的原始信 息、检测结果和相关的评价结果，通过竞争及协作等协同处理策略，进一步获得 更好的检测结果，即协同检测结果。 4 西北工业大学硕士学位论文 第一章绪论 1 2 2 多源传感器间的图像配准 文献 1 2 指出，图像配准就是根据图像之间的视觉相关性，确定图像之间的 转换关系，将不同时间、不同视角、不同设备获得的两幅或更多图像重叠复合的 过程其目的就是消除或者减小模板图像相对于基本图像的几何畸变，从而实现 图像的几何校正 通常，大多数图像配准方法均由特征提取、特征匹配、交换模型估计、图像 重采样和变换四个步骤构成 1 特征提取 同种传感器提供的图像在进行特征提取时，同种地物特性在图像上具有相同 的特征；但是由于传感器成像原理及光谱特性不同等因素的影响，异类传感器中 获得的图像，相同地物点在图像上体现的特征通常是不完全相同的 常用的特征提取方法有三类：最初的人工选取、基于区域和基于特征的方法。 针对红外与可见光图像的特征提取，在空间域上，l i o ”等人将区域边界和其他强 边缘作为特征，使用链码相关和形状相似性规则来匹配封闭区域，而对开区域则 检测角点，并进行匹配；在变换域上，d a n a “”等人用多尺度边缘检测得到不同尺 度下的图像边缘，然后采用分层估计，变换、优化策略得到图像间的变换参数。 在基于特征的方法中，l i “”等人将轮廓检测与灰度局部统计特性结合起来提取特 征点，可有效地实现特征提取 2 特征匹配 在常规的图像匹配方法中，首先需要得到匹配控制点对，再确定变换函数， 但是它要求已精确得到一组匹配点对当特征匹配比较困难时，可用带反馈的点 匹配方法基于特征点的匹配技术主要有两种方法：一种是建立特征点之间的一 一对应关系“町；另一种则是建立特征点集之间的变换关系，例如使用h a u s d o r f f 距离来匹配两个特征点集“伽。 3 变换模型估计 图像配准的基本思想，是认为输入图像是标准图像的变形，根据假设的变形 方程组，优化计算方程组的系数，将输入图像根据变形方程计算后，就能够同参 考图像完成图像配准。 常用的变换模型主要有平移变换模型和仿射变换模型n 町。仿射变换模型包括 平移、旋转和尺度变化，较为常用。 4 图像重采样和变换 得到变换方程组的参数后，需要对输入图像做相应的几何变换，使之处于同 一坐标系下。根据匹配准贝q 选取的不同，可能在参数最优化过程的每一步中都需 要进行变换计算。然而，变换得到的结果点通常无法对准整数坐标，因此有时需 西北工业大学硕士学位论文第一章绪论 要对变换后的图像进行重新采样或插值。 常用的插值方法主要有：最近邻域法、双线性插值法、三次插值法渊。这三 种方法的插值精度依次增加，而运算量则正好相反。通常综合考虑精度和速度的 要求，一般都选用双线性插值法。 1 2 3 单源传感器目标检测技术 常见的单源运动目标检测算法主要有三类，即瞬时帧差法乜1 删、光流场法洲 和背景抑制法”1 ，此外还有模板法阱侧、变换法”、综合法m 删等其它类方法。 1 瞬时帧差法 瞬时帧差法是目标检测算法中最基本和最常用的方法。该方法在运动目标和 背景有明显区别，且目标运动较快时比较有效，算法简单、计算复杂度低。但是， 当背景和前景都比较复杂时，检测效果较差，检测得到的目标常会出现空洞等现 象。例如：l i p t o no ”等人利用两帧差分方法从实际视频图像中检测出运动目标； 同时不乏利用多帧差代替两帧差等改进方法，如v s a m 嘲开发了一种自适应背 景减除与三帧差分法结合的算法，能够快速有效的从背景中检测出运动目标。 2 背景抑制法 背景抑制法是当前目标检测技术的研究热点。该方法对于背景较为稳定的情 况，检测效果好。但是，对于背景变化的场景，例如光照、背景抖动、背景中新 物体的加入等情况则不能很好地进行处理。该类方法主要是进行背景估计和背景 更新，目前很多研究工作者都在致力于开发背景模型，以减少动态背景变化对运 动检测的影响。例如：鼬l g e r 嘲等人采用基于k a l m 趾滤波的自适应背景模型以 适应天气和光照的变化；m c k 咖a 咖等人利用像素色彩和梯度信息相结合的自 适应背景模型来解决影子和不可靠色彩对于分割的影响；s t 叭融与g i i l s o n 嘲 等人利用自适应的混合高斯背景模型( 即对每个像素均采用混合高斯分布建模) ， 并利用线性估计来更新模型，可有效地处理光照变化、背景混乱运动等影响。但 是需要指出的是，当背景模型复杂时，计算量较大，会为协同检测技术所要求的 实时性带来困难，同时对一些突发情况仍无法获得满意的检测结果。 3 光流场法 该方法基于光流的运动检测，采用了运动目标随时问变化的光流特性。如 m e ”r 汹7 等人通过计算位移向量光流场来初始化基于轮廓的检测、跟踪算法，可 有效地检测和跟踪运动目标。该方法在摄像机存在运动的情况下也可以得到比较 好的检测效果，但是由于求解过程中需要求解超越方程，其运算量非常大，很难 满足协同检测技术的实时性要求，同时抗噪性较差，通常不为研究者所采用。 6 西北工业大学硕士学位论文 第一章绪论 1 2 4 检测结果的自动评价 近年来，视频中运动目标检测结果的自动评价受到了研究人员的广泛重视 检测结果的自动评价主要针对各类检测算法，通过设计一些评价因子，对检测算 法进行评估。由于这些评价因子往往是多样、不相关且相互独立的，因此很难使 用一个确定的评价函数对其进行综合评价，只能通过其它方法，获得一个具体、 客观和定量的评价结果 类似于分类与聚类，检测结果的自动评价可以分为两类：有指导的自动评价 和无指导的自动评价 1 有指导的自动评价 m a r i 蝴d 羽等人提出了一种针对检测算法的自动评价方法，通过构造7 个评 价因子对得到的检测结果进行分析。从而可以对检钡0 算法进行进一步评价。但是 这种方法有一个苛刻的前提必须事先获得准确、真实的目标信息，这使其具 有较大的局限性。b e 呦z z i 等人也提出了一种针对检测算法结果的自动评价方 法同样，这种需要大量人机交互操作的方法也具有一定的局限性。 2 无指导的自动评价 无指导的自动评价是指在事先未获得准确、真实的目标信息的前提下，如何 通过原始视频信息及对应的检测结果对当前的检测结果进行评估由于当前对无 指导的检测结果自动评价的研究尚少，使得这部分内容成为本文的一个研究重 点。 1 2 5 检测结果的交互 检测结果之间的交互是协同检测技术的核心部分。由于当前国内外对协同检 测技术的研究尚少，可借鉴的资料有限，这些为本文的工作带来了困难。在体现 协同检测技术与融合检测技术的区别时，实现这种交互主要有两种途径，一是竞 争，一是协作。具体实现时，可以通过某传感器获得的较高置信度的检测结果， 对另一传感器中的检测结果提出指导性的意见，对其检测方法的中间参数进行修 正，体现出先“竞争”后“协作”的策略；或是直接通过某传感器的高置信度的 检测结果去引导另一类传感器的检测。其中，后者与融合检测技术的区别主要在 于，参考的检测结果必须是经过评价后的，而不是实现予以指定或固定不变的 1 3 主要研究内容 本文主要研究在多源传感器协同检测技术中，如何有效地综合利用红外与可 见光传感器提供的多维视觉信息，进一步获得更优的协同检测结果。研究内容主 7 西北工业大学硕士学位论文第一章绪论 要包括以下几个方面： 1 构建多源传感器协同检测实验系统 根据多源传感器协同检测技术同步性、实时性、交互性和鲁棒性的工作前提 和要求，首先选用合适的硬件设备和软件，搭建系统的硬件平台和软件平台；之 后，对系统进行模块化分解，明确各个模块的功能及相对应的接口。本文以红外 和可见光两类传感器为视频源，研究针对红外序列图像与可见光序列图像的协同 检测技术。 2 研究图像配准与目标定位技术 协同检测系统中需要对多个传感器中观测到的目标进行关联，建立起各个像 素点间的映射关系。首先，对红外图像与可见光图像的配准技术进行研究，包括 特征提取、特征匹配、变换模型、重采样与插值四个部分；之后，通过目标定位 技术，建立起多个传感器中各目标点问的映射关系。 3 研究序列图像预处理技术与单源传感器目标检测技术 单源传感器目标检测技术是协同检测系统有效工作的前提。首先，根据系统 工作时所处的外部环境，对帧内和帧问滤波等预处理技术进行研究；之后，对传 统的单源序列图像中的目标检测技术进行分析和比较，选择出具有一定鲁棒性， 同时计算复杂度较低的算法做为原型算法；最后，针对所要实现的协同检测系统， 提出并实现了相应的红外图像与可见光图像快速运动目标检测算法各一种，可以 有效地解决瞬时帧差法中二值化门限选取的自适应问题，并有效地限制了假目标 的影响。 4 研究检测结果的自动评价策略 检测结果的自动评价是协同检测系统的重点。首先，对检测结果进行分析， 设计了三个评价因子；之后，基于灰色关联理论，对得到的检测结果进行自动评 价，得到一个客观、定量的评价结果用于描述当前的检测结果。 5 研究多源传感器检测结果的交互策略 检测结果之间的交互是协同检测系统的核心。本文给出两种实现方法，用于 完成系统的交互性要求。一种是根据得到的不同源传感器中的检测结果，基于检 测结果的自动评价，即通过某传感器的检测结果去弓l 导另一传感器的检测结果， 对检测结果使用“竞争策略”，得到最终的协同检测结果；另一种较为复杂，首 先根据单源传感器的检测结果，对其进行自动评价，在一定的范围内，使用评价 结果较高的某个传感器的检测结果，有针对性地去修正另一个传感器检测算法中 的中间参数( 中间结果) ，最终输出一个比较满意的检测结果，体现出了“竞争” 和“协作”两种策略。 3 西北工业大学硕士学位论文第一章绪论 1 4 论文安排 第一章绪论。着重阐述课题的来源、研究意义，研究概况及存在的问题，并 概括介绍本文的主要研究内容 第二章多源传感器协同检测系统。针对协同检测系统实时性与鲁棒性的要 求，构建多源传感器协同检测系统，分析并解释各模块的功能及作用，同时给出 各模块对应的接口 第三章图像配准与目标定位。针对协同检测系统需要在野外复杂背景环境下 工作的特点，设计快速、灵活、准确的图像配准和目标定位方案，并通过目标定 位实验来检验该方案的可行性。 第四章图像预处理与单源传感器目标检测。针对传统单源传感器目标检测算 法的不足，结合协同检测系统实时性与鲁棒性的要求，提出并实现了两种红外与 可见光图像快速目标检测算法 第五章检测结果的自动评价针对如何自动描述检测结果的问题，对可见光 和红外两种传感器，给出具体的检测结果评价因子，并基于灰色关联理论，构造 相应的评价准则。进行检测结果的自动评价。从而得到一个客观、定量的评价结 果。 第六章基于评价结果及灰色关联的协同检测。针对如何实现检测结果之间的 交互问题，在检测结果自动评价的基础上，分别针对。竞争”、。竞争与协作”两 种策略，对协同检测技术进行研究，最后通过实验比较进行说明。 第七章总结与展望。总结了本文所做的工作和研究成果，指出了研究中存在 的不足和今后的研究方向。 9 西北工业大学硕士学位论文第二章多源传感器协同检测系统 2 1 引言 第二章多源传感器协同检测系统 传统的多源视频检测( 监测) 系统是直接将视频数据进行存储，等到获得足 够多的信息后再进行处理，很难实现协同检测系统所要求的实时性，而本文的协 同检测系统则需要对获得的视频数据进行实时的分析和处理由于不同种类传感 器具有不同的优势和缺点，因此，在进行系统架构时，需要精心设计、综合考虑， 以满足协同检测系统所要求的实时性、同步性、交互性和鲁棒性四个方面的要求 传统的多源视频检测( 监测) 系统可以分为集中式和分布式两种类型嘲集 中式处理要求把多个传感器和同一台计算机相连，这样减少了系统内部的通讯负 担，但是对那台计算机的处理能力的要求则非常高。通常使用一块图像采集卡可 以同时完成四路图像数据的采集。但是，对于更多传感器组成的监控系统，需要 更高、更多的硬件设备，实现起来也更为复杂。分布式处理主要是通过多个视频 传感器与多台计算机相连接，在获取视频信号的同时，由各传感器相连接的计算 机节点进行处理，最后把处理结果传输给更高级别的中央控制单元再进行处理和 分析。这种方法较为常用，但是不易实现多个传感器之间进行的同步、交互通讯， 为协同检测技术所要求的同步性与交互性带来了困难。 2 2 协同检测系统的系统架构 综合考虑常用计算机的处理能力及协同检测系统中各传感器工作时的实际 情况，如图2 1 所示，本文采用集中式结构，通过一台红外热像仪、一台可见光 摄像机、两块图像采集卡和一台计算机，架设多源传感器协同检测实验仿真系统。 l 红外热像仪 _ 一委l处 协同 卡 理检溅 i 可见光摄像机l 扯， 器 结果 图2 1 多源传感器协同检测实验仿真系统的架构 西北工业大学硕士学位论文 第二章多源传感器协同检测系统 实验时，将红外热像仪和可见光摄像机架设在待观察区域的同一侧，同时要 求二者相重叠的观测范围应尽可能得多，视角应尽可能一致，为协同检测系统的 有效工作提供前提保障。 通过这样的集中式系统结构，相比于分布式系统结构，可以更好地满足系统 前提中所要求的同步性，而交互性、实时性与鲁棒性贝可以通过后续的协同检测 算法予以实现。 下面，对系统所需要的硬件平台和软件平台予以简要介绍： 1 硬件平台 a ) 红外热像仪 协同检测系统要求所选用的红外热像仪应具有较高的温度分辨率和空间分 辨率，工作时系统背景噪声( 热噪声和电噪声) 小，同时应能够提供固定制式的 数字视频信号。 系统所采用的红外热像仪为武汉高德公司生产的0 9 1 3 a 型非制冷焦平面 红外热像仪，该型号红外热像仪的温度分辨率为0 0 6 ，测温范围为( - 2 0 4 0 0 ) ，工作时系统背景噪声较小，可提供p a l 制式的数字视频信号，满足系 统要求。 b ) 可见光摄像机 协同检测系统对所选用的可见光摄像机没有特殊的要求，只需要摄像机具有 较高的空间分辨率，并能够提供固定制式的数字视频信号。 系统所采用的可见光摄像机为s 0 口吖公司生产的d v d 6 0 5 e 型数码摄像机， 空闻分辨率为8 0 万像素，可提供p a l 制式的数字视频信号，满足系统要求。此 外，在进行图像配准工作时，选用的也是该型号的像机。 c ) 图像采集卡 协同检测系统要求所选用的图像采集卡应具有较高的采集速率和空间采样 分辨率，能够提供a v i 格式的原始数字视频信号，同时要求能够实现多路采集， 或可通过使用多块图像采集卡予以实现。 系统所采用的图像采集卡为微视公司的v 2 0 0 型图像采集卡，该型号的采集 卡可提供队l 制式的数字视频信号，空间采样率可达到4 4 万像素。 通过这三类主要硬件和一台计算机( 主频2 6 6 g 、内存5 1 2 m ) ，便完成了协 同检测系统的硬件架设。 2 软件平台 系统所使用的软件平台主要有v c + + 6 0 和m i c r o s o f td i r e c t s h o ws d k 9 o 软 件。 m i c r o s o f ld 她c t s h o w 是微软d i r e c 的成员之一。d i r e c t ) ( 是微软公司提供 1 2 西北工业大学硕士学位论文第二章多源传感器协同检测系统 的一套在w i n d o 姗操作平台上开发高性能图形、声音、输入和网络游戏的编程 接口d 榔h o w 的设计初衷就是尽量要让应用程序开发人员从复杂的数据传 输、硬件差异、同步性等工作中解脱出来，总体应用框架和底层工作由d i 嘲s h o w 来完成。 通过这两款软件，便实现了系统“软环境”的架设 在硬件平台各主要器件及软件平台选定的基础上，协同检测系统需要对剧也 制式( 2 5 帧，秒) 的红外、可见光数字视频信号进行处理，最终输出协同检测后 的结果。 2 3 协同检测系统各模块功能 下面，对协同检测系统各主要模块的功能及接口予以介绍。 如图2 2 所示，协同检测系统主要由图像配准与目标定位、单源传感器的目 标检测、检测结果的自动评价、检测结果的交互和协同检测结果五个模块组成： 图2 2 协同检测系统的模块结构图 1 图像配准与目标定位模块 在获得当前大场景下红外和可见光图像的基础上，首先应建立两个传感器下 场景像素点之间的对应关系。 在图像配准模块，输入数据为原始、未建立映射关系的红外和可见光图像 ( h n a g e _ 限、h n a g e _ m d e o ) ，输出数据为两个传感器场景之间的跌射关系( 通常 表示为映射矩阵，m a t r i x ) 。 1 3 西北工业大学硕士学位论文第二章多源传感器协同检测系统 2 单源传感器目标检测模块 单源传感器目标检测模块主要负责实现两路数字视频信号中的运动目标检 测，要求所使用的单源传感器目标检测算法在具有一定鲁棒性( 较低误检率和较 低漏检率) 的同时，优先保证算法的实时性，为后续诸模块的处理提供时间上的 保障。 在单源传感器目标检测模块，输入数据为原始两路数字视频信号 ( s c q u e n c ei r 、s e q u e n c c d e o ) ，输出数据为单源传感器目标检测结果( 通常 对检测结果按目标进行编号表示，如d 呶t r e s u l l 瓜l 、 d e t t r 鹤u l t d l ，) 3 检测结果的自动评价模块 检测结果的自动评价模块主要负责对输入的检测结果进行自动评价，要求所 采用的评价因子是客观的，所提供的评价结果是客观、定量的，能够真实地对不 同的检测结果予以客观、定量的评价。同样，系统要求自动评价模块在具有一定 鲁棒性( 客观性、真实性) 的同时，应优先选用较快、计算量较小的自动评价方 法，为后续交互模块的快速处理提供保障。 在检测结果的自动评价模块，输入数据为两个传感器场景之间的映射关系 ( m a t r i x ) 、原始的视频信号数据( s e q u e n c e _ i r 、s e q 呦c c d ) 和编号后的 目标检测结果( d e t e c 吸e 训u r l 、d e t c c t r e s u l l v i d e 0 1 ，) ，输出数据为相 应的自动评价结果( e v a l u a t i o n 取、e v a l l i a t i o n d e o ) 。 4 交互模块 交互模块主要负责依据两路视频数据的评价结果，对两路视频数据的检测结 果进行调整与优化；或者是依据具体的评价因子，对检测算法的中间参数进行调 整，直到获得一个满意的最终协同检测结果。 在交互模块。输入数据为两路视频数据检测结果的评价结果( e v a l u a t i o n - k e v a l u a t i o n d e o ) ，输出对协同检测结果的调整意见或单源传感器目标检测算法 参数的调整意见。 5 协同检测结果模块 协同检测结果模块主要存放协同检测结果，直到交互模块不再对其进行调 整，便可得到最终的协同检测结果。 在协同检测结果模块中，输入数据为将修正或正在修正过程中的检测结果 ( c o o p e 阳t i v cd e t e c t r e s u l tt e m p ) ，输出数据为最终的协同检测结果 ( c o o p e m t i v c - d e t e c 儇e s u h ) 。 1 4 西北工业大学硕士学位论文 第二章多源传感器协同检测系统 2 4 小结 本章首先比较了多源传感器视频检测( 监控) 系统中集中式处理和分布式处 理两种模式的优缺点，之后采用集中式处理结构，对协同检测仿真系统所采用的 硬件平台与软件平台给予了简要介绍，最后通过各模块功能及接口介绍，描述了 系统的实现方案，力争满足协同检测系统所要求的同步性、实时性、交互性和鲁 棒性四个方面的要求 西北工业大学硕士学位论文第三章图像配准与目标定位 3 1 引言 第三章图像配准与目标定位 图像配准与目标定位是协同检测系统工作的首要前提。由于协同检测系统中 各个传感器捕获的场景信息互不相同，为了能够方便地对多个传感器内观测到的 共同目标进行统一描述，需要将各个传感器捕获到的信息转换至同一个场景下进 行描述 由于红外图像的对比度低，细节较为模糊，通常的做法是选用一个视场稍大 的可见光摄像机，将其捕获到的场景作为配准时的基准图像，将红外热像仪捕获 到的场景作为待配准图像。通过使用计算机视觉中的目标定位方法可以将待配准 图像中的目标映射到基准图像中，建立起两类传感器之间公共区域内的目标映射 关系。 图像配准的方法有很多，通常的处理步骤可分为特征提取、特征匹配、变换 模型、重采样和插值四个阶段。其中特征提取等价于配准时控制点的选取问题， 特征匹配用于在两幅图像多个特征点间建立起对应的映射关系。由于红外热像仪 与可见光摄像机互为异类传感器，捕获到的图像特征大不相同，为这种映射关系 的建立带来了困难。 相比之下，建立起映射关系后，变换模型、重采样和插值两部分较为简单。 通常，选用仿射变换模型可以较精确地描述图像中各点间的映射关系。由于经过 映射变换后的一些像素点坐标通常不是整