深空视频实时目标检测系统的设计与实现

深空视频实时目标检测系统的设计与实现

1ce噪声图像系统的目标通常是点标记目标。目标在远距离传输中,能量已十分微弱,象素点数仅为一个到几十个左右。由于大气干扰及非目标亮源、CCD(ChargeCoupledDevice)噪声的影响,所成目标常被噪声淹没。由于目标太小,没有形状及大小的特性,通过一帧图像几乎不能检测出真正的目标,必须通过研究多帧图像中运动目标的轨迹才能检测出来。在大望远镜中,对目标的探测精度要求较高,因此探测视场很小,成像分辨率高,成像面积大,图像上所有的目标数目非常多,这样必然导致需存储和处理的数据量非常大。如何提高系统的灵敏度、精度和实时性是系统的关键问题。本文以高性能数字信号处理器TMS320C6203为核心,结合现场可编程门阵列(FPGA)对采集的视频数字图像进行预处理,成功实现了系统的软件设计和弱小目标的实时检测和定位。2fpga与dma的交叉硬件总体结构如图1:实时采集的CCD数字图像通过FPGA采集和预处理,采用乒乓结构保存到大容量的外部SDRAM存储器中。采用TI公司新近推出的TMS320C6203芯片作为核心处理器对图像数据进行后续处理,并通过双口RAM(RandomAccessMemory)实现与主机的数据交互。系统还特别考虑到目标检测算法性能测试的需求,通过基于USB2.0(UniversalSerialBus)的仿真设备接口,使外部的仿真图像能够通过主机方便地下载到DSP(DigitalSignalProcessor)的片外SDRAM存储器,使整个系统可在脱离CCD的情况下仿真出整个系统的运行,从而对系统的性能和实时性进行充分测试,保证系统在实际工程应用中的稳定性和可靠性。实时目标检测系统中,图像数据首先从CCD进来后到达FPGA,FPGA将图像数据交叉转移到DSP的两片外部存储器(SDRAM)上。为了提高图像处理的实时性,系统采用CPU与DMA(DirectMemoryAccess)交叉处理DSP的两片不同的block空间。当CPU处理第一片block数据时,DMA同时在传送第二片block,第一片处理完后,CPU处理第二片,DMA传送第一片。DMA与CPU交叉在两片block中进行工作,同步方式采用DMA的传送结束中断实现。CPU在处理数据后要等待DMA传送数据结束中断标志,实际上,DMA传送速度很快,当CPU处理完一片block上的数据时,DMA一定已经传送完毕另一片上的数据,并等候处理。而当系统处于目标跟踪阶段时,需要的图像数据量较小,只需设置DMA的全局索引寄存器一次把波门内的图像数据传送到DSP内部数据存储区。这样,我们通过合理利用DMA机制,解决了图像数据传输量大的系统瓶颈。3目标检测和目标识别目标检测系统主要包括图像预处理、目标检测、目标识别和目标预测等功能。其中,图像预处理是对经CCD摄像机采集来的原始数字图像进行噪声去除和目标增强,提高图像的信噪比,为图像提供好的显示效果,并提高目标检测的性能。目标检测是对微弱目标进行检测和位置提取,在开始捕获或目标丢失阶段,可对全视场进行搜索或由人工导引进行目标的检测和捕获。目标识别是在捕获到目标后,根据目标的理论轨迹、大小、灰度等特征对目标进行识别,以剔除虚假目标,保证目标跟踪的正确性。目标预测在正常的目标跟踪阶段中,根据目标的运动特征对目标在下一帧的位置进行预测,或在发生瞬时丢失目标时,进行预测记忆跟踪。当系统丢失目标时间过长时,系统又重新进入搜索捕获阶段,对目标进行检测。4预处理滤除噪声并进行航迹关联由于本系统所检测的目标既包括低信噪比的弱小天体目标,又包括高信噪比的天体目标,而且目标运行速度的范围较大,所以诸如:基于时域的背景预测和多帧累积的目标检测算法、空间高通算法等均不能很好地满足系统需求。考虑到系统高帧频和大视场的特点,本系统采用最大中值滤波预处理滤除噪声,利用形态学滤波算法抑制背景,采用分块的最大熵二值化分割算法对图像进行分割,并利用基于逻辑的航迹关联方法进行航迹生成,最后在满足系统实时性要求的基础上,实现了目标的检测和跟踪。下面主要介绍最大中值滤波预处理算法和形态滤波算法。4.1最大中值滤波中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术。其特点是运算简单,速度快,对噪声,特别是脉冲噪声有很好的滤除效果,并能够保护图像边缘等细节。但由于成像系统中的目标有时信噪比很低,所占象素数很少,普通的中值滤波会使目标强度降低或直接使小目标被滤除。所以我们采用基于3×3模板的最大中值滤波,在滤除噪声的同时,最大限度地保留弱小目标的信息。最大中值滤波的原理可用下式表示:式中:i,j表示象素坐标值;f(i,j)表示当前象素点的灰度值;median()表示取中值;Zk(k=1,2,3,4)表示取中值的结果;f′(i,j)表示滤波后象素点的灰度值。4.2结构元素算子的工作原理数学形态学(MathematicMorphology)是在积分几何的基础上发展起来的一种非线性方法和理论。它的主要内容是设计一整套运算来描述图像的各个像元之间的关系。常用运算包括平移、反射、开、闭、腐蚀、膨胀等。设f(n)是图像中像点n的灰度函数,B(m)为结构元素,其中n∈{0,1,...,N-1},m∈{0,1,...M-1},且N>M。此处简化图像和结构元素为一维表示,其中,M表示结构元素的大小,N表示图像的大小。函数f(n)被函数B(m)腐蚀定义为:腐蚀是一种“收缩”变换,函数经过腐蚀后总是小于原函数,即fΘB(n)<f(n)。函数f(n)被函数B(m)膨胀定义为:膨胀是一种“扩展”变换,函数经膨胀后总是大于原函数,即f⊕B(n)>f(n)。开运算(opening):函数先被腐蚀,再被膨胀,表示为:闭运算(closing):函数先被膨胀,再被腐蚀,表示为:(f·B)=(f⊕B)ΘB(5)Top-Hat变换算子定义为:它采用一个结构元素对图像进行先腐蚀后膨胀,消除了形状小于结构元素的正峰值。这样,就可根据目标和噪声的特点,选择适合的结构元素,剔除目标和噪声,而将背景保留下来。再用原图像减去开运算后的图像,就获取了候选的目标点。Bottom-Hat变换算子定义为:B_H(f)=(f·B)-f(7)它采用一个结构元素对图像进行先膨胀后腐蚀,消除了形状小于结构元素的负峰值,达到了抑制背景、保留暗目标的目的。系统根据目标灰度和背景灰度的关系,对于亮目标和暗目标,分别采用Top-Hat和Bottom-Hat算子来进行滤波,然后采用自适应门限实现图像二值化分割,并进一步实现目标检测、识别和跟踪。考虑到最大的可能的天体目标不会大于19×19,则采用19×19的结构元素对图像进行滤波。为了便于系统硬件的实现,采用对形态滤波进行行方向和列方向分离的方法,提高形态滤波的实时性。5云图1:自适应门限小噪声小图2是实际采集的天空背景图像的检测效果图。图像大小为1392×1040,帧频为10Hz,目标的最低信噪比为2。由于显示的关系,图2均为局部图像。图2(a)为原始图像,图2(b)为最大中值滤波后的图像,图2(c)为形态滤波后的图像,图2(d)为二值化分割后的目标图像。从图中可看出,经过最大中值滤波和形态滤波后,云层等起伏背景和噪声得到了抑制,采用自适应门限检测出信噪比为2的弱小目标。由于采用了汇编代码对图像处理软件进行优化,使系统在20ms内实现了全视场的目标提取,并可同时检测和跟踪多个目标。由于形态滤波具有较强的抑制背景和降低噪声的能力,系统对光照变化、云层背景等干扰不敏感,在目标信噪