星空背景下的目标检测与跟踪论文(PDF 75页）.pdf

国防科学技术大学 硕士学位论文 星空背景下的目标检测与跟踪 姓名 张路平 申请学位级别 硕士 专业 信息与通信工程 指导教师 李飚 2010 11 国防科学技术大学研究生院硕士学位论文 第 i 页 摘 要 利用探测器对空间目标进行光学观测 由于探测器在运行过程中暴露在外层 空间辐射下 获取的星空图像除了受探测器内部噪声影响外 还受空间辐射噪声 的干扰 恒星和远距离的运动目标在探测器焦平面上所成的像为分布在较暗背景 上的点状光斑 无结构及纹理特征且只占有有限个像素 由于图像中存在恒星和 噪声的干扰 使得有效探测弱小目标并提取其运动轨迹成为一项具有挑战性的工 作 本文围绕这个课题展开研究 本文研究了 EMCCD 的工作原理及温度增益特性 分析了其噪声分布情况 从均值 方差 相关系数等统计量入手分析了星空图像背景噪声的时空域采样特 性 利用行列均值相减法对图像进行非均匀性校正 去除固定噪声 将校正后的 图像序列视为一个平稳的二维随机过程 分析了运动目标的空间散布 时间起伏 特征 将目标在运动过程中的灰度变化表征成一种围绕固定值发生正弦变化的过 程 以此为基础建立星空图像场景模型及目标信号模型 将星空背景下的目标与 恒星的检测看成是一个二元假设检验问题 提出了以广义似然比判决为基础的最 优检测方法来提取星图中的恒星和目标 本文利用星背景抑制的策略去除恒星 将目标从星图中筛选出来 实现目标 与恒星的有效分离 为了实现星背景抑制目的 本文提出两种算法来识别星图提 取星点 第一种算法是基于结构信息变化的星图识别算法 该算法利用星点间拓 扑结构相对稳定不变的特性 选取马氏距离与中心化的相关系数作为结构特征相 似性测度来表征星点间的结构信息 通过结构信息的变化来判断是星点还是目标 从而达到星图识别的目的 第二种算法是以改进的三角形算法为基础的星图匹配 算法 利用上述两种算法将星图中的星点提取出后 以星点为背景生成掩膜图像 利用背景减除法将星抑制掉 得到真正感兴趣的目标并对其进行连续跟踪 针对识别过程中出现恒星数目不定的情况 本文提出了基于结构信息和反查 导航星库的识别策略 并详细研究了当目标与星靠近时利用角距信息无法将目标 与星分开时的伪 Hough 微分识别算法 主题词 星空环境 星背景抑制 伪 Hough 微分识别算法 目标检测跟踪 国防科学技术大学研究生院硕士学位论文 第 ii 页 ABSTRACT As the detectors operate in the outer space radiation exposure the star images are affected by space radiation noise interference except the internal noise when using the detectors to get optical observations of space targets The fixed star and moving targets from far away image as the distribution of dark spots on the spot of the detectors focal plane with only a finite number of pixels but without structure and texture information Under the influence of noise and the interferencethe of the vast fixed star it becomes a complex and challenging task while detecting the small targets and extracting their trajectorys effectively This problem is studied in this paper around this topic In this paper the working principle and the relation between temperature and gain characteristics of the EMCCD is researched the noise distribution and the spatio temporal ampling characteristics of the star image is analysed from the mean variance correlation coefficient of the statistics After using the means of subtracting the mean rank to revise the non uniformity of the image and remove the fixed noise the revised image sequences are regarded as a two dimensional stationary random process The spatial distribution and the time fluctuation characteristics of the moving object is analysed When the targets move the process of their gray scale changing is characterized as occuring around a stationary value of a sinusoidal process Based on this result it establishes the Star image scene model and the target signal model regards the problem of detecting target and fixed star under star background as a binary hypothesis testing problem and proposes the best method based on generalized likelihood ratio test to extract the star chart and objectives The strategy of suppressing stars background is given to remove the fixed star to select the target from the chart and to separate the target from stars effectively In order to distinguish stars from targets Two algorithms to extract the star points and recognise the star charts are proposed The first algorithm is based on the structural information of the star pattern according to the characteristics that the star topology is relatively stable between the same features which selects the Markov distance and the center of correlation coefficient as the structure similarity measure to characterize the structural information between the star point use structural information to identify whether it s the star point or the target so as to achieve the purpose of star pattern recognition The second algorithm is the pattern matching recognition algorithm which based on the improved triangular algorithm After extracting the star points using those algorithms above it generates the background mask image with the extracting stars uses the background subtraction method to suppress off stars gets real interested objectives and its continuous trackings For the situation that the numbers of stars are uncertain during identifying targets 国防科学技术大学研究生院硕士学位论文 第 iii 页 the strategy based on structural information change and anti recognition guide star catalog is proposed It gives a detailed study on the Pseudo Hough Differential Recognition Algorithm when the target is close to the star which is difficult to separate from them only using the angular distance information Key Words star environment star background supperess Pseudo Hough Differential Recognition Algorithm target detecting and tracking 国防科学技术大学研究生院硕士学位论文 第 III 页 表 目 录 表 2 1 非均匀性校正前后图像性能参数 16 表 2 2 相关系数的统计值 16 表 3 1 校正前后图像的性能参数 27 表 3 2 图像累计前后性能参数 29 表 4 1 马氏矩阵 37 表 4 2 相关矩阵 37 表 4 3 两个不同时刻的马氏距离与相关系数 39 表 4 4 不同运动速率下的增量变化值 44 表 4 5 星图识别的基本性能 51 国防科学技术大学研究生院硕士学位论文 第 IV 页 图 目 录 图 2 1 EMCCD 增益与温度 温度间的关系 7 图 2 2 时域采样星图及其三维分布 10 图 2 3 单帧图像均值 方差变化关系 10 图 2 4 原始图像灰度直方图 11 图 2 5 图像序列均值方差 11 图 2 6 固定行列均值 方差及时间相关系数 12 图 2 7 原始图像及非均匀性校正图像空间分布 13 图 2 8 非均匀校正前后图像的 fourier 频谱图 13 图 2 9 非均匀性校正后图像行列方向的均值 方差变化关系 14 图 2 10 图像灰度直方图 均值方差随时间的变化关系 14 图 2 11 图像固定行列的均值 方差 相关系数随时间变化关系 15 图 2 12 横向相关系数 17 图 2 13 纵向相关系数 17 图 2 14 背景图像中目标 19 图 2 15 目标成像示意图 19 图 2 16 固定目标灰度最大值 中值 均值 大小随时间的变化关系 20 图 2 17 运动目标灰度最大值 中值 均值及区域大小随时间的变化关系 20 图 2 18 图像序列中的目标运动轨迹 21 图 2 19 目标灰度变化曲线及正弦拟合曲线 21 图 3 1 原始星图及非均匀性校正后星图 28 图 3 2 单点星图原始图像及非均匀性校正图像空间分布 28 图 3 3 经广义似然比检验判决提取出的目标 29 图 3 4 信号与噪声特性 29 图 3 5 检测性能 30 图 3 6 信噪比与变化量的关系 30 图 3 7 信噪比与固定量的关系 30 图 4 1 星点交叉投影示意图 33 图 4 2 含有运动小目标的星图 39 图 4 3 第一个星点与其它星点的距离增量和相关系数增量 39 图 4 4 第二个星点与其它星点的距离增量和相关系数增量 40 图 4 5 Hough 变换示意图 42 图 4 6 目标与星之间交汇角减小示意图 43 国防科学技术大学研究生院硕士学位论文 第 V 页 图 4 7 角距 距离角度增量比值与速率的变化关系 45 图 4 8 角距随星点位置的变化关系 45 图 4 9 星点质心偏移时的目标向不同方向运动示意图 46 图 4 10 星点质心偏移引起的距离角度增量比值的极值点与原点的连线 47 图 4 11 星点质心偏移引起的距离角度增量比值变化 47 图 4 12 运动目标的距离角度增量比值变化 47 图 4 13 基于改进三角形算法星图识别示意图 50 图 4 14 基于匹配的星图识别结果 52 图 4 15 经过识别后得到的只含星点的星图 54 图 4 16 叠加求均值图像及掩膜帧图像 54 图 4 17 含运动目标的星图 57 图 4 18 提取出的掩膜图像及目标运动轨迹 57 国防科学技术大学研究生院硕士学位论文 第 1 页 第一章 绪论 本章主要介绍课题研究背景 国内外研究现状 本文所做的主要工作和结构 安排 1 1 课题研究的背景及意义课题研究的背景及意义 随着空间技术的迅速发展 夺取制天权已经成为保卫国家战略安全和国防安 全的重要内容 美国前总统肯尼迪曾预言 谁控制了宇宙 谁就控制了地球 谁控制了空间 谁就控制了战争的主动权 对外层空间的控制权就是所谓制天 权 谁能夺取制天权 谁就能赢得制信息权 制海权和制空权 从而赢得未来战 争 随着太空战略地位的日益提高 世界各大国纷纷把空间资源作为未来综合国 力增长的源泉之一 竞相发展空间力量 以确保国家安全 近期几场高技术局部 战争表明 当利用外层空间的高位优势对空中 地面 海上目标进行纵深打击时 空间力量能增强主战武器的效能 控制战争的规模 加速战争的进程 空天战场 已成为争夺信息优势 发挥信息效能 实施精确打击的主要空间 利用精确制导 武器对敌空间侦查 通信 导航等系统进行精确打击 能够对敌形成有效的战略 威慑 成像制导技术是实现空间对抗和防御的关键技术 它涉及目标检测 跟踪等 步骤 涵盖了图像处理 模式识别 多传感器数据融合 导航与制导等学科 它 利用目标和背景间的差异形成目标和周围景物的图像来实现对武器系统自动导 引 通过导引头的摄像部件摄取被分成有限象素的两维图像 经过数字转换变成 数字图像 然后利用图形识别和图像处理技术抑制背景 增强目标图像 提取和 识别目标特征 自动跟踪目标同时制导导弹攻击目标 成像制导具有探测隐蔽性 好 抗电子干扰能力强 目标定位精度高等优点 成为目前战场防御探测系统与 精确制导技术发展的重要方向 在军事应用领域 成像制导技术在空间环境中的应用比较典型的是美国的反 导实验和反卫实验 在美国的弹道导弹防御系统中 地基拦截弹是一种先进的动 能杀伤防御武器 其任务是在大气层外 100km 以上的高度 拦截处于弹道中段高速 飞行的弹道导弹弹头 该拦截弹是由一个称之为 大气层外拦截器 EKV 的 动能杀伤弹头直接碰撞弹道导弹将其摧毁 美国已经对 EKV 进行了 7 次实验 其 中 5 次获得成功 并且自 2001 年之后的 4 次实验均获得成功 2008 年 2 月 20 日 美国海军 伊利湖 号巡洋舰发射一枚 SM 3 型导弹 准确击中了在太平洋上空的 一颗美国失控间谍卫星的燃料箱 这是美军首次使用战术导弹摧毁空间飞行器 国防科学技术大学研究生院硕士学位论文 第 2 页 标志着美军具有了反卫星能力 美国的反导系统的应用及反卫实验的成功表明其 具有制天权 如何打破美国空间霸权 维护我国太空利益 保障国家安全已成为 一个重要课题 具备对敌空间军用系统的打击能力是实现战略威慑 维护国家安 全的重要手段 在空间环境中利用光学成像制导方式引导武器系统攻击目标时 为了能准确 击中目标 要求武器系统在距离目标很远时以较高的检测概率将其捕获 在较短 的时间内做出判断乃至相应的反应 这对目标检测和跟踪处理的精度和实效性提 出了更高的要求 在星空环境下对目标进行检测与跟踪 恒星和远距离的运动目 标在探测器焦平面呈现为成像面积小 对比度较低 边缘模糊 无纹理特征 尺 寸及形状变化不定 结构信息不足 具有一定光谱特性的点光源 1 图像中的目标 由于其面积太小而无法反映其几何轮廓特征 另外由于星空中恒星繁多且与目标 成像特性相近 目标很容易淹没其中而无法辨别 要对目标进行有效识别就变得 更加困难 如何克服恒星及噪声对目标识别的影响 对空间目标进行精确地捕获 跟踪已经成为一个亟待解决的关键问题 探索和研究星空背景下运动小目标检测 跟踪方法以及如何将现有的理论应用于小目标识别提高检测跟踪性能仍是一项重 要的课题 是成像制导技术研究的重点和难点 是实现引导精确制导武器命中目 标的关键 对星空环境下的弱小目标进行准确捕获及实时跟踪对争夺制天权 赢 得未来空间战具有重大而深远的意义 本文正是基于这种背景开展有关星空环境 下的小目标检测跟踪的一序列研究工作 1 2 国内外研究现状国内外研究现状 以传统的目标检测 跟踪理论为基础 结合具体应用背景使用相应的处理算 法实现对空间目标的捕获跟踪 其难点在于目标本身运动的不确定性和背景的复 杂性 传统的检测跟踪理论主要采用帧间差分和背景抑制相结合的算法 单帧图 像作为模板匹配进行目标识别的算法以及把模糊技术与神经网络应用到模板匹配 中进行分层次识别的算法进行空间目标识别 这些算法一般包含目标检测与跟踪 两个方面 目标检测的目的是从图像序列中将运动变化区域提取出来 目前常用的检测 算法主要有以下几种 1 背景减除法 2 Background Subtraction 这是目前最常用的运动检测分割算 法 它利用当前图像与背景图像的差分来检测和分割运动区域 早期采用的是固 定背景图像 一般能够提供较为完整的运动区域数据 然而对于动态场景的变化 如落叶 光照 摆动等因素的干扰较为敏感 之后又有人在此基础上提出了自适 应的背景减除算法 使背景随时间自适应更新 能够适应动态场景的微小变化 国防科学技术大学研究生院硕士学位论文 第 3 页 如 Haritaoglu 3 等利用最小 最大强度值和最大时间差分值为场景中的每个像素建 立统计模型 并对背景进行周期性的更新 2 时间差分法 4 Temporal Difference 该方法是在连续图像序列中两个或三 个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域 Lipton 等利用两帧差分法从实际视频图像中检测出运动目标 进而用于目标的分类 与跟踪 时间差分运动检测法对动态环境有较强的自适应性 但一般不能完全提 取出所有相关的特征像素点 一种改进的方法是利用三帧差分代替两帧差分 如 VSAM 5 开发的自适应背景减除与三帧差分相结合的混合算法 能够快速有效的检 测出运动目标 3 光流法 6 Optical Flow 基于光流法的运动检测采用了运动目标随时间变 化的光流特性 Meyer 等 7 通过计算位移向量光流场来初始化基于轮廓的跟踪算 法 能够有效地提取和跟踪运动目标 光流法能够检测出独立的运动对象 不需 要预知场景的任何信息 但是计算相当复杂 且抗噪性能差 不能用于实时性要 求很强的场合 此外 还有学者提出了基于颜色信息的图像分割方法 8 以及融合多种运动检 测方法的综合判决方法 目标跟踪是对序列图像的每一帧进行检测 确定图像中是否有目标存在 以 及当目标存在时确定目标的位置 然后将处理的结果连起来形成目标的运动轨迹 跟踪算法可以分为基于匹配的跟踪和基于运动特性的跟踪 前者根据提取目标的 特征不同可分为区域匹配跟踪 轮廓匹配跟踪和特征匹配跟踪 后者分为基于光 流的跟踪和运动预测的跟踪 这些跟踪算法各有利弊 许多学者在上述算法的基 础上针对不同的情况进行了改进 星空背景下的目标检测与跟踪可以看作是序列图像在复杂背景中的点目标检 测问题 由于目标出现的位置 大小 时刻 运动速度均未知 且点目标无纹理 特征可以利用 利用单帧图像检测目标十分困难 为了对目标的运动轨迹进行有 效的提取 必须利用多帧图像信息 目前序列图像中点目标检测算法有 Reed 提出的三维匹配滤波算法 9 该算法 是一种基于多帧信息的目标检测算法 当目标的空间分布和速度保持不变 噪声 和杂波干扰符合高斯模型时 该算法能达到最优 但在目标位置 运动速度以及 运动方向未知的情况下该算法计算量大 实时性差 检测性能将显著下降 Barniv 提出的动态规划算法 10 避免了速度失配问题 但必须满足最优化原理 和无后效性 Bruno 和 Moura 提出了一种最优化 Bayes 多帧检测与跟踪算法 11 该算法针对运行在杂波干扰中的刚性扩展目标 但须将非最优化的动态规划法限 定在一定范围内才能体现其性能 国防科学技术大学研究生院硕士学位论文 第 4 页 Zhijun Liu 等人利用似然函数和目标运动模型 设计了一种基于粒子滤波的 Bayes 多帧检测方法 12 取得较为理想的跟踪效果 但该算法最大的缺陷是不能同 时跟踪多个目标 文献 13 14 提出利用最小二乘估计方法估计目标的运动轨迹 该方法首先利用已有的目标点位置信息通过最小二乘运算 预测目标在下一时刻 的位置 然后在预测位置开一个搜索窗 关联匹配候选目标点 最后通过置信度 检验确认下一帧目标位置 此方法适用于处理星空点目标 且算法简单 运算量 小 易于实时处理 但是对于非直线运动的目标 随着运动轨迹的延伸 最小二 乘的估计误差会不断增大 最终造成目标丢失 此外随着轨迹的增长需要记录的 轨迹参数就增多 存储量 运算量也随着增大 另外还有学者在分析了星空背景目标特性的基础上 利用恒星与目标在运动 状态上的差异将星图中的目标与恒星区分开来 得到仅含有目标或目标运动轨迹 的星图 这些算法包括基于序列图像多帧累加背景掩膜帧生成的目标提取算法 56 基于全局运动参数估计目标运动轨迹提取算法 57 等 此外还有神经网络法 小波 变换法 光流场法等 1 3 本文的主要工作和内容安排本文的主要工作和内容安排 本文利用星背景抑制的策略剔除恒星筛选出目标 仅对分离出的目标进行跟 踪识别 沿着这个思路 本文采用理论分析与实验仿真验证相结合的研究方法 利用实验数据首先对星空环境下 EMCCD 观测图像噪声特性及目标特征进行统计 分析 在此基础上建立星空背景下的目标观测模型 并对观测图像序列进行非均 匀性校正等预处理 应用最优化检测方法检测出目标与星点后 通过星图识别算 法提取星点 并对星图进行星背景抑制筛选出目标 从而实现目标与恒星背景的 有效分离 提取出感兴趣的目标 并对其实施连续跟踪 整个过程如图 1 1 所示 图 1 1 星空环境小目标检测跟踪的流程 本文主要完成了星空图像成像特性及信号特征分析 星图预处理 信号建模 星图识别 星背景抑制 目标提取与跟踪等工作 具体章节内容安排如下 第一章为绪论 介绍了课题的研究背景以及星空背景下的目标检测与跟踪在 天基系统作战 反弹道导弹作战等军事领域的应用前景和重大意义 总结了国内 外解决星空环境下的目标识别问题的一般方法和研究现状 介绍了本文的主要研 究内容和章节安排 国防科学技术大学研究生院硕士学位论文 第 5 页 第二章利用模拟仿真数据对星空图像小目标和背景特性进行了深入分析 首 先从探测器基本工作原理 增益特性和最佳增益工作区域选择三个方面分析了星 空探测器工作特性 然后从时域和空域统计特性入手分析了星空背景噪声 器件 光电响应的非均匀性导致星图背景灰度起伏 本文利用行列均值相减法对图像进 行非均匀性校正 此外还分析了星空背景下恒星和静止及运动小目标的空间散布 特性和时间起伏特性 通过分析目标区域变化特征及亮度变化特性 得到目标在 运动过程中的灰度分布变化规律 第三章提出了基于广义似然比判决的星空目标检测方法 基于第二章的仿真 分析结果 建立星空图像场景模型和目标信号模型 利用广义似然比判决方法将 恒星及目标从经过预处理的星图中检测出来 为星图识别及基于星背景抑制的目 标检测与跟踪做准备 并给出了实验仿真分析 第四章研究了基于恒星背景抑制的目标检测跟踪方法 在星图预处理的基础 上 首先利用交叉投影和细分定位法提取星点质心 获取星点在图像中的位置 然后利用基于结构信息变化及匹配的星图识别算法将星点从包含目标的星图中提 取出来 进行恒星背景抑制得到仅含目标的星图 再对目标进行检测跟踪 还详 细研究了当恒星数目不定时的星图识别策略 以及目标与恒星距离很近利用角距 信息无法将二者分开时的伪 Hough 微分识别算法 最后一章为结束语 对本文工作进行总结 并指出下一步的研究方向 国防科学技术大学研究生院硕士学位论文 第 6 页 第二章 星空图像背景噪声与小目标成像特性分析 2 1 基于基于 EMCCD 的星空探测器工作特性分析的星空探测器工作特性分析 2 1 1 EMCCD 的工作特性 15 19 电荷耦合器件 CCD Charge Coupled Device 也称为 CCD 图像传感器 是一种 由高感光度的半导体材料制成能把光学影像转换成数字信号的半导体器件 不同 于大多数以电流或电压为信号载体的器件 它主要是以电荷为信号的载体 完成 电荷的产生 存储和转移 CCD 有两种基本类型 一种是电荷包存储在半导体与 绝缘体之间的界面 并沿界面转移 这种器件称为表面沟道 CCD 简称 SCCD 另 外一种是电荷包存储在离半导体表面有一定深度的体内 并在半导体内沿一定方 向转移 这类器件称为体沟道或埋沟道器件 简称 BCCD CCD 具有体积小 重 量轻 电压及功耗低 可靠性高 寿命长等一系列优点 具有理想的 扫描 线 性 可进行行像素寻址 可变换扫描速度 畸变小 尺寸重现性好 特别适用于 尺寸测量 定位和成像传感等方面 有很高的空间分辨率 作为一种新型光电转 换器 CCD 图像传感器已被广泛应用于工业检测 机器视觉 宇航遥感 微光夜 视 成像制导 数字全息 自动监控等诸多领域 EMCCD Electron Multiplying CCD 也被称为 片上增益 CCD 是一种体 沟道 CCD 它按照一定的方式将一维线型 CCD 的光敏感单元及移位寄存器排列成 二维阵列构成二维面 CCD 是一种全新的微弱光信号增强器件 具有高灵敏度 高分辨率 高读出速度 低噪声等优点 广泛应用于各种微光快速成像领域 与 常规 CCD 相比 EMCCD 在移位寄存器后面加了电子倍增寄存器 该寄存器可以 使信号在噪声加入前就被放大到一定的程度 使放大器的读出噪声并不影响信号 的质量 或者说减小对信号的影响 从而实现对信号放大的功能 由于探测距离较远 星空背景下的目标在探测器成像平面上呈现为较暗背景 上的点光斑 为了提高星空弱小目标成像图像质量常常需要高性能的成像器件 而 EMCCD 能够在微光条件下提高成像的速度并获得高清晰高质量的图像 故已 成为星空探测器的主要元件 EMCCD 由感光区 存储区 移位寄存器和增益寄存器四部分构成 感光区把 采集到的图像转换成负载电荷 存储区则存储负载电荷 移位寄存器把电荷逐行 按顺序移到增益寄存器中 增益寄存器由多个电子倍增单元组成 每个倍增单元 的两极存在较大的电势差 当电荷载流子由电势高的一极流向电势低的一极时会 发生碰撞 电离产生更多的电荷载流子 从而实现电荷载流子倍增 最后将输出 国防科学技术大学研究生院硕士学位论文 第 7 页 放大阶段的负载电荷转换为电压信号 每个电子倍增单元的平均增益在 1 1 5 之间 记为K 经过N级级联后得到总的增益为 1 NGK 1 1 EMCCD 的信噪比可以表示为 sin 2 2 sin 2 gal real galdarkspurlaus S SNR FSSS G 1 2 其中 F 为倍增过程中产生的噪声因子 singal S为信号电荷 dark S为暗电流电 荷 spurlaus S为电荷转移过程中产生的假信号 由式 1 2 可知 可通过增大增益倍 数来提高输出信噪比 现有理论研究和实验结果表明 EMCCD 的增益倍数与电压 温度有关 电压和温度对增益的影响如下图所示 图 2 1 EMCCD 增益与温度 温度间的关系 由上图可知 EMCCD 通常工作在 20 以下 温度越低 EMCCD 增益倍数 越大 驱动电压越大 增益越高 故可以通过增大电压幅值 降低芯片温度 增 加寄存器的级数等方式来提高增益 在实际应用过程中 温度因子很难调节 寄 存器的级数也基本固定 可以通过增大电压幅值来提高增益倍数 使 EMCCD 工 国防科学技术大学研究生院硕士学位论文 第 8 页 作在最佳增益工作区 2 1 2 EMCCD 噪声分布情况 EMCCD 光电探测器信号要经过光电转换 读出两个步骤 各个步骤会不可避 免地引入新的噪声 引起信号的失真或衰减 下面分析其噪声分布情况 EMCCD 噪声 20 21 包括片外噪声和片上噪声 片外噪声包括前置放大噪声 ADC 量化噪声 时钟波动噪声 电磁干扰 以及串扰等 片上噪声是指产生在 EMCCD 芯片上的噪声 包括暗电流 光子散粒噪声 假信号 固定图形噪声 转 移噪声 复位噪声和残像等 片上噪声可以分为固定噪声和随机噪声 固定噪声 可以用滤波的方法去除 随机噪声中影响较大的有光子散粒噪声 读出噪声和暗 电流噪声 1 光子散粒噪声 光子散粒噪声是在光子入射及光电转化过程中随机产生的噪声 它决定噪声 极限 光子注入光敏区产生信号电荷的过程可看作独立 均匀连续发生的随机过 程 单位时间内由光子产生的信号电荷数目并非绝对不变 而是在一个平均值上 作一个微小的波动 这一微小的起伏便形成散粒噪声 散粒噪声与频率无关 在 很宽的频率范围内都有均匀的功率分布 通常又称为白噪声 散粒噪声功率等于 信号幅度 故散粒噪声不会限制器件动态范围 但是它决定了一个摄像器件的噪 声极限值 特别当摄像器件在低光照 低反差下应用时 由于采用了一切可能的 措施降低各种噪声 光子散粒噪声便成为主要的噪声源 2 暗电流噪声 暗电流噪声可以分为两部分 一部分是由耗尽层热激发产生的 另一部分是 由复合的中心非均匀分布产生的 特别是在某些位置单元由于缺陷密集而形成暗 电流尖峰 由于器件工作时各个信号电荷包的积分地点不同 读出路径也不同 这些暗电流尖峰对各个电荷包贡献的电荷量不等 于是造成很大的背景起伏 这 就是常说的固定图像噪声的起因 温度对暗电流的影响较大 器件工作在低照度 长时间积分状态 这时暗电流噪声便起限制作用 因此 器件必须工作在致冷状 态 如果从室温冷却至液氮温度 硅中暗电流可以减少三个数量级 此时暗电流 噪声将不再是重要的限制因素 暗电流噪声在图像上通常表现为位置固定的单像 素点 利用 CCD 相机对一幅均匀场景的成像很容易判断出这种噪声是否存在 3 读出噪声 读出噪声是信号电荷包被转换为电压并在读出过程中产生的噪声 它包括复 位噪声 转换噪声和闪烁噪声等 对于常规 CCD 而言 读出噪声是影响最大的噪 声 因为读出噪声是随着 CCD 的读出速率增加而增大 为了降低读出噪声通常采 国防科学技术大学研究生院硕士学位论文 第 9 页 用慢扫描技术 但同时也降低了 CCD 读出速度 与一般 CCD 不同的是 EMCCD 在信号读出之前就将信号放大 得到非常小的等效读出噪声 这样可以保证在以 较高的读出速率进行电荷转换时 降低噪声的影响 CCD 总的随机噪声可以简写为 222 sintotalgaldarkreadout 1 3 其中 singal 为光子散粒噪声方差 dark 为暗电流噪声方差 readout 为读出噪 声方差 EMCCD 独特的电子倍增结构决定了它具有独特的噪声性能 为充分发 挥其性能优势 在常规 CCD 降噪措施的基础上 还应当通过对芯片进行充分制冷 优化时钟设置及电荷的并行转移频率等措施来提高增益倍数 2 2 星空图像背景噪声特性分析星空图像背景噪声特性分析 2 2 1 星空图像噪声分布 星空探测器在运行过程中暴露在外层空间辐射下 获取的图像除了包含探测 器内部产生的噪声外 还包括空间辐射噪声 辐射噪声主要是高能粒子 包括宇 宙射线 太阳耀斑等 高能粒子打到 CCD 焦平面上 使一个像素内的信号瞬时增 强 由于这些粒子 通常是质子 运动速度很快 其信号通常仅持续一个图像帧 但是这些粒子能量很大 释放的能量一般溢出到中心像素之外 所以每探测到一 个质子一般能影响多个像素 探测的区域条件决定了星空背景噪声的大小 噪声 主要包括以深空辐射为主的深空背景噪声和地球临边散射或任何进入相机的杂散 光 深空背景辐射是来自宇宙空间背景上的各向同性的微波辐射 也称力微波背 景辐射 它不是可见光 不能用光学设备观测 因此可以忽略 2 2 2 背景噪声特性分析 图 2 2 是由某型号 EMCCD 探测器读取到的图像序列中的第七帧图像 它采用 的 CCD 探测器有效象元为 512 256 A D 转换为 16 位 积分时间为 0 5ms 帧 频为 30Hz 无增益 图 a 为时域采样图像 图像在列方向存在条状竖条纹 该条 纹随时间的推移向左移动 可以把它看成是 EMCCD 固定噪声 由器件光电响应 的非均匀性所致 该图像的三维分布如图 b 所示 由三维分布图可以直观看出该 星图背景在空间分布的不均匀 国防科学技术大学研究生院硕士学位论文 第 10 页 a 时域采样图 b 空间分布图 图 2 2 时域采样星图及其三维分布 从空域上对该帧图像进行统计分析 图 2 3 给出了该帧图像行列均值与方差的 分布状况 图像的前几列 约为前 31 列 和后面两列的均值灰度起伏变化很大 从第 32 列开始缓慢递减 近似为一条缓变曲线 图像前 56 行均值变化剧烈 从 第 56 行之后的均值交替起伏变化 列方差总体比行方差小 这是由于 EMCCD 图 像传感器的感光区左右两边以及感光区与图像存储区之间存在暗背景像素区域 这些区域的像素灰度值起伏变化较大 干扰影响也较大 从行列两个方向的均值 方差变化情况可知该探测器由于物理特性和制造工艺的不一致引起了光电响应的 非均匀性 由于每帧图像前 52 行 前 32 列均值变化都很大 可以理解为暗背景 像素区域产生的固定干扰 图 2 3 单帧图像均值 方差变化关系 国防科学技术大学研究生院硕士学位论文 第 11 页 图 2 4 给出了该帧图像的灰度直方图 经正态曲线拟合 其包络大致服从正态 分布 均值大约为 80 图 2 4 原始图像灰度直方图 图 2 5 图像序列均值方差 从时域上对图像序列进行统计分析 图 2 5 给出了图像序列的均值和方差随时 间的变化关系 均值在 80 1 80 7 之间剧烈变化 方差在 41 44 5 之间变化 变化 范围较大 图 2 6 a 为图像序列中行列均值 方差随时间的变化关系图 由于序列 图像的均值变化较大 该图像噪声为非平稳噪声 为了克服固定噪声干扰 提高 信噪比进而提高目标检测概率 需要对图像进行非均匀性校正 国防科学技术大学研究生院硕士学位论文 第 12 页 a 固定行列均值方差随时间变化 b 行列相关系数随时间变化 图 2 6 固定行列均值 方差及时间相关系数 图 2 6 b 为图像序列中行列之间的相关系数随时间的变化关系图 行列之间的 相关系数随时间变化 相关系数值有正有负 最大值小于 0 25 以上仿真分别从时域和空域分析了图像均值 方差 相关系数的变化情况 总的来说没有具体规律可循 主要是由于器件响应的非线性引起的 故要对图像 进行非均匀性校正 2 2 3 背景图像的非均匀性校正 当 EMCCD 探测器的各个像元在均匀光源照射下 有可能输出不相等的信号 电压 这就是 EMCCD 光电响应的非均匀性 一般 CCD 探测器采用凝视平面阵列 这种探测器由于衬底材料的性能不同 制造工艺 如阵列的几何线性度 不一致 环境温度变化以及入射光波长不同 都会导致感光单元有效面积存在差异 并引 入固定模式噪声 表现为 CCD 暗电流和光电响应的不均匀性 从而引起图像的非 均匀性问题 一般来说 EMCCD 像元越多 不均匀性越严重 因此必须对星图进 行包括非均匀性校正等内容在内的预处理 由于非均匀性具有随机性没有一定的 规律 因器件而异 所以对于某些弱信号检测或高精度应用而言 必须进行实际 测量 然后加以补偿才能达到均匀性要求 22 由于图像行列之间有较强的相关性 本文采用行列均值相减法克服器件非线 性响应的影响 具体公式如下所示 ijiji ijijj fff fff 1 4 国防科学技术大学研究生院硕士学位论文 第 13 页 式中 ij f为原始图像灰度值 i f 为行灰度均值 ij f为行均值相减后的灰度 j f 为列的灰度均值 ij f为行列均值相减后的灰度值 图 2 7 给出了图像序列第七帧 图像非均匀校正前后的空间分布状况 由图可见该方法在一定程度上克服了器件 响应的非线性性 消除了图像中固定条纹 使图像分布较均匀 图像均值约为 0 图 2 7 原始图像及非均匀性校正图像空间分布 图 2 8 给出了该帧图像非均匀性校正前后的 Fourier 频谱图 a 校正前的频谱图 b 校正后的频谱图 图 2 8 非均匀校正前后图像的 fourier 频谱图 从空域上对非均匀性校正后的图像进行统计分析 图 2 9 分别从行列两个方向 统计了非均匀性校正后该帧图像固定行列方向上像素点灰度均值与方差的变化情 国防科学技术大学研究生院硕士学位论文 第 14 页 况 采用行列均值相减法消除图像中的固定模式噪声后 图像中只剩下随机噪声 且噪声的均值为 0 a 列方向均值方差变化 b 行方向均值方差变化 图 2 9 非均匀性校正后图像行列方向的均值 方差变化关系 图 2 10 a 给出了非均匀性校正后图像的灰度直方图 与图 2 4 中的灰度直方图 相比 校正后图像灰度更加逼近均值为 0 的高斯分布 2 10 b 给出了单帧图像的均 值和方差随时间的变化情况 其均值一直保持为 0 方差在 31 2 32 2 之间变化 变化幅值为 1 把校正后图像序列看成是均值为 0 方差为固定值 约为 31 715 的 高斯白噪声序列 图 2 10 a 的灰度分布也可以从直观上验证该结论的合理性 a 灰度直方图 b 图像序列均值方差随时间变化 图 2 10 图像灰度直方图 均值方差随时间的变化关系 国防科学技术大学研究生院硕士学位论文 第 15 页 图 2 11 a 为非均匀性校正图像序列固定行列的均值 方差随时间的变化关系 图 由图可知灰度均值为 0 且不随时间改变 方差比校正前减少 2 11 b 给出了 校正后图像序列行列之间的相关系数随时间的变化关系 相关系数很小 非均匀 性校正进一步削弱了图像间的相关性 a 固定行列均值方差随时间变化 b 行列相关系数随时间变化 图 2 11 图像固定行列的均值 方差 相关系数随时间变化关系 定义 Snn SNR 其中 S 为目标的平均亮度值 n 为背景平均亮度值 2 n 为背景方差 为了定量分析非均匀性校正的性能 定义信噪比改善因子为校正 后信噪比与校正前信噪比的比值 即 校正后信噪比 信噪比改善因子 校正前信噪比 1 5 表 2 1 给出了第 30 至 39 帧图像非均匀校正前后的均值 方差 信噪比 同时 计算出了对应帧图像的信噪比改善因子 灰色底纹对应非均匀性校正后的值 校 正后图像均值为 0 方差可以近似为一固定常数 由于抑制了固定模式噪声 信噪 比都有所提高 提高的幅度约为 77 国防科学技术大学研究生院硕士学位论文 第 16 页 表 2 1 非均匀性校正前后图像性能参数 帧号 30 31 32 33 34 35 36 37 38 39 80 42 80 32 80 32 80 4280 3080 4180 4680 30 80 39 80 42均值 0 0 0 0 0 0 0 0 0 0 42 76 42 75 42 84 42 7544 3042 9942 2341 71 42 71 42 70方差 31 67 31 73 31 72 31 6931 6931 8531 6731 85 31 62 31 66 2 994 3 009 3 006 2 9942 9592 9873 0063 005 3 000 2 996信 噪 比 5 330 5 325 5 326 5 3295 3295 3155 3305 315 5 335 5 331 改 善 因子 1 780 1 769 1 771 1 7791 8001 7791 7721 742 1 778 1 779 表 2 2 给出了图像序列中固定两行 列之间的相关系数在非均匀性校正前后随 时间变化的一阶矩和二阶矩的统计值 经过校正虽然有的图像帧之间出现负相关 但总的来说相关系数减少 换而言之图像行 列之间的相关性减弱 表 2 2 相关系数的统计值 均值 方差 0 0749 0 0627 行相关系数 0 1699 0 0584 0 0539 0 0430 列相关系数 0 0030 0 0417 为了进一步说明非均匀性校正后的噪声图像可以近似为高斯白噪声 本文从 横 纵两个方向对图像相关性进行分析 利用下列公式计算横向 纵向对应不同 步长的相关系数 1 1 N step n corr m stepI m nI m nstep Nstep 1 6 1 1 Mstep m corr step mI m nI mstep n Mstep 1 7 国防科学技术大学研究生院硕士学位论文 第 17 页 a 三维视图 b 剖面图 图 2 12 横向相关系数 a 三维视图 b 剖面图 图 2 13 纵向相关系数 图2 12 a 为横向相关系数三维图 图2 12 b 为对应截面 图2 13 a 为横向相 关系数三维图 图2 13 b 为对应截面图 从以上图像的相关系数分布图可以看出 自相关系数只是在相关长度为0也就是1step 时有较大的相关峰值 在1step 时相 关峰值迅速减小 即相关性减弱 综上所述 确实可以将非均匀性校正后的图像 序列看成是均值为0 方差为31 715的高斯白噪声序列 经过非均匀性校正的背 景可以视为