（微电子学与固体电子学专业论文）微光双谱成像中的图像自动配准研究.pdf

硕士论文徽光双谱成像中的图像自动配准研究 ab s t r a ct l m a g e re gi 引 石 at i on isa cl as si c p ro bl em in】 几 以 g ep roces s idg ， a p p l i edtothe fi eld ofcom p u te rr 以 为 助j ti on， 功 曰j c al andi t i s e xt e ns l v e ly 如age p ro c es s ing and 比m o tes e n in gp r 0 ces s mg p a tt e m i t isthep r e co n d i ti on of加碑 g e 佃 i on. inth e d i s se rt at i o 氏on th e b as i s o f th e 助a ly s i s o n th e doubl e c b a n n e l ， s l o w . l eveland ul 加v l o l et li ght d ual 一 b andfi 巧 i o ncol or ul ghtm e th od， a枉 沈 h ni q ue o fd o ubl e c h 奴 口 e l ，sl o w-l e vell i ghtandul travi o i et d ual一 b and加昭e比 gi strat i oll re se arch is 访 v e stig at e d . 化 91 引 出 at i 血 w 七化 v i e w ed th e几 口 引 。硕山 m e t ico fre gi 引 比 a t i o n . fon n e 了n 桂 旧 e 旧 shift w hi 比 need b 理 m an in te ri 触 r e、 v a sd e e p l y o f th el o w-l eve l andul ti a v i o l etll ght andth e c o ns id e 几 堪 the w ep ro p 0 se dnew re gi st ra t i on硕t 加 m etic o f d 住 al . b and li 刀 a geb as edo n the p 议 el 、 sys t 。 从 s p a t i alre l ativ i ty. b 别 记 d on th ed s pba 川w 别 repl at fo rr 氏the soft w ar ep r o gr aj 叮 sare desi gned andthe auto m a t l c p r o 嘟 s in g o f th e al g o ri t ll n isis介 ， 1 1 及 刁 . ke y w o rds :l r n a g e r e g ls t r at i o n ， c o l orn i ghtv i s 1 0 n，p i x e l s p at i alre l ativ i ty， 多 盯. s c a l e s y m b i o ti c m a t ri x 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人己经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 己在论文中作了明确的说明。 研 究 生 签 名 : 铆森 ， 刃 叼月 加 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研 究 生 签 名 : 血塌 加司 年 7 月 7 日 硕 士论 文 微光双谱成像中的图像自动配准研究 绪论 1 . 1图像配准的概念及研究意义 毫无疑问， 作为武器装备的 重要组成部分， 军用光电 设备对国家的军事实力具 有 举足轻重的 作用， 它是国 防力量的一 个重要标志. 随着高新科技的 应用， 其地位 和作 用将越来越为世人瞩目. 军用光学技术中的一大类为微光夜视技术， 它在可见光及其附近波段内， 将微弱 的 光场分布转变为人眼可见的图 像， 扩展人眼在 低照 度下的 视觉能 力。 在现代高技 术 条 件下的 局部战争中， 夜间观察能 力已成为军队战斗 力的重 要组成部分。 单波段夜视 技术从出 现发展到现在， 已 经具 有相当完整的理论和比 较成熟的 技术。 然而在许多 场 合， 仅 靠单一传感器很难完成多种目 标背景下的探测和识别任务。 例如， 水泥建筑 前 的绿色 坦克， 由于色差， 在日 间 人眼是极 容易发 现的， 但在 一般的 微光夜视仪中， 由 于它 们反射的 光功率在光电阴 极单 位面积上产生的 光电 流相当， 即 灰度相差不多， 在 微光夜视系统中将难以分辨。 如果利用夜视系统在两个或两个以上的波段对水泥建筑 前的绿色坦克进行探测成像， 并对所成的像进行进一步的彩色图像融合处理， 尽可能 恢复类似日间具有彩色的观察和分辨能力， 就能在夜间对上述场景进行分辨， 利用不 同传感器的图像信息的互补 性可以 极大地提高光电 探测系统的探测能力。由 于不同 的传感器通过的光路不同，或者 成像体制不同 等原因，图像间可能出现相对平 移、 旋转、比 例缩放等现象。 如果将 这样的图像数据直接送到融合中 心进行融合处理， 那么得出的融合图像将会出现重影， 降低融合数据的可靠性，严重影响图像的融合 效果， 甚至产生错误的目 标信息. 对于像素级多传感器图 像融合， 首先面临的是图 像之间的时间和空间配准问 题，其次 就是建立精确合理的 属性融合算法 ” 。由 于图 像的配准误差直接影响到 对目 标的 分割和识别， 因此图 像之间的配准是一个十分重 要的问题。 图 像配准是对从不同 传感器得到 的同一物体的 两幅图 像， 或者 从同 一传感器 但在 不同时间 获得的同一 物体的图 像进 行配准， 从而校正 相对 位置 平移、 旋转、 比 例差 别 以 及灰 度畸 变和几何畸变. 经过 适当 配准的多传 感器图 像可以 在像素级直接融合形 成 融合图 像， 然后在此基础上完成目 标探测、 特征提 取和目 标识别 等操作。 图 像配准技术作为模式识别 和图 像处理的一 种基本手段， 在生物特征识别、 遥 感图 像处理、 空间飞行器的自 动导 航、目 标靶识别和定位、 气象云图分析及x 光和 硕士论文徽光双谱成像中的图像自动配准研究 cr扫描等许多领域里获得广泛的应用， 它是医学影像分析、三维重构、目 标识别、 机器人视觉和 遥感图像处理的基本组成部分， 也 是图 像数据融合的 首先要解决的问 题 之一。 早期的图 像配准主要用于多波段遥感图 像的 校准， 利用在不同时间对同 一地 面拍摄得到的两幅图片， 经校准后找出 其中 特征有了变化的那些像点， 就可用 来分 析图中哪些部分发生变化。近 20 年来在模式识别和运动分析等领域里，配准技术 发挥着越来越重要的作用。配准技术可在一幅图像里寻找已知结构或形状的物体， 从而对该图像进行有效的分类。 在运动分析里， 将一帧图像的一组结构做辩识， 对 另一帧做搜索， 采用配准方法来寻找对应的结 构， 从而获得一些重要的 参数如 运动 方向 和位移。在医学影像领域里，利用二维平面的ct、 m ri、 d sa 来重建三维立体 结构， 配准技术的 好坏也是一个极其重要的因 素川 。 1 . 2图 像配准的国内 外研究 概况 图 像配准最早在美国 七十年代从事的飞行器 辅助导航系统、 武器投射系统的 末制 导以及寻地等应用研究中提出， 并且得到军方的大力支持与赞助。 经过长达二十多年 的研究，最终成功地用于潘兴 11 式中程导弹及战斧式巡航导弹上，使其弹着点平均 圆 误差半径不超过十几米， 从而大大提高了导弹的 命中率。 八十年代后， 在很多 不同 领域都 有大量 配准技术的 研究， 如遥感 领域、 模式识别、自 动导 航、 医学诊断、 计算 机视觉 等。 各个领域的 配准技 术都是对各自 具体的 应用背景结合实际 情况 度身定 制的 特定 技术. 但是不同领域的配准技术 之间 在理论方 法上又具有很大的相似性， 在某一 领域的配准技术很容易移植到其他相关领域。 早 在70年代， p . e . a nu ta. 提出了 使用f ff进行互相关图 像检测计算的图像 配准 技术， 以提高配准的速度性能: a . arcese阁 等提出了 使用二值相关 方法进行图 像检测 的技术; d . 1 . b arneal ， 等提出了 使用模板子图 像差值相似性测度的图 像配准技术， 它 比 使用 f ft 计算互相关相似性测度进行图像检 测的 方法有更高的 性能: w . k . p rat t t:j 对图像配准的互相关 技术进 行了 全面的 研究: c ， d . m cgi l l enl.j 等在图像配 准的 质量和 误差方面进行了 研究; b arro沪， 等提出 了距离 变换和chajnf er 匹 配技术， 可以用 于图 像配准的确定配准控制点的过程; m . s ved l owl0等对图像配准的 相似性测 度和预 处理 方 法进行了 比较 分析; h . 枷i t re ll ，等提出了 基于自 回归 模型的 动态 程序设 计方法 用于 几何畸变较大的图像的配准:e ric j . m . r i g not l2j等在较高 层次 对多图 像的自 动配准 技 术和要 求进行 过比较 和分 析; t akagil” 等根据n o aa卫星 遥感图 像中 海岸线较为 明 显且常年保持不变的 特点， 提出了 基于遥感图 像边缘特征的快速匹配算法， 该算 法先 由 遥感图像沿海岸线取出若干个典型区 域进行边 缘提取， 然后由 标准海岸线数 据形成 与这些边缘区域相对应的标准海岸 线区 域， 最后将这些区域当 作特征点， 根据它 们之 硕士论文 微光双谱成像中的图像自 动配准研究 间的 匹配结果确定实际遥感图 像的空间几何变形参数; h iratall刃 等又 进一步将这些方 法用到不同分辨率遥感图像间的匹配上; f luss尸目 针对变形图像间的匹配又提出一个 自 适应映射方法，自 动地对两幅遥感图像进行分割， 使得分割后两幅图像上相应子块 间的 相似度较大，从这些子块之间的空间位置关系来对原来的两幅图像进行匹配. 在国内， 图像处理技术起步相对较晚， 后来获得了很大的发展。 我国研究者先后 提出了几种方法， 分别有: 基于轮廓相似性测度的图像配准方法， 它适用于轮廓特征 丰富的图像的配准: 一种自 动图像配准方法， 用于图像的高精度配准， 但实际上它只 是一种使用互相关系数作为相似性测度的半自 动的图像配准方法:一种将遗传算法 (g eneticalgorit hm， 简称ga) 用于图像配准的 算法: 采用多 级影像概率松弛整体匹 配技术， 用于不同传感器、 不同空间分辨率的遥感影像的快速配准: 将遗传算法和最 小 二 乘 法 结 合用于 图 像的 子 像 素 级 配 准 lw 网 。 由 此可见， 图像配准技术经过多年的 研究， 已 经取得了很多研究成果， 例如在图 像的相似性检测方面研究出了多 种技术方法。 但是由于图像配准的输入数据来源的多 样性， 以及不同的应用对图像配准的要求各不相同， 同时，由于影响图像配准的因素 的多样性， 以及配准问题的复杂性， 图像配准的技术还有待于进一步发展。目 前国内 外同行都在研究图像配准的方式及与其相关的技术， 例如作为图像配准的最终方式， 图像的自 动配准技术内容也在积极地研究过程中. 1 . 3 本文的 研究背景和主要内 容 项目 建立于一套双通道彩色微光夜视系统 ( 如图1 . 3 . 1 ) ，它是以具有不同光谱响 应波段的两个像增强器为核心的双通道成像系统。 两幅图 像以一定算法进行融合处理 和色空间映射， 其先决条件是两幅图像必须像素级配准。 然而， 同一景物经光轴平行 放置的双通道成像，存在固有的结构性视差。视差问题通常的解决方法是图像配准。 本文回顾了目 前现有的图像配准技术，并结合系统特点和紫外微光图像的特性， 在此基础上提出了 一种基于 像素灰度空间 相关性的图像配准方法， 实验验证该方法切 实可行， 具有良 好效果。 本文的内 容安排如下: 第一章绪论， 通过查阅大量国内外文献资料， 分析了研究图像配准的重要意义和 国内外概况，列出了本文的主要内容。 第二章主要是对图像配准基础知识的阐述， 概括了图像配准的数学基础、 基本框 架等，回顾了现有的图像配准典型技术。 第三章对项目 组的双通道彩色微光夜视系统进行了 介绍， 根据系统的具体情况简 化了 配准模型，并简单介绍了原有的数字图像移位配准技术。 第四章是本文的重点， 介绍了 纹理分析的概念， 并由常见的纹理分析方法之一的 硕 士 论 文 徽光双谱成像中的图像自动配准研究 2图像配准基础知识 2 . 1图像配准的数学基础 2 . 1 . 1图像配准定义 给 定 两 幅 待 配 准的 图 像1. (x ， y) 和人 (x ，y)， 我 们 称 其 中 之 一 如入 (x ， y)为 参 考 图 像 ， 另 一 个几 (x ， y)为 观 察 图 像。 在 许多 的 图 像 配 准 文 献中 ， 图 像的 配 准被 定 义 为 两 个 图 像之间在坐标位置和灰度级上的双重映射变换，可表示为: 几 ( x ， y ) =9 汀( 11 ( x ， y ) )( 2 . 1 . 1 ) 在这里， f是一 个二维空间的 坐标变换， 而9 是一 个一维的灰度变换。 配准问 题 就 是要寻找最优的 变换f 和9 ， 在此变换下将两幅图像最大程 度地对齐， 从而可以 进 一 步处理图 像。 通常情况下灰度变换关 系的 校正并不是必要的， 所以 寻找最佳的空间 或几何变换参数是匹配问 题的关 键所在。 它常常被表示为两个参数变量的单值函 数 fx ，石 : 人 ( x ， 夕 ) = 人 (fx(x ， 夕 ) ，几 ( x ， 夕 )( 2 1 .2 ) 2 . 1 . 2变换模型 图像配准需要寻找一种坐 标变换模型，建立从一幅图像坐标(x ， y)与另一 幅图 像 坐标(x ， y 今 之间的变换关系。 常 用的 变换模型有刚体变换、 仿 射变换、 投影 变换和非 线性变换，它们所适应的变换如下 表2 . 1 . 1 所示。 表 2 . 1 . 1图像变换模型与变换之间的关系 霎 薰 翼 翼纂翟 翼羲 纂 纂 翼 矍 鬓 藻 遴 矍 鬓 燕鬓黝 鹉 刚体变换了7矿 黔射 变 威 篡 辈 : 馨 翼矍 鬓翼 篡翼 一翼 一矍纂 翼 翼篡 蒸 一 翼 投 影 变 换矿护护了j 冬黔 缘 尽 变 罐薰 纂 翼翼 篡翼翼 翼 翼薰翼 冀 翼 翼 翼 翼鬓 翼 一翼 其中， “廿”代表适合。 ( 1)刚 体变换 如果一幅图 像中的 两点间 的距离 经变换到另一幅图像中后 仍然保持不 变， 则这 种 变 换称为刚体变换例gi d tr出 ” fo rm) . 刚体 变换只 局限 于平移、 旋转和反转 ( 镜像) 。 硕士论文徽光双谱成像中的图像自动配准研究 在二维空间中， 点(x ， 刃经 过刚体 变换到点( x，y ， 的 变换公式为: r x 1( co s 夕 土 s i n 夕 、 r x l 么1 11 =1 1 十11 l y ，j 气 s i n 夕 干 cos 夕 ) l y jl 咖j (2. 1 . 3 ) 其 中 夕 为 旋 转 角 ， 【 击 ， 咖 了 为 平 移 向 量 。 (2) 仿射变换 如果一幅图 像上的直线经 过变换后映射到另 一幅图 像上仍然为直线， 并且保持平 行关系，则这 种变换成为仿 射变换( a 币 n e tj 倒 ns fo 朋) 。 仿射变换适用于平移、 旋转、 缩放和反转 ( 镜像)情况。在二维空间中，可以用以下公式: 二 :一 之 : 之 ): !言 (2. 1 . 4 ) 其 中 (之 净实 矩 阵 . (3 ) 投影变换 经过变换后第一幅图像上的直线 映射到第二幅图 像上仍为直线， 但平行关系基本 不 保持， 这样的 变换 称为投 影变 换切 ， ( p roje ct iv e tr 助 s fo rm) 。 投影变换可用高 维空间 上的线性 ( 矩阵)变换来表示。变换公式为: 丫= 鱼 生巴边上坠 隽， x : + a 3 2 片+ 气 (2. 1 5 ) y = 鱼 通 土 五 边 立 坠 ， 巧j 气+ 马 z yl十 气 3 ( 4 ) 非 线性变换 非线性变换 困。 ulineartj 倒 昭 fo rm) 可以 把直线变 换成曲线。 在二维空间中， 可以 用 以下公式表示: (x， 夕 ) = f(x， y)(2l 6) 其中， f 表示 把一幅图 像映射到另一幅图 像上的任意一 种函数形式。 典型的非线 性变 换如多项式变换，在二维空间中， 多项式函数可 写成如下形式: jx 一 呵?0 x+呵 + 呵+ ; 附呵+ t 夕=000 +马 。 x + 巧ly十与x 一 + 马1 划 十 ooz y 一 十 ” (2 . 1 乃 非线性变换比 较适合于 那些 具有全局性形 变的图像配准问 题， 以 及整体近似 但局 部有形变的配准情况。 硕 士 论 文微光双谱成像中的图像自动配准研究 2 . 2图像配准的基本框架 图像配准是图像融合技术的基本环节， 只有经过配准后的图像才能进行有效的融 合。 对于图像配准技术， 主 要包括以 下四个内容: 特征空间、 搜索空间、 搜索 策略、 相似 度测量图。 ( 1) 特征空间:指从图 像中提取 用于匹 配的 特征。 图像配准中使用的图像特征有着重要的意义， 因为它们通常决定了这个方法适合 于什么样的图像。基本的像素灰度值可以是一种特征，还可以有常见的特征如边缘、 曲 线 和曲 面， 显著的视觉特征如拐角、 交叉 线、 高曲 率的点等， 统计特征如不变矩以 及高层语义的描述算子等。 图像特征几乎是所有计算机视觉和图像处理任务都会涉及 到的基本因素，在图像配准上它会影响到成像设备和景物中哪种特征会对算法敏感、 图像的 何种特征被匹配以 及算法 执行的 效率和搜索代 价. 因 此， 好的特征选择将会消除畸变噪音的 干扰， 降低 参与 计算的数据量又 不失充 分的表达图像内容的内部结构. (2 ) 搜索空间:指用来校准图像的图 像变换集，其中以 几何变换为主要因 素。 图像的几何形变可以分为三类: 全局的、 局部的和位移场形式的。全局的变换指 整幅图 像的畸变都可以 用统一的 参数矩阵来描述. 典型的 全局几何变换包括以 下的一 种或 几种简单变换的组合: 平移、 旋转、 各向同 性或各向 异性的缩放、 二次或三次多 项式 变换等。 局部变换允 许变换参数有位置依 赖性， 在图 像中 不同的位置上具有不同 的变换参数矩阵， 一般变换参数只定义在特定的关键点上而在其他区域进行插值。 位 移场方法， 有时候又称为光流场法， 使用一个连续函数优化机制， 为图像中的每一点 计算出一个独立的偏移量， 并使用某种规整化机制进行约束。 一般来说，变换类型在 某个 特定应用场合可以作为一种 先验知 识， 将搜索空间限 制在几种可能出现的 特定变 换。当 没有先验知识参考时，就 必须考虑所有可能出 现的 变换形式。 ( 3) 搜索策略: 决定如何在 这个空间 中选择下一 个变换， 如何测 试并 搜索出 最优的 变换. 由于很多配准算法伴随着庞大的计算量， 常规的贪婪搜索法实际上无法实现， 因 此有效的 搜索策略成为一个不容 忽视的问 题. 给定 一组对应特征 和特征间参数化的变 形，由 搜索空间和相 似度测量方 法决定了 搜索策略。 常用的 搜索策略有:松弛匹配、 动态规划、牛顿法、最速下降法、共扼梯度法等。 (4 ) 相似度测量:决定了每 一个配准测试中的 相关特性。 相似度测量 往往和提取的图 像特征相关， 它 给出 的评价值将 直接决 定了配准变换 的 选 择。 在从每幅图像中 提取图像 特征后， 由相 似度测量函 数来计 算决 定在当 前所取 的变换模型下图像是否被正确匹配了。 通常， 配准算法抗干扰的能力是由特征提取和 硕士论文徽光双谱成像中的圈像自动配准研究 相 似度测量所共同决定的。 最常见的相 似度测量方法为 特征空间的欧式距离， 一般这 样的相似度测量必须考虑归一化。 2 . 3图像配准典型技术 图 像配准可以分为 半自 动配准和全自 动配 准。 半自 动配准是以 人 机交 互的方式， 由 操作员 手工选取一些特殊且容易识别的 点如 道路 交叉点、 桥梁等作为 配准控制点， 然后利用 计算机对图像进行特征匹配、 变换和 重采样。 为了得到好的配准效果， 必须在整幅图像上选择大量的控制点，这一过程是 及其费时 费力的。 全自 动配准则是直接利 用计算机完成图 像配 准工作， 无需 用户参与。 其又可细分 为可以分为基于图像灰度的配准和基于图像特征的配准两大类。 2 . 3 . 1基于图像灰度的配准算法 这类算法研究得最早， 目 前的算法中大多 属于此类。 它是直接利用图 像的灰 度值 来确定配准的空间变换， 其中充分利用图像中所包含的信息， 从而也称为基于图像整 体内 容的 配准方 法。 它的基本思想是: 通过在灰 度信息的统计特性空 间上， 定义 一个 准则函数 ( 例如 协方差， 相关系数等) ， 使得配 准参数在准则函数的极值处取得， 从 而将配准问题转化为准则函数的最大/ 最小化问题，然后通过一定的最优化方法求得 配准参数来实现配准。 在两幅图像灰度信息相似的情况下， 常用的配准算法有:空间 相关法 川 、 频域 相关 法阁、 最大互信息法等。 图2. 3 . 1荃于图 像灰度的配准算 法流程图 基于图 像灰度的配准方 法不需要对图像 作特征提取， 而是 直接利 用全部可用的图 像灰 度信息， 因此能提高 配准的精度和鲁棒性 阁。 有精 度高的 优点， 但是也有如下 三 硕士论文徽光双谱成像中的图像自动配准研究 个重大缺点: ( 1)对图 像灰度的变化非常敏感， 尤其是非线性的光照变化，将大大降低算法的 性能: (2) 算法依据整幅图像的灰度信息，计算复杂度高: (3 ) 对目标的旋转、形变以及遮挡比较敏感。 对于由同一类型传感器获得的图像数据，由于成像机理相同.因此各幅图像的 灰度分布比 较相似， 可以由 灰度相关 性提取控制结构。而二代像增强器和紫外像增 强器是对不同的光谱范围进行成像， 所以二者对比度明显不同， 而且两个像增强器作 用于不同 波段使得同 一图像特征在两图中具有不同的灰度值， 因此无法从灰度相关 性上进行配准。 正因为 如此， 在全自 动配准算法中很少 采用这类图 像配 准算法。 而相对于基于灰 度的全自 动配准算法， 基于特征的全自 动配准算法可以克服 这些缺点， 从而得到广 泛 使用。 2 . 3 . 2基于图像特征的配准算法 基于图像特征的方法在图像配准中具有很强的适应性， 而根据特征选择和特征匹 配方法的不同所衍生出的具体配准方法也是多样的。 它的基本思想是: 用图像分割和 模式识别的方法提取图像中稳健的特征点， 确定这些特征点之间的对应关系， 寻找一 个表示相 似性测度的能量函 数， 来优化求解图 像之间的空间 变化参数， 以达到两幅图 像之间的对应像素在空间位置上的对齐，图2. 3 . 2 是算法的流程图。 图2. 3 ，2基于特征的 配准算法流程图 基于 特征的配准方法包含两个阶 段: 特征 提取和特征匹 配。 前一 个阶段主要完 成 整幅图 像中的兴趣特征及其属性的提 取， 后一 阶段则是对提取的 特征进行匹配。 其中 前一阶段的结果 ( 提取的特征 和属性) 决定后一阶段的精度 和可 信度。 特征匹配 过程 在匹 配之前， 要首先完 成图像 特征 ( 包括点、 线、 边界、 区 域) 的提取。 特征通常 可 硕士论文徽光双谱成像中的图 像自 动配准研究 以和它相邻的特征清楚地区分， 并且不受几何和辐射等噪声的影响， 因此基于特征的 匹配很少产生误匹配的情况。 一般来讲， 大尺度特征含有较丰富的图 像特征， 本身数 目 较少，易于得到快速的匹配，但对于它们的提取和描述相对复杂，定位精度也差; 另一方面， 小尺度特征本身的定位精度高， 描述简单， 但其所含信息量较少，因而在 匹配中需要采用较强的约束原则和匹配策略。 按照用到的图像特征的不同， 可分为基于点、 基于矩、 基于边缘、 基于相似性判 据最优化等方法。 ( 1)基于控制点的配准方法， 即控制结构为图像中的显著点 ( 称为控制点) ， 控 制点可以是用户提供的， 也可以由 算法估计， 然后对控制点进行匹配， 估计几何变 换参数并进行配准. 这一过程包括两个步骤: 第一在图像中选择和匹配控制点， 通 过从已经匹配的控制点中获得的信息找出可以匹配图像中其余点的匹配函数。 为了 决定图像的对应点，首先要从每幅图像中选出一个独特的可分辨点集作为控制点。 控制点可以是图像中的线条交叉点， 边界封闭区域的重心， 或者曲面的高点。 一旦 在两幅图像中选定了两个控制点集， 有若干方法可以用来匹配两个控制点集， 这些 方法包括对两个点集的最小间距树进行分类、 松弛和匹配， 对两个点集的凸部边缘 进行匹配等。 (2 ) 基于矩的配准方法，控制结构是复杂的图像矩，每幅图像被标准化，即与 一个矩被归一化的参照位置进行配准。通常有一阶矩、二阶矩。 ( 3)基于边缘的配准方法，控制结构是图像的边缘。通过比较边缘像素的密度 或在符号层次上比较边缘来实施边缘匹配。 几何变换参数直接导出并对其中一幅图 像实施相应的变换。 (4 ) 基于相似性判据最优化的方法， 选择一个几何变换并以各种参数值施与一幅 图像上。 对于每一个值， 评价由相似性判据提取的控制结构， 该值表明了控制结构匹 配的 程 度， 因 此 可以 从 判 据 的 最 优 值 实 现 配 准 . 相对于基于灰度的配准，其优点主要集中体现在以下三个方面: ( 1)图像特征点比图像像素点少，因而大大减少了匹配过程中的计算量; (2 ) 特征点的匹配度量值对位置的变化比 较敏感， 可以大大提高匹配的精确程度: ( 3)特征点的提取过程可以减少噪声的影响， 对灰度变化，图像形变以及遮挡等 都有较好的适应能力。 不过遗憾的是， 对于大多数图 像的精确分割和特征提取目 前仍然未能很好解决。 图像配准还有一种基于对图 像的理解和解释的方法， 这种算法不仅能自动识别相 应像点， 而且还可以由计算机自 动识别各种目 标的性质和相互关系， 具有极高的可靠 度和精度。 这种基于对图像理解和解释的配准涉及到诸如计算机视觉、 模式识别、 人 工智能等许多领域， 不仅依赖于这些领域中的理论突破， 而且有待于高速度并行处理 l 0 硕士论文徽光双谱成像中的图像自 动配准研究 计算机的研制。 因此， 基于理解和解释的配准算法到目前为止还没有明显进展， 本文 将不予讨论。 硕士论文徽光双谱成像中的图像自动配准研究 3双通道双谱图 像配准 3 . 1 彩色夜视系统简介 项目 组提出一 种双通道彩色微光夜视系统 方案， 在三代像增强器 ( 由 于仪器的限 制， 目 前国内 没有三代像增强器的情况 下， 采用 二代像增强器加长波滤光片的方法 代 替三代像 增强器) 工作的同时联合使用一 个带 有蓝色 滤光片的 二代像增强 器， 让该二 代像增强器仅对蓝光波段进行成像。 这样， 以具有不同光谱响应波段的两个像增强器 为基础的双通道成像系 统， 两个像增强器左右 水平放置， 光轴保持平行. 系统在工 作 的时候， 三代像增强器和二代像增强器同时 摄取到同 一场景的 两幅图 像， 再经过图像 预处理、 图像配准、 图像融合处理、 色空间映 射处理， 最终得到一幅假彩色图像送到 显示器上显示，可实现宽光谱双通道彩色夜视。 3 . 2双谱图像配准的提出 本项目 所建立的实 验系统， 左右两通道 光轴平行配置， 光轴间 距为武 阴 m). 现如 为长波通道与短波通道双谱图像融合，观察 任意景深 r(m ) 远处，双通道左右两视场 对应的 景物横宽b (m) 与r 有关: ( 3 .2 . 1 ) 其中， b 为长波通 道探测平面有效宽度， 两通道在r 远处的 线视场错开d 距 离( 两 者重叠 宽度为姆 劝 ) . 物方两通道线视场，永远错开1 距离，但在像方，错开的相对距离都因r而异， 这里相 对距离是指相对探测单元间距而言。 下式给出当 长波探测平面处错开距离 恰好 为一个探测单元间距时的景物距离: 凡= m d 二 = b ( 3 . 2 . 2 ) 才-占 当尸) 几时， 按照灰度共生矩阵二 维直方图分析 确认的长波通道图 像与短波通 道图像 所具 有的 邻近像素间的灰度相关性， 不需 要作专门 配准处理， 当尸 为 无穷 远时 两个通道的图 像完全重合;当r 几 时， 需进行 配准。 硕士论文 徽光双谱成像中的图像自 动配准研究 差异外， 所成的微光与紫外双谱图像存在一定的像差， 使得系统在观测一定距离远范 围内的目 标时，双谱图像很难做到图像配准，导致融合效果很差。 微光、 紫外两路镜头的像距相差较多， 首先运用倍率调整技术， 该系统观测不同 景深目 标时， 左右两路成像大小可人工控制调整的问题， 为下一步的数字移位配准提 供根本保障。 对放大倍率大的图像按照适当大小的模板进行处理， 在行、 列两个方向 同时均匀抽取像素， 实现图像的倍率缩小。 为了图像像素配准而进行缩放， 损失一定 的像素，是不影响人眼的目 标识别的，是可以接受的。 其配准技术示意如下: 萦外图像 图3. 5. 1图像倍率调整示意图 3 . 5 . 2数字移位配准技术 经过上一步骤的倍率调整后， 路输入图像的采集窗口固定， ; ， 左右两通道光轴平行配置，两个像增强器所成的像， 大小差别不大， 不影响进行融合处理。 因此， 采用对一 而另一路输入图像的采集窗口可在x 、 y方向平行移动 本项目 所建立的实验系统 的像素配准方案 实验系统中，采用单片机设计了 双通 道实时数字移位无损耗图 像配准键盘接口， 在彩色夜视仿真器中实现数字移位与缩放，从而实现双通道数字图像的配准。 硕士论文徽光双谱成像中的图像自 动配准研究 4基于像素灰度空间相关性的配准 4 . 1纹理分析概论 纹理是表达物体表面或结构的属性，它使用很广泛，且在直觉上可能是明显的， 但是由于它的变化范围很宽泛， 因而并没有精确的定义， 我们可以把纹理定义为由互 相关联的元素组成的 某种东西洲。 霍金认为纹理的 标志有三要素: 一是某种局部的序 列性，在该序列更大的区域内不断重复;二是序列是由基本部分非随机排列组成的; 三是各部分大致都是均匀的统一体，纹理区域内任何地方都有大致相同的结构尺寸。 一 般认为 纹理就是指在图像中反复出 现的局部模式和它们的 排列规则z7) 。 纹理特征就是图 像局部性质( 灰度分布函 数) 的统计国。 从人们的感知经验可知， 粗糙性和方向性是人们区分纹理所用的两个最主要的特征。 构成纹理特征的两个要素 如下: (1 )纹理基元: 图像中最基本的单元是像素， 由像素组成的具有一定形状和大小 的集合， 如圆斑、 块斑、 花布的花纹等， 这些有一定形状和大小多种图像基元的组合 叫做纹理基元。 (2 )纹理是由纹理基元排列组合而成的. 基元排列的疏密、 周期性、 方向性等的 不同，能使图像的外观产生极大的改变。 4 . 2常 用的 纹理分析方法介绍 纹理分析的方法很多，主要有统计分析法，结构分析法，模型分析法和空间 / 频 率域联合分析法四类方法。 统计分析法是指在不知道纹理基元或尚未检测出 基元的情况下对小区域纹理特 征的统计分布进行纹理分析， 主要描述纹理基元或局部模式随机和空间统计特征， 以 表示区域的一致性及区域间的相异性。 统计分析法适用于纹理比较细且纹理基元排列 不规则的图 像纹理 ( 木纹、沙地和草坪等自 然图 像纹理) 。目 前采用较多的统计分析 法有灰度共生矩阵法、 灰度差分法、 灰度游程长度法、自 相关函数、 灰度的空间 共生 概率等。 统计分析法在纹理分析中占 有主导地位， 对纹理的细节性和随机性描述较好， 具有适应性强的特点. 结构分析法主要是指在己 知纹理基元的情况下， 根据图像纹理小区域内的 特征 及 其周期性排列的空间 几何特征和排列规则进行纹理分析。 应用结构分析法首先要确定 基元的 形状和属性， 然后确定控制这些基元位置的空间关系。 属性包括灰度、 连通区 l 6 硕士论文 徽光双谱成像中的图像自 动配准研究 域的形状、 局部一致性等。 空间几何特征包括基元的相邻性、 在一定角度范围内的最 近距离等等。结构分析法适用于纹理基元及其排列比 较规则的图像纹理( 地毯、砖墙 等人工图像纹理) 。目 前采用较多的结构分析法有形态学、图论、拓扑等方法。结构 分析法对纹理的宏观性和结构性描述较好，但适应性远不如统计分析的方法。 模型分析法假定纹理是以某种参数控制的分布模型方式形成的. 通过模型参数来 定义纹理， 通过纹理图像的实现来估计模型参数，以参数作为纹理的特征， 进行纹理 分析。 模型分析法可以 看成是统计分析方法的特例。常用的模型主要有自 相关模型、 自 回归模型、 mar k o v 随机场模型、 分形模型等。 空间/ 频率域联合分析法是在信号分析和人类视觉机理研究中发展起来的介于空 间域和频率域表示之间的一种新的纹理分析方法， 主要是依据傅里叶频谱峰值所占的 能量比例将图像分类. 包括计算峰值处的面积、 峰值处的相位、 峰值与原点距离的平 方、两个峰值间的相角差等手段。常见的空间/ 频率域联合分析法主要包括g a bor 变 换法和小波变换法等。 在后面我们的配准会用到统计分 析法中的灰度共生矩阵法， 下面先来介绍一下相 关概念。 4 . 3统计分析法 4 . 3 . 1灰度共生矩阵 灰度共生矩阵是通过研究灰度的空间相关特性来描述纹理的常用方法，由 h 肚 a 】 i ck阁 等人于上 世纪七十 年代 提出 。 纹理图 像中， 在某个方向 上相隔 一定 距离 的 一对像素灰度出现的统计规律， 应当能具体反应这个图像的纹理特性. 灰度共生矩阵 正是建立在估计图像的二阶联合条件概率密度函数基础上的一种重要的纹理分析方 法。 假设待分析的纹理图像的一个部分是一个mx n的矩形窗口。 某一灰度级结构的 出 现 情 况 可 以 由 相 对 的 频 率几 (i ， 力 的 矩 阵 来 描 述 ， 它 描 述 了 具 有 灰 度 级了 ， j 的 两 个 像素， 在方向沪 上间隔距离为d ，以 多 大的 频率出 现在窗口 中。 作为角度和距离的函 数， 非归一化共生矩阵可以形式化地表示为侧 : 弓 ， (i ， j) 州 厦 1 ( k ， 1 ) ， ( m ， n ) 。 刀 : k 一 m= 0 ， 1 一 n = d !， f ( k ， 1 ) = 1 ， f ( m ， 月 ) = j ! 弓 ， ， ( 1 ， j ) 州 厦 ( k ， 1 ) ， ( m ， n ) “ d ， 硕士论文 微光双谱成像中的图像自动配准研究 (k一 m二 d，l 一 月 = 一 d)或 (k一 m= 一 d，卜n = d) ， f ( k ， 1 ) 二 1 ， f ( m ， n)= j 1 心， ( 1， j ) 月 笼 (k ，1 ) ，( m ， n ) “ d :( 4 3 1 ) 】 k 一 ml= d ， 1 一 n = 0 ， f ( k ， 1 ) = 1 ， f ( m ， n ) = j 君 3， ， ( 1， j ) 州 ( k ，1 ) ，( m ， n ) “ d : ( k 一 m = d， i 一 n = d ) 或( k 一 m= 一， 1 一 n = 一 d ) ， f ( k ， 1 ) = 1 ， f ( m ， n ) = j ! 其中! 指集合的基数，d= ( mx 劝x ( mx n ) . 如 下的一 个例子说明了 对距离 沪 二 1 的共生 矩阵的 计算。 一个具有四 个灰 度级的 4 x 4 图 像 如 图 4. 3. 1，矩 阵 耳 ，:按 照 如 下 方 式 构 造 ， 元 素 弓 .:(0 ， 0) 表 示 具 有 灰 度 级 0 和 0 的 两 个 像 素 在 方 向 0 上 间 隔 距 离 为1 的 出 现 次 数 的 数 值 ; 在 这 种 情 况 下 耳 j (0， 0) = 4.元 素 耳 j (3， 2) 表 示 具 有 灰 度 级3 和2 的 两 个 像 素 在 方 向 0 上 间 隔 距 离 为1 的 出 现 次 数 的 数 值 : 弓 .:(3 ，2)= h对 其 他 方 向 护 和 距 离 值 d 的 矩 阵 弓 ， 的 构 造 是 类 似 的 。 0 2 3 叫 1 侃 二 一; ; : ; 210 0 1 21 ，111矛0.1 2400 伙口详卜日|价尸 工一 凡 图4. 3. 1灰度级图 像 灰度共生 矩阵都 是以 主对角线为对称轴， 两边 对称的。 如果0 方向 上的矩阵 主对 角线上元素全部为0 ， 这说明水平方向上灰 度变化的频度高， 纹理 较细; 如果主 对角 线上的 元素值很大， 表明水平方向上 灰度变化的频率低， 说明 纹理粗糙。 又如， 若1 3 5 硕士论文 橄光双谱成像中的图像自动配准研究 方向的 矩阵主 对角 线上的元 素值很大， 其余元素为0 ，则 说明 该图 像沿1 3 5 方向无 灰 度变化; 若偏 离主对角线方向的 元素值较大， 则说明 纹理较细. 4 . 3 . 2二次统计全 图 像的灰度共生矩阵反映了 图 像灰度关于方向、 相邻间隔、 变化幅度的综合信息， 它是分析图像的局部模式结构及其 排列规则的基础。 作为纹理分析的 特征量， 往往不 是直接应 用计算的灰度共生矩阵， 而是在灰度共生 矩阵的 基础上再提取纹理特征量， 称为二 次 统计量。 h a 口 l i ck冈 等人由 灰 度 共 生 矩 阵 提 取了 以 下14个 特征 : (l )角二阶矩 ( 彻创， ars 以 幻 n d m o m e m ，或称能量): a sm= 艺 2， ， ( 1， 了 )(4 3 2 ) 淤j 它是图 像灰度分布均匀性的 度量。 当灰度 共生矩阵中元素分布 较集中 于主 对角 线 附近时， 说明局部区 域内图像灰 度分布较均匀， 图 像呈现较粗的纹理， 角 二阶矩的取 值相应较大。 ( 2) 对比度 ( c o n tr 冠 就 ， 或称惯 性矩) : c 。 万 = 艺 八艺 艺p(i，j) 1，1 1 一 j 卜 ，(4. 3.3) .产j 它表征了图 像中的局 部灰度变化总量。 在图 像中， 若 局部 像素对的灰度差别越大， 则图 像的 对比 度越大， 图像的 视觉效果 越清晰。 因此， 图像的 对比 度可理解为图 像的 清晰度，即纹理的清晰程度。 ( 3 )相关 ( c o rrel atio n ) : 乏艺(ij)砷， j) 一 八 巧 c 6 吸= 一 二 一 一 一 - 一 一(4.3 .4) 气丐 其中 ， 八， 巧是 均 值， 几， ay是 标 准 差 从= 艺1艺p(i，j) 巧一 艺 j 艺p( i， j) (43 .5 ) (4. 3 一6 ) 氏二 艺( 一 凡 ) ， 艺 尸 ( ，刀 丐二 z u 一 巧 ) ， 艺p( i， j) jt (4:3乃 (4.3.8) 相关量是用来描述灰度共生 矩阵中行或列元 素之间相似程度的， 它反映某种灰度 值 沿某些方向 的延伸长度， 若延伸 的越长， 则相关值越大， 它是灰度线 形关系的 度量。 ( 4 )嫡 ( e n tr o p y ) : 1 ， 硕士论文徽光双谱成像中的图像自 动配准研究 ent = 一 艺艺p(i， 力 losp(i， j) (4 .3. 9 ) j 嫡值是图像所具有的信息量的 度量， 是测量灰度级分布随机性的 特征参数， 表征 了图 像中 纹理的复杂程度。图像的 纹理越复杂，嫡值越大:反 之，图像的灰度均匀， 则嫡值就小。 ( 5 )方差 ( 从 州 即c e ) : 翔 r = 艺艺(i 一 川 2 p( i， j)(4. 3.1 0) 才j 其中，p 是 均值。 方差反应了 灰度共生矩阵的离散程度，图 像灰度变化较大时方差的数值也 较大。 (6 )逆差矩 ( 肠 v e r s e di丘 er e n cem o m e n t ) : 刃 。 材 = 艺 艺 p ( 1 ， j ) 1 + ( 1 一 j ) 2 (4. 31 1 ) 逆差矩也称局部平稳性， 它是图 像局部灰度均匀性的