（模式识别与智能系统专业论文）基于机器视觉的着火点定位方法研究.pdf

i；!；1 ii：；：1 _ 华北电力人学硕士学位论文 摘要 近年来，随着技术进步和嵌入式图像处理系统的发展，图像型火灾探测 有望成为在大型工厂、仓库、森林等大空间和野外开放空间进行火灾探测的 重要手段，研究基于机器视觉的着火点自动定位问题，可以为火灾的早期发 现、自动灭火提供支持，具有重要的应用价值。 论文基于机器视觉定位技术，系统地讨论了图像预处理技术、摄像机模 型、摄像机标定、极线校正、立体匹配、三维重建等关键问题，并在此基础 上提出了着火点的单目摄像头二维定位、双目立体视觉定位方法，并在v i s u a l c + + 开发平台下，以i n t e l 公司开发的开源计算机视觉库o p e n c v 作为定位系 统的开发工具，构建了着火点定位系统。实验证明该系统稳定性高、适应性 强、实时性好、定位准确，可应用于自动灭火系统。 关键词：火灾监控，视觉定位，立体匹配，极线校正，o p e n c v a b s t r a c t i nr e c e n ty e a r s ，a st e c h n o l o g ya d v a n c e sa n dt h ed e v e l o p m e n to fe m b e d d e di m a g e p r o c e s s i n gs y s t e m ，i m a g e - b a s e df i r ed e t e c t i o ni se x p e c t e dt ob ea ni m p o r t a n tm e a n so f f i r ed e t e c t i o ni nl a r g ef a c t o r i e s ，w a r e h o u s e s ，f o r e s t sa n do t h e rl a r g eo p e na n do u t d o o r s p a c e 1 1 1 er e s e a r c hb a s e do nb u r n i n gp o i n ta u t o - l o c a l i z a t i o no f m a c h i n ev i s i o n ，a n d c a ng i v eas u p p o r tf o rt h ee a r l yd e t e c t i o no ff i r eo ra u t o m a t i cf i r e f i g h t i n g ，a n dh a sa n i m p o r t a n ta p p l i c a t i o nv a l u e t h ep a p e ri sb a s e do nt h el o c a t i n gt e c h n o l o g yo fm a c h i n ev i s i o n ，s y s t e m a t i c a l l y d i s c u s s e dt h ek e yi s s u e ss u c ha st h ei m a g ep r e p r o c e s s i n gt e c h n i q u e s ，c a m e r am o d e l ， c a m e r a c a l i b r a t i o n ，e p i p o l a rc a l i b r a t i o n ，s t e r e om a t c h i n g ，t h r e e d i m e n s i o n a l r e c o n s t r u c t i o n ，a n do nt h i sb a s i s ，p r o p o s e dt h em e t h o do fb u r n i n gp o i n tl o c a l i z a t i o n s u c ha st w o d i m e n s i o n a ll o c a l i z a t i o nb a s e do nm o n o c u l a rc a m e r aa n db i n o c u l a r s t e r e ov i s i o nl o c a l i z a t i o n a n dw eu s ei n t e l so p e ns o u r c ec o m p u t e rv i s i o nl i b r a r y o p e n c va sal o c a t i n gs y s t e md e v e l o p m e n tt o o l st oa c h i e v eb u r n i n gp o i n tl o c a t i n g s y s t e mi nv i s u a lc + + d e v e l o p m e n tp l a t f o r m t h r o u g he x p e r i m e n t si tp r o v e dt h a tt h e s y s t e m c a l lb e a p p l i e d t of i r ea u t o m a t i o ns y s t e mw i t h h i g hs t a b i l i t y ，s t r o n g a d a p t a b i l i t ya n dg o o dl o c a t i n ga c c u r a c y f e n gl i n g y u n ( p a t t e r nr e c o g n i t i o na n di n t e l l i g e n ts y s t e m ) d i r e c t e db yp r o f y a n gg u o t i a n k e yw o r d s ：f i r em o n i t o r i n g ，v i s i o nl o c a l i z a t i o n ，s t e r e om a t c h i n g ，e p i p o l a r r e c t i f i c a t i o n ，o p e n c v 一l j ， ，- 华北电力人学硕士学位论文 目录 摘要 a bs t r a c t 目录i 第一章绪论1 1 1 引言1 1 2 研究意义及国内外研究现状1 1 3本课题的主要内容3 第二章图像预处理及火焰识别4 2 1 灰度变化4 2 2噪声分析和图像滤波5 2 3 图像分割6 2 3 1基于区域的分割方法7 2 3 2基于边界的分割方法8 2 4 基于图像的火灾识别9 2 4 1提取灾情特征9 2 4 2 火灾决策1 0 2 5 本章小结1 1 第三章摄像机标定及单目摄像头二维定位1 2 3 1 坐标系1 2 3 2 线性( 针孔) 摄像机模型1 4 3 3 相机标定1 6 3 3 1平面模板与其图像的单应性及单应性矩阵求解方法1 6 3 3 2标定参数的求解2 0 3 4目标二维定位2 3 3 5 本章小结2 3 第四章双目立体视觉2 5 4 1 概述2 4 4 2 双目立体视觉原理2 4 4 2 1双目立体视觉三维测量原理2 5 4 2 2双目立体视觉数学模型2 6 4 3双目立体视觉中的极线几何、极线校正2 7 华北电力火学硕士学位论文 4 3 1 极线几何关系2 7 4 3 2 极线约束方程2 9 4 3 3 极线校正3 1 4 4 本章小结3 5 第五章立体匹配和三维重建3 6 5 1 视差理论3 6 5 1 1视差矢量和视差图3 6 5 1 2视差空间图像( d s i ) 3 8 5 2立体匹配的内容3 9 5 2 1选择匹配基元3 9 5 2 2 匹配准则4 0 5 2 3 算法结构4 1 5 3 立体匹配方法4 1 5 3 1局部匹配算法4 2 5 3 2区域匹配算法原理4 2 5 3 3已有窗口选择策略4 4 5 3 4实验结果分析4 7 5 4 本章小结5 0 第六章视党系统的软件实现5 1 6 1 平台设计5 1 6 2 基于o p e n c v 的火灾火焰定位系统5 1 6 2 1 o p e n c v 简介5 1 6 2 2使用o p e n c v 的原因5 2 6 2 3o p e n c v 的组成5 3 6 2 4摄像机标定实验5 5 6 2 5目标特征点的二维定位实验5 6 6 2 6双目立体定位及三维重建实验5 7 第七章结论与展望5 7 参考文献6 0 致谢6 5 在学期间发表的学术论文和参加科研情况6 6 i i 华北电力大学硕士学位论文 第一章绪论弟一早珀f 匕 火灾是最常见的灾害之一，是一种在时空上失去控制的燃烧所引发的灾 害。它直接危及人类的生命财产，造成环境污染，甚至生态平衡【l 】。尤其是 一些特殊场所，如物流仓库、运动场、电力调度中心等，一旦发生火灾，不 仅造成巨大经济损失，更严重的是可能波及整个系统的运行。因此，对其进 行实时有效监控，把火灾造成的损失减小到最小程度是火灾防治技术领域的 重点研究内容。 本章主要阐述了基于机器视觉的着火点定位的研究意义及本文的研究 背景，概括介绍了该问题的技术难点，综述了国内外研究状态，最后，简要 介绍了本文的主要研究工作。 1 1 引言 火灾给人类生命和财产带来的损失是巨大的，因此世界各国都非常重视 火灾的监测和自动消防技术的研究。迄今为止，国内外许多学者对火灾的早 期检测进行了大量的研究。也取得了许多的成果，比如火灾探测传感器的技 术已经相当成熟，应用也非常普遍。在自动消防方面，大面积喷淋仍是目前 的主要的室内自动灭火技术，然而因为环境中很小范围的火灾造成整个监测 环境的大面积喷淋，常常造成不可估量的损失。因此火灾的定点消防己成为 一个主要研究方向。目前火灾定位方面的研究主要集中在红外线、紫外线火 灾探测器的扫描搜索定位以及基于g p s 的火灾定位技术。而利用计算机视觉 方法进行火灾火焰的自动定位方面的研究则是屈指可数。 利用计算机视觉的理论来进行火灾的自动定位具有重要的应用价值，它 可以在发生火灾的时候准确找到火灾火焰的位置，以此来发挥火灾监控系统 的最大作用，从而来保护人民群众的生命和财产安全。利用计算机视觉来对 火焰进行定位是自动消防的前提条件，这样就可以把火灾探测和自动控制结 合在一起，利用雨淋喷水系统对火焰进行定点灭火，减少了火灾管理的成本 并且提高了效率，在定点灭火和保护人民生命财产安全方面具有重要的作 用。 1 2 研究意义及国内外研究现状 机器视觉是人类视觉的延伸，通过视觉系统得到的图像，可以立即准确 华北电力大学硕士学位论文 的发现火灾。图像监测快速性的基础是视觉所接受的信息以光为传播媒介； 而图像信息的丰富性和直观性，更为早期火灾的辨识和判断奠定的基础，其它 任何火灾探测技术，均不能提供如此丰富和直观的信息，保证图像监测技术具 有以下优势【2 1 ： ( 1 ) 可以在大空间、大面积的环境中使用； ( 2 ) 可以在多粉尘、高湿度的室内场所中使用； ( 3 ) 可以提供直观的、丰富的火灾信息； ( 4 ) 可以对火灾现象中的图像信息做出快速的反应； ( 5 ) 可以有效提高报警的准确度，减少漏报和误报。 ( 6 ) 可以准确对火灾的着火点进行定位，为自动消防技术提供可靠的 支持。 远程视频监控系统采用的是非接触式的探测技术，防腐蚀性能和密封性 能良好，抗干扰能力强，同时结合数字通信和数字图像处理技术，分析火灾 图像特征，可以很好的解决大空间恶劣环境下的火灾探测问题。 火灾图像探测系统，是一种以计算机为核心，结合光电技术和计算机图 像处理技术研制而成的火灾自动监测报警系统，有观测普通影像和红外监测 实现火灾自动报警的双重功能。火灾图像探测方法，是一种基于数字图像处 理和分析的新型火灾探测方法。它利用摄像头对现场进行监视，同时对获得 的图像进行图像处理和分析，通过早期火灾烟雾、火焰的形体变化特征来探 测火灾。 目前国内外对这种新的火灾探测技术开展了深入研究。文献 3 和文献 4 】 提出了一种“视频火灾探测”方法，利用多个温敏探头将火灾现场的温度幅 度和分布信息转化为灰度信息，用黑白摄像头采集灰度信息进行处理，实现 火灾的定位并可计算出火灾的热释放速率。文献【5 】提出基于火灾发生概率与 模糊聚类分析相结合的烟气模式分类的思想，利用烟气自身多参数特征的特 点，形成了多参数特征的火灾图像探测方法。文献 6 】对早期火灾烟雾的颜色 特性和形体变化特性作了系统的分析，提出一种彩色图像的烟雾的检测算法， 并用常规的图像处理方法实现了完整的火灾图像探测系统。 综合国内外火灾监控报警的研究情况来看，目前为止，大都是进行基于 视觉图像的火灾发生与否的识别和判断，对火灾发生后，利用计算机视觉方 法进行火灾火焰的自动定位方面的研究则是屈指可数。利用计算机视觉的理 论来进行火灾的自动定位具有重要的应用价值，它可以在发生火灾的时候准 确找到火灾火焰的位置，以此来发挥火灾监控系统的最大作用，从而来保护 人民群众的生命和财产安全。利用计算机视觉来对火焰进行定位是自动消防 2 华北电力人学硕士学位论文 的前提条件，这样就可以把火灾检测和自动控制结合在一起，利用雨淋喷水 系统对火焰进行定点灭火，减少了火灾管理的成本并且提高了效率，在定点 灭火和保护人民生命财产安全方面具有重要的作用。 1 3 本课题的主要内容 本课题围绕着火灾监控和消防自动化这一应用背景，在火灾火焰的单目 摄像头二维定位和双目摄像头立体视觉定位等关键技术开展研究，论文的主 要工作如下： ( 1 ) 分析研究摄像机针孔模型、透视变换、摄像机标定方法、基础矩 阵求解算法等问题，并在计算机软件环境下实现相机的标定。 ( 2 ) 针对火灾火焰的单目摄像头二维定位问题，研究目标识别、二维 定位等问题，解决在照、摄像机内部参数未知的条件下，由单幅二维投影图 像进行目标定位的方法，提出系统设计方案。 ( 3 ) 针对双目立体视觉定位问题，分析研究对极几何的基本原理，确 定立体视觉校正、立体视觉匹配技术的几个重要步骤，初步确定为匹配特征 的选取、匹配准则的确定、匹配算法的实现、深度图的生成、三维重建等问 题。 ， ( 4 ) 利用i n t e l 公司开发的开源计算机视觉库o p e n c v ( o p e ns o u r c e c o m p m e rv i s i o nl i b r a r y ) ，实现火灾火焰的单目摄像头二维定位和双目摄像 头立体视觉定位，开发相应的软件平台。 3 华北电力大学硕士学位论文 第二章图像预处理及火焰识别 计算机视觉的图像预处理1 7 是实行检测前的预处理过程，它包括噪声的 滤除、边缘的增强、对比度的改善和边缘的有效提取等。其目的在于：第一， 改善图像的视觉效果，提高图像的清晰度；第二，将图像转换成一种更适合 于人或机器分析处理的形式，它不以图像保真为原则，而是通过处理有选择 地突出人或计算机处理时的某些感兴趣的信息，抑制一些无用的信息，以提 高图像的使用价值。预处理为后续处理提供置信度高的输入资料。能否正确 地提取被检测物体的特征参数，尽可能少地受到图像中噪声的影响在很大程 度上取决于对原始图像的预处理措施是否有效、是否符合实际情况。在图像 采集过程中，由于多种因素的影响，会导致图像质量有所退化。例如：一般 图像处理都是假定在均匀照度的情况下所获得的图像，而实际上光的照射往 往是不均匀的；另外，由于外晁噪声的干扰，也需要通过处理剔除噪声。 2 1 灰度变化 摄像设备获取的图像是彩色图像，需要把彩色图像转化为灰度图为图像 处理做准备，如匹配算法通常是基于灰度相关的。灰度图是指含亮度信息， 而不含色彩信息的图像。灰度化是指把含有亮度和色彩的彩色图像变换成灰 度的过程，要表示灰度就需要把灰度值进行量化，一般划分为0 到2 5 5 共2 5 6 个级别，其中0 为全黑，2 5 5 为全白。因此在灰度处理中，先读取图像中的 r 、g 、b 然后再利用公式：y = o 2 2 9x r + o 5 8 7xg + 0 11 4 曰，得到灰度 值。灰度变换是把一给定的灰度级映射到另一个灰度级上，假设在原始图像 的( z ，j ，) 的狄度值为厂( z ，y ) ，而改变后的图像在该点的灰度为g ( 而y ) ， 则此两者之间的关系可表示为：g ( 崩y ) = z ( 厂( x ，) ，) ) 。 对丁的不同选择，对应了不同的灰度变换，变换映射r 可分为三种：线 性狄度变换、分段线性变换和非线性灰度变换。本文采用线性变换，假如原 图像厂( 工，y ) 的灰度范围为【0 ，捌，如果对原图中灰度范围在【口，纠的像素 进行线性变换，而希望变换后的图像g ( x ，) ，) 的灰度范围在【c ，棚，则可采 用以下的变换来实现( 如图2 1 所示) 。 g ( x ，y ) = c 0 f ( x ，j ，) a 字二! 【( x ，j ，) 一口】+ c口s 厂( 五j ，) 4 ，则将s v d 分解得到的解 作为初始值，再用l e v e n b e r g m a r q u a r d t 法来优化。 s v d 是一种j 下交矩阵分解法，常用来作数据压缩、平差或气象统计分析 等。矩阵的s v d 分解是，给定m n 的矩阵m ，可将m 分解成三个矩阵的 乘积m - - - u s 矿，其中u 和v 分别为m x m 和m n 的正交矩阵，泸 “，u 2 u m ，y = v t1 ) 2 v m ，u i ( i = 1 ，膨) 、v i ( i = 1 ，) 分别称为m 的左奇异向量和右奇异向量，s 为非标准对焦矩阵，s 的非零对角元万f ( i = l ，r ) 是肘特征值的正平方根，叫做矩阵m 的奇异值，r 为非零对 角元的个数。u i ( i = l ，加、v i ( i = l ，聊与万f ( 滓l ，r ) 具有很多有用 的性质【2 5 1 。 针对本论文的具体问题，利用s v d 分解求实系数方程组l 萨- 0 的解的方 法是：若n = 4 ，l 是8 9 矩阵，则直接对作s v d 分解，因为此时奇异值 只有8 个，而右奇异向量有9 个，所以方程有精确解，对应奇异值等于零( 如 果此时零也认为是三的奇异值) 的右奇异向量为其解( m a t l a b 中因为奇异值己 经按大小排好顺序即o1 o2 t oj 0 ，则v 的最右一列第9 个列向量即 为解) ：若n 4 ，为了减少运算时间并避免运算中产生大矩阵u ( 是2 n x 2 n 矩 阵，当n 较大时，该矩阵将相当庞大，消耗计算机内存) ，则对9 9 方阵三t 作s v d 分解： 1 8 华北电力大学硕士学位论文 【u ，s ，y 】= s 助( ，) 则此时s 是标准对角矩阵： s = q 0 0 o - 2 ： 00 o o 。： 。o - 9 且凭oi ( i = 1 ，9 ) 是矩阵l 的特征值。满足方程的解即是最小特征值 o9 对应的特征向量v 9 ，因此也是取出矩阵v 的最右一列即为方程的解。 一般都将单应性矩阵的最后一个元素设为1 ，因此，把解得的列向量的 各个元素除以该列的最后一个元素，再把该列调整为3 x 3 矩阵即为所求单 应性矩阵 不过，如果关注一下s 的构成将会发现，ol o9 的结果非常巨大，又由 s v d 分解可知，如果方阵a 的条件数c o n d a = i l 彳0i ia di l 取2 范数来计算 的话，0i 09 实际上就是方阵上j 三的条件数。而条件数的大小又是线性问题 稳定性分析中最关键一个因素，也即l 中数据小的扰动就可能造成结果很大 的变动。换一个角度说，这里的方程是非常病态的方程，其解的误差可能很 大。由三矩阵的构成可知，其素有的是像素值，有的是世界坐标系坐标，有 的是这二者的乘积，即构成矩阵各元素数量值相差很大，这正是使得l 的条 件数很大的原因。举例说，一个典型的图像点坐标可能是( 1 0 0 ，1 0 0 ，1 ) 左右， 即元素大小的数量级为1 0 2 1 之间，则三矩阵各元素大小的数量级将在1 0 4 l 之间，而s 矩阵对角元素大小的数量级就在1 0 8 1 之间。解决这个问题的 方法是在对三矩阵进行s v d 分解前对工进行改造，文献【2 6 j 对降低矩阵条件 数做了两点比较直观而有用的讨论，其方法为对矩阵进行改造，这里将其 方法简单归纳如下： 坐标原点平移：将坐标原点从原来位置平移到质心点，并以相对量来表 示坐标，这样坐标将变得围绕质心点成均衡分布。质心即质量系统内一点， 其重量坐标是该系统内同维数上所有点坐标的平均值，重量由该系统的密度 值决定。对求平面单应性问题来说，显然这与密度( 对灰度图而言可简单地认 为即图像灰度) 无关( 可以认为密度值都相等或都等于1 ) ，而只跟空间坐标与 图像坐标有关，因此质心就是同维数( 对空间坐标来说就是x 轴与y 轴，对 图像坐标来说就是“轴与v 轴) 所有坐标点的平均值。如在密度相同情况下一 行数据若是f 10 3 ，l0 2 ，1 0 0 ，9 9 ，9 6 ，若将坐标原点移到质心，并以相对 量表示坐标将是 3 ，2 ，o ，1 ，4 ) ，坐标大小的数量级将明显降低。 坐标归一化处理：分等方性与非等方性处理两种，归一化前都需要将坐 1 9 华北电力大学硕士学位论文 标原点平移到距离中心点。对二维系统来说，等方性处理是两坐标轴方向上 数据的缩放比例相等，经过变换后各坐标对原点的距离平均值为打；非等方 性处理是两坐标轴上数据缩放比例不相等( 因此是仿射变换) ，但经处理后使 各点到原点距离的平均值等于1 。本文实验程序在归一化处理时采用的是非 等方性处理。 本论文实验程序对图像坐标进行了处理以降低矩阵三的条件数。设所处 理的各图像点u 坐标为u ，1 ，坐标为，处理过程总结如下： ( 1 ) 分别求u 、v 两轴上各坐标的平均值：m = m e a n 似、m ，= m e a n ( v 1 ) ， 再 求各点相对于平均值点的相对量：u f - u i m 、厶v i = y f - - m ，； ( 2 ) 求u 、v 两轴上的缩放因子：s u = l m e a n ( a b s ( z 全u i ) ) 、s v = 1 m e a n 向缸似 v 0 ) ( 3 ) 总的变换关系为 “_ 垒丝 聊p 册( a b s ( 觚) ) ( 3 一l8 ) v ： 坐 m e a n ( a b s ( a v i ) ) i ： = 耄一一， i c 3 一- 9 ， 【- 0 0 1 j 3 3 2 标定参数的求解 2 0 华北电力大学硕+ 学位论文 【7 1 1 玛】= 旯五【a 如t 】 ( 3 2 3 ) 有上一节介绍的方法求解，允是任意比例因子，r l 、r 2 是旋转矩阵r 的两个 r，12=：3,-ik-ih红l 因为旋转矩阵r 的列向量是单位j 下交的，即有r l r r 2 = 0 和l ir li i = i ir 2i i ， h , t k r k 一1 = ” ( 3 2 4 ) 啊7 k 。k 。1 啊= j 1 2 7 k 。k 一 k=无0警vo=z00 0 1 0 曼0 瓷1 = i & i = izi iiii b = k 可k = lb i 2 垦2 垦3i l l j s ： 。 ss 21 j ， ： ，? j 一i 一 选兰二竺q 五一兰! 逸兰二竺q 五! 一旦 j ， j ， j s 一工 j ， s ( v o s u o 工) v o j ， j 唪笋每+ ， j jj j ( 3 2 5 ) b 描述的实是绝对二次曲线在图像平面上的投影【2 7 ，2 8 1 ，并定义向量： b = 【b i tb t 2b 2 2b 1 3 b e s b 3 3 】1 和 = 【h n h t j h n h 2 j + h 2 i h l jh 2 i h 2 jh 3 i h q + h n h 3 jh s i h 2 j + h 2 i h 3 j h 3 i h 3 j 。 则式( 3 - 2 4 ) 可以改写为： 2 1 华北电力大学硕十学位论文 瞵v 1 2 t 飞r 卜。 仔2 6 ， 若对平面模板进行了n 次观察，得到1 1 幅图像，则可以得到n 个类似 ( 3 - 2 6 ) 式的方程组，将这些方程组堆积起来就有 场= 口( 3 2 7 ) 这里v 是个2 n 6 的矩阵。如果n 3 ，一般地，b 可以在相差一个尺度 因子的意义下唯一确定或解超定方程组获得一个最优解。如果n = 2 ，则需要 一个附加的约束，最好的选择是令内参数：s = 口五= o ，即表示c c d 像元无倾 斜，代入式( 3 - 2 5 ) 和( 3 - 2 6 ) 就可得此时的附加约束【o ，1 ，0 ，0 ，0 ，o b = o 。 如果只有一幅标定模板的图像，则只好再假设摄像机主点( 咖，v o ) 位于图像的 中心，再代入式( 3 2 5 ) 和( 3 - 2 6 ) 就能再得一个约束。将约束方程也叠加 到方程( 3 - 2 7 ) 的解。 一旦解得b 矩阵，那么在相差一个尺度因子的意义下( 即曰= _ r 7 膏。) ， 由绝对二次曲线的性质，很容易提取出摄像机的内参数： v o = ( 最2 蜀3 一b l l 垦3 ) ( b l l 垦2 一e 2 2 ) 五= 岛3 一 e 3 2 + v o ( s , 2 蜀3 一局i 垦3 ) 】盈l 丘2 三：垒!， ( 3 - 2 8 ) z = 名骂。( e 。垦2 一b i 2 ) s = 一b n ：f v | 九 u a = s v o | l u b b l j | 九 同时，由( 3 - 1 3 ) 式可解得每幅图像的外参数： ，i = 2 k 。1 啊 ，i2 五 ( 3 2 9 ) 吩2 ，i 吃 r = 五k _ 1 岛 这里的尺度因子旯= i 0 k 一圳= l 6 k - 1 j 1 2 | i 当然，由于由于图像必然有噪 声，因此这样解得的足= ，r zn 】并不能完全满足旋转矩阵的性质，要从一 个给定的矩阵求解一个最佳旋转矩阵可参考文献2 9 1 。 至此，我们得到了摄像机的内参数矩阵和每幅标定图像对应的外参数矩 阵。当然，这是个粗糙解，可通过最大似然估计对所有参数进行非线性优化。 对以上解的最大似然估计可通过对以下函数求极小值来获得； n mh 一疡( k kk 2 ，r ，霉，m 刊l ( 3 3 0 ) 其中m 表示第f 幅图像获取的控制点个数，k l ，k 2 是摄像机径向畸变系 华北电力人学硕士学位论文 数的前两项。最后，对( 3 3 0 ) 式求极小值用的是l e v e n b e r g m a r q u a r d t 法。 由于两步标定法要求一个比较好的初值，若初值选择不当，则算法难以 收敛或者能收敛到局部最小，从而大大降低标定精度。 3 4 目标二维定位 本章节在摄像机标定的基础之上，提出一种在照、摄像机内部参数未知。 的条件下，由单幅二维投影图像进行火灾火焰目标定位的方法和系统设计方 案。即对目标平面上位置已知的参考特征点与他们在二维图像上的投影仅进 行一次匹配训练，便可由单幅二维图像确定目标方位。 假设在平面兀上对火焰目标进行定位，不失一般性不妨认为其在世界坐 标系x y 平面上，f l o z = 0 的平面上，则目标点的世界坐标可表示为( 以，i , ，护 ，) ，由3 3 1 节中式( 3 1 2 ) 及( 3 1 3 ) 得： r u lr x j 扁：s lvl ：日iyi _ 胁i ( 3 - 3 1 ) l ljl1j 知道当求出单应性矩阵日后，在摄像机所得图像求中出目标点的图像坐 标而，便可以通过解线性方程组得到目标点的世界坐标膨，从而实现二维定 位。定位流程图如下： 3 5 本章小结 图3 - 2 定位流程图 在本章罩面，首先介绍了摄像机的针孔成像模型，并在此基础上讨论了 立体成像模型，然后详细研究了摄像机标定的技术，提出一种由单幅二维投 影图像进行火灾火焰目标定位的方法和系统设计方案。本章的摄像机标定技 术为后续章节的极线校正、立体匹配、立体视觉定位等提供了基础。 2 3 华北电力人学硕士学位论文 4 1 概述 第四章双目立体视觉 当着火点可能存在于三维空间中任意一点时，基于单目摄像头的二维定位已不 能满足应用要求。针对此种情况下的火灾报警应用需求，双目立体视觉着火点定位 便应运而生。 双目视觉也称立体视觉，是计算机被动测距方法中最为重要的距离感知方法之 一。它模拟人类处理视觉景物的方式，基于视差原理，由多幅图像获取物体三维几 何信息。在机器视觉系统中，双目立体视觉一般由双目摄像机从不同角度同时获取 周围景物的图像，并基于视差原理即可恢复出物体三维几何信息，重建周围景物的 三维形状与位置。 立体视觉的三维重建过程一般分成如下的过程：使用两个或者多个摄像机对于 同一目标拍摄两幅或者多幅图像，经过极线校正后，组成立体图像对，根据三角测 量的原理，利用对应点的视差( d i s p a r i t y ) 来计算视野范围内的立体信息。 图4 1 双目视觉恢复三维坐标原理 4 2 双目立体视觉原理 双目立体视觉是基于视差，由三角法原理进行三维信息的获取，即由两个摄像 机的图像平面( 或单摄像机在不同位置的图像平面) 和被测物体之间构成一个三角 形。已知两摄像机之问的位置关系，便可以获取两摄像机公共视场内物体的三维尺 寸及空间物体特征点的三维坐标。双目立体视觉系统一般由两个摄像机或者由一个 运动的摄像机构成。 2 4 华北电力人学硕士学位论文 4 2 1 双目立体视觉三维测量原理 双目立体视觉三维测量是基于视差原理，图4 1 所示为简单的平视双目立体成 像原理图，两摄像机的投影中心连线的距离，即基线距为b 。两摄像机在同一时刻 观看空间物体的同一特征点p ，分别在“左眼”和“右眼 上获取了点p 的图像， 它们的图像坐标分别为p t e 矿= ( x t 妒，y f ，p ，动f - 僻动厶y r i g h t ) 。假定两摄像机的图像在 同一个平面上，则特征点p 的图像坐标的y 坐标相同，即y ，。厅= y ，鳓f _ 】，则由三角 几何关系得到 y x 旷j 鼍 ，= 厂半 d y ：f 整 z c 图4 - 2 双日立体成像原理 则视差为：d i s p a r i t y = x l 。f t x g h t 。由此可计算出特征点p 在摄像机坐标系下的 三维坐标为 舻竺堑 d i s p a r i t y 1 ，： 皇：! ( 4 2 ) 1 ，= 一 咔一二， c d i s p a r i t y 7 b f d i s p a r i t y 因此，左摄像机像面上的任意一点只要能在右摄像机像面上找到对应的匹配点 ( 二者是空间同一点在左、右摄像机像面上的点) ，就可以确定出该点的三维坐标。 这种方法是点对点的运算，像面上所有点只要存在相应的匹配点，就可以参与上述 2 5 华北电力大学硕士学位论文 运算，从而获取其相应的三维坐标。 4 2 2 双目立体视觉数学模型 在分析了最简单的平视双目立体视觉的三维测量原理基础上，现在考虑一般情 况，对两个摄像机的摆放位置不做特别要求。如图图4 2 所示，设左摄像机0 x y z 位于世界坐标系的原点处且无旋转，图像坐标系为o i x l y i ，有效焦距为力；右摄像 机坐标系为o r - x r y r z ，图像坐标系为0 r x r y ，有效焦距为石。 料目 制= 心 ( 4 - 3 ) ( 4 - 4 ) 而0 一x y z 坐标系与o r - x ，y r z ，坐标系之间的相互位置关系可通过空间转换矩阵m l ， 表示为 肾， f 吒 吒吩 o 1i 2 i 屹r s r 60l 【勺 吒为乞j ，a 0 = 【r iz 】( 4 5 ) 其中，足= 差薹薹 ，r = 乏 分别为。x y z 坐标系与。r x 舭，坐标系之间的 2 6 华北电力人学硕+ 学位论文 墨 ，1 ， pr l l ：l ，_ 【1 ，7 于是，空间点三维坐标可以表示为 ，气 ， 玛 z x i 彳 z x z z l ( 4 - 6 ) x = 援t | l l y = z x 彳 z = 瓦丽了雨f 丽l ( f r 乒t x - 丽x r t z 两) i 再丽 4 7 ) ( 巧五+ k + 石吩) 一，( 吒x i + 吃l j ：+ z 吩) z ( z f ，一乞) ( 五4 - x4 - z 吩) 一z ( x 。4 - 吩x4 - 彳名) 因此，已知焦距 、z 和空间点在左右摄像机中的图像坐标，只要求出旋转矩 阵足和平移矢量r 就可以得到被测物体点的三维空间坐标。 如果用投影矩阵表示，空间点三维坐标可以由两个摄像机的投影模型表示( 参 见3 1 节) ，即 j 2 鸠k ( 4 - 8 ) h p r = 鸠x 。 其中，p ，办分别为空间点在左右摄像机中的图像坐标，尬、m r 分别为左右摄 像机的投影矩阵，x w 为空间点在世界坐标系中的三维坐标。实际上，双目立体视 觉是匹配左右图像平面上的特征点并生成共轭对集合( ( p f ，f ，p l , i ) ) ，i = l ，2 ，l 。每 一个共轭对定义的两条射线，相交于空间中某一场景点。空间相交的问题就是找到 相交点的三维空间坐标。 4 3 双目立体视觉中的极线几何、极线校正 极线几何讨论的是两个摄像机图像平面的关系，它不仅在双目立体视觉中两幅 图像的对应点匹配有着重要的作用，而且在三维重建和运动分析中也具有广泛的应 用。 4 3 1 极线几何关系 在双目立体视觉系统中，数据是两个摄像机获得的图像，即左图像厶与右图像 厶，如图图4 3 。如果p t ，p ，是空间同一点p 在两个图像上的投影点，称为p l 与p ， 互为对应点。对应点的寻找与极线几何密切相关。 2 7 华北电力大学硕十学位论文 摹线矗 图4 - 4 双日立体视觉中的极线几何关系 首先介绍极线几何的几个概念： ( 1 ) 基线。指左右两摄像机光心的连线，图中直线g c ，。 ( 2 ) 极平面。指空间点p 、两摄像机光心决定的平面，图5 1 0 中平面。 ( 3 ) 极点。指基线与两摄像机图像平面的交点，图5 1 0 中e ，、e ，。 ( 4 ) 极线。极平面与图像平面的交线，图5 1 0 中直线q p ，、e ，p ，同一图像 平面内所有的极线交于极点。 ( 5 ) 极平面簇。由基线和空间任意一点确定的一簇平面，如图图4 - 4 所示， 所有的极平面相交于基线。 图4 - 5 双日立体视觉中的极甲面簇 在图4 3 中，称直线q 所为图像五上对应于办点的极线。直线巳p ，为图像j ，上 对应于刃点的极线。如果已知p ，在图像j ，内的位置，则在图像j ，内p ，所对应的点 必然位于它在图像j ，内的极线一k ，即p ，一定在直线p ，p ，上，反之亦然。这是双目立 体视觉的一个重要特点，称之为极线约束。另一方面，从极线约束只能知道p ，所对 应的直线，而不知道它的对应点在直线上的具体位置，即极线约束是点与直线的对 应，而不是点与点的对应。尽管如此，极线约束给出了对应点重要的约束条件，它 将对应点匹配从整幅图像寻找压缩到在一条直线上寻找对应点。因此，极大地减少 2 8 华北电力人学硕士学位论文 了，搜索的范围，对对应点匹配具有指导作用。f = 面给出一种在已知m i 与m ，投影矩 阵的条件下求极线的方法。 4 3 2 极线约束方程 将两个摄像机的投影方程( 4 - 8 ) 写成 j 卵- 州- 凡5 ( m ，- m 1 ) x w( 4 剐k 一了， h p r = 肘，x w = ( m ，。m r ) x w 其中，为空间某点p 在世界坐标系下的其齐次坐标；p t 和风是p 点分别在 左右图像的图像齐次坐标。将觚和尬矩阵中左面的3 3 部分分别记作m i 和m r l ， 右边的3 l 部分分别记作m 1 和朋，。如果将记作x w = ( x r1 ) t 其中x = 阢， k ，z w ，) r ，则式( 4 - 9 ) 可写为 s i p , 2 鸠l n 肌7( 4 _ 1 0 ) 【j ，p r2m r t x + m ， 将式( 4 - 1 0 ) 消去x 得 sr p r s t m r l m ? i - ip | = mr mr l m | l - i m l ( 4 u 、) 由于上述中两边是三维向量，上述包含了三个等式，用这个等式消去s l 与s ， 后，就可以得到一个与s i 和s ，无关的，和办的关系，这就是极线约束。 为了使上述消去过程更清晰，在此引入反对称矩阵：如果t 为三维向量，f = ( t x ， 0 ，乞夕0 称下列矩阵为由t 定义的反对称矩阵，记作 力。 l 0 一t z t y f 【f 】。= l 乞0 - t xi ( 4 1 2 ) 【- 一t y t x 0j 由定义，【f 】。= 一( h 。) 1 ，吲。是一个不满秩的不可逆矩阵。以下是由t 定义的反 对称矩阵【f 】。的一些性质。 ( 1 ) 任意三维向量，与t 的向量积( 叉积) 为 t x r = ， ( 4 1 3 ) 式( 4 - 1 3 ) 可以由向量的定义直接得到。 ( 2 ) 任意满足h 。，- - 0 的向量，与t 只差一个常数因子，即r = 幻。 将式( 4 1 1 ) 右边的向量记作m ，即 i = m ? 一mr r mi l m | 将由m 定义的反对称矩阵记作m 1 ，将m 1 左乘式 lj xlj 2 9 ( 4 1 4 ) ( 4 - 11 ) 的两边，则由 华北电力大学硕士学位论文 【朋】。m = o 可知 【m l ( s ，p r 一母鸠。m t l - l p l ) = 0 ( 4 1 5 ) 将式( 4 - 1 5 ) 两边除以s ，并记j = i ，得 s r 【m ls m r 。m 。1 扔- - m l 。p r ( 4 一1 6 ) 式( 4 1 6 ) 右边向量为【朋】。所= 肌。只，可见该向量与p r 正交，将p r t 左乘式( 4 1 6 ) 两边，并将所得式两边除以s 后得到以下重要关系： n 7 【朋】。鸠。m ，1 竹= o ( 4 1 7 ) 式( 4 1 7 ) 的意义是，它给出了p ，与a 所必