（水声工程专业论文）基于图像mosaics技术的rov导航研究.pdf

哈尔滨工程大学硕十学位论文 a bs t r a c t s u bs e ap i p e l i n ei st h ei m p o r t a n tp a r ti nt h ed e v e l o p m e n to fs e ao i l d u r i n g t h el o n gp e r i o do fs e r v i c e s ，i t sm a t e r i a lc o u l db ed a m a g e dd u et oa l lk i n d so f c a u s a t i o n s t h e s ek i n d so fp o t e n t i a lh a z a r d o u ss i t u a t i o n so rd a m a g e sc o u l dh a r m t h es a f e t yo ft h eu n d e r w a t e re q u i p m e n t s t h e r e f o r e ，t oi n s p e c tt h ep i p e l i n e si s v e r yn e c e s s a r ya n di m p o r t a n t n o w a d a y s ，t h o s et a s k so fv i g i l a n c ea n di n s p e c t i o n a r ec a r r i e do u tu s i n gv i d e oc a m e r a so rm a g n e t o m e t e r so rs o n a ra t t a c h e dt or o v i n s t e a do fm a n u a lw o r k d u r i n gt h ed e t e c t i n gp r o c e s s i n g ，t h er o vm u s tb e o b t a i n e dt h es t a t e so ft h es e ap i p e l i n e t h e r e f o r e ，t h er o vn a v i g a t i o ni sa n i m p o r t a n tp a r to ft h ei n s p e c t i o n a c c o r d i n gt ot h ed e v e l o p m e n ta n da p p l i c a t i o no fr o v , v i d e oc a m e r aw a s a t t a c h e dt ot h er o vt oo b t a i nt h ev i d e op i c t u r e sd a t a b e c a u s eo ft h e p a r t i c u l a r i t yo ft h ea c o u s t i cv i d e op i c t u r e s ，a l lk i n d so fd a t aw i l lb ep r o c e s s e dt o o b t a i nt h es t a t e so ft h es e ap i p e l i n e ，i n c l u d i n gi m a g ee n h a n c e m e n t , i m a g e r e s t o r a t i o na n di m a g ef u s i o n ，r e p a i r i n gt h ed i s a d v a n t a g e so ft h ep i c t u r e s i nt h i sd i s s e r t a t i o n ，t h ei m p l e m e n tt h e o r yo fm o s a i cw a sd i s c u s s e dt os e tu p t h eu p d a t i n ga n dd r i f tc o r r e c t i o nm o d e l b a s e do nt h em o s a i cs p e l l i n ga n dv i d e o i m a g ei d e n t i f i c a t i o nt e c h n o l o g y , t h es t a t e so ft h ep i p e l i n ew a so b t a i n e da n dt h e r o v n a v i g a t i o nw a ss u c c e s s f u l l ya c h i e y e d k e yw o r d s ：r o vn a v i g a t i o n ；i m a g ep r o c e s s i n g ；m o s a i c ；p i p e l i n ed e t e c t i n g ；d r i f t c o r r e c f i o n 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献等的引用已在文中指出，并与参考文献相对应。除文中 已经注明引用的内容外，本论文不包含任何其他个人或集 体已经公开发表的作品成果。对本文的研究做出重要贡献 的个人和集体，均己在文中以明确方式标明。本人完全意 识到本声明的法律结果由本人承担。 作者( 签字) ： 日期：年月日 哈尔滨工程大学硕士学位论文 第1 章绪论 2 0 世纪7 0 年代以来，随着海上石油开采的兴起，遥控式水下机器人 ( r e m o t e l yo p e r a t e du n d e r w a t e rv e h i c l e ，简称r o v ) 的研制和应用迅速发展。 它们可用于石油开采、海底矿藏调查、打捞作业、管道铺设及检查、电缆铺 设及检查、海上养殖以及江河水库大坝的检查等方面。r o v 具有灵活的大深 度水下运动能力，并可在r o v 上搭载各种传感器，能在潜水员不能到达的深 度与不安全的环境下进行水下检测和其他水下作业。r o v 检测技术以其经 济、安全、工作效率高、作业深度大，并能在恶劣的环境下作业等优点，在 海洋工程结构的水下无损检测中得到广泛重视。 1 1 论文背景 我国两千多千米的海底油气管道己服役多年，进行适当海底油气管道检 测维修任务很重。近2 0 年来，水下机器人得到了飞速发展，目前己经成为水 下观察和水下作业的最有效的手段，尤其是在水下长时间停留，发挥了更大 作用。因此，目前这种检测主要采用携带必要探测设备的r o v 来代替人工完 成管道检测任务。r o v 在执行海底管线探测时，其行走路线是检测的关键， 利用r o v 携带的多种传感器，将传感器获得的信息数据进行一系列处理， 最终得出海底目标物位置及状态信息，可实现对r o v 的精确导航目的。 本文来源于国家8 6 3 计划海底管线外检测技术总体集成项目，选题的目 的是利用r o v 搭载的水下微光摄像机来获取海底及海底管道的视频图像数 据，利用预处理和m o s a i c 图像拼接等相关算法，得到海底管线的方位和走向 信息，并将此信息实时传给r o v 控制部分，来实现对r o v 的导航。 1 2r o v 及其导航技术综述 遥控式水下机器人( r e m o t e l yo p e r a t e du n d e r w a t e rv e h i c l e ，简称r o v ) 的 应用十分广泛，在海洋石油开发、打捞救生、海洋科学考察、水产养殖、水 库大坝检查、辅助潜水员作业和军事上扫雷等方面，r o v 起到了重要不可替 代的作用”1 。 世界上第一个r o v 一一“c u r v ”是1 9 6 0 年由美国研制成功的。它在西 哈尔滨工程大学硕士学位论文 班牙外海打捞起一颗失落在海底的氢弹，这件事在全世界引起了极大的轰动， 从此r o v 开始引起了人们的重视。7 0 年代发生的石油危机使海上石油开发 得到迅速的发展，从而促进了r o v 的迅猛发展，并且开始形成一个新兴的产 业部门一一r o v 工业。目前，r o v 的型号已经达到近百种，全世界有近3 0 0 家厂商提供各种r o v 、r o v 的零部件以及r o v 服务。 我国从8 0 年代开始从事r o v 的研究与开发工作，中国科学院沈阳自动 化研究所和上海交通大学合作研制的“海人一号 有缆水下机器人是我国第 一台大型的r o v ，它向世人宣告，中国的6 0 0 0 米自治水下机器人的工程试 验获得了成功，它是我国成功发射的第一颗“返回式海底卫星”，标志着我国 自制水下机器人的研制水平已跨入世界领先行列。经过十多年的努力，我国 能够生产和制造大、中、小型的各类r o v ，在r o v 的研制与开发方面基本 能够满足国内市场的需求，在国际市场上也占有一席之地。 r o v 的控制系统的设备大体上可以分成三部分：水上控制设备、安装于 载体上的水下控制设备和连接这两个部分的缆。而一台处于水下工作的 r o v ，需要将其引导至目标附近，操作员必须知道r o v 现位于什么地方， 将要驶往的目标在那里，这个过程称为导航与定位。 r o v 的导航方法有以下几种： 1 仪表导航 在r o v 距离目标较远时，不能从水下电视上看到目标，这时依靠各种测 量仪表的指示，操作人员也能有效的操作r o v 进行作业。测量航向角的罗盘 包括磁通门罗盘、电罗经、方向陀螺和磁罗盘。测量r o v 纵倾角和横摇角的 传感器主要有两种类型，即摆式倾斜计和垂直陀螺。在要求高时可以采用多 普勒声纳，多普勒声纳具有测速功能，利用测得的r o v 速度与航向角就可以 计算出r o v 的坐标。深度计也是r o v 的重要导航仪表。 2 定位系统 通常用于r o v 的定位系统主要有两类，一类称为自主导航定位系统，另 一类称为非自主导航定位系统。自主导航定位系统中，所有用于导航定位的 设备均在r o v 载体内，不需要载体以内的设备与之配合。例如惯性导航、多 普勒导航、地形导航和地磁场导航等。非自主导航定位系统中，需要在海底 布设相应声标或应答器，r o v 上所携带的定位设备需要与信标或者应答器配 2 哈尔滨工程大学硕士学位论文 合使用。 3 视频导航 r o v 的视觉包括水下电视和其他成像设各。这些设备能将水下环境和目 标的信息通过光缆传递给水面控制台，以图像的方式显示。操作人员凭借所 看到的图像以及从图像中得到的目标信息控制r o v 游向目标并完成给定的 使命。用于视觉导航的设备主要有三种：水下电视、声纳、激光成像设备。 水下电视的有效距离与水质的混浊度和照度有关，高灵敏度的水下电视摄像 机在非常清洁的水中可拍摄大约在1 5 米左右距离上的景物，水下摄像机既是 导航设备，也是观察和测量设备。声纳是一种声学设备，它可以弥补水下电 视的不足，特别是当目标物位置复杂时，声波会通过多种途径返回换能器以 达到探测的目的。收到的回波经过适当的处理之后就可以得到一幅关于周围 环境的声学图像，甚至当使用某些特殊声纳时海底状况以及海底掩埋的目标 都可以通过其回波来探测到。采用的声波脉冲越高，波束越窄，成像的清晰 度越高。 1 3 数字图像处理技术 数字图像处理起源于2 0 世纪2 0 年代，当时通过海底电缆从英国的伦敦 到美国的纽约采用数字压缩技术传输了第一幅数字照片。此后，随着计算机、 集成电路等技术的发展，以及遥感等领域的应用，使数字图像处理技术逐步 受到关注并得到相应的发展。 数字图像处理方法大致可以分为两大类例，即：空域法和变换域法。 空域法是把图像看作是平面中各个像素组成的集合，然后直接对二维函 数进行的处理，它包括临域处理法和点处理法。变换域法是首先对图像进行 正交变换，得到变换域系数阵列，然后再进行各种处理，处理后再反变换到 空间域，得到处理结果，它包括滤波、数据压缩、特征提取等处理。 完整的数字图像处理过程大体上可分为以下几个方面：图像信息的提取； 图像信息的存储；图像信息的传送；图像信息处理；图像信息的输出和显示。 数字图像处理主要包括以下几项内容：几何处理、算术处理、图像增强、 图像复原、图像重建、图像编码、图像识别、图像理解。 哈尔滨工程大学硕士学位论文 1 4 m o s a i c s 技术简介 图像m o s a i c s 技术就是将一组具有重叠部分的图像的集合拼结成一幅大 型的无缝高分辨率图像的技术。自动建立大型、高分辩率的图像m o s a i c s 技术 一直是图像处理和计算机图形学的活跃研究领域。它最早来源于人类的摄影 知识，当相机的视野小于人类的视野时，人们自然考虑到将多个照片拼接成 一幅大的照片以增强相机的视野。 近来图像m o s a i c s 技术的研究扩展到景物表示。它要求这些重叠图像通过 平面投影变换相互关联起来。该变换将不同图像坐标系上的点建立起对应关 系。通过变换和图像w a r p i n g 操作可以精确地建立一幅大的图像以覆盖整个景 物。 目前这类图像m o s a i c s 只能精确地表示两类图像集合：一类是相机定点环 绕( p a n n i n go rp i t c h i n g ) 拍摄的图像集合，另一类是相机拍摄的景物为平面景 物。我们称图像m o s a i c s 形成的二维曲面为流形p 丌，如常用平面流形、圆柱面 和圆球面流形等。我们根据流形的确定方式将图像m o s a i c s 技术分为两大类： 基于自适应流形的图像m o s a i c s 和基于人工确定流形的图像m o s a i c s 技术；基于 自适应流形的图像m o s a i c s 是由视频序列提取的条形图产生的。基于人工确定 流形的图像m o s a i c s 是由整幅图像的拼接对齐所产生的。 基于人工确定流形的图像m o s a i c s 的技术包括：( 1 ) 局部对齐技术，即两幅 图像对齐。( 2 ) 图像m o s a i c s 的集成技术：将所有图像对齐到一个指定的参考帧， 以形成一个大的图像即全局对齐和图像融合技术。本文就是基于此两种算法 实现对r o v 的导航研究。 图像m o s a i c s 有很多应用，它包括传统的由图像集合建立大型航空和卫星 照片。近来的应用如视频检索、图像的稳定性、变化检测、视频压缩、增大 相机的视野和分辩率，甚至能做简单的照片编辑。 1 5 论文的主要研究内容 本文的主要研究内容包括： 1 完成水下视频图像序列的采集工作，包括硬件驱动和软件使用； 2 根据水下视频图像的特殊性，给出图像序列预处理的最终方案； 4 哈尔滨- 程大学硕士学位论文 3 对图像序列处理的一系列方法进行软件编程实现； 4 利用马赛克( m o s a i c ) 法直接运动估计法，建立m o s a i c 上传模型； 5 完成m o s a i c 图像增强系统的搭建，建立m o s a i c 漂移补偿模型，提出 消除多帧拼接重叠方案； 6 完成视频图像序列的识别，选取一系列方法实现管道边缘走向和导航 角度的信息。 。 5 哈尔滨工程大学硕士学位论文 第2 章m o s a i c 技术的实现原理 作为r o v 视频导航技术的重要组成部分，m o s a i c 技术是近年来新兴起 的处理方法，本章主要论述m o s a i c 技术的实现原理，包括光流法的优弊分析、 直接运动估计法的采用、m o s a i c 的上传原理、以及基于m o s a i c 技术的定位系 统，为后续的视觉系统增强奠定了良好的理论基础，保证图像拼接工作正确 有效的进行。 2 1 光流法 光流的概念是g i b s o n 于1 9 5 0 年首先提出的。所谓光流是指图像中模式 运动的速度。光流不仅包含了被观察物体的运动信息，而且携带着有关景物 三维结构的丰富信息。近十年来，许多种计算光流的方法不断涌现。这些方 法在概念上和性能上都有很大差异。从概念上可以将现有的方法归为五类： 微分法，匹配法，基于能量的方法，基于相位的方法，神经动力学方法。下 面是从一般性的角度，给出的常用的光流特性： 1 ) 光流方法产生的流场应准确且具有高的时空分辨率。也就是说，在每 一时空图像点获得的光流矢量应当准确地表示相应时空小邻域d v = d x d y d t 内的速度，而并不是表示一个较大范围时空上的平均速度； 2 ) 光流推导方法应具有普遍适用性。也就是说，它应适用于很宽范围的 自然图像，而不应当对成像过程和景物内容有强烈限制； 3 ) 光流法是一种对噪声比较敏感的算法； 4 ) 光流法的时间开销很大。 摄像机与目标物的相对运动会导致运动期间所获得的图像中景物处在不 同的相对位置，这种位置上的差别可称为视差，反映在图像上则为位移矢量 ( 包括大小和方向) 。如果用视差除以时差，就得到速度矢量。一幅图像中的 所有速度矢量构成了一个矢量场，在很多情况下也可称为光流场。 设在时刻，时某_ 个特定的图像点在( x ，少) 处，在时刻f + 衍时该图像点移 动到 + d x ，y + d y ) 处。如果时间间隔d t 很小，则可以期望( 或假设) 两点图 像灰度保持不变，换句话说有： 6 哈尔滨丁程大学硕士学位论文 f ( x ，y ，f ) = 厂g + d x ，y + d y ，t + d t ) ( 2 1 ) 将上式右边用泰勒级数展开，令d t 一 0 ，取极限并略去高阶项可得到：。 一等= 篆鲁+ 等妄= 鼍甜+ 等v = o q 国一一= 一一十一一= 一十一v = i j ，l 8 t瓠d t卸d t瓠巩 - 式中，u 和v 分别为图像点在x 和】，方向的移动速度。记 六= ，乃= ，= ( 2 - 3 ) 得到光流方程：，六) ，v ) = 一z ( 2 4 ) 光流方程表明，运动图像中某一点的灰度时间变化率是灰度空间变化率 与该点空间运动速度的乘积。在实际中，灰度时间变化率可用沿时间方向的 一阶差分平均值来估计： z 【厂g ，j ，f + 1 ) + g + 1 ，y ，+ 1 ) + 厂( z ，y + l ，f + 1 ) + 厂( x + 1 ，y + l ，f + 1 ) 】 ， 叶 ( 2 5 )1、一一， 一【厂g ，y ，f ) + f ( x + l ，y ，f ) + 厂( z ，y + l ，f ) + 厂( x + 1 ，y + l ，f ) 】 灰度空间变化率可分别用沿x 和y 方向的一阶差分平均值来估计： z 丢l 厂g + 1 ，j ，f ) + 厂g + 1 ，少，+ 1 r ) + 厂o + 1 ，y ，+ 1 ) + 厂。+ 1 ，j ，+ 1 ，+ 1 ) 】 一i l f ( x ，川+ 厂g ，y + ! ，f ) + 厂( x ，y ，f + 1 ) + m ，y + 1 ，f + 1 ) 】 z l 厂g ，y + l ，f ) + 厂g + 1 ，y + l ，f ) + 厂( x ，y + 1 ，r + 1 ) + 厂( x + 1 ，y + 1 ，f + 1 ) 】 ，叶 ( 2 6 )、一， 一 l 厂g ，y ，r ) + 厂g + 1 ，y ，f ) + 厂( x ，y ，f + 1 ) + ( _ + l ，y ，f + 1 ) 】 常用的光流场的计算方法为h o r n s c h u n c k 方法5 1 ，大致过程如下： h o r n 和s c h u n k 使用光流在整个图像上光滑变化的假设来求解光流，即 运动场既满足光流约束方程又满足全局平滑性。根据光流约束方程，光流误 差为： p 2 伍) = 仉甜+ l v + 厶) 2 ( 2 7 ) 7 哈尔滨t 程大学硕士学位论文 其中x = ( x ，y ) 7 。对于光滑变化的光流，其速度分量平方和积分为： 占2 ( x ) = = j ! l ( 罢) 2 - ( 爹) 2 r ( 罢) 2 r ( 考) 2 d x d yc 2 8 ， 将光滑性同加权微分约束组合起来，其中加权参数控制图像流约束微分 和光滑性微分之间的平衡) ，有： e = 肚2 ( x ) + 船2 伍) 蛔 ( 2 9 ) 其中a 是控制平滑度的参数，a 越大，则平滑度就越高，估计的精度也越 高。使用变分法将上式转化为一对偏微分方程： c 式i _ 2i + l i 产+ l l ：2 - 心沁 a v 2 v = ，；甜+ i x l y u + ，y r 一7 用有限差分方法将每个方程中的拉普拉斯算子换成局部邻域图像流矢量 的加权和，并使用迭代方法求解这两个差分方程。下面只考虑离散情况，在 一点g ，) 及其4 邻域上，根据光流约束方程，光流误差的离散量表示式为： e 2 0 ，) = 仉“o ，j ) + i y v ( i ，歹) + ) 2 ( 2 1 1 ) 光流的平滑量也可由点( f ，) 及其4 邻域点的光流值差分来计算： 九“) = 丢护砸_ l ，) ) 2 地( 川，沪，埘2 + ( f ，+ 1 ) 一u ( i ，) ) 2 + ( 甜( f ，) 一u ( i ，j 一1 ) ) 2 + ( f ，) 一u ( i 一1 ，) ) 2 + ( 甜o + 1 ，) 一u ( i ，) ) 2 + ( f ，+ 1 ) 一甜( f ，) ) 2 + ( 甜o ，) 一“( f ，歹一1 ) ) z 】 则极小化函数为： e = g 2 ( f ，j ) + a s 2 ( f ，) ) ( 2 1 3 ) 等：2 亿甜+ l y + 厶k + z a u 一万)_ = z v 工甜+ fy y 十f 尸工十 一甜， o u 豢：2 k 甜+ v + k 砌( v 一力 钠 、1y 。y 、i 其中万和歹分别是甜和v 在点1 5 f ，) 处的邻域平均值。 ( 2 - 1 4 ) 取极小值，因此得到： 8 ( 2 1 4 ) 当上式为零时，式 哈尔滨工程大学硕士学位论文 仉( 1 x 甜u + + ，i y ，v v + + 也i t i x + + a 口( u 一- 矿历 ) ) ：= 。0 ( 2 - 1 5 ) 仉甜+ v + k + 口一矿) = o u 。1 动 从上面两个方程可求出u 和v 。实际上经常将求解u 和y 表示成迭代方程： u n + l 耐t 笙里：兰 。 口+ e + 髟 但一1 6 ) 1 珂一l 鬻 一 其中n 是迭代次数，u o 和v o 是光流的初始估值，一般取为零。 从上面的分析看出，光流法时间开销很大，而且对图像要求比较严格， 结果易受噪声影响，实时性和实用性较差。因此，不选用此方法来分析运动 图像。 2 2 直接运动估计法 在处理视频信号过程中，为了减少图像的数据量，我们采用运动估计和 运动补偿方法，以便处理和传输。在这些实时系统中都要求图像处理的实时 性很强，这就对运动估计和运动补偿的实现提出了很高的要求。 运动估计有两大类基本方法：基于特征匹配的方法( 目标跟踪，三维重构) 和基于亮度恒定的方法( 运动补偿预测) ，目前最常用的还是基于块匹配的一 些算法及其改进算法。基于此，我们采用直接运动估计算法，它不需要以光 学区域估计或特征通信作为中间一步，可直接利用时空图像的梯度特征来计 算3 d 运动，执行效率高，计算速度快，精确度高。 2 2 1 预备知识 假定摄像机镜头垂直距离水底为变量z ，摄像机的成像焦距为常量厂， 则实物点p = i x ，y ，z r 和图像点p = i x ，y ，厂r 之间有关系p = l 7p 。若相机的 平移速度为丁= 阢，乃，zj ，转动角速度为功= b 。，国y ，吐j ，则实物点尸相对于 摄像机的运动速度为 9 哈尔滨工程大学硕士学位论文 户= 一白尸+ 丁) 同时，对应图像点p 的速度为 ： 胪 等一睁刁y 睁刁一手一x 000 ( 2 1 7 ) 一z 雎1 0 0 ；0 卜 l 假定r o v 搭载的摄像机在水平方向平稳运动，则国。= q = 0 ，式( 2 1 8 ) 可简化为 h 庐” j ，国：+ 三( - l + x 乏) 一碱+ 三( _ 玛+ y 砭) o ( 2 - 1 9 ) 由上式可以看出，在已知图像上几点或某区域的光流速度( “，v ) 的情况 下，我们便可求得摄像机移动速度t 和z 方向偏转角速度c o ：。由此我们便可 以利用两连续帧厶和i k + 。引出直接运动估计算法。 假定点g ，y ) 和x + u ，y + 1 ，) 分别为第厶帧和第厶+ 。帧上的像素点，二者光 强相同，则 厶g ，y ) - - 厶+ 。x + u ，y + v )( 2 2 0 ) 利用泰勒公式展开可得 厶+ 。( x + 甜，y + v ) 一厶g ，少) - i 一掣甜+ 掣1 ，( 2 - 2 1 ) = e f - i - e x u + p y v 0 其中： e t = 厶+ 。g ，y ) 一l k ( x ，y ) 1 0 哈尔滨t 程大学硕士学位论文 。一戤+ 。g ，y ) q2 半 e = ： 7 v o i k + 砂i ( x , y ) 由式( 2 2 1 ) 便可看出，利用派生的时空向量k 。，巳，口： 便可求得图像上的 光流量 ，v ) 。对于每一帧的同一像素点，由于丽1 ，a ( 2 2 1 ) 都可有 效单独使用。将式( 2 1 8 ) 代入式( 2 2 1 ) ，得 ri 厂一f 0 巳+ p z p - y t o 一厂 一 = e l + s 1t 0 ( 2 2 2 ) 其中： s r = k ，p 一了0 ；二i 于：t z 乃zt , z 哆】r ：险定哆r 如果摄像机所拍画面垂直于光轴，则国：= 0 ，于为常数，但是e ，和j 仍随 像素的改变而改变。对于n 个像素，我们可得到由4 个未知量表示的n 个不 同的于表达式，当水深变化z 不明显，即平均水深z z 时，我们可以采 用最小平方法求得于，此时有： 睡p m 嵋 在复杂的3 d 环境下，z 变化十分明显，此时式( 2 - 2 3 ) 不再适用，须对 变量z 进行运动估计。 2 2 2 最小平方法 上面2 2 1 中所讲的方法是在光强必须平稳的情况下，对相邻两帧间同一 像素点的分析。在实际复杂环境中，光强恒定几乎是不可能的，为了克服此 项困难，我们建立一个无特殊的动态图像模型： k 叫叫列 y 吖 x y 哈尔滨- t 程大学硕士学位论文 厶+ l g + 甜，y + 1 ，) = m l k ( x ，y ) + c( 2 2 4 ) 其中m 和c 是低频空间向量，用来衡量从第k 帧到第l ( + 1 帧的光强变化。同 样按照式( 2 2 2 ) 的推导过程，我们可得到： e ，+ s r 于+ p r q 0( 2 - 2 5 ) 其中g = 1 二了 ，p = 厶譬) ，此式适用于每一像素。 为了提高计算效率，我们把图像分成m 个小区域，记为r ，滓1 ，2 m 。 由于m 和c 为低频空间向量，我们可以认为每个小区域内都有一个q 常向量 q ，i = 1 ，2 m ，同时我们可得到n 个不同的于表达式，由4 + 2 m 个未知量表 示，在每个小区域r ，内用最小平方法，得： g ，= 一 荨p p r 。 荨c p 巳+ p r 于， ( 2 2 6 ) 将式( 2 - 2 6 ) 代入式( 2 2 5 ) 得： 巳】 p r q 7 1 荨k + p r 于) 。 ( 2 - 2 7 ) 则式( 2 2 3 ) 司表不为： 于=一兰f-荨(孵r)-piq,-ipiri=1l_ l j l 一 兰i = 1 荨g g ，一只q ，p 口，) ) l 局 l 马 j g ，= 一q 7 1 l ( ，) + 只r 于l 其中 q 2 荨( 们 ，肛荨却。 根据定义，r o v 在前进方向增加的位移量可表示为： 1 2 ( 2 2 8 ) ( 2 - 2 9 ) 哈尔滨工程大学硕士学位论文 o o 10 01 0 o 6 0 ：= 【0 0 0 1 矿 图2 1 水下摄像机拍摄示意图 海底 ( 2 3 0 ) 由以上可知，如图2 1 所示，乙为摄像机与海底的垂直距离，睇为摄像 机的垂直拍摄视角，在已知第l 帧的初始位置和方向kj ，；z ：睇f 的情 况下，我们可以计算出下一帧的摄像机位置和方向，即： 上式也可表达为： + + c 。s 爵s i i l 睇0 o 弘 一sin睇cos睇三00 0 00 0 纠1l 耋 1 l l7 ： 0 0 缈， ( 2 3 2 ) 乙c o s s 譬z ts i l l 睇00 一乙s m 睇乙c o s 睇0 001 000 0。1-j于 ( 2 _ 3 3 )、7 i 其中乙是k 时刻摄像机到海底的距离，设摄像机在初始位置到海底的距 离为z 0 ，则有： z k = z o z ；( 2 - 3 4 ) 由此可以得出，我们通过不断的将位移信息反馈给r o v 搭载的实时系 1 0 o 0 z = 1j t 弓z 哈尔滨工程大学硕士学位论文 宣昌宣譬黼篇篇i 嗣宣i 暑薯躺拦鼍置置置i i 置赫搿掌暑宣宣置誓i i i 1 i i i i i i 蕊；i i ；嵩黼i i 置 统，从而得到一系列有时间标记的轨迹点，这些轨迹点便可以作为我们在不 同时刻的参考帧，这些参考帧便是最原始的马赛克( m o s a i c ) 单位。 2 3m o s a i c 的上传原理 m o s a i c 的概念最早来源于人类的摄影知识，当相机的视野小于人类的视 野时，人们自然考虑到将多个照片拼接成一幅大的照片以增强相机的视野。 如果采用像素扩展的方法将一幅正常的点阵图像不断地放大几次，在图像的 某些地方就会出现许多不连续的细小图像色块，这些图像色块的嫩现，在计 算机图形和图像处理中称为图像的马赛克( m o s a i c ) 现象。 对于本文中提到的m o s a i c ，我们需要说明以下咒点： 1 一幅m o s a i c 图像是合成的2 d 图像，该图像是在不同视点对同一画面 的几幅或几十幅图像构建的。 2 3 d 物体通常在不同视角有不同的外形特征，而2 dm o s a i c 图像只对 其给如一个视角的外形特征。 3 若画面是由移动光源照亮时，物体的表面阴影和其他物体的投影会加 剧m o s a i c 图像中的视觉冲突，甚至导致几何和辐射矛盾因素不可解 决。 圈2 2m o s a i c 的上传 m o s a i c 的上传过程如图2 2 所示，在k 时刻，目标图像中物体的2 d 几何 信息包含在了第厶帧中的位置信息乙和睇之中，其中乙为摄像机与海底的 垂直距离，罐为摄像机的垂直拍摄视角，具体过程；i i t - 对于m o s a i c 中的 每一个像素g 。，y 。) ，我们需要在第厶帧找到相应的位置g 膏，y 量) ，若光强恒定， 1 4 p ，二者分别对应着向量x o 矗z 0 】r 和陬耳z k 7 ，有： 刚豢c o s i n e ；酬。i f x , 1 刭 s ， 其中ky ；z ；f 为第l k 帧时摄像机的位置向量，又因为 州= 垃l vc o s o , ：c 咖o s 州o ；j l y k j fl y o jf - s i n o ；+ 陶 ( 2 - 3 6 ) “。l 蚱l ( 2 - 3 7 ) 由此式可以看出，在已知第 帧中的像素k ，儿) 的情况下，我们便可以 求得m o s a i c 中的像素0 0 ，y 0 ) ，从而真正实现了m o s a i c 的上传。 图2 3 视频图像中的其中三帧 如图2 3 所示，由于相邻帧间有明显的大面积交迭，我们采用每隔l 帧 上传一个m o s a i c 的方案，l 大小的选择取决于处理速度、位置精确性和m o s a i c 画面质量降级之间的权衡。 2 4 基于m o s a i c 技术的导航定位系统 由于水流和r o v 自身机械运动的影响，随着r o v 的推进，摄像机和水 雌 1 ，吼 + 1j “n =l一 曜睇 m s c 叫叫i警嘲 哈尔滨工程大学硕十学位论文 下目标物的相对运动会发生不同程度的偏转，从而造成物体在图像序列中的 漂移误差。为了克服此项困难，我们设计了m o s a i c 的漂移补偿方案，纠正 r o v 的偏转位移，实现预期的导航定位。 如图2 4 所示，假设每隔l 帧上传一个m o s a i c ，i f , 为第五帧到第厶小l 帧 期间上传的m o s a i c ，我们称之为参考帧。当第厶+ 。帧被摄像机捕获时，我们 将代替厶，并和厶+ 。进行直接运动估计运算，从而获得从k 时刻到k + l 时刻 的偏转位移，所得结果再次上传为m o s a i c ，此过程帧数间隔为l ，然后再次 利用式( 2 - 3 7 ) 进行w a r p i n g 操作，映射为新的参考帧，记为赡，再隔l 帧与 j 砒+ 。再次进行直接运动估计运算，如此反复。在k + l 时刻，我们得到的m o s a i c 画面是从k + 1 - l 时刻到k + 1 时刻位移后的画面。 图2 4m o s a i c 的漂移补偿 m o s a i c 漂移补偿模型如图2 5 所示。假设视频序列起始于第厶帧，黑色 圆点厶、厶、，。代表物体的真实走向，圆圈代表通过运动估计法获得的位置。 由图中可以看出，每一帧的运动估计结果都多出了一个y 向量的漂移误差， 并最终在第厶帧体现，记为从：。为了在第厶帧得到物体的真正位置，消除 此漂移误差，须进行漂移补偿向量疋，则有： 7 3 = 五一从2 ( 2 - 3 8 ) 1 6 哈尔滨下程大学硕七学位论文 图2 5m o s a i c 漂移补偿模型 类比运用于图2 4 所示系统中，员| j 有： 疋+ l = 瓦+ l a 砭 ( 2 3 9 ) 瓦+ ，即为我们所求，此向量的精确程度和m o s a i c 的上传速度l 有关，l 大小的选择是处理速度与m o s a i c 画面质量降级之间的权衡。l 过小，会导致 m o s a i c 上传速度过于频繁，并消耗大量估算，也会导致帧流失；l 过大，- 会 导致漂移误差过大，漂移向量瓦+ ，精确度降低。为克服此项困难，我们提 毒c m & l ( c o n c u r r e n tm a p p i n g & l o c a l i z a t i o n 协同映射和定位) 算法，通过合 并协方差信息，提高漂移向量雹+ ，的精确度，此项内容将在第4 章讨论。 2 5 本章小结 本章主要讨论了m o s a i c 技术的实现原理，指出了光流法的弊端，详细论 述了直接运动估计法的原理知识，在光强变纯豹情况下，采焉最小平方法。 本章还论述了m o s a i c 的上传原理，以及基于m o s a i c 技术的定位系统，提出 了漂移补偿方案，为詹续的视觉系统增强奠定了良好的理论基础，保证图像 拼接工作正确有效的进行。 1 7 哈尔滨工程大学硕士学位论文 第3 章视频图像采集和预处理 本章给出了本文的数据来源和预处理过程。数据来源以r o v 为搭载平 台，以水下微光摄像机为视觉前端，来获得预处理的各种数据。预处理过程 主要包括图像增强、图像复原和图像去噪，补偿了水下图像特有的缺陷，为 后续的视频图像增强系统和图像识别的实现奠定了良好的基础，保证r o v 导 航工作正确有效的进行。 3 1 数字图像序列的采集 r o v 搭载的水下微光摄像机为t r i t e c ht y p h o o n 彩色摄像机，分辨率为 7 9 5 h 5 9 6 v ，信号制式为p a l 制( 2 5 帧秒) ，经视频采集卡( 型号：m a t r o x m e t e o r - i i p c i ) 进行模拟数字转换，从而转换成为可进行实时处理和识别的数 字视频图像序列，采集速度仍保持2 5 帧秒。 本系统为了能实现实时采集单场、单帧、连续帧，任意间隔以及连续帧 的图像，所用的图像采集卡为加拿大m a t r o x 公司生产的m e t e o rc o r o n ai i ， 它为3 2 位开发环境并支持w i n d o w sx p ，本文用到它自身带的m i l l i t e 基本采集库，并在v c 下对采集卡及它本身的缓存进行操作，使用双线程、 双缓冲方式来实现实时图像采集和处理，可实时的将传来的模拟视频图像转 换成为相应的数字视频图像序列，并保存到卡上自带的4 m 内存中或通过计 算机p c i 总线实时传递至计算机内存。 在具备了水下微光摄像机、视频图像采集卡以及p c 机后，还要有相应 的软件来驱动采集卡，使之能够进行图像采集，并且软件还应该完成一些特 定的功能，比如存储、参数调整等。而通过v c 进行图像采集软件可以有两 种方法5 1 嘲： 1 基于s d k ，这种方式是借助于厂商提供的驱动程序来实现； 2 基于系统的w i n d o w sa p i ，不依赖于采集卡所提供的驱动程序。 由于本系统要达到实时采集和实时处理要求，如果仅仅使用w i n d o w s a p i 来编写程序将会比较繁琐，因此选择第一种基于s d k 的方式进行图像采 集。所谓s d k ( s o f td e v e l o pk i t s ) ，是指厂家为了使用户能方便地使用采集卡进 1 8 哈尔滨工程大学硕士学位论文 行二次开发而提供的一些实现基本功能的函数。s d k 一般以动态链接库 ( d y n a r n i cl i n kl i b r a r y , d e e ) 的形式给出，只需要在工程文件中稍做设置即可 像普通的函数调用一样使用s d k 提供的功能调用。 图3 1 是在水池实验时利用所需设备采集的视频图像中的一帧。 图3 1 视频序列图像的一帧 3 2 实时处理系统及其组成 所谓实时图像处理，一般是指在电视帧频的速率下完成一幅图像的处理。 具体来说，对p a l 制式的图像，实时图像处理系统在4 0 m s 的时间完成了一 幅图像的某种处理，说明该系统具有这种算法的实时处理功能。 3 2 1 实时处理系统硬件结构 图象及数 据处理 图3 2 系统硬件结构 本系统的硬件结构主要包括水下机器人、水下微光摄像机、多波束剖面 声纳、图像采集卡等。图3 2 为本文图像和声纳数据的采集、传输、处理的 哈尔滨t 程大学硕士学位论文 i i i i i 一 i 一躺i 薯霉置置宣宣；宣警赫簟i i i i i i 宣高篇i 置 硬件结构图。 3 。2 2 实时处理系统软件结构 本文软件部分开发平台为w i n d o w sx p ，基本开发工具为v i s u a lc + + 6 0 。 实时软件有五个主要特征： 1 “时间 是最宝贵的资源。系统的各个任务，包括输入、输出、数据 传输和数据处理必须在确定时刻开始，在有效的截止时间内完成； 2 系统的可靠性极端重要； 3 计算机的运行环境是实时系统的激活成分。因为实时系统的持久性和 实时性，程序常驻内存，要集中全部系统资源，保证执行的响应时闻； 4 程序必须具有及时处理随机事件的能力； 5 实时系统输入输| 出设备数量多，类型各异，逯道上的信息传输有同步、 异步方式，有限定格式、自由格式，因此软件系统要能适应各种要求。 图3 3 为本文软件处理总体结构图，图3 4 为软件处理视频界面： 图3 3 软件处理总体结构图 芝玺鎏三堡盔兰翌圭兰堡鎏兰 图3 4 软件处理视频界面 3 3 水下视频图像序列的特殊性 1 水的能见度极低，透明度只有空气的千分之一，所以光波在水中传输 时产生强烈的吸收与散射效应，使得图像信号衰减很快，背景与景物之间的 灰度反差较小，图像灰度的均匀性差，且信噪比较低。因此，r o v 在水下作 业时，即使目标距离载体只有3 5 米的距离，也必须使用水下微光摄像机和 水下灯。 2 r o v 在行进中，由于摄像机所摄取的图像灰度取决于光源照度与目标 物反射系数。但是在水下由于光源与目标物之间存在水粒子的反射效应使图 像的反差迅速衰减，灰度值较为集中，产生严重的灰白效应。 3 在水中存在着各种天然的、人为的飘浮物，以及r o v 推进器产生的 气泡等。它直接或间接的影响了水下目标的三维空间环境，影响了光视觉的 观测距离和r o v 的准确引导，更为严重的是会导致图像模糊，甚至会产生和 出现一些非目标、非背景的多余成分。 4 由于r o v 在水下的运动，就是摄像机与水下目标物的相对运动，引起 了物体在图像序列中的平滑，即产生了运动模糊的情况卅“。 哈尔滨t 程大学硕十学位论文 3 4 视频图像序列预处理 视频图像序列的预处理，其目的是消除图像形成和传输过程中引入的失 真和干扰，使得图像尽可能正确的重现目标景物。预处理的好坏直接影响到 下面的信息提取的难度与准确程度。 3 4 1 图像增强 图像增强是指按特定的需要突出一幅图像中的某些信息，同时削弱或去 除某些不需要的信息的处理方法。 由于水下光源与目标物之间存在水粒子的对反射、吸收与散射效应，从 而使图像的反差迅速衰减，产生了严重的灰白效应，而且背景与景物之间的 灰度反差较小，图像灰度的均匀性差。基于此，我们对图像进行空间域的直 方图均衡化来改变图像质量，减弱图像的灰白效应，为目标物的特征提取打 下良好的基础。 基于以上原因，我们采用直方图均衡化来进行图像增强。- 直方图均衡化 是以累计分布函数变换法概率为基础的直方图修正法。其基本思想是：对在 图像中像素个数多的灰度级进行展宽，而对像素个数少的灰度级进行缩减， 从而整个图像的对比度会增强，图像变得清晰。将原始图像的直方