【《水下双目等效折射模型分析》8200字（论文）】

水下双目等效折射模型分析1.1引言考虑隔水玻璃的折射影响，本节将围绕双目成像测距中的实验平台设计、水下标定工况、立体匹配算法等方面进行深入讨论，并开展水下双目等效折射模型，解决水下折射干扰问题，为水下双目测距实验提供必要的理论依据和实验基础。1.2实验平台本章设计的实验平台主要由硬件和软件两部分组成，对于水下、空气中双目成像测距实验，均采用同样的设备进行测距。实验框图如图1.1所示，硬件平台包括水下平台模块、双目成像模块以及图像处理模块。其中水下平台模块主要包括透明水槽、待测物体、水下靶标等部分；双目成像模块包括双目相机、数据线、辅助照明单元等部分；图像处理模块主要指用于相机标定、视差计算、深度重建等功能的工控机。图1.1实验平台示意图Fig.1.1Schematicdiagramofexperimentalplatform(1)硬件平台相机采用型号为HNV-CV003的高帧率USB1.0双目相机，实物如图1.2所示，尺寸如图1.3所示。该相机采用USB1.0通信接口，输出彩色、未压缩的双目720P高清图像，帧率60帧/秒，传输速度大于200兆字节/秒，相关参数如表1.1所示。两个图像传感器为时序可调，保证同步拍摄。基线可调，可根据拍摄目标物的远近调整双目基线长度，保证清晰成像。本双目相机呈现的图像清晰，颜色纯正，适合高精度识别、三维机器视觉等应用，满足实验要求。实验中，深度测量距离约为1~2m，调整双目相机的基线距离固定为65mm左右，工作温度~25℃，自然光线下成像。图1.2高帧率USB1.0双目相机Fig.1.2HighframerateUSB1.0binocularvisioncamera(a)(b)图1.3高帧率USB1.0双目相机尺寸示意图。(a)双目尺寸；(b)单目尺寸Fig.1.3SchematicdiagramofthesizeofahighframerateUSB1.0binocularvisioncamera.(a)Binocularsize;(b)Monocularsize表1.1高帧率USB1.0双目相机参数Table1.1HighframerateUSB1.0binocularvisioncameraparameters参数双目相机基线(双目中心距)1.0~25.8cm基线可调图像传感器AR0135整体尺寸(长×宽)96cm×30mm传感器尺寸1/3"双目分辨率及帧率YUV2560×960@30fps单个像素尺寸1.75um×1.75umYUV2560×720@60fps感光谱段380~1060nm(含近红外)YUV1280×480@90fps数据接口USB1.0(兼容USB2.0)MJPG2560×720@30fps接口协议UVC协议免驱动MJPG2560×960@24fps适用平台Windows,Linux等温度要求-10~60℃(工作温度)数据输出格式YUV422/MJPG彩色-20~75℃(存储温度)(2)软件平台采用AMCap上位机软件进行双目成像的采集。设置视频输出格式为YUV，分辨率是2560×720×8Bits，采集帧率为60帧/s，曝光时间默认设置；操作系统Windows1064位企业版。设置完成后，即可开始双目成像的采集，双目图片如图1.4所示。不难看出，对于同一个物体，由于与相机的相对位置不同，通过双目所观测的图像也有所不同，这正是后续进行视差计算和深度重建的基础。图1.4高帧率USB1.0双目相机图片捕捉效果Fig.1.4PicturecaptureeffectofhighframerateUSB1.0binocularvisioncamera1.3相机标定实验1.1.1标定工况分析相机标定的内、外参数分别用于3D恢复和图像校正，畸变参数用于图像的矫正。因此，标定参数的好坏直接影响着双目测距的精度。其中，标定是相机参数求解过程中的第一步，标定过程中，需要考虑标定精度和外界干扰，避免不必要的误差。同时，需要选择合适的标定工况，标定后的相机参数对于后续空气中、水下测距实验才具有参考意义。影响相机标定精度的因素众多，主要包括靶标自身的网格尺寸、特征点数目、摆放位姿、平面性，以及相机提取靶标图片的数量、标定物距、光照条件等[39]，本文对主要因素进行了剖析。第一，靶标的设计。如图1.5所示平面棋盘和平面圆点阵列两类典型的靶标，靶标特征点数目约为6~150个，网格尺寸约为6~14mm，且对靶标平面性有一定要求。通常而言，平面圆点阵列最终标定效果精度优于平面棋盘，但对标定算法相对要求较高[40-41]。(a)(b)图1.5靶标图案。(a)平面棋盘靶标；(b)平面圆点阵列靶标Fig.1.5Targetpattern.(a)Planarcheckerboardtarget;(b)Planardotarraytarget第二，就标定图片的采集而言，所需图片数量约为20~25张。在采集图片的过程中，采用均匀思想分布的方法对靶标进行移动，每次移动的位置呈现规律性的移动，例如依次向左旋转15度，或依次向右旋转15度进行拍摄[42-44]。同时，对本文实验条件而言，将靶标与相机的距离设置约为0.8m，让拍摄的靶标尽量充满视场，以此来获得更多信息，使标定所得相机参数更为精确。第三，就外界环境干扰而言，需要光照条件相对较好[45]。光照强度对采集的效果影响最大，在进行标定图像采集的过程中，需保证光照相对均匀和明亮，所拍摄的照片清晰明了，标定的精度才会得到保证。综上所述，结合靶标自身和外界条件考虑，本次实验的标定工况如图1.6所示，后续实验会在该工况条件下开展相关成像和测量。(a)(b)图1.6多因素下的相机标定工况。(a)标定影响因素；(b)最优标定工况Fig.1.6Cameracalibrationconditionsundermultiplefactors.(a)Factorsaffectingcalibration;(b)Optimalcalibrationconditions1.1.2标定实验本文利用张正友标定法对双目相机进行标定[46]。张正友标定法发展至今应用非常广泛，标定精度可靠，标定流程成熟。依据标定流程，无论手动标定亦或自动标定均可获得相机的内参和外参，本文讨论了分别采用手动和自动方法在双目相机标定中的异同。第一，采用手动标定。面向空气中的相机标定参数求解，由于实验条件限制，本论文采用氟化玻璃材质的黑白间隔标定棋盘，具有漫反射、不反光的效果；棋盘靶标规格为12×9，单格尺寸为15mm。实际采用的标定棋盘靶标和标定场景如图1.7(a)、(b)所示。图1.7(a)标定棋盘靶标；(b)现场标定实验Fig.1.7(a)Calibrationofthechessboardtarget;(b)Calibrationfieldexperiment利用MATLAB2014a软件对采取的图片进行先单目标定，再双目标定，并以左相机作为参考系，双目相机标定参数如表1.2所示。表1.2双目相机手动标定参数Table1.2Manualcalibrationparametersofbinocularcamera相机左相机右相机有效焦距(910.20627910.67293)(901.00892899.76852)主点坐标(665.30059364.34558)(638.93221371.68639)畸变参数(-0.048600.31330-0.00115-0.001110.00000)(-0.005760.185370.001730.002270.00000)旋转向量(-0.00113-0.002840.00064)平移矩阵(-65.14589-0.491650.31612)标定的相机参数真实、可靠，并对双目相机的重投影误差进行求解。两相机误差的波动范围均集中在0.2pixel内，精度满足实验要求。求解重投影误差如图1.8所示。(a)(b)图1.8双目相机手动标定重投影误差。(a)左相机；(b)右相机Fig.1.8Manuallycalibratethereprojectionerrorofthebinocularcamera.(a)Leftcamera;(b)Rightcamera第二，采用自动标定。利用相同的玻璃标定板，在同样的标定工况下拍摄双目相机图片。借助MATLAB2018a软件进行双目相机内外参数自动标定，相机标定的平均重投影误差如图1.9所示。图1.9双目相机自动标定重投影误差Fig.1.9Automaticcalibrationofbinocularcameraandreprojectionerror针对双目自动标定的重投影误差，倘若某部分标定图像的误差过大，可以进行剔除、筛选、二次标定；该相机标定结果误差均在0.1pixel内，因而不用对误差标定图像进行剔除，所有的标定图像均真实、可靠，误差在允许的范围内，求解的双目相机自动标定参数如表1.3所示。表1.3双目相机自动标定参数Table1.3Calibrationparametersofbinocularcamera相机左相机右相机有效焦距(910.19297910.56592)(900.67559899.51339)主点坐标(661.67044361.22137)(635.05700369.76932)畸变参数(-0.031400.23154.0.002090.000140.00000)(-0.007490.31107.0.002090.000140.00000)旋转矩阵(1.00000-0.00024-0.000320.000240.999990.002250.00032-0.002250.99999)平移矩阵(-65.12813-0.528220.34590)对比手动标定和自动标定结果，两者的相机内参几乎一致，畸变参数存在不同；旋转向量过度到旋转矩阵(Rodrigue变换)；从重投影误差分析，自动标定重投影误差较小，效果相对较好；针对本文的深度距离测量，将自动标定参数用于后续双目测距。1.4立体匹配算法比较前文已述，考虑水下双目成像的实时性问题，通常采用局部立体匹配算法或半全局立体算法以提高立体匹配的速度。本节对常用局部立体匹配算法BM算法和半全局立体算法SGBM算法进行了详细比较，并在空气中进行双目测距实验，以确定最优的匹配算法。(1)BM算法局部立体匹配算法以BM算法为代表，具备实时性。与其他匹配算法有所不同。匹配时过程中模式串的移动方式从左往右，而匹配时则是从右往左。计算流程如图1.10所示，BM算法采用坏字符和好后缀两项规则，以此计算模式串P的最大跳跃距离，减少时间复杂度[47]。1)坏字符规则。即为文本串Q中出现的字符未与P中任一字符匹配时，将P整体移动至此字符后进行匹配；2)好后缀规则。为当末尾第j次匹配不成功，前j-1次所匹配成功的字符为好字符，此时模式串P所跳跃距离为：P长度减去好后缀最后一个字符在P中上次出现位置，即是让已匹配后缀与模式串中从后往前最近的相同子串对齐。图1.10BM匹配算法流程图Figure1.10BMmatchingalgorithmflowchartBM算法需要在参考图像中选取一个SAD小窗口(模式串P)，在目标图像上(文本串Q)找到与之匹配的小窗口。设置SAD窗口大小设为；SAD视差窗口的最大视差值定为，SAD窗口最小视差设为3(文本串P的范围);所得视差图如图所示。(a)(b)图1.11(a)相机拍摄原图；(b)BM算法匹配视差图Fig.1.11(a)Theoriginalimagetakenbythecamera;(b)BMalgorithmrangingdisparitymap.为了评价BM算法对于后续测距的影响，本文利用计算所得视差进行了空气中的双目测距实验。实验方案如图1.12所示，目标物体多次等距移动(50mm)，通过双目成像测出每次移动所改变的距离，从而间接判断测距的精度。图1.12光学平台测距示意图Fig.1.12Schematicdiagramoflearningplatformranging实验中，待测目标从位置1逐次移动至位置4，而后从位置4再次返回逐次移动至位置1，双目相机依次进行拍摄，利用BM算法分别计算相机与待测物体之间的距离：至的值，而后计算前后两次移动的距离差作为最终测量结果。为保证移动的精度，我们利用光学平台之间圆孔的距离作为基准移动单元(25mm)，待测物体置于载物台之上，每次移动两个圆孔的距离(50mm)。图1.13同一位置测距原理图Fig.1.13Schematicdiagramofdistancemeasurementatthesamelocation对于每一位置的测距结果，为避免粗大误差影响，我们选取目标物体外轮廓上的8个点作为距离计算目标点，而后计算8点距离的平均值作为该位置距离的最终值，8点位置的示意图如图1.13所示。最终测距结果为如表1.4所示。表1.4自动标定+BM算法测距(单位/mm)Table1.4Automaticcalibration+BMalgorithmranging(Unit/mm)组数双目成像图像位置1位置2位置3位置4位置4位置3位置2位置1点1865.2808.5756.2705.9707.4760.0805.5858.9点2861.8804.9758.4706.4710.7754.6812.9865.2点3865.9805.5757.8704.5708.3757.3804.9857.5点4858.7809.8755.1705.9709.7758.9806.7860.3点5856.9807.3762.2708.8704.1761.3816.6861.0点6861.0808.6755.7705.0705.9759.4812.3858.2点7859.6806.1751.5707.4705.5755.7811.5862.4点8860.3807.3754.6709.2710.2757.3809.2857.5均值861.4807.2756.7706.7707.7758.3810.2860.1间距差54.250.650.050.651.949.9表1.4所示的双目测距数据表明，任意两个位置之间的间距与真实间距(50mm)相近，误差均在可接受的范围内。因此，运用本双目相机进行后续的水下测距，具备一定的合理性。(2)SGBM算法半全局匹配立体算法以SGBM为代表，SGBM算法主要源于多路径约束聚合的思路，其本质质上是一种代价聚合算法[48]。算法步骤分为以下步骤：1)预处理。对输入图像采用Sobel算子对图像进行处理，获取图像梯度信息，用于计算匹配代价；2)代价计算。基于采样的方法计算预处理图像梯度代价，并将代价进行融合；3)视差优化。对得到的代价进行块处理(领域求和运算)，参考图像的像素块匹配目标图像的像素块，利用SGB算法进行视差优化计算；4)后处理。对匹配像素块进行唯一性检测、亚像素插值、左右一致性检测、实现左右视差图的计算。具体算法流程如图1.14所示。图1.14SGBM算法流程图Figure1.14SGBMalgorithmflowmap参照1.4.1节中BM算法测距的参数，设置相同的成像环境，相同的SAD窗口大小(像素块)、最大视差、最小视差，视差效果图如图1.15所示。(a)(b)图1.15(a)相机拍摄原图；(b)SGBM算法匹配视差图Fig.1.15(a)Theoriginalimagetakenbythecamera;SGBMalgorithmmatchingdisparitymap同样，按照图1.12的思想进行多次移动，按照图1.13的方式计算平均距离，所得测距结果为如表1.5所示。表1.5自动标定+SGBM算法测距(单位/mm)Table1.5Calibrationparametersofbinocularcamera(Unit/mm)组数双目成像图像位置1位置2位置3位置4位置4位置3位置2位置1点1861.0809.8760.5706.4707.8756.2807.3859.6点2860.3808.6754.6708.3706.4760.5807.9862.4点3861.7812.3756.7706.9712.1762.7809.8858.9点4862.4809.2759.4709.2711.6758.9811.7861.7点5858.9807.3761.1707.4708.3756.7808.6860.3点6859.6811.0762.2711.1707.4761.6809.2859.6点7861.1810.4757.3707.8706.9754.6806.1855.4点8858.2811.5755.1705.9706.4755.7807.9858.2均值860.6810.3758.4708.1708.4758.4808.6859.5间隔差50.451.950.250.050.250.9两种方法计算所得结果与真实值的差异如图1.16所示，不难看出，SGBM算法的测距误差大约在1mm左右，BM算法的误差在1~4mm。在计算速度差异不大的情况下，SGBM算法效果更佳，本文后续也以SGBM算法作为立体匹配的基准算法。(a)(b)图1.16立体匹配算法测距误差图。(a)BM算法；(b)SGBM算法Fig.1.16Stereomatchingalgorithmrangingerrormap.(a)BMalgorithm;(b)SGBMalgorithm1.5等效空气图像水下折射分析空气中的双目标定、测距模型成熟，但是水下成像情况比较复杂，空气中的相机模型不适用水下成像环境。因从，对水下成像点进行分析，建立水下与空气成像点的对应关系，实现水下图像向空气图像的等效，便于直接套用空气介质的相机模型。水下成像与空气中成像的不同在于光路中介质的变化，且光线会穿过不同介质产生明显折射现象。水下折射会使坐标转换中的透视关系发生改变，形成畸变，导致空气中的标定参数、视差计算、深度重建等成像模型无法适用于水下成像。若要获得准确的水下双目测量结果，需要重新建立成像模型[49-53]。本节忽略水中其他因素的干扰，从光线传播角度分析水下成像中世界坐标系到图像坐标系转换过程，建立等效折射模型，厘清水下成像模型与空气中成像模型的异同。如图1.17所示，相机置于水体中时水下成像光线传播示意图。取世界坐标系中的一个物点为例，相对空气介质而言，同一物点在水介质中进入相机时的像点和在空气介质中的像点重合，即透视变化过程之前的光线传播均相同。因此，此情况的水下成像点与空气成像点直接等同，不需进行等效，直接套用空气成像模型进行水下测距即可。在实际运用中，并非所有相机均为防水相机，特别是在海洋深处探测，务必引入护机壳来保护相机。护机壳材质主要以玻璃、塑胶等为主，介质常数不等于水介质，需要针其情况进行分析，本文就以考虑隔水玻璃影响，引入二次折射分析，来模拟护机壳相机水下测距。图1.17水下成像光线传播示意图(相机置于水体中)Fig.1.17Schematicdiagramofunderwaterimaginglightpropagation(Thecameraisplacedinabodyofwater)1.5.1忽略隔水玻璃影响不考虑隔水玻璃的厚度，当相机置于水体外时，光线的传播路径为水空气透镜，物方光线会聚于透镜焦点再成像到CCD靶面。为此，我们将隔水玻璃与空气的交界设置于相机焦点处，保证仅通过一幅水下图像就能得到其等效空气图像。图1.18水下成像光线传播示意图(d=f)Fig.1.18Schematicdiagramofunderwaterimaginglightpropagation(d=f)建立如图1.18所示的水下光线传播示意图，图中为透镜到水界面的距离，为相机的焦距，Z为世界坐标系上的点到相机的距离。表示世界坐标系中的一个物点，表示该物点光线由空气经隔水玻璃再进入空气后在CCD对应的成像点，表示该物点光线由水体经隔水玻璃再进入空气后在CCD对应的成像点。建立两介质针对同一物点进入透镜时的对应关系，先以深度值为切入点，考虑XOZ平面进行研究。由图1.18不难得出如下方程： (1.1)式中：为物点在空气介质中的像点，为物点在水介质中的像点；为相机焦距；为水介质的折射率，为空气介质的折射率。由公式(1.1)变形得: (1.2)(1.3)把(1.2)代入(1.3)，回代到(1.1)式中得： (1.4)由式(1.1)推导出的式(1.4)表明，对于世界坐标系的物点，在水下的成像点与空气中介质的成像点存在一一对应关系。因此，调用水下折射模型把水下图像等效为空气图像具备合理性。式(1.4)是在透镜焦点与水气交界处相重合的前提下所获得的结果。然而，实际应用时透镜焦点难以做到精确重合，焦点常位于交界处之上或之下，此时式(1.4)可能不再适用。为不失一般性，我们对式(1.4)进一步拓展，使之更逼近真实情况。这里以焦点位于水气交界处之下为例，此时d>f，建立如图1.19所示的光线传播路径示意图。图1.19水下成像光线传播示意图(d>f)Fig.1.19Schematicdiagramofunderwaterimaginglightpropagation(d>f)作为世界坐标系中的任意点，作一条物点的平行光线，且过外焦点。结合三角形相似原理，建立关系方程为： (1.5)由公式(1.5)中的得：(1.6)其它两式代入(1.6)可得：(1.7)当光线来源于无穷远，物距较大，满足或。公式(1.7)等效为：(1.8)式(1.8)表明，物点与物点在空气介质中的成像点很接近，就可以把和视为同一物点。因此，物点点在水介质成像点为，在空气介质的成像点就为或，且同时过相机焦点，图1.19的水下成像点与空气中的成像点关系就等价为式(1.4)。同理，当焦点位于水气交界处之上，即时，水下成像点与空气中的成像点关系也可以等效为式(1.8)。由此可见，不考虑隔水玻璃的影响，当相机透镜焦点置于水气交界处时，物距不论大小，水下成像点与空气成像点始终存在一一对应关系，均可实现水下图像向空气图像的等效。当相机透镜焦点不位于交界处，但物距较大，满足时，水下成像点与空气中的成像点依然近似存在一一对应关系，可将其等效为焦点位于水气交界处的情况。1.5.2考虑隔水玻璃影响水下应用中，相机往往置于隔水玻璃外壳内部，整体放置于水中进行观测。由于隔水玻璃存在厚度，导致成像光路会发生一定的变化，实际观测中难以忽略其对成像带来的影响。而且，相机透镜焦距也未置于水气交界处，两种影响的交叠导致更大的图像变形，忽略隔水玻璃会造成严重的观测误差。为保证水下观测的准确，需要将隔水玻璃的影响纳入模型之中，在前述成像模型的基础上对二次光线折射进行建模。以本文实际所采用的亚克力板隔水玻璃为例，其折射率约为1.49。考虑隔水玻璃影响时，光线传播路径演变为水玻璃空气透镜，且相机透镜的焦点可以处于两个交界处，即水与隔水玻璃的交界处以及隔水玻璃与空气的交界处，光线传播路径示意图如图1.20所示。图1.20水下成像光线传播示意图(考虑隔水玻璃)Fig.1.20Schematicdiagramofunderwaterimaginglightpropagation(Considerofglass)(1)相机焦点处于Swg位置。此时，相机透镜的焦点处于水与隔水玻璃的交界处，物点在穿过水介质后在CCD靶面上的成像点为，穿过空气介质在CCD靶面上的成像点为。首先考虑物点位于空气中，即不含水情况下的折射模型。此时光线传播路径为空气玻璃空气透镜，由图中易得：(1.9)式中：为隔水玻璃折射率，为入射光线由空气介质到隔水玻璃介质的折射角度(与等值)，为入射光线由隔水玻璃介质到空气介质的折射角度(与等值)，为隔水玻璃介质的厚度。由(1.9)可推导出全空气介质条件下，考虑隔水玻璃影响时，物点在CCD靶面上成像位置：(1.10)同理，当物点位于水中，光线传播路径为水玻璃空气透镜时，由图中可得：(1.11)式中：为入射光线由水介质到隔水玻璃介质的折射角度(与等值)，为入射光线由隔水玻璃介质到空气介质的折射角度。式(1.11)经过变换可得：(1.12)式(1.10)表明，空气成像点与存在一一对应关系；式(1.12)又表明，水下成像点与又存在一一对应关系。由传递性得，相机焦点处于位置，水下成像点与空气成像点存在一一对应关系，水下图像还是能够等效为空气图像。(2)相机焦点处于Sag位置。增大透镜焦距，机透镜的焦点处于隔水玻璃与空气的交界处，此时光线传播路径示意图如图1.21所示。空气介质中物点与水介质中的物点经过透镜折射，分别会聚于相机焦点，并成像于CCD靶面中的和两点。图1.12水下成像光线传播示意图(考虑隔水玻璃)Fig.1.21Schematicdiagramofunderwaterimaginglightpropagation(Considerthebarrier)同理，首先考虑物点位于空气中，即不含水情况下的折射模型，建立光线折射方程：(1.13)易得，带入式(1.13b)可得：(1.14)再分析物点位于水中的折射模型：(1.15)变换(1.15)式：(1.16)代入(1.14)可得：(1.17)由公式(1.17)得，利用水介质中的像点转换得到的空气介质等效光线为图1.21所示的虚线光线，但实际是需要求解与水介质中入射光线等同的空气介质光线。由图可得，两光线距离相差为，那么空气介质光线(图为虚线)往左边移动间隔，那么对应到像素成像点，也需要移动等距。分析如图1.21所示的两介质折射光线有：(1.18)其中：