Word操作文件2

1、键入文字分类号：分类号：O439 U D C：D10621-408-(2007)1940-0密密 级：公级：公 开开 编编 号：号：2003071152成成 都都 信信 息息 工工 程程 学学 院院学学 位位 论论 文文基于双目视觉的光学传感技术研究基于双目视觉的光学传感技术研究论文作者姓名：XXX申请学位专业：申请学位类别：工学学士指导教师姓名（职称）：XXX（工程师）论文提交日期：xxxx 年 xx 月 xx 日键入文字基于双目视觉的光学传感技术研究基于双目视觉的光学传感技术研究摘摘 要要双目视觉技术是光学三维测量技术之一，在机器人视觉方面有一定应用，但目前也存在没有解决的问题，譬如图像纹

2、理的对应关系、双目摄像机的位置等等，还无法在实际环境中得到大量应用。基于双目视觉的光学传感技术研究涉及到原理分析、摄像机标定、最佳阈值分割图像、目标区域的提取、视觉信息处理等内容，本文通过计算机仿真，进行简单物体的模拟测量，着重分析了双目视觉测量技术的应用范围和优劣势。在计算机仿真中用两个相同的摄像机在不同的位置拍下两张图片，根据两图片的相差求出物体的三维坐标。本论文在从原理、实际测量环境等各个方面对双目视觉技术进行详细探讨的基础上，也对双目视觉技术将来可能的应用领域和范围做了介绍。关键词关键词：光学三维传感；最佳阈值分割图像；目标区域的提取；计算机仿真键入文字Research of Opti

3、cal Sensing TechnologyBased on Binocular VisionAbstractBinocular technology is one of the 3D optical measurement techniques, and has been used to 3-D sensing, automated manufacturing, robot simulation, industry monitor, quality control, etc. But until now there are unresolved issues for binocular te

4、chnology, such as texture images counterparts, binocular camera position. Based on binocular vision optical sensor technology, this paper studies the principle of binocular technology and analyzes its measurement process. With computer simulation, we finished a simple object measurement and analyze

5、the applications, advantages and disadvantages about this method. In the computer simulation, we use the two same cameras in different positions to take two photographs, and then by comparing the difference between two pictures, can get the 3D coordinates of objects. From the principle, the actual m

6、easurement of environmental and other aspects of binocular vision technology, this paper conducts a detailed study on the basis of binocular vision technology and discusses some possible future areas of applications.Key words: 3-D optical sensing; optimal threshold image segmentation; stereo-matchin

7、g; computer simulation键入文字目录目录目录.11 引言.12 各种三维方法.12.1 位相测量轮廓术.12.1.1 PMP 系统结构 .12.1.2 时间相移法.22.2 调制度.32.3 傅里叶变换.53 双目视觉测量传感器.63.1 双目视觉测量传感器组成.63.2 双目视觉测量传感器工作原理.63.3 测量双目视觉.63.3.1 摄像机模型.73.3.2 最佳阈值分割图像.73.3.3 目标区域的提取.84 双目视觉.94.1 基本原理.94.2 双目视觉的设计.94.3 推导过程.114.4 计算机防真.11结 论.1参考文献.1致 谢.2声 明.2成都信息工程学

8、院学位论文第 1 页1 引言引言双目体视目前主要应用于四个领域：机器人导航、微操作系统的参数检测、三维测量和虚拟现实。日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统，利用双目体视的原理，如每幅图像中相对静止的三个标志为参考，实时计算目标图像的雅可比短阵，从而预测出目标下一步运动方向，实现了对运动方式未知的目标的自适应跟踪。该系统仅要求两幅图像中都有静止的参考标志，无需摄像机参数。而传统的视觉跟踪伺服系统需事先知道摄像机的运动、光学等参数和目标的运动方式。麻省理工学院计算机系统提出了一种新的用于智能交通工具的传感器融合方式，由雷达系统提供目标深度的大致范围，利用双目立体视觉提供

9、粗略的目标深度信息，结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割，而传统的目标分割算法难以在高速实时环境中得到令人满意的结果。华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统，使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航。系统使用同一个摄像机在“探测者”的不同位置上拍摄图像对，拍摄间距越大，基线越宽，能观测到越远的地貌。系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位置，利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配，得到亚像素精度的视差，并根据此视差计算图像对中各点的三维坐标。本文设计了一个测量物

10、体三维坐标的方法，用两个摄像机给物体拍照得到两张图片，找出两个相对应的区域和摄像机的参数、两区域的相差，运用几何光学原理推导出高度计算公式，把这些相关参数代入公式中就可以求出物体的三维坐标。再通过计算机用 MATLB 进行简单的模拟，来分析实验的结果。2 各种三维方法各种三维方法2.1 位相测量轮廓术位相测量轮廓术位相测量轮廓术(PMP)是一种非接触三维传感方法，这种方法采用正弦光栅投影和数字相移技术，能以较低廉的光学、电子和数字硬件设备为基础，以较高的速度和精度获取和处理大量的三维数据。2.1.1 PMP 系统结构系统结构PMP 系统的框图可用图 2.1 表示，系统由投影、成像、数据获取与处

11、理三大部分组成。测量过程：光源发出的白光经正弦光栅投影到参考平面上和被测物体表面上，分别得到正弦光栅条纹图的光强信息和受物体表面面形调制后的变形条纹光强信息，采用高精度的 CCD 摄像机采集变形前后的条纹图像，并将接收到的光强信号转换为电信号，送至图像卡，进行电信号放大，再经 A/D 转基于双目视觉的光学传感技术研究基于双目视觉的光学传感技术研究第 2 页换后量化为数字图像，存储在计算机的系统内存中，由计算机对它们进行运算，并结合相位技术，最终得到所要求的相位信息，经数据处理后，可从计算机的显示屏上观察到被测物体的表面三维轮廓图形。即由原来读条纹图而进展为计算机直接输出最后测量结果，从而使测量

12、自动化。图 2.1 PMP 系统框图2.1.2 时间相移法时间相移法相移是位相测量轮廓术的核心技术，它可分为时间相移法和空间相移法。空间相移法利用分光相移装置同时得到几幅相移图像，它比较适用于动态测量，但目前空间相移装置尚不够完善，精度也不高。时间相移法是通过移动正弦光栅周期 1/N，以获得 N 幅变形光栅图像，即人为改变图像的相对相位，通过比较 N 幅图像中同一点在不同相移量下的光强值来求解该点的相位。当正弦光栅模板被投影到参考平面时，在参考平面上沿 x 方向的强度分布为： (2.1),(cos),(),(),(0yxyxByxAyxI当条纹投影到被测物体上时，由于受到物体高度调制及其表面反

13、射的影响，其光强分布为： (2.2),(cos),(),(),(),(0yxyxByxAyxRyxI式中：R(x,y)物体表面光强不均匀性反射系数；A(x,y)背景光强；B(x,y)/A(x,y)条纹对比度；(x,y)物体调制的变形条纹的相位函数，表示条纹的变形；(x,y)与物体三维面形 Z=h(x,y)有关。相位与三维信息之间的关系取决于系统结构参数2。在变形光栅图像的强度分布中包含有相位信息。一般对(2.2)式直接求(x,y)很难，而相移算法却提供了一种精确测定相位的手段,引入相移算法可以简单、精确地测定相位。使正弦光栅移动其周期的 1/N 时，条纹图的相位被移动了2/N，产生了一个新的强

14、度函数 In(x,y)。使用三个或更多的对应不同相移值的条纹图，相位函数(x,y)就可以独立于式(2.2)中的其他参数而单独提出。为此我们在条纹相位上附加一个常位相，在全场每个像素上的值都相同，则： (2.3),(cos(),(),(),(),(yxyxByxAyxRyxI将(2.3)式改写成： (2.4)(sin),()(cos),(),(),(),(nyxqnyxgyxfyxIyxIn成都信息工程学院学位论文第 3 页其中; ),(),(),(yxAyxRyxf(2.5) (2.6),(cos),(),(),(yxyxByxRyxg (2.7)( , )( , ) ( , )sin ( ,

15、 )q x yR x y B x yx y 上式(2.4)实际为 In(x,y)的傅立叶级数，f(x,y)为直流量的系数，g(x,y)和 q(x,y)为一级简谐量的系数，若相移量为： (2.8)NnQnn2 , 12)(式中 Q，n 均为整数，Q 表示在一个周期内的采样点数，k 为总共采样的周期数，N 为每一个像素的采样总次数。在(n)处探测到的相应强度为 In(x,y)，利用三角函数的正交性可以证明： (2.9)11( , )( , )Nnnf x yIx yN (2.10)11222( , )( , )cos ( )( , )cos()NNnnnnng x yIx ynIx yNNN (2

16、.11)11222( , )( , )sin ( )( , )sin()NNnnnnnq x yIx ynIx yNNN由(2.6)和(2.7)得： (2.12)( , )arctan ( , )/( , )x yq x yg x y 把 (2.10)和(2.11)代入上式得： (2.13)112( , )sin()( , )arctan2( , )cos()NnnNnnnIx yNx ynIx yN 可以看出通过两束光强的探测，利用(2.13)就可以求出(x,y)。这样，通过相移-(x,y)，然后根据几何三角关系，就可获取物体的轮廓信息8。为了清晰地说明光学相移位相测量方法，采用三步相移技术

17、即在参考光中引入相移量(0、2/3、4/3),当一正弦光栅投影到三维物体表面时，光栅受物体表面形状调制后的变形光场的数学表达式可表示为： (2.14)0( , )( , ) ( , )( , )cos ( , )Ix yR x yA x yB x yx y采用三步相位算法，相移增量是 2/3，所产生的三个干涉图可表示为： (2.15)1( , )( , ) ( , )( , )cos ( , )I x yR x yA x yB x yx y (2.16)22( , )( , ) ( , )( , )cos ( , )3Ix yR x yA x yB x yx y (2.17)34( , )(

18、, ) ( , )( , )cos ( , )3Ix yR x yA x yB x yx y由式(2.15)、(2.16)及(2.17)可以计算出相位函数5： (2.18)231233( , )( , )( , )arctan( , )( , )( , )Ix yIx yx yI x yIx yIx y2.2 调制度调制度对物体三维轮廓术的测量已经发展起来的方法主要有相移测量术(PMP)、傅里叶变换术(FTP)、莫尔条纹法、飞行时间法、相干雷达技术 E 等，其中前三种方法的测量是基于三角测量原理，即通过分析受物面调制的投影条纹的变形情况获取空间信息，所以受到阴影、遮挡、相位截断的限制，不能测量

19、剧烈的面型变化 飞行时间法虽然可以实现垂直测量，但固空间信息是靠光线的时间差得基于双目视觉的光学传感技术研究基于双目视觉的光学传感技术研究第 4 页到的，对信号处理的时间分辨率有特别高的要求，所以一般只用于大范围绝对距离测量。基于调制度测量的三维轮廓术(MMP)，它完全基于投影到待测物面上的正弦条纹的调制度分布，并且投影方向和探测方向一致，所以可以实现对物体的垂直测量，不用解相位和相位展开，亦即可以测量物表面高度剧烈变化或不连续的区域。这种方法是将正弦条纹投影到物面上，利用横向相移技术计算物面上各点的调制度，然后将物体在纵向范围内移 N 次，就可得到 N 帧调制度图，再找出每一个像素点调制度最

20、大值的位置，由此位置就可计算出此像素点的高度值。将一正弦光栅投影到物体上，从与投影方向相同的方向上探测被测物体上的条纹图形。物体上的光强分布可表示为： (2.19)00( , )( , )( , )cos(2)I x yIx yc x yxfz式中 I0(x,y)为背景强度，C(x,y)为条纹对比度,f 为投影条纹空间频率，0 为初位相。在正弦光栅的成像面上，条纹对比度最大，而在成像面前后，即离焦像面上条纹对比度降低，在光轴方向就有一对比度分布，不同的对比度对应此点到投影系统的不同距离。如图 2.2 所示。为计算调制度，在与正弦光栅条纹垂直的方向上，以等间距移动光栅 L(L3)次，总移动量为一

21、个光栅周期。则可得 L 帧条纹图，由此就可计算对应点的调制度。考虑某一点的所有相移强度值，该点条纹的调制度函数 M(x,y)定义为： (2.20)22111( , )2( , )00,sin(2/ )cos(2/ )LLx yx yirM x yItLItL式中 I1 是第 1 次相移的强度值。将(2.19)式代入(2.20)式可得如下表达式： (2.21)1,( , )2M x yLc x y由此可知，调制度函数 M(x,y)与背景强度，I0(x,y)无关，而是与条纹对比度C(x,y)成正比。在基于调制度测量的三维轮廓术测量中的调制度实际相当于条纹对比度。在光栅像平面上的像素点调制度最大，在

22、光栅像平面前后的像素点调制度变小。在实际测量中通过前后移动投影系统，保持探测系统和物体的相对光栅相移透镜成像面前成像面成像面后图2.2 光栅成像面前后调制度分布示意图成都信息工程学院学位论文第 5 页位置不动，则可由物体纵深范围内的调制度三维分布得到待测物体的空间信息2。2.3 傅里叶变换傅里叶变换设 f(x)为定义在区间-x上的函数。一般说来，它是非周期的，不能展为傅里叶级数。为了研究这样的函数的傅里叶展开问题，我们采取如下办法：试将非周期函数 f(x)看作是某个周期函数 g(x)于周期 2 时的极限情形。这样lg(x)的傅里叶级数展开式： (2.22)01( )(cos)kk xk xg

23、xaakbksinll在 时的极限形式就是所要寻找的非周期函数 f(x)的傅里叶展开。下面l仔细研究一下这一极限过程。为此，引入不连续量： (2.23)/ (0,1,2,.),1/kkkkl kl 这样(2.22)成为： (2.24)01( )(cossin)kkkkkg xaaw xbw x傅里叶系数为：1( )coslkklafwdkl (2.25)1( )sinlkklbfwdl 将(2.25)代入(2.24)，然后取 的极限。l对于系数 a0,若有限，则lim( )lllfd01limlim( )02llllafdl余弦部分为： (2.26)111lim( )coscos1lim( )

24、coscoslkkllklkkkllkfwdw xlfdx 于，不连续参量 的积分，上式成为：l 0kl (2.27)01( )coscosfdxd 同理，正弦部分的极限是： (2.28)101lim( )sinsin1( )sinsinlkkllkfdxlfdxd 于是(2.24)在 时的极限形式是：l (2.29)00( )( )cos( )sinf xAxdBxd其中 1( )( )cosAfd (2.30)1( )( )sinBfd (2.29)右边的积分称为傅里叶积分，(2.29)称为非周期函数 f(x)的傅里叶积分表达式，(2.30)称为 f(x)的傅里叶变换式。这里必须指出， (

25、2.29) ,(2.30)两式只是形式的结果。关于这一结果的数学理论，有傅里叶积分定理：若函数 f(x)在区间(-,)上满足条件(1) f(x)在任意一个有限区间上满足狄里希利条件，(2) f(x)在(-,)上绝对可积，则 f(x)可表成傅里叶积分，且傅里叶积分值=f(x+0)+f(x-0)/2。基于双目视觉的光学传感技术研究基于双目视觉的光学传感技术研究第 6 页(2.28)又可改写为： (2.31)0( )( )cos( )f xcxd 其中 1222( )( )( )cAB (2.32)12( )( )/( )tg BA 又称为 f(x)的振幅谱，称为 f(x)的相位谱1。( )c( )

26、 3 双目视觉测量传感器双目视觉测量传感器3.1 双目视觉测量传感器组成双目视觉测量传感器组成双目视觉测量探头由 2 个 CCD 摄像机和 1 个半导体激光器组成，半导体激光器作为光源，它发射出一点光源射到一柱状透镜上后变成一条直线。该线激光投射到工件表面，作为测量标志线。激光波长为 650nm，其扫描激光线宽约为 lmm。2 个普通 CCD 摄像机呈一定角度放置，构成深度测量的传感器。CCD镜头焦距长短会影响镜头光轴与线激光的夹角、探头与待测物体的距离以及测量景深。3.2 双目视觉测量传感器工作原理双目视觉测量传感器工作原理视觉测量属于一种非接触式测量，它是基于激光三角法测量原理 。激光器l

27、 发出的光线经柱状透镜单方向扩展后变成一光条，投射在被测物体表面，由于物体表面曲度或深度的变化，使光条变形，由 CCD 摄像机摄取此变形光条的图像，这样就可以由激光束的发射角和激光束在 CCD 内成像位置，通过三角几何关系获得被测点的距离或位置等数据。与人类使用双眼观察物体的远近类似，双目视觉测量传感器是通过 2 个 CCD 摄像机同时摄取一个光条的图像，再通过两幅图像的匹配，得到光条上所有像素点分别在两幅图像中的位置，利用视差，即可计算该点的位置以及深度信息的。如果配合扫描机构得到的扫描线某一坐标值，可得到被扫描物体所有的轮廓信息（即三维坐标点） 。如图 3.1 所示，按照三角测量原理空间点

28、 的深度信息 Z 可以通过下式确定为： (3.1)1211BxxZf式中(x1,x2)为空间 w 点在 2 个像平面上投影点的坐标值；B 为双目视觉传感器的基线长度，即 2 个镜头中心的距离；f 为镜头的有效焦距；Z 为物体的空间坐标，即深度信息。一般来说，双目传感器的视差(x2-x1)越大，则其测量精度越高。由式(3.1)知，测量精度受基线长度、有效焦距等影响。通过实验发现，增大基线长度可以提高视觉测量的精度。但对某一焦距的镜头，过大的基线长度会造成双目轴线夹角增大，使图像产生较大畸变，不利于 CCD 的标定及特征匹配，反而使测量精度下降。选择 2 个焦距为 10mm 的镜头，通过实验，找到

29、与之相匹配的基线长成都信息工程学院学位论文第 7 页度，可保证在镜头的景深范围内，双目视觉传感器有较量精度4。像平面 1像平面 2( . . )ooo( . . )p oo z( , )x y zwZx2(,2)xy11(,)xy图 3.1 交叉摆放的双目形成的视差3.3 测量双目视觉测量双目视觉3.3.1 摄像机模型摄像机模型采用的摄像机模型为针孔模型如图 3.2 所示：Z=-FfRFxmzyvwc图 3.2 针孔摄像机模型由一个投影中心 c 和一个图像平面 R 所组成。世界坐标系的任意一个三维点叫 w=x,y,z投影到图像平面的点 m=u,v，是连接 w 和 c 点直线与图像平面R 的交点

30、。这种透视投影关系可由矩阵 P 表示:smpw (3.1)式(3.1)中，s 是任意尺度因子，和分别为 m 和 w 的齐次坐标表示：m w ， (3.2)1umv 1XYwZ因此，摄像机模型可采用透视投影矩阵 p 表示，且可以分解为： (3.3)01RtpA矩阵 A 包含了摄像机的内参数信息，可表示为： (3.4)0000001uvauAav这里 au=fku ,av=-fkv 是分别以水平和垂直象素单位表示的焦距长度。(u0,v0)为图像中心点坐标，定义为光轴与图像平面的交点。摄像机的外部参数，包括位置和朝向，由一个 33 的旋转矩阵 R 和一个平移矢量 t 表示。外部参数表达的是摄像机坐标

31、系与世界坐标系的关系3。3.3.2 最佳阈值分割图像最佳阈值分割图像图像分割就是要将图像中有意义的特征或者需要应用的特征提取出来。这些特征可以是图像的原始特征，如物体占有区的像素灰度值、物体轮廓曲线或纹理特征等，还可以是空间频谱或直方图特征。分割的目的是将二维数字图像在空间和灰度两方面都进行简化处理。经图像分割处理后，原始图像中灰度连续变化的场景变成一些相对独立的几何区域，目标中我们关心的重要特性得到增强，而冗余信息被去除，整个图像的信息量大大减小，有利于目标特性的分析。为了保证机器人视觉系统的实时性要求，采集的图像首先转换为灰度图像，便于设计算法，因为通常情况下，利用目标区域和背景区域在灰度

32、方面的差异可以实现对图像的分割。图像分割的一个难点在于，在划分之前，不能够确定图像区域的数目。移动机器人和自动驾驶车所工作的环境也是千差万别，不能要求具体的特定的工作环境，可以行走在平坦的具有灰度一致性的道路上，也可能工作于像草地、基于双目视觉的光学传感技术研究基于双目视觉的光学传感技术研究第 8 页丘陵、河流的环境下，所以如何划分出对场景有实际意义的分割目标是很重要的。按照通用的分割定义，分割出的区域应该是满足均匀性和连通性的条件。其中均匀性指的是该区域中的所有像素点都满足基于灰度、纹理等特征的相似性准则，而连通性是指在该区域内任意两点存在相互连通的路径。基于此，我们考虑动态确定多层次局部最

33、佳阈值的方法。设图像为 f，不失一般性，假设多个目标的灰度范围为 G1,G2,G3可以考虑设定多个阈值来把各个目标区域进行分割识别。在一个区域内，如果同时存在目标和背景，其灰度直方图就存在着两个山峰，一定存在最佳阈值。如果只有目标或背景，一般情况下，就是没有谷底的单峰。首先把图像 f 看作一个区域 R，对 R 求出最佳阈值 T1，根据阈值 T1 把 R分割成了灰度值级别不同的两个子区域 RL1,Rh1。如果以一个二又树结构来描述，R 就是二叉树的树根。两个子区域分别为的左、右子树。节点的阈值 T 是划分左、右子树的标准。这样对节点进行分叉，直到节点区域的灰度值直方图近似平坦，不存在明显的双峰或

34、多峰，如图 3.3 所示。R1TR1D1D2R2R2hD32TR1h图 3.3 图像阈值分割树对每一个区域进行一种迭代算法来求图像最佳分割阈值。首先求出图像中的最大和最小灰度值 Gmin 和 Gmax，令初始阈值 (3.5)minmax02GGT阈值 T0 将图像分割成低灰度级区域 l0 和高灰度级 h0 区域两部分。不失一般性，设阈值 Tk 将图像分割成低灰度级区域 lk 和高灰度级区域 hk 两部分，求出该两部分的平均灰度值 Glk 和 Ghk： (3.6)( , )( , )( , ) ( , )( , )kkf x yTklf x yTf x y w x yGw x y (3.7)(

35、, )( , )( , ) ( , )( , )kkf x yTkhf x yTf x y w x yGw x y式中 f(x,y)是图像上(x,y)点的灰度值，w(x,y)是(x,y)点的权重系数，一般取1。根据 Glk 和 Glk 求出新的阈值： (3.8)12kkklhGGT如果 Tk=Tk+1 或者趋于收敛，则结束计算，从而得到该区域的最佳分割阈值；否则，继续迭代。3.3.3 目目标区域的提取标区域的提取通过多阈值的分割，原始图像变成以不同区域灰度均值填充的区域分割图像。为了进行基于区域的立体匹配计算，必须提取分割出的目标区域的特征量。特征量包括反映区域大小的面积 A 和区域重心。(

36、, )x y 成都信息工程学院学位论文第 9 页在实际场景图像中，目标区域的形状并非总是规则的和容易识别的，相当多的情况是，目标区域为不规则形状，而且有时候不规则的目标形状在某一个方向上是狭窄而且弯曲的。在这种情况下，求得的重心坐标可能是失效的。如求得的重心坐标落在实际目标区域之外，这样在立体匹配操作下，就会得到错误的视差结果。鉴于此，在求任意形状目标区域的重心问题时可以通过区域分解的办法得到解决。把大的目标区域进一步细分成多个矩形区域（边缘为三角形） ，再分别求得各个子区域的重心坐标，分别进行视差计算。在对区域进行分解的同时计算分解区域的面积。区域面积 A 描述区域的大小，就是对于属于区域的

37、像素的计数。对于面积小于一个预定小阈值的目标区域，对其进行归一化处理。目的是对分割的区域进行进一步的整理，通过区域生长、修补由于目标或背景（即障碍物或道路）表面的光照不均匀或部分表面灰度的差异而引起的分割空洞。而对于均质的物体而言，重心就是其几何中心，分解的目标区域重心可以由式(3.8)求得： (3.9)1111,AAiiiiilAAiilip xp xxyXX式(3.9)中，是所求物体的重心坐标；(xi,yi)是目标区域的像素坐标；Pi, x y 是区域(xi,yi)点处的质点重量，一般取 1。采用上述方法求得分解目标区域的重心后，就可以通过扫描图像的分割分解图,对分割分解得到的目标区域进行

38、编号处理，为进一步的立体匹配工作做准备。4 双目视觉双目视觉4.1 基基本原理本原理一般的图片都是二维的，很少是三维的。但人的眼睛就一眼能看出它是三维的，双目视觉就相当于人的眼睛。它是通过两个摄像机给物体拍照得到两张图片，在随便找出两个相对应的区域，找到摄像机的参数、两区域的相差，就可以通过计算求出该区域的三维坐标。在选一个区域也可以求出它的坐标，选n 次就可以把物体全部选完，这样就可以确定物体的整体坐标。4.2 双目视觉的设计双目视觉的设计对双目视觉传感的测量是很复杂和困难的。如机构设计首先要设计一个机械平台，根据具体任务的不同，视觉系统的自由度和镜头的配置均有所不同。 自由度的设置：对于工

39、业机器人来说，若需要测量深度的情况下，就是将两个摄像头装配在机械手末端。即对于摄像头来说或者设有可控的自由度，或者有两个自由度而对于仿人型机器人来说。需要配置更多的自由度来模仿人眼和头部的功能通常人眼和头部是在一起来设计的。最常见的是四个自由度，两眼各一个，脖子两个。仿人型(上半身)机器人则有更多的自由度，它可以任意基于双目视觉的光学传感技术研究基于双目视觉的光学传感技术研究第 10 页的旋转，大大的增加了它的视觉。由于条件的限制我就不可能设计成像那样的，为了能计算出它的坐标就把摄像机安置在一条垂直线上，而且固定摄像机镜头使它不能旋转，视线水平。在设计的时候就忽略了它的视场误差，如果让两个摄像

40、机的中心轴平行，两个的视场是不一样的，及一个摄像机得到的图片，它的一部分在另一张图片上找不到与它相对应的。为了设计的需要就把两个摄像机的视场看成一样的。 像头距离：两个摄像头之间的距离越大，则目标在两个摄像头上的视差越大，有利于求取深度。如果太大，则整个装置的体积就变大了不利于移动，而且它视场差也要变大就不能忽略它的存在了。为利于求取深度、装置的移动和加小误差，就把它的距离 d 设为 50m。 物体的选择也有一定的限制，如图：图 4.1 物体侧面成直角像这样一个直角的物体，当 1 号摄像机给物体拍照时有一部分被挡，不能在照片是看到，然而在 2 号像机照下的图片上有被挡了的那部分。就找不到两张图

41、片相对应的图像，也就不能找到它们的相差，不可能求出它的三维坐标。还有很多像这样的物体，如图：图 4.2 物体侧面是斜面如果摄像机的最大视角线正好于物体的斜面平行，在 1 号摄像机的到的照片就没有物体的斜面。而在另一张图片上就多出些图像，没有办法在那张图片上找12图 4.3 两个摄像拍一个特殊物体到于它对应的像，通过公式就不能求出物体的三维坐标。还有很多像这样的物体是不能完成实验的，所以就需要找到一个特殊物体。如侧面像正弦的条纹物体就能很好的完成实验，用条纹型的物体，它比 无论把它放在那个位置都可以完成实验。但为了实验的效果更明显就需要选择一个好的位置，如果把物体放在两个摄像机的中间，从图片上可

42、以看出相差很小不利于计算，也增大了偶然误差。如图 4.3，2 号摄像机正对着物体，图片的中间就会出现均匀的条纹。1 号摄像机的视角线与物体中间的斜面的角度很小，所以在图片中间上得到很密的条纹。如果把物体放在其他的地方，虽然可以算出物体的坐标，但是图片的对比性不高，不利于找到对应的条纹和坐标的计算。所以就把物体放在一个理想成都信息工程学院学位论文第 11 页的位置，及一个摄像机的正对着物体中心。a1a1a2a2zdy2x21图 4.3 双目视觉的光路图两张条纹图片，是拍同一个物体得到的及它们到是相互对应的。可以通过图片的灰度图像求得那两个条纹是对应的关系。为了说明双目视觉的测量原理，我们选取了很

43、特殊的一个理想模型，垂直摆放两个摄像机(设摄像机的焦距为 f=10)，要求它们的中心距离为 50m，摄像机的镜头固定在水平方向上且不让旋转。为了让实验的效果更加的明显，把物体的中心与一个摄像机的中心在一条水平线上。为了使设计的效果明显，就需要一个特别的物体。如侧面像正弦波的物体，就可以在一张图片上看到均匀的条纹，另外一幅就是间距不相同的条纹。这样就很容易的找到每一条纹在两张图片上的像高度。在这里就只选择了有普遍意义的两个条纹，一个在两个摄像机的中间区域，另一个就在上面一个摄像机的水平线上面。如图 推导过程推导过程先求条纹 1 号的高度由牛顿公式可得： (4.1)fxz111如图

44、可以得出： (4.2)dyy21 (4.3)22yaxz11yaxz由(4.1)能计算出： (4.4)fzzfx由(4.2)得： (4.5)zxay11zxay22在把(4.5)代入(4.2)得： 及 (4.6)dzaax)(21zdaax)(21在把(4.6)代入(4.4)得： 算得：fdaaxfdaaxx)()(2121) 1(21aadfx同理也可以求出 2 号条纹的高度，应该注意到 a1 和 a1的坐标关系，设 a1为负，则 a1 为正。(设过摄像机中心的直线为 x 轴)因为下面的摄像机的成像都在 x 轴的下面就不需要考虑坐标关系。4.4 计算机防真计算机防真首先清空一个区域，设 x

45、的取值在(1:256)，y1 是一条 3x 的直线。y2 是物体的侧面图，它以 y1=3x 这条直线为轴，振幅 40，周期是 2/256 的正弦波。让y1，y2 在同一张图片上输出。建立一个 for 循环,模拟图片的形状及 a1，a2，把它们用图片表示出来。再用 for 循环把 d1，d2 的取值表示出来，如图 4.3 像有正基于双目视觉的光学传感技术研究基于双目视觉的光学传感技术研究第 12 页负的区分 d1 就需要减 386，把参数代入公式中去，就求出 x1。用二维和三维显示出 x1，再在三维图片中每隔 8 个点抽一次，输出图片。clear allx=(1:256);y1=3*x;y2=3

46、*x+40*sin(2*pi*x/(256);plot(y1)hold onplot(y2,r)figurefor i=1:256 for j=1:256 a1(i,j)=2+sin(2*pi*(3*j)./30); a2(i,j)=2+sin(2*pi*(3*j+40*sin(2*pi*j/(256)./30); endendimshow(a1,)figureimshow(a2,)for i=1:256for j=1:256 d1(i,j)=3*j-384; d2(i,j)=50+3*j+40*sin(2*pi*j/(256); x1(i,j)=10*(50/(d2(i,j)-d1(i,j)+1); endendfigureimshow(x1,)figuremesh(x1)figuremesh(x1(1:8:256,1:8:256)figuresurf(x1(1:8:256,1:8:256)成都信息工程学院学位论文第