三维信息获取和环境地图表示

三维信息获取和环境地图表示第一页，共23页。投影矩阵求解原理：假设移动机器人在移动时前后两帧的投影矩阵为和，则,称为摄影机的基础矩阵。

第二页，共23页。投影矩阵的推导：透视投影变换是在齐次坐标下进行的，对于一个向量v以及基oabc，可以找到一组坐标(v1,v2,v3)，使得v

=v1

a

+v2

b+

v3

c（1）而对于一个点p，则可以找到一组坐标（p1,p2,p3），使得p

–

o

=p1

a+

p2

b

+p3

c（2）第三页，共23页。p

=

o

+p1

a+

p2

b

+p3

c(3)我们现在把（1）（3）写成矩阵的形式：这样，向量和点在同一个基下就有了不同的表达：3D向量的第4个代数分量是0，而3D点的第4个代数分量是1。像这种这种用4个代数分量表示3D几何概念的方式是一种齐次坐标表示。第四页，共23页。线性插值由一个数域映射到另一个数域时,如果两个数域都是线性,那么它们的对应点成比例.例如：已知有一破温度计(何以谓破?刻度之间间距虽平均,但间距或大于或小于标准值,谓之破),当其插入0

摄氏度水里时显示为5摄氏度,当其插入100摄氏度的沸水中时显示为90摄氏度,问:当实际水温为50摄氏度时，此破温度计显示的值是多少?解:因刻度均匀,所以刻度之间的比例与好温度计相同,由此:设显示的数为T,(90-T)/(T-5)=(100-50)/(50-0)解出T=47.5

0C.第五页，共23页。透视投影变换这里我们选择OpenGL的透视投影变换进行分析，其他的APIs(应用程序编程接口)会存在一些差异，但主体思想是相似的，可以类似地推导。OpenGL：（全写OpenGraphicsLibrary）是个定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口。它用于三维图像（二维的亦可），是一个功能强大，调用方便的底层图形库。第六页，共23页。OpenGL里的视锥体图形第七页，共23页。透视投影变换由两步组成：1）用透视变换矩阵把顶点从视锥体中变换到裁剪空间的CVV（规则观察体）中。2）CVV裁剪完成后进行透视除法。第八页，共23页。设P(x,z)是经过相机变换之后的点，视锥体由eye——眼睛位置，np——近裁剪平面，fp——远裁剪平面组成。N是眼睛到近裁剪平面的距离，F是眼睛到远裁剪平面的距离。投影面可以选择任何平行于近裁剪平面的平面，这里我们选择近裁剪平面作为投影平面。设P’(x’,z’)是投影之后的点，则有z’=-N。第九页，共23页。完成投影。

透视除法。第十页，共23页。机器人双目立体视觉若干关键理论问题及其技术实现研究

第1章，回顾了计算机视觉理论研究的发展历程，调研了国内外双目立体视觉理论研究和技术应用的现状，以立体视觉为重点分析了双目立体视觉的应用前景，探讨了相关研究的关键技术和存在的问题，阐明了本课题的研究意义、研究难点和研究内容。第十一页，共23页。视觉是一个古老的研究课题。人类视觉过程可以看作是一个从感觉到知觉的复杂过程，从狭义上说视觉的最终目的是要对场景作出对观察者有意义的解释和描述;从广义上说是根据周围的环境和观察者的意愿，在解释和描述的基础上作出行为规划或行为决策。计算机视觉研究的发展：最早可以追溯到20世纪50年代20世纪80年代初期有了初步的发展到了20世纪80年代中期，计算机视觉获得了蓬勃的发展进入20世纪90年代，出现了低功耗和低成本的CMOS图像传感器，其独特的优点在使其在计算机视觉中得到了广泛的应用。同时，随着专用视频解码芯片和现场可编程逻辑门阵列(FPGA)芯片的出现，使得图像采集系统到计算机的实时图像数据传输成为可能。

第十二页，共23页。双目立体视觉技术研究与应用现状一个完整的双目立体视觉技术实现可以分为：图像获取三维重建立体匹配特征提取摄像机标定图像获取摄像机标定第十三页，共23页。摄像机标定的研究现状摄像机标定起源于摄影测量学。摄影测量学中使用的方法是数学解析分析的方法，在标定过程中通常要利用数学方法对从数字图像中获得的数据进行处理。传统的标定方法摄像机标定方法：自标定方法基于主动视觉的标定方法（1）传统的标定的方法和理论都比较成熟。优点：可以使用任意的摄像机模型，标定精度高，适合精度要求很高的应用场合。主要方法：非线性优化法、直接线性变换法、两步法、平面模板法和双平面法等。第十四页，共23页。（2）自标定方法不需要利用标准的标定物来得到准确的三维信息，只需控制摄像机的运动来获得图像序列，通过从图像序列的匹配信息得到约束关系来计算摄像机模型参数。优点：只需建立图像与图像间的相互对应关系，具有很强的灵活性。缺点：标定过程比较复杂，不适于对实时性有较强要求的场合。此外，自标定法采用的是非线性优化算法求解，对初值估计的依赖性较强，导致其鲁棒性不好，只适于对标定精度要求不是很高的应用场合。主要方法：绝大多数是基于绝对二次曲线(theAbsoluteConic)或其对偶绝对二次曲面(theAbsoluteQuadric)的方法。第十五页，共23页。（3）基于主动视觉的标定方法这里的主动视觉系统是指首先将摄像机精确的安装在可以控制的操作平台上，然后通过控制平台作特定的运动来使摄像机拍摄多幅图像，最后利用图像和摄像机的运动参数来获得摄像机的内部参数以及外部参数。主要方法：包括基于纯平移运动与墓于纯旋转运动的两种标定算法。缺点：成本高；对摄像机的运动情况有约束。第十六页，共23页。图像立体匹配的研究现状立体匹配解决的是对于同一空间景物上的一点在参考图像上的投影点如何在匹配图像上找到其对应点的问题。基于局部的立体匹配算法分类：基于全局的立体匹配算法基于半全局的立体匹配算法第十七页，共23页。（1）基于局部的立体匹配算法：利用对应点本身以及邻近的局部区域的约束信息。优点：计算效率高，在高纹理区域能够很快的得到视差图缺点：在遮挡区域和视差不连续区域的匹配精度不高，易产生误匹配（2）基于全局的立体匹配算法：优点：一般能获得精度较高的视差图缺点:相应的参数设置较难而且复杂度也较高，实时性不是很强第十八页，共23页。立体匹配算法存在各自的优缺点，研究学者对其的研究也是针对不同的需求选择不同的算法进行研究。其中一些经典算法已经比较成熟，应用也比较广泛。除此之外，还有学者陆续提出一些新的算法。第十九页，共23页。我们的实验：返回目标物体的三