移动机器人立体视觉技术研究.ppt

移动机器人立体视觉技术研究,报告人：邹宇华日期：2010年04月30日,自动化科学与电气工程学院,目录,自动化科学与电气工程学院,一、立体视觉技术及其应用,立体视觉(stereovision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的多幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。,自动化科学与电气工程学院,一、立体视觉技术及其应用,自动化科学与电气工程学院,二、摄像机参数标定,图像坐标系、摄像机坐标系和世界坐标,图像坐标系(u,v)：以像素为单位的图像坐标(x,y)：以毫米为单位的图像坐标,摄像机坐标系和世界坐标(xc,yc,zc)：点p的摄像机坐标(xw,yw,zw)：点p的世界坐标,旋转矩阵r平移向量t,自动化科学与电气工程学院,二、摄像机参数标定,线性摄像机模型（针孔模型）,空间任何一点p在图像上的成像位置可以用针孔模型近似表示：,m为34矩阵，称为投影矩阵；m1完全由fx、fy、u0、v0决定，只与摄像机内部结构有关，这些参数称为摄像机内部参数；m2完全由摄像机相对于世界坐标系的方位决定，称为摄像机的外部参数；xw为空间点在世界坐标系下的齐次坐标,自动化科学与电气工程学院,二、摄像机参数标定,线性摄像机模型标定,摄像机标定一般都需要一个放在摄像机前的特制的标定参照物（棋盘纸），摄像机获取该物体的图像，并由此计算摄像机的内外参数。标定参照物上的每一个特征点相对于世界坐标系的位置在制作时应精确测定，世界坐标系可选为参照物的物体坐标系。在得到这些已知点在图像上的投影位置后，可计算出摄像机的内外参数。,自动化科学与电气工程学院,二、摄像机参数标定,线性摄像机模型标定,自动化科学与电气工程学院,二、摄像机参数标定,非线性摄像机模型标定,径向畸变的校正：,切向畸变的校正：,自动化科学与电气工程学院,二、摄像机参数标定,双目立体视觉摄像机标定,自动化科学与电气工程学院,三、双目匹配与景深重构,双目视差与距离测定,自动化科学与电气工程学院,三、双目匹配与景深重构,特征匹配与基本约束,自动化科学与电气工程学院,三、双目匹配与景深重构,极线约束,自动化科学与电气工程学院,三、双目匹配与景深重构,双目校正,原始视图,消除畸变,双目校正,图像剪裁,自动化科学与电气工程学院,三、双目匹配与景深重构,双目匹配与视差获取,立体匹配被普遍认为是立体视觉中最困难也是最关键的问题。通过找出每对图像间的对应关系，来解决立体匹配问题，再通过三角测量原理，进而得到视差图；在获得了视差信息后，根据投影模型很容易地可以得到原始图像的深度信息。,目前立体匹配算法是计算机视觉中的一个难点和热点，算法很多，但是一般的步骤是：1、匹配代价计算2、匹配代价叠加3、视差获取4、视差细化（亚像素级）,自动化科学与电气工程学院,三、双目匹配与景深重构,匹配代价计算,自动化科学与电气工程学院,三、双目匹配与景深重构,匹配代价叠加,自动化科学与电气工程学院,三、双目匹配与景深重构,视差获取与细化,自动化科学与电气工程学院,四、matlab+opencv实现,基于matlab的摄像机标定,自动化科学与电气工程学院,四、matlab+opencv实现,基于opencv的双目立体视觉,在双目匹配和视差计算的算法方面，opencv主要使用了两种比较成熟的算法。一种是基于sad（sumofabsolutedifference）的块匹配（blockmatching）算法（简称bm算法），另一种是基于graphcut的全局匹配算法（简称gc算法）。,a.