机器人导论 课件 第六章 机器人视觉

机器人视觉机器人导论机器人视觉简介01视觉传感器视觉传感器是机器人感知外部环境的最常见传感器之一被动视觉传感器主动视觉传感器被动成像原理相机的被动成像原理CameraObscura（暗室）ReinerusGemma-Frisius,1544来自JitendraMalik’sCS280计算机视觉被动成像原理CCD传感器在外部光弱的情况下无法成像无法获得物体的深度相机的被动成像原理双目被动成像原理双目相机模拟人眼，可以获得深度信息来自Fei-FeiLiCS131计算机视觉主动成像原理主动成像使相机能感知到被动成像传感器无法感知的信息来自Fei-FeiLiCS131计算机视觉主动光源常见机器人视觉应用异常检测和图像分析划痕检测土壤分析常见机器人视觉应用物体检测和对象识别表计读数文字识别常见机器人视觉应用物体分割和对象识别病灶检测人脸识别常见机器人视觉应用人机交互手势分析疲劳识别工件建模地形测绘常见机器人视觉应用扫描测绘视觉导航视觉定位常见机器人视觉应用无人驾驶车辆预测场景解析常见机器人视觉应用环境理解视觉提供了一种几何测量的工具，也提供一种语义认知的工具视觉传感器的功能视觉是获取环境信息的最主要渠道，是人和动物最重要的感觉，80%以上的外界信息经视觉获得既是生物启发，也是客观使然视觉传感器的功能从自然界到信息的通路环境眼睛大脑树叶树干3m可以遮阳机器人视觉的研究目标环境眼睛大脑树叶树干3m可以遮阳相机处理器机器人视觉的研究目标从自然界到信息的通路在机器人的实现来自Fei-FeiLiCS131计算机视觉机器人视觉的研究目标从像素灰度到几何测量及语义认知灰度信息与几何语义信息间存在鸿沟机器人视觉的挑战机器人视觉的挑战灰度信息与几何语义信息间存在鸿沟机器人视觉的挑战灰度信息与几何语义信息间存在鸿沟动态、遮挡、多样、视点、光照……机器人视觉的挑战很多应用都产生在近5-10年，学术界的热点，创业公司云集机器人视觉的现状本课程将包含视觉传感器图像及相机建模几何测量三维重建及特征点语义理解图像识别及分类课程内容谢谢王越浙江大学·控制科学与工程学院机器人导论机器人视觉王越浙江大学·控制科学与工程学院机器人导论图像及相机建模02图像由相机CCD通过感知光强形成，可以看做是定义在离散坐标系下的函数vu1,43,22,1154601黑白相机（灰度值）255,50,5013,200,34180,240,21彩色相机（RGB值）12005612322深度相机（深度值）图像函数图像由相机CCD通过感知光强形成，可以看做是定义在离散坐标系下的函数vu1,43,22,1154601黑白相机（灰度值）255,50,5013,200,34180,240,21彩色相机（RGB值）12005612322深度相机（深度值）图像函数I:(u,v)[0,W-1][0,H-1]

q

RNq=I(x)几何测量：在3D（物理世界）和2D（图像）之间建立相机模型表面漫反射无法成像被动成像原理相机建模小孔成像几何测量：在3D（物理世界）和2D（图像）之间建立相机模型相机建模虚拟坐标系几何测量：在3D（物理世界）和2D（图像）之间建立相机模型通常把图像建立在焦点之前图像坐标系世界坐标系世界中一点P=(X,Y,Z)图像中一点x相机建模射影变换方程，二维世界（XZ平面）对一维图像案例（u轴）Pxf中间图像坐标系中间世界坐标系定义1：焦距用图像坐标系表示，f=焦距/CCD一格的X方向宽度定义2：x定义在中间图像坐标系。定义3：P定义在中间世界坐标系。相机建模P(X,Z)x(u)f中间图像坐标系中间世界坐标系

相机建模射影变换方程，二维世界（XZ平面）对一维图像案例（u轴）P(Y,Z)x(v)f中间图像坐标系中间世界坐标系

相机建模射影变换方程，同理对YZ平面-v轴射影变换方程，三维世界对二维图像平面

相机建模

CCD像素为矩形X

方向一格的宽度和Y

方向一个的宽度不同相机建模射影变换方程，三维世界对二维图像平面

相机建模射影变换方程，三维世界对二维图像平面图像坐标系没有定义在中心，CCD中心也不可能对准光心用𝑐𝑥，𝑐𝑦表示图像坐标系下的光心

相机建模实际世界坐标系中心不在相机中心引入

R，t表示实际世界坐标和相机中心之间的位姿射影变换方程，三维世界对二维图像平面

相机建模实际世界坐标系中心不在相机中心引入

R，t表示实际世界坐标和相机中心之间的位姿射影变换方程，三维世界对二维图像平面内参矩阵K

外参矩阵T相机建模完整相机模型非线性方程！图像处理的主要问题之一失去深度失去平行射影变换如果有内参和距离信息，就可以恢复深度识别结果投影到三维往图像中插入信息射影变换内参矩阵（外参矩阵）并不给定！需要对相机标定，求解矩阵相机标定张正友标定方法，采用棋盘格作为对象世界坐标系定义棋盘格上一张图容易获得多个点世界坐标系下点的Z轴均为0解析求解内外参，畸变参数

相机标定具体操作步骤：准备一块棋盘格标定板，确定棋盘格的尺寸8x8棋盘格

每格尺寸1cmx1cm1cm相机标定相机标定具体操作步骤：准备一块棋盘格标定板，确定棋盘格的尺寸打印标定版防止在视野中，通过调整相机焦距和光圈，获得满意的亮度和清晰度（角点清晰，不产生过曝）相机标定具体操作步骤：准备一块棋盘格标定板，确定棋盘格的尺寸打印标定板防止在视野中，通过调整相机焦距和光圈，获得满意的亮度和清晰度（角点清晰，不产生过曝）通过移动标定板（各种姿态和位移），记录多张图像相机标定具体操作步骤：准备一块棋盘格标定板，确定棋盘格的尺寸打印标定板防止在视野中，通过调整相机焦距和光圈，获得满意的亮度和清晰度（角点清晰，不产生过曝）通过移动标定板（各种姿态和位移），记录多张图像通过OpenCV标定工具，读取对应的图像，实现标定OpenCV是最流行的视觉算法库通过调用对应的函数，能够提取角点，并计算内参矩阵和畸变参数，用于后续使用教程：/master/d4/d94/tutorial_camera_calibration.html例程：/opencv/opencv/blob/master/samples/cpp/tutorial_code/calib3d/camera_calibration/camera_calibration.cpp相机标定OpenCV是最流行的视觉算法库通过调用对应的函数，能够提取角点，并计算内参矩阵和畸变参数，用于后续使用教程：/master/d4/d94/tutorial_camera_calibration.html例程：/opencv/opencv/blob/master/samples/cpp/tutorial_code/calib3d/camera_calibration/camera_calibration.cpp相机标定深度从何而来？相机标定后结合深度相机恢复3D点云深度数据恢复点云数据理解三维世界双目相机如何获得深度？理解三维世界谢谢王越浙江大学·控制科学与工程学院机器人导论机器人视觉王越浙江大学·控制科学与工程学院机器人导论深度估计03当相机仅能返回灰度时，如何恢复3D？模拟人的双眼来自Fei-FeiLiCS131计算机视觉视觉传感器恢复深度相机中心1相机中心2

P

为了后续处理方便，定义双目重建双模建模相机中心1相机中心2

P

为了后续处理方便，定义双目重建双模建模

P相机中心1相机中心2

双目重建左目的点没有深度，只能约束在极线上假设两相机内参一致

相机中心2到P的射线方向在相机1坐标系下射线方向

相机中心1到相机中心2

P相机中心1相机中心2

双目重建假设两相机内参一致

相机中心2到P的射线方向在相机1坐标系下射线方向

相机中心1到相机中心2

P相机中心1相机中心2

双目重建构造垂直关系

P相机中心1相机中心2

垂直于极平面的向量相机中心1到P的射线方向

垂直关系

双目重建构造垂直关系

P相机中心1相机中心2

垂直于极平面的向量相机中心1到P的射线方向

垂直关系

双目重建构造垂直关系

P相机中心1相机中心2

垂直于极平面的向量相机中心1到P的射线方向

垂直关系

双目重建本质矩阵、基础矩阵、极线

P相机中心1相机中心2

本质矩阵

基础矩阵

极线参数双目重建相平面直线方程——极线方程双目深度估计过程：计算基础矩阵在左目上确定一点计算得到对应右目的极线参数在极线上搜索右目的匹配点根据视差角计算深度如何匹配？来自Fei-FeiLiCS131计算机视觉双目深度估计旋转相机实现平行相机中心1相机中心2

P

双目矫正矫正后双目深度估计过程：在左目上确定一点在右目同一行上搜索匹配点根据视差角计算深度来自Fei-FeiLiCS131计算机视觉双目深度估计双目深度估计通过调用对应的函数，能够矫正双目，也能够进行后续的双目深度恢复例程：双目匹配：https:///opencv/opencv/blob/master/samples/cpp/stereo_match.cpp双目标定：/opencv/opencv/blob/master/samples/cpp/stereo_calib.cpp如何匹配？利用一个窗口的像素衡量SSD，并限定搜索区域来自Fei-FeiLiCS131计算机视觉双目匹配SSD的局限性无纹理重复纹理双目匹配双目匹配重建的结果左目右目真值重构双目匹配双目本质是利用已知的位姿关系，协助匹配，恢复深度和三维那么有没有可能利用匹配，反求位姿关系，从而得到相机间的位姿关系，甚至推广到相机运动轨迹的恢复呢？运动双目谢谢王越浙江大学·控制科学与工程学院机器人导论旋转相机实现平行，旋转后的相机x轴与相机间相对位移共线

左目构造该旋转此时未旋转的右目相对于旋转后左目的位移

旋转后右目与旋转后左目一致

右目的旋转量为

双目矫正视差角计算简化为XZ平面-u轴问题

视差双目矫正误差分析双目矫正基线变短或视差变小时，误差变大误差分析双目矫正基线长短的影响SSD无法衡量相似度双目匹配机器人视觉王越浙江大学·控制科学与工程学院机器人导论特征检测与匹配04一般化的图像匹配问题寻找对应的特征图像匹配双目匹配式的窗口像素不适用无矫正（无位姿）如果两幅图像间间隔较长，还有光照、环境变化等特征点把待搜索的空间从图像像素缩小到千级别的点特征点检测，寻找重复性强的特征点整幅图像搜索，搜索空间大，混淆可能性更大沿用局部图像块，保持对遮挡和变化的一定不变性构建特征描述子代替原始像素，实现对部分变化的鲁棒性图像存在对视角、光照等变化特征点FastHarrisDoGMSERSalientregion……特征点检测坐标轴对齐的角点5x5的图像块x方向梯度Ix=I(x+1,y)-I(x,y)y方向梯度Iy=I(x,y+1)-I(x,y)角点检测在x和y方向上均有大的梯度，即显著变化，对应了角点

如果只有一个对角元素大，则为x方向或y方向的边缘；均不大则为平坦区域角点检测图像发生旋转时，可以看做梯度方向发生了旋转R旋转后的梯度

角点检测图像发生旋转时，可以看做梯度方向发生了旋转R旋转后的梯度

旋转后的角点，M矩阵特征值等于对齐时M矩阵对图像旋转具有不变性角点检测夹角不为90度5x5的图像块--x方向梯度Ix=I(x+1,y)-I(x,y)y方向梯度Iy=I(x,y+1)-I(x,y)角点检测

角点检测夹角不为90度，改变两个特征值的相对大小特征值分类，可以近似看成是对比特征值中更小的一个来自NoahSnavelyCS5670

1“Corner”

1and

2arelarge,

1~

2;

Eincreasesinalldirections“Edge”

1>>

2“Edge”

2>>

1“Flat”region

2角点检测Harris角点响应，为了避免特征值运算，定义为角点检测

寻找局部极值点，完成全过程原图角点响应阈值处理局部极值来自NoahSnavelyCS5670角点检测角点检测通过调用对应的函数，能够进行Harris角点检测教程：https:///master/d4/d7d/tutorial_harris_detector.html角点局限性——尺度具有不同的角点响应角点检测如何解决尺度？图像金字塔，多尺度分析如果在一个尺度下存在高角点响应，就记录尺度，并作为角点角点检测如何匹配角点？沿用图像块，但解决如下问题旋转尺度视角光照……特征匹配描述子图像块的尺度不变性记录角点被提取的尺度，然后在该尺度下取图像块图像块的旋转不变性用旋转矩阵调整块特征的方向但该方法需要计算特征值，时间长

描述子用梯度主方向引导图像块的选取，解决旋转问题。来自PerformanceAnalysisoftheSIFTOperatorforAutomaticFeatureExtractionandMatchinginPhotogrammetricApplications主方向调整所有梯度方向无需计算特征向量，也不需要旋转图像描述子用离散梯度方向的统计量代替像素描述，实现小视角变化的不变性8x4x4维的描述子向量描述子来自SIFT:SCALEINVARIANTFEATURETRANSFORMBYDAVIDLOWE多尺度提取+主方向调整+梯度直方图+归一化=SIFTVLFeatToolbox提供SIFT描述子函数来自https://www.cs.ubc.ca/~lowe/home.html描述子对比描述子的差，通过RatioTest判断匹配，最优匹配与次优匹配的比基于描述子的匹配利用匹配的特征点求解基础矩阵齐次方程，解5个自由度，所以需要5对匹配特征匹配错误？随机采样一致性剔除错误匹配位姿求解

基础矩阵求解OpenCV教程:/master/da/de9/tutorial_py_epipolar_geometry.html从二维世界恢复三维世界多相机联合优化，集束调整（Bundleadjustment）Colmap，VisualSFM提供多相机联合重建工具箱来自https://colmap.github.io/多目三角化如果只想重建一个物体？物体重建谢谢王越浙江大学·控制科学与工程学院机器人导论机器人视觉王越浙江大学·控制科学与工程学院机器人导论物体检测05SIFT的直接推广，特定物体/样例识别语义理解特点物体->分类：描述一张图像中是否包含了某个类别的物体语义理解语义理解分类->检测：描述某个类别的物体在图像中的位置语义理解检测->分割：描述某个类别物体的像素级位置类别种类多、类内区别大、背景、形变等语义理解挑战如何解决更大视角的变化？增加特定物体的模板图片逐个模板匹配，计算量上升模板1模板2模板3模板4模板5特定物体识别如果有多个特定物体待识别？更多模板（N个物体xM模板）计算量进一步上升模板1模板2模板3模板4模板5模板1模板2模板3模板4模板5模板1模板2模板3模板4模板5模板1模板2模板3模板4模板5物体1物体2物体3物体4特定物体识别特定物体识别是一个搜索问题数据库模板1模板2模板3模板4模板5模板1模板2模板3模板4模板5模板1模板2模板3模板4模板5模板1模板2模板3模板4模板5物体1物体2物体3物体4查询图像特定物体识别把特征空间离散化，实现索引SIFT特征描述库SIFT特征描述空间用聚类中心代替SIFT描述子特定物体识别加速词包模型（BagofFeatures）将描述子映射到聚类中心，构造直方图，作为图片的特征提取SIFT模板1模板2模板3模板4模板5模板1模板2模板3模板4模板5模板1模板2模板3模板4模板5模板1模板2