机器人控制技术基础：环境识别

机器人的环境识别

Enviroment

RecognizationofRobotics5.1触觉信息的处理5.2基本的图象处理方法5.32维图象的处理5.43维图象的处理在已经获得传感器信息条件下，依据如何处理传感器信息的问题;识别物体确定位置，姿态为机器人完成任务提供必要的信息Robotics环境识别触觉与视觉：触觉局部，视觉范围广，详细触觉不受光照限制，视觉受光照条件，视角影响Robotics环境识别5.1触觉信息的处理5.1.1利用识别函数的形状识别①物体特征参量，排成向量X②这些向量分布到n维空间；同类将积聚③构造识别函数g(X)？＝0

如：颜色，材质，加权向量通过大量学习获得一次识别函数的应用等于一次二分Robotics环境识别5.1触觉信息的处理5.1.1利用识别函数的形状识别

测量量：6维力，7维转角力测量进行形状分类，转角测量进行模式分类，学习加权触觉转角转角Robotics环境识别5.1触觉信息的处理5.1.2按轮廓特征识别形状从重心（特征点）到边界画轮廓曲线假定未知物体的方向角已知，并且与示范物体同形主轴：惯性矩最小的轴Robotics环境识别5.1触觉信息的处理5.1.2按轮廓特征识别形状利用触觉建立轮廓曲线线特征是指影像的“边缘”与“线”“边缘”可定义为影像局部区域特征不相同的那些区域间的分界线，而“线”则可以认为是具有很小宽度的其中间区域具有相同的影像特征的边缘对常用方法有差分算子、拉普拉斯算子、LOG算子等Robotics环境识别5.2基本的图像处理方法Robotics环境识别5.2基本的图像处理方法Robotics环境识别5.2基本的图像处理方法5.2.1二值化处理按某一阈值二值化。（白纸黑字）频度分布上的峰值模态,在某个频段上的能量分布提取物体和背景时，注意透镜影响,放大作用。Robotics环境识别5.2基本的图像处理方法5.2.2微分处理由于投影亮度影响，同一表面亮度不同（反射角度）,有许多中间状态,不能进行二值化。在边缘/棱线处亮度突变——边缘检测横向差分纵向差分方向角强度遍历整幅图像,求积和i,jRobotics环境识别5.2基本的图像处理方法Sobel算子:考察它上下、左右邻点灰度的加权差。与之接近的邻点的权大：遍历整幅图像,求积和-101-101-101-1-1-1000111Prewitt算子与Sobel算子-101-202-101-1-21-101-121加大模扳抑制噪声Prewitt算子Sobel

算子Robotics环境识别SobelRobertsPrewittCannyLaplacianofGaussian原始图像一阶水平方向锐化效果Robotics环境识别单方向一阶锐化效果图例Robotics环境识别Roberts梯度锐化效果图例Robotics环境识别Laplacian锐化算子效果Robotics环境识别Laplacian类算法效果图Robotics环境识别Sobel锐化效果图Robotics环境识别Prewitt锐化效果图例Robotics环境识别Wallis算法效果图Robotics环境识别Kirsch算法效果图Robotics环境识别Robotics环境识别5.2基本的图像处理方法5.2.3边缘像素提取和细线化与直线近似

边缘上的点具有大的微分值微分图像二值化,边缘由点阵构成点阵基本连续用直线连接所有点阵,得到边缘?如何用直线连接Robotics环境识别5.2基本的图像处理方法5.2.4Hough变换噪点多,背景复杂微分二值化,不能检测的连续边缘点阵从不完全的像素中如何提取直线和曲线？考虑噪声影响参数表示通过定点的线群Hough变换,直线方程如果x,y常数,

,

为变量对于影像空间直线上任一点(x，y）变换将其映射到参数空间(

，

)的一条正弦曲线上

Robotics环境识别5.2基本的图像处理方法5.2.4Hough变换

从

,

空间上多数正弦曲线的交点可以提取出x,y空间上的直线图像空间参数空间正弦曲线共线映射正弦曲线正弦曲线共点Robotics环境识别寻找参数空间上多数正弦曲线的交点，去除噪声影响Robotics环境识别5.2基本的图像处理方法5.2.5模板匹配目的:已知图像特征,寻找特征在图像中的位置途径:模板扫描绝对失配测度为祛除光照影响规范匹配测度Robotics环境识别5.32维图像的处理5.3.1物体的位置检测（1）软管的组装I

1.假定孔是暗相同的，周边是亮的

2.二值化,圆在孔内黑色图像中心

孔的中心可以看到对面内壁目的:已知摄像机在物体正上方的图像,求圆心途径:投射原理Robotics环境识别5.32维图像的处理5.3.1物体的位置检测（2）软管的组装II

1.孔暗度不同,图像背景复杂,圆在图像任意位置

2.微分处理,细线化或极大值处理

3.(Hough变换提取不完整的圆)4.确定微分值和微分最大值方向

5.方向已知,半径已知,求得一个点Pi6.Pi的均值视为圆心Hough变换不只对直线，也可以用于圆：这时需要三个参数的参数空间,三重循环检验圆心和半径Robotics环境识别5.32维图像的处理5.3.2复杂背景的物体识别

目的:复杂，重叠背景下识别曲轴途径:依据几何模型,利用几何关系拾取直线:1,2,3,4,5曲轴线:6,2,7曲轴线:8,4,9

1.找到元素12.找到多个可能的元素23.元素1和2的连线上找3,4,54.元素2,4上找曲轴6,7和8,9缺一不可Robotics环境识别5.32维图像的处理5.3.2复杂背景的物体识别

Robotics环境识别5.32维图像的处理5.3.2复杂背景的物体识别

R→A→BA点在图像平面,位置已知,焦距已知2.B点与A点共线3.限位开关探测相对位置,实现抓取Robotics环境识别5.33维图像的处理5.4.1双目视觉

目的:求双目视觉的对应点途径:考虑约束(三角测量法)的模板匹配存在外极线约束在外极线上进行模板匹配同一点，像也近似。在整幅图像上找对应点？Robotics环境识别5.33维图像的处理5.4.2时空图像

目的:记录图像随时间的变化途径:引入时间轴概念建立三维时空长方体用水平面截三维时空长方体截面为时空图像,截面上显示点P随时间的变化摄像机由正面移到正侧面Robotics环境识别5.33维图像的处理5.4.2时空图像

Robotics环境识别5.33维图像的处理5.4.2时空图像

摄像机固定，道路检测图像的处理微分图像,得到车辆的侧面边缘边缘图像投影到y轴,得到一维图像按照时间排列,得到时空图像Robotics环境识别5.33维图像的处理5.4.2时空图像

高速行驶低速行驶停止Robotics环境识别5.33维图像的处理5.4.2时空图像

摄像机移动时,移动方向与光轴垂直,点P的外极线是y值相同的水平线.而一般情况为斜直线.外极面斜率和速度成反比摄像机模型s是速度Robotics环境识别5.33维图像的处理5.4.2时空图像

摄像机水平移动距离摄像机越远,斜率越大斜率大的直线被斜率小的直线遮挡Robotics环境识别5.33维图像的处理5.4.3狭缝图像

用狭缝光投射改变投射角度图像直线近似,迭加有高度差,狭缝光不连续依据斜率,分割图像密度,取决于距离,细分端点得到棱线,线段,分割物体补充:视觉控制视觉控制：利用摄像机的图像信息，对机器人的运动进行控制。如机器人足球，机器人装配等视觉测量：利用摄像机的图像信息获取目标位置、速度等的测量方法。如工件的三维测量视觉跟踪：通过调整摄像机的位姿、焦距等，使目标图像保持在一定的尺度。如人脸跟踪，足球跟踪视觉伺服：利用摄像机的图像信息作为反馈，对机器人的运动进行伺服控制。如机器人装配、机器人焊接基于位置、图像的视觉控制补充:视觉控制利用图像信息获得机器人的实际三维姿态，在实际三维空间中求误差，进行控制（三维重建）利用图像空间和任务空间的运动关系，直接在图像空间内进行控制（图像雅克比矩阵的实时计算）基于位置视觉控制的特点需要通过图像进行三维重构在三维笛卡儿空间计算误差误差信号和关节控制器的输入信号都是空间位姿，实现起来比较容易。由于根据图像估计目标的空间位姿，没有对图像进行控制，机器人的运动学模型误差和摄像机的标定误差都直接影响系统的控制精度。

基于位置、图像的视觉控制补充:视觉控制标定：摄像机内部参数标定，机器人运动学标定，手眼关系标定摄像机校正可以分为：1.用数学方法对摄像机的物理和光学参数进行估计。2.采用直接法或迭代法估计参数值。摄像机模型共有两类参数需要进行校正估计：内部参数：摄像机坐标系与世界坐标系之间的关系外部参数：摄像机在世界坐标系中所处的位置以及方向。基于位置、图像的视觉控制补充:视觉控制基于位置、图像的视觉控制补充:视觉控制摄像机校正一般有如下应用:(1)三维场景重建(2)视觉检测(3)物体定位(4)机器人空间位置定位拍摄标志物基于图像视觉控制的特点不需要通过图像进行三维重构需要计算图像Jacobian矩阵对标定误差和空间模型误差不敏感设计控制器困难伺服过程中容易进入图像Jacobian矩阵的奇异点一般需要估计目标的深度信息只在目标位置附近的邻域范围内收敛且稳定性分析比较困难。

基于位置、图像的视觉控制补充:视觉控制图像雅可比表示了在某个关节角附近图像特征变化与机器人关节角变化之间的关系尽管系统误差产生在图像平面空间，但是伺服控制系统的输人仍然是世界坐标系中的位置坐标基于位置、图像的视觉控制补充:视觉控制根据摄像机的安装位置可分为eye-in-hand安装方式和其它安装方式。前者在摄像机与机器人末端之间存在固定的位置关系，后者的摄像机则固定于工作区的某个位置根据摄像机观测到的内容可分为EOL和ECL系统。EOL系统中摄像机只能观察到目标物体。ECL系统中摄像机同时可观察到目标物体和机械手末端。这种情况的摄像机一般固定于工作区，其优点是控制精度与摄像机和末端之间的标定误差无关，缺点是执行任务时机械手会挡住摄像机视线基于位置、图像的视觉控制补充:视觉控制机械手视觉伺服中常见的是采用几何特征，早期视觉伺服中用到的多是简单的局部几何特征，如点，线，圆圈，矩形，区域面积等以及它们的组合特征。近来在视觉控制中利用全局的图像特