智能终端应用开发基础 课件 第12章 机器人视觉

第12章

机器人视觉01.摄像头标定02.OpenCV图像处理示例03.二维码识别04.视觉目标追踪机器人视觉05.深度相机与VSLAM06.RTAB-SLAM三维建图01摄像头标定误差避免：在机器人视觉应用中，摄像头标定至关重要，它不仅关乎图像的清晰度，更直接影响物体识别的准确性和三维重建的精度，忽略标定或标定不精准都可能导致严重误差。摄像头标定：摄像头标定是矫正图像畸变的关键步骤，通过精确识别摄像头内部参数和畸变系数，可以有效消除拍摄过程中产生的几何和光学畸变，从而提升图像质量。摄像头标定与误差避免安装准备在ROS环境下，进行摄像头标定前，需确保已安装相应的功能包，如“camera_calibration”，该包提供了双目及单目摄像头标定的工具，支持多种标定板模式。ROS摄像头标定功能包启动深度相机：通过roslaunch命令启动深度相机节点，例如xtark_depthcamera.launch，并在RViz中添加三维点云显示，配置话题/camera/depth_registered/points。点云数据解析：点云数据使用sensor_msgs/PointCloud2消息类型传输，包含高度、宽度、字段、大小端顺序、点步长、行步长及数据数组等字段，支持高效存储与处理。深度摄像头捕获三维点云02OpenCV图像处理示例OpenCV图像处理示例涵盖Camshift追踪、凸多边形检测、离散傅里叶变换等，功能强大，轻松应对复杂视觉挑战。图像处理核心图像金字塔采样、相位相关位移检测、RGB颜色空间滤波、前景物体检测、图像平滑、阈值滤波等，助力精准图像分析。图像分析与处理边缘检测、人脸识别、光流计算、轮廓提取、特征追踪、颜色空间滤波、圆环与直线检测、人体识别等，一应俱全。视觉算法大全OpenCV图像处理功能清单人脸检测流程01首先通过ssh远程连接到机器人，启动机器人摄像头驱动launch文件，命令如下，roslaunchxtark_driverxtark_camera.launch。人脸识别启动02然后再新建一个终端，ssh远程连接到机器人启动人脸识别launch文件，命令如下，roslaunchxtark_opencvxtark_face_detection.launch。查看识别结果03最后再打开一个终端，在虚拟机上运行rqt_image_view图像查看节点，rosrunrqt_image_viewrqt_image_view，并选择对应的话题。人脸检测示例03二维码识别ar_track_alvar具备高效标签识别能力，速度不受标签数量增加的影响，同时自动计算标签间空间关系，无需手动测量和输入。功能包在机器人定位、导航、增强现实(AR)应用等领域具有广泛应用，能够提供精确的二维码识别和跟踪服务。功能包能识别多标签捆绑包，通过光流跟踪实现稳定姿态估计，支持自适应阈值处理，确保在各种照明条件下稳定运行。ar_track_alvar是ROS中用于二维码识别的功能包，能够生成不同大小、分辨率和编码的AR标签，并识别跟踪这些标签的姿态。ar_track_alvar应用ar_track_alvar特点ar_track_alvar优势ar_track_alvar介绍识别功能包创建二维码标签参数：createMarker工具提供了灵活的参数配置，不仅支持数字标号，还允许使用字符串、文件名、网址等作为标签编码，同时允许设置二维码尺寸。创建二维码标签：使用rosrun命令的ar_track_alvarcreateMarker工具，结合源码地址，可以轻松创建带有特定标号的二维码AR标签，并保存在当前目录下。生成二维码标签通过执行roslaunch命令启动机器人上的二维码识别程序，该程序包含在xtark_ar_track功能包中，并已配置好相机参数，实现快速识别。启动二维码识别程序在虚拟机中运行RViz可视化工具，并加载二维码识别的配置文件（如xtark_ar_track.RViz），以查看机器人摄像头捕捉到的实时图像。运行RViz查看图像在RViz界面中，当二维码标签进入摄像头视野时，ar_track_alvar功能包将识别并显示带有坐标轴的二维码图像，表明二维码的姿态已被准确识别。二维码识别结果摄像头识别二维码04视觉目标追踪KCF算法介绍KCF，全称为KernelCorrelationFilter，核相关滤波算法，在2014年由JoaoF.Henriques等人提出，以卓越的跟踪效果和速度轰动学术与工业界。KCF是一种高效的判别式跟踪算法，通过训练目标检测器，在跟踪过程中实时检测目标位置，并利用新检测结果更新训练集以优化目标检测器。采用目标周围区域的循环矩阵采集正负样本，利用岭回归训练目标检测器，并成功将矩阵运算转化为向量的Hadamard积，大大降低了运算量。线性空间的岭回归通过核函数映射到非线性空间，在非线性空间通过求解一个对偶问题和某些常见的约束，同样的可以使用循环矩阵傅里叶空间对角化。KCF算法给出了一种将多通道数据有效融入该算法的途径，使得算法能够处理更丰富的目标特征，从而提升跟踪的准确性和鲁棒性。判别式跟踪方法核函数扩展多通道数据融合正负样本采集KCF算法简介利用KCF算法，可以轻松地跟踪任意物体。目标特征越明显，表面越平整，其跟踪效果就越好。例如，跟踪一个泡沫方块或手提箱，都能获得良好的效果。机器人将会利用深度相机来获取物体离机器人的距离，并利用KCF算法使物体保持在画面正中心，机器人将会跟物体保持1.5m左右距离跟踪物体运动。通过终端输入命令$roslaunchxtark_kcf_trackerxtark_kcf_tracker.launch，即可启动KCF跟踪算法，随后呈现清晰的摄像头实时画面。机器人教学平台中的xtark_kcf_tracker程序包提供了基于KCF的物体追踪功Demo。使用VNC远程连接机器人，并打开终端准备运行KCF算法。相机应用启动KCF跟踪算法跟踪效果远程连接KCF物体跟踪算法使用05深度相机与VSLAM深度相机模拟雷达：利用深度相机单行扫描数据模拟激光雷达，实现建图导航。这种方法能降低成本，增加应用灵活性，尤其适用于复杂或动态环境。SLAM建图与导航：通过远程连接机器人，使用gmapping或karto等算法进行slam建图，随后利用导航算法实现自主导航功能，显著提升机器人智能与自主能力。深度相机模拟激光雷达ORB_SLAM简介01RB-SLAM是Zaragoza大学开发的视觉SLAM系统，使用ORB特征，支持单目、双目和RGB-D相机。它包含视觉里程计、跟踪和回环检测，实现全稀疏特征点SLAM。ORB_SLAM优缺点02优点在于代码构造优秀，适合移植；采用g2o优化减少误差；DBOW减少计算量，回环匹配和重定位效果好；关键帧筛选提高追踪鲁棒性；提供详尽实验结果展示性能。机器人ORB-SLAM建图03通过SSH连接到机器人，运行xtark_ORBSLAM.launch启动ORB_SLAM。在虚拟机上打开RViz，加载xtark_orb.RViz配置文件查看算法界面。控制机器人移动进行建图。ORB_SLAMORB-SLAM2介绍：基于单目、双目和RGB-D相机的完整SLAM方案，实现地图重用、回环检测和重新定位。它采用光束法平差优化(BA)确保轨迹精确度，并包含轻量级定位模式追踪未建图区域。机器人ORB_SLAM2建图：通过VNC连接到机器人远程桌面，运行xtark_ORBSLAM2.launch启动ORB-SLAM2。程序打开两个窗口，显示视角图片和关键点地图。初始化后，机器人被精准定位。ORB_SLAM206RTAB-SLAM三维建图RTAB-MapROS节点需要输入TF、里程计和相机输入（RGB-D或双目图像），以及校准消息；可选输入包括2D或3D激光雷达扫描或点云。MapData包含最新添加的节点和Graph，而MapGraph是无数据的纯图；此外，还可输出TF矫正过的里程计、OctoMap、稠密点云地图和2D占用栅格地图。从2013年开始，RTAB-Map已经扩展到完整的基于图的SLAM方法，被用于各种设置和应用，因此RTAB-Map已经发展成为一个跨平台的独立C++库。RTAB-Map，全称为Real-TimeAppearance-BasedMapping，是一个用于基于外观的实时建图的开源库，能够通过内存管理方法实现回环检测。输出类型回环检测输入要求RTAB-Map定义RTAB-SLAM介绍0102建图配置文件机器人使用RTAB_SLAM算法进行建图，在建图中激光雷达数据是可选的，加上激光雷达数据后算法会更精准，效果更好。启动RTAB建图通过SSH连接到机器人，执行roslaunch命令启动RTAB-SLAM深度相机建图，若需融合激光雷达数据，需切换至对应launch文件。RTAB建图界面启动成功后在虚拟机端再打开一个终端，运行RViz可视化界面，并打开rtab_mapping.RViz配置文件，即可看到RTAB-SLAM算法建图界面。3D地图在虚拟机端运行键盘控制节点，可以控制机器人移动，从而建立场景的3D地图；同时RTAB-SLAM建图带有闭环修正环节，可以提高建图精度。保存地图当完成建图后可以直接按下Ctrl+C退出建图节点，算法将会自动保存地图(RTAB-SLAM算法地图保存为*.db格式，自动保存路径为~/.ros/rtabmap.db)。030405机器人RTAB建图导航配置文件机器人使用RTAB_SLAM算法进行导航，在导航中激光雷达数据是可选的，加上激光雷达数据后算法会更精准；单独利用深度相机的launch文件为xtark_RTABSLAM_Navigation.launch。启动RTAB导航通过SSH连接到机器人，执行roslaunch命令启动RTAB-SLAM导航程序（此处选择仅使用深度相机。若需融合激光雷达数据，需切换至对应launch文件并执行相应步骤）。RTAB导航界面启动成功后在虚拟机端再打开一个终端，运行RViz可视化界面，并载入xtark_rtabnav.RViz配置文件；载入后可以看到RTAB-SLAM导航界面，