汽车智能传感器技术与应用 课件 项目四任务3：视觉传感器的内参标定（课件）

视觉传感器的内参标定汽车智能传感器技术与应用一、课程导入一位客户考虑到驾驶安全性，决定加装一套360°全景环视系统，安装完成之后，发现合成图像存在较大的畸变，图像中各个视觉传感器图像连接处出现错位，经检查发现视觉传感器标定没做好，需要重新对视觉传感器进行内参标定。视觉传感器畸变画面课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结二、学习目标课程导入学习目标知识目标1.能描述视觉传感器的坐标系、模型参数和畸变类型；2.能解释视觉传感器标定的定义、目的和方法。素养目标1.培养解决问题和创造新知识的科学素养；2.弘扬工匠精神，培养高素质技术技能人才。技能目标1.能熟练使用视觉传感器的内参标定工具；2.能独立完成视觉传感器的内参标定。视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结三、视觉传感器的坐标系为了用数学语言来描述针孔相机模型，需要建立四个坐标系：世界坐标系，摄像机坐标系，图像坐标系和图像像素坐标系。外观尺寸参数课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结三、视觉传感器的坐标系世界坐标系3.1世界坐标系

课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结三、视觉传感器的坐标系摄像机坐标系3.2摄像机坐标系以视觉传感器光心为原点，过原点垂直于成像平面的光轴为z轴，平行于图像的𝑥和𝑦方向为𝑥轴和𝑦轴，建立摄像机坐标系Oc,Xc,Yc,Zc，单位是长度单位（𝑚）。课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结三、视觉传感器的坐标系图像坐标系与像素坐标系的关系3.3图像坐标系与像素坐标系

课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结四、视觉传感器的模型参数视觉传感器的模型参数视觉传感器的模型参数包括内参参数和外参参数。课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结五、视觉传感器的畸变类型径向畸变5.1径向畸变由透镜形状引起的畸变称为径向畸变。在针孔模型中，当一条直线投影到像素平面上时还是一条直线。然而，在实际拍摄的照片中，镜头往往会将真实环境中的直线变成图像中的曲线。越靠近图像的边缘，这种现象就越明显。由于实际加工的透镜通常是中心对称的，不规则失真通常是径向对称的。径向畸变主要分为桶形畸变和枕形畸变两类。课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结五、视觉传感器的畸变类型图像坐标系与像素坐标系的关系5.2切向畸变切向畸变是由于相机生产过程中镜头与图像平面不完全平行造成的。切向畸变的校正需要严格控制透镜安装过程，以减少由组装问题引起的误差。课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结六、视觉传感器的标定视觉传感器标定6.1视觉传感器标定的定义视觉传感器标定：建立视觉传感器图像像素位置与场景点（世界坐标系）位置之间的关系，其途径是根据视觉传感器模型，由已知特征点的图像坐标求解摄像机的模型参数。课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结六、视觉传感器的标定视觉传感器标定目的6.2视觉传感器标定的目的畸变效应矫正：由于每个镜头的畸变程度各不相同，通过视觉传感器标定可以矫正镜头畸变，生成矫正后的图像。三维重建：从图像出发恢复出空间点三维坐标的过程。课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结六、视觉传感器的标定6.3视觉传感器的标定方法标定方法优点缺点常用方法传统视觉传感器标定法（常用）可使用于任意的视觉传感器模型，精度高需要标定物，算法复杂Tsai两步法，张正友标定法（介于传统和自定标）主动视觉传感器标定法不需要标定物，算法简单，鲁棒性高成本高，设备昂贵主动系统控制视觉传感器作特定运动视觉传感器自标定法灵活性强，可在线标定精度低，鲁棒性差分层逐步标定，基于Kruppa方程课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结七、视觉传感器的内参标定7.1工具和设备介绍设备工具包括智能汽车传感与感知实训系统应用实训平台（下文简称实训平台）、实训平台电源线，标定板，无纺布，安全帽，绝缘垫和工作手套。无纺布安全帽绝缘垫工作手套实训平台实训平台电源线标定板课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结七、视觉传感器的内参标定7.2工具和设备检查（1）检查并佩戴工作手套和安全帽。（2）检查实训平台万向轮是否已经锁止。（3）检查视觉传感器及其连接线是否正常。（4）检查标定板是否正常。安全帽工作手套标定板课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结七、视觉传感器的内参标定7.3视觉传感器的内参标定1.启动应用实训台打开实训平台电源开关，启动计算机。2.打开视觉传感器内参标定软件双击打开“VMware”软件，进入软件主界面。“VMware”软件课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结七、视觉传感器的内参标定7.3视觉传感器的内参标定3.开启虚拟机单击“yolov5-autoware”，再单击“开启此虚拟机”，启动ubuntu系统。开启虚拟机课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结七、视觉传感器的内参标定7.3视觉传感器的内参标定4.登陆ubuntu系统输入密码“root”登陆ubuntu系统，进入ubuntu系统桌面。输入密码课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结七、视觉传感器的内参标定7.3视觉传感器的内参标定5.视觉传感器的内参标定（1）启动视觉传感器1）单击菜单栏上的“虚拟机”，单击“可移动设备”，单击“MagTekRmoncamA21080P”，单击“连接（断开与主机的连接）（C）”，完成视觉传感器的连接。选择并连接视觉传感器课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结七、视觉传感器的内参标定7.3视觉传感器的内参标定5.视觉传感器的内参标定（1）启动视觉传感器2）右键单击窗口空白区域并选择“打开终端”。打开终端课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结七、视觉传感器的内参标定7.3视觉传感器的内参标定5.视觉传感器的内参标定（1）启动视觉传感器3）在终端窗口区域输入以下命令，然后按Enter键运行ROS主节点（注意此窗口不能关闭）。运行ROS主节点课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结roscore七、视觉传感器的内参标定7.3视觉传感器的内参标定5.视觉传感器的内参标定（1）启动视觉传感器4）在窗口空白区域再次单击鼠标右键，然后选择“打开终端”以创建新的“终端”，输入以下命令，按Enter键启动视觉传感器launch文件，打开视觉传感器。视觉传感器画面课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结roslaunchusb_camusb_cam-test.launch七、视觉传感器的内参标定7.3视觉传感器的内参标定5.视觉传感器的内参标定（2）打开标定工具1）单击文件夹图标，在“HOME/ros+cam+lidar/autoware-1.10.0”文件夹中找到“ros”文件夹，右键点击“ros”文件夹的空白处打开终端，输入以下命令，按Enter键，用于设置环境变量。课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结sourcedevel/setup.bash启动标定工具七、视觉传感器的内参标定7.3视觉传感器的内参标定5.视觉传感器的内参标定（2）打开标定工具2）再次输入以下命令启动标定工具。启动标定工具课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结rosrunautoware_camera_lidar_calibratorcameracalibrator.py--size11x8--square0.036image:=/usb_cam/image_raw七、视觉传感器的内参标定7.3视觉传感器的内参标定5.视觉传感器的内参标定（3）视觉传感器的标定和保存标定界面为黑白色，当取出标定板对着视觉传感器时，它会自动识别标定板内角的参数，并用其他彩色线标记。标定界面课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结七、视觉传感器的内参标定7.3视觉传感器的内参标定5.视觉传感器的内参标定（3）视觉传感器的标定和保存1）提起并移动标定板，当X、Y、Size、Skew的进度条颜色变为绿色时，标定按钮“CALIBRATE”变成可点击状态。调整参数直至绿色状态课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结七、视觉传感器的内参标定7.3视觉传感器的内参标定5.视觉传感器的内参标定（3）视觉传感器的标定和保存2）单击“CALIBRATE”按钮计算内部参数矩阵（计算将在后台进行，标定界面将进入卡滞状态，这不是任务错误，不要关闭窗口，屏幕将逐渐变灰），窗口中会出现如下界面。进入计算状态课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结七、视觉传感器的内参标定7.3视觉传感器的内参标定5.视觉传感器的内参标定（3）视觉传感器的标定和保存3）等待计算机后台计算后，窗口会显示视觉传感器矩阵数据（焦距参数，包括X、Y、Z坐标参数以及畸变参数等）。视觉传感器矩阵数据课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结七、视觉传感器的内参标定7.3视觉传感器的内参标定5.视觉传感器的内参标定（3）视觉传感器的标定和保存4）单击“SAVE”按钮，保存路径将出现在终端的打印信息中，保存好的文件将使用当前系统日期和时间命令自动命名。如果想检索保存的文件，可以根据保存时间找出来。课程导入学习目标视觉传感器的内参标定视觉传感器的坐标系视觉传感器的模型参数视觉传感器的畸变类型视觉传感器的标定整理清洁总结七、视觉传感器的内参标定7.4查看视觉传感器的标定效果注意：以上命令中20210816_1919_autoware_camera_calibration.yaml部分需要替换成刚刚复制好的文件名。（3）观察标定前后的视觉传感器画面，查看标定后画面中的畸变是否消失。可以通过对比标定前和标定后的画面，查看视觉传感器的标定效果。（1）在上图终端中复制保存好的文件名。（2）在上图终端中输入以下命令，调出视觉传感器拍摄的画