汽车基础环境部件及标定 1

基于激光雷达与摄像头的联合标定主讲老师：XXX项目7：综合实践01学习情境LearningSituation02学习目标LearningObjectives03资料收集Backgroundknowledge06课堂总结Summary目录05实施作业Assignmentimplement04思政专栏IdeologicalandPoliticalColumn学习情境LearningSituationPART01学习情境目前主流的传感器融合方案是“摄像头+激光雷达”。相比于毫米波雷达，激光雷达能够更好地还原目标物体的三维特征，检测效果更好，于是你就向客户推荐这种融合方案，客户也听取了你的建议。这时，你需要对激光雷达和摄像头进行联合标定。激光雷达和摄像头数据融合学习目标LearningObjectivesPART02学习目标素养目标1.培养学生适应变化与解决问题的能力。2.培养学生主动探索、持续学习的习惯，以紧跟汽车行业快速发展的步伐，不断提升自我竞争力。3.教育学生遵守职业道德规范，诚信守法。1.能阐述激光雷达与摄像头融合的意义；2.能说出激光雷达与摄像头联合标定工作内容；3.能说出坐标系的转换关系；4.能解释激光雷达与摄像头联合标定的原理。知识目标能力目标1.能独立完成摄像头的内参标定；2.能独立完成激光雷达与摄像头的外参标定；3.能独立完成融合效果的验证。资料收集DataCollectionPART03安全可靠驾驶依赖于传感器精确的环境感知系统。为了确保自动驾驶车辆在变化环境中安全行驶，多模型互补传感器协作技术随之出现，它可以提供更全面的环境信息，从而有助于更可靠的数据融合。在众多的传感器数据融合方法中，激光雷达和摄像头的组合是驾驶环境感知最常用的搭配之一。激光雷达和摄像头的结合为克服每个传感器的缺陷提供了可行性，可以做到不同传感器间的取长补短。1.激光雷达与摄像头融合的意义0102激光雷达摄像头提供三维点云数据，其中包括精确的深度和反射强度信息捕捉场景的丰富语义信息一、激光雷达与摄像头的联合标定概述激光雷达和摄像头的组合融合这两种异构传感器的主要挑战是找到精确的相机内参和通过执行外参找到传感器坐标系之间的刚体变换。也就是多传感器的联合标定。总而言之，多传感器联合标定是多传感器融合的必要前提。从性质上说，激光雷达与摄像头的联合标定同样需要完成内参标定与外参标定。2.激光雷达与摄像头联合标定工作内容一、激光雷达与摄像头的联合标定概述内参标定外参标定对摄像头进行内参标定，通过建立摄像头误差模型，获得摄像头特性参数、消除摄像头本身测量误差与激光雷达和摄像头的安装位置有关，通过各种先验信息获取两个传感器在车辆坐标系下的位姿。最终建立两个传感器之间的坐标转换关系激光雷达和摄像头外参标定问题即可简化为多传感器外参标定问题，也就是激光雷达与摄像头之间的坐标系转换。激光雷达和摄像头联合标定所涉及的五个主要坐标系：（1）像素坐标系(u，v)（2）图像坐标系(x，y)（3）相机坐标系（𝑋𝑐，𝑌𝑐，𝑍𝑐）（4）激光雷达坐标系（𝑋𝐿，𝑌𝐿，𝑍𝐿）（5）世界坐标系坐标系（𝑋𝐿，𝑌𝐿，𝑍𝐿）1.坐标转换关系二、坐标系转换激光雷达与摄像头之间的坐标系关系坐标系之间的转换过程：1.坐标转换关系二、坐标系转换坐标系之间的转换过程激光雷达与摄像头的观测信息表达方式是不一致的。目前业界比较成熟的方案是通过引入统一观测源建立约束。对于有共视区域的摄像头与激光雷达，可在共视区域内布置靶标作为统一观测源，分别获取靶标在像素坐标系下和激光雷达坐标系下的特征。通过两种特征匹配，完成激光雷达与摄像头之间的联合标定。下图是通过标定板靶标作为统一观测源的激光雷达与摄像头联合标定流程图。2.激光雷达与摄像头联合标定的原理二、坐标系转换激光雷达与摄像头标定流程图完成联合标定后的效果：2.激光雷达与摄像头联合标定的原理二、坐标系转换激光雷达与摄像头标定效果图思政专栏PART04IdeologicalandPoliticalColumn思政专栏上海工商职业技术学院组织师生走进上海汽车博物馆，开展了一场别具一格的“车轮上的思政课”。博物馆宛如一部立体的汽车工业史书，不同时期、不同品牌的经典汽车有序陈列，构建出一条清晰的汽车工业发展脉络。步入“中国汽车工业发展历程”展区，学生们仿佛穿越时空，见证了中国汽车工业从蹒跚起步到振翅高飞的艰辛蜕变。企业导师穿梭于展品间，讲述着工程师们攻克技术难题的幕后故事，从反复试验的执着，到面对失败的坚韧，生动诠释了何为对职业的敬畏、对技术的极致追求。主动探索精神：汽车博物馆里的“车轮上的思政课”车轮上的思政课实施作业AssignmentimplementPART05一、实施准备（1）防护用品：工作服、安全帽、工作手套。（2）台架总成：实训平台。（3）工具、设备：标定板。（4）辅助材料：绝缘垫、无纺布。实训平台1.工具和设备准备（1）启动实训平台。（2）打开“VMware”软件。（3）开启虚拟机。（4）登录Ubuntu系统。（5）摄像头的内参标定1）启动摄像头。2）打开标定工具。3）摄像头的标定和标定结果的保存。（6）结束所有终端的命令具体步骤请查看《项目4任务4摄像头的内参标定》。二、摄像头的内参标定摄像头的内参标定三、激光雷达与摄像头的外参标定（1）在虚拟机窗口上方选择并连接摄像头（如果在前面内参标定结束后断开了摄像头与主机的连接，则需要重新连接摄像头；若没有断开连接，则无需重复操作此步骤）；（2）在窗口空白区域内单击鼠标右键，然后选择“打开终端”；（3）在终端窗口区域内输入并执行以下命令，以运行ROS主节点（注意运行完毕后，勿结束此命令）;（4）再次在窗口空白区域内单击鼠标右键，然后选择“打开终端”新建一个终端，输入并执行以下命令启动摄像头驱动，打开摄像头画面。1.启动摄像头驱动roscoreroslaunchusb_camusb_cam-test.launch三、激光雷达与摄像头的外参标定单击“文件”→“HOME”→“ros+cam+lidar”→“ls16_ws”，进入文件夹后，在文件夹内空白处新建一个终端，输入并执行以下命令刷新一下工作空间的环境：再输入并执行以下命令启动激光雷达驱动，打开激光雷达点云的可视化界面。2.启动激光雷达驱动sourcedevel/setup.bashroslaunchlslidar_c16_decoderlslidar_c16.launch打开激光雷达点云可视化界面三、激光雷达与摄像头的外参标定在RVIZ界面添加摄像头话题，单击界面左下角的“Add”按钮，在弹出的对话框中选择“Bytopic”→“/usb_cam”→“/image_raw”→“image”，再单击右下角的“OK”，此时在RVIZ界面左下角窗口会出现摄像头的画面。3.录制Bag包添加摄像头话题步骤三、激光雷达与摄像头的外参标定新建一个终端，输入并执行以下命令，录制bag包。以上命令指定了录制文件名为camera_rslidar_calibration0916.bag，0916为当前日期，可根据需要进行更改，后面步骤使用Bag包时，找到对应文件名的文件即可。3.录制Bag包录制站位rosbagrecord-Ocamera_rslidar_calibration0916.bag/usb_cam/image_raw/rslidar_points#指定包名三、激光雷达与摄像头的外参标定录制时，注意以下几点：录制完成后，在终端按下“Ctrl+C”键结束录制，然后在“文件”->“Home”目录下找出录制的文件（文件里包含了激光雷达点云，摄像头图像信息等数据）。为了避免后续播放Bag包时发生冲突，因此在回放Bag包前，需要按下“Ctrl+C”键结束启动摄像头驱动的命令，以关闭摄像头实时窗口。另外还需断开激光雷达电源。3.录制Bag包0102整个录制过程，标定板的位置需保证在激光雷达和摄像头的视野范围内。且需要平稳移动，速度不宜过快。改变标定板的角度（角度不宜过大，要保证在点云图和图像中能够清楚标定板），每个角度的摆放时间在1~2s左右。三、激光雷达与摄像头的外参标定单击“文件”→“HOME”→“ros+cam+lidar”→“autoware-1.10.0”→“ros”后，在ros目录下新建一个终端，输入并执行以下命令：然后输入并执行以下命令打开外参标定工具，其中，命令中的“20210916_1119_autoware_camera_calibration.yaml”是前面内参标定时生成的文件，文件名需要更改为实际生成的文件名。命令有点长，注意每行之间是空格关系，不是换行关系。4.打开外参标定工具sourcedevel/setup.bashroslaunchautoware_camera_lidar_calibratorcamera_lidar_calibration.launchintrinsics_file:=/home/alvis/20210916_1119_autoware_camera_calibration.yamlimage_src:=/usb_cam/image_raw三、激光雷达与摄像头的外参标定命令执行成功后，会弹出image-view2窗口。4.打开外参标定工具打开image-view2窗口三、激光雷达与摄像头的外参标定输入并执行以下命令回放Bag包，其中，命令中“--pause”含义：刚启动时处于暂停播放状态，按空格可以切换播放状态（暂停播放和播放两种状态）。5.回放Bag包rosbagplay--pausecamera_rslidar_calibration0916.bag回放Bag命令三、激光雷达与摄像头的外参标定由于刚执行回放Bag包时处于“PAUSED”暂停播放状态，所以image-view2窗口的画面是黑色的，然后在播放Bag包的终端中按下回车键切换成“RUNNING”播放状态，此时image-view2窗口出现摄像头画面，同时激光雷达点云图窗口也出现点云图，这两个窗口展示的是前面录制好的Bag包的回放画面。5.回放Bag包不同的播放状态三、激光雷达与摄像头的外参标定再次按下回车键让其保持“PAUSED”暂停播放状态。再将image-view2和激光雷达点云图窗口中对应的标定板的朝向和位置大小调到一致，为下一步的外参标定过程做准备。5.回放Bag包调整两个画面位置和大小三、激光雷达与摄像头的外参标定具体步骤如下（以其中一个点为例，其他八个点按照同样的步骤操作即可）：（1）在image-view2的界面中选择一个点：单击鼠标左键选择标定板其中一个位置；（2）切换到激光雷达点云图窗口，单击该窗口的工具栏中的“PublishPoint”；（3）单击鼠标左键选择一个与image-view2窗口的选取点对应位置的点云数据点。6.外参标定选择标定点做标定的时候，在摄像头画面和激光雷达点云画面选择九个对应的点作为参考点，要求是左右两个画面选择的点位置保证基本一致。注意：只有当鼠标右下角出现一个浅红色的路标记号时才能单击该数据点，但是这个标记在其他地方的对应点可能也会显示，因此可以尽量放大画面，选取更准确的点。三、激光雷达与摄像头的外参标定重复以上步骤，在标定板上选择9个不同的像素点云对，一般采用上中下和左中右组合，共9个点，当第9个点选择完后，该工具会自动计算并外参矩阵，回到打开image-view2窗口终端，计算结束后，终端会展示标定结果。另外，工具会自动将外参标定文件保存在home目录下。6.外参标定外参标定结果在回放Bag包和运行外参标定工具的终端中按下“Ctrl+C”键结束命令四、验证融合效果回放Bag包rosbagplay--pausecamera_rslidar_calibration0916.bag/rslidar_points:=/points_raw生成外参标定矩阵后，可以通过Autoware提供的融合工具查看融合的效果，在终端输入并执以下命令回放Bag包，执行后，Bag包处于暂停播放状态。四、验证融合效果输入密码./run回到处在Autoware主界面（在HOME/ros+cam+lidar/autoware-1.10.0/ros目录下）的终端，输入并执行命令：提示输入密码（密码是“root”）。四、验证融合效果参数选择选择外参标定文件输入密码后会弹出一个RuntimeManager窗口，然后单击“Sensing”→“CalibrationPublisher”→选择参数“/usb_cam”，单击“Ref”，在文件夹里面选择“20220224_170602_autoware_lidar_camera_calibration.