汽车环境感知部件装调与标定课件 项目7：综合实践

基于毫米波雷达与摄像头的标定融合主讲老师：XXX项目7：综合实践01学习情境LearningSituation02学习目标LearningObjectives03资料收集Backgroundknowledge06课堂总结Summary目录05实施作业Assignmentimplement04思政专栏IdeologicalandPoliticalColumn学习情境LearningSituationPART01学习情境某客户的汽车在只安装了摄像头的情况下，检测系统会将路边广告牌上的肖像识别为行人，导致汽车做出一些不必要的制动措施，对道路交通安全造成一定的影响。于是客户来到你们公司，想要尝试加装毫米波雷达，对毫米波雷达和摄像头的数据进行融合，以提高目标检测的准确性，加装毫米波雷达后，你需要对毫米波雷达与摄像头进行标定融合。毫米波雷达和摄像头数据融合学习目标LearningObjectivesPART02学习目标素养目标1.强化爱国情怀与社会责任感；2.提升学生团队合作与沟通能力；3.引导学生树立服务人民、奉献社会的观念。1.能阐述传感器融合的原因；2.能说出毫米波雷达与摄像头信息融合层级划分；3.能说出毫米波雷达与摄像头融合的关键点；4.能阐述毫米波雷达与摄像头坐标系转换的过程。知识目标能力目标1.能独立完成摄像头的调试与标定；2.能独立完成毫米波雷达的调试；3.能独立完成毫米波雷达和摄像头的融合。资料收集DataCollectionPART03一、传感器融合的原因由于单一传感器获得的信息有限，且还要受到自身品质和性能的影响，因此智能网联汽车中通常配有数量众多的不同类型的传感器，以满足探测和数据采集的需要，因此，毫米波雷达与摄像头的融合也是一种必然的趋势。摄像头毫米波雷达测距性能比较差，且检测效果容易受到光线、恶劣天气等因素的影响受光照和天气的因素影响比较小，测距精度也比较高，且最大探测距离比较远，但是目前毫米波雷达分辨率比较低，在识别非金属目标时存在一定的困难，并且难以识别目标的特征信息二、毫米波雷达与摄像头信息融合层级划分根据融合中心获取到的传感器数据处理层次不同，毫米波雷达与摄像头信息融合划分为不同的融合层次。分别为原始数据级融合，特征级融合，目标级融合。传统的毫米波雷达与摄像头融合的方法主要集中在目标级的融合方案，未来发展方向是特征级融合的方案。传感器层次融合模型原始数据级融合，就是毫米波雷达点目标与图像像素的匹配。将毫米波雷达的点坐标投影到图像像素上，与图像像素联合标定匹配。1.原始数据级融合二、毫米波雷达与摄像头信息融合层级划分0102优点缺点目标特征信息全，准确度高，鲁棒性强数据传输负荷大；且噪声较大，很难与图像匹配这种融合方式主要是毫米波雷达辅助摄像头。基本的思路是将毫米波雷达的点目标投影到图像上，围绕该点生成一个矩阵的感兴趣区域，然后只对该区域内进行搜索，搜索到以后跟雷达点目标进行匹配。2.特征级融合二、毫米波雷达与摄像头信息融合层级划分0102优点缺点可以迅速地排除大量不会有车辆的区域，极大地提高识别速度。而且可以迅速排除掉毫米波雷达探测到的非车辆目标，增强结果的可靠性对于复杂交通场景，目标可能会被重复探测，造成目标匹配上的混乱这种融合方法主要是根据图像检测的目标结果与毫米波雷达探测的目标结果，进行有效融合。3.目标级融合二、毫米波雷达与摄像头信息融合层级划分对于单目摄像头来说，识别的纵向距离不准确，在障碍物比较多的情况下，匹配准确度较低。还有可能毫米波雷达识别到了，单目摄像头却没有识别到0102优点缺点通信负载小实现摄像头与毫米波雷达的精确融合的关键点：空间同步（解决联合标定问题）和时间同步（解决时间戳问题）。目的就是为了实现三同一不同：同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处。三、毫米波雷达与摄像头融合的关键点空间同步时间同步关键点为了能够准确融合数据，来自不同传感器的信息必须对应相同的时间点。这意味着数据采集和处理的时间必须被精确地记录和校准，以便于将数据映射到一个统一的时间线上。一般以频率最低的传感器为时间基准（毫米波雷达采样时间慢，以毫米波雷达为准）。1.时间同步三、毫米波雷达与摄像头融合的关键点传感器时间同步传感器空间同步就是将不同传感器坐标系的测量值转换到同一个坐标系中。这个工作可分成两部分：内参标定和外参标定，内参是决定传感器内部的映射关系，而外参是决定传感器和外部某个坐标系的转换关系。2.空间同步三、毫米波雷达与摄像头融合的关键点传感器空间同步对于毫米波雷达与摄像头的联合标定就是将毫米波雷达坐标系转换到像素坐标系中。也就是将毫米波雷达检测的目标转换到图像上。具体分为以下两个步骤：（1）将毫米波雷达坐标系的坐标转换到世界坐标系；（2）将世界坐标系的坐标转换到像素坐标系。2.空间同步三、毫米波雷达与摄像头融合的关键点坐标系转换过程思政专栏PART04IdeologicalandPoliticalColumn思政专栏2020年新冠疫情期间，北京市依文集团从服装生产跨界转产防护服。企业组建跨部门团队：采购团队打通原料供应链，技术团队改造产线并钻研标准，生产与质检团队保障高效与质量。团队协作中，各环节互补破局，如原料紧张时采购与生产团队共商降本，技术瓶颈时老员工助力突破，最终实现日产“消毒级”防护服8000至1万件，部分产线升级为全市唯一可生产“无菌级”防护服的产线。这启示职教学子：需借团队合作整合力量，职教应通过实践培养学生协作担当、沟通互补的素养，以适应未来职场挑战。团队合作精神：团队协作铸就职教学子实践范本依文集团员工赶制防护服实施作业AssignmentimplementPART05一、实施准备（1）防护用品：工作服、安全帽、工作手套。（2）台架总成：实训平台。（3）工具、设备：黄色胶带、角度尺、卷尺、标定板。（4）辅助材料：绝缘垫、无纺布。实训平台1.工具和设备准备一、实施准备（1）把实训平台推到适合进行毫米波雷达与摄像头联合标定的位置。（2）在实训平台车头方向（即毫米波雷达下方）的地面上贴一条黄色胶带作为基准线。平行标志线2.场地的准备一、实施准备（3）以毫米波雷达下方（即毫米波雷达垂直于地面与黄色胶带的交点）为圆心，借助角度尺贴出一个角度为40°的扇形报警区域。扇形报警区域2.场地的准备一、实施准备（4）在毫米波雷达前方的地面上，每隔1米用黄色胶带做好标记，报警距离范围在5米内。扇形报警距离范围2.场地的准备二、毫米波雷达和摄像头标定融合（1）打开“摄像头与毫米波雷达标定融合”软件。（2）在软件界面上侧中间位置找到“视觉传感器”，在下拉框中选择安装在实训平台的摄像头。（3）单击界面左上角的“摄像头状态”，单击“打开”，打开摄像头画面。打开摄像头1.摄像头的调试与标定二、毫米波雷达和摄像头标定融合（4）右侧会实时显示摄像头画面，把标定板放置到合适的位置（整个标定板需在摄像头视野范围内），然后单击“拍摄”按钮，需拍摄五个标定板处在不同角度的照片。拍摄照片1.摄像头的调试与标定二、毫米波雷达和摄像头标定融合（5）单击“标定”按钮，系统自动进行标定。若标定效果（通过查看界面右下方的矫正图像）不理想，则可以单击“删除”按钮，删除前面步骤拍摄的照片，重新调整标定板以完成拍摄步骤，再单击“标定”按钮，进行重新标定。拍摄照片1.摄像头的调试与标定二、毫米波雷达和摄像头标定融合（1）在软件界面上侧中间位置找到“毫米波雷达”配置区域，配置报警区域角度和报警区域距离，其中，报警区域角度为20°（此角度值为实际设置角度的一半），报警区域距离为5m；单击“打开设备”按钮，获取毫米波雷达的检测数据。配置报警区域角度和报警区域距离2.毫米波雷达的调试二、毫米波雷达和摄像头标定融合（2）查看可视化界面（界面左下方）是否有数据，如果有数据则说明毫米波雷达功能正常。调试毫米波雷达2.毫米波雷达的调试二、毫米波雷达和摄像头标定融合单击软件界面右侧中间的“融合”按钮，进行毫米波雷达和摄像头的数据融合。融合效果如下图；上图为摄像头的原始图像，下图为经过两种传感器融合后的效果图像，其中红色方框为摄像头的检测目标，小红点为毫米波雷达的探测目标点，两者重合。调试毫米波雷达3.毫米波雷达和摄像头的融合三、系统复原与整理清洁（1）关闭“摄像头与毫米波雷达标定融合”软件。（2）关闭实训平台电脑和实训平台电源。（3）完成6S整理清洁工作。实训平台课堂总结SummaryPART06课堂总结感谢您的观看主讲老师：XXX基于激光雷达与摄像头的联合标定主讲老师：XXX项目7：综合实践01学习情境LearningSituation02学习目标LearningObjectives03资料收集Backgroundknowledge06课堂总结Summary目录05实施作业Assignmentimplement04思政专栏IdeologicalandPoliticalColumn学习情境LearningSituationPART01学习情境目前主流的传感器融合方案是“摄像头+激光雷达”。相比于毫米波雷达，激光雷达能够更好地还原目标物体的三维特征，检测效果更好，于是你就向客户推荐这种融合方案，客户也听取了你的建议。这时，你需要对激光雷达和摄像头进行联合标定。激光雷达和摄像头数据融合学习目标LearningObjectivesPART02学习目标素养目标1.培养学生适应变化与解决问题的能力。2.培养学生主动探索、持续学习的习惯，以紧跟汽车行业快速发展的步伐，不断提升自我竞争力。3.教育学生遵守职业道德规范，诚信守法。1.能阐述激光雷达与摄像头融合的意义；2.能说出激光雷达与摄像头联合标定工作内容；3.能说出坐标系的转换关系；4.能解释激光雷达与摄像头联合标定的原理。知识目标能力目标1.能独立完成摄像头的内参标定；2.能独立完成激光雷达与摄像头的外参标定；3.能独立完成融合效果的验证。资料收集DataCollectionPART03安全可靠驾驶依赖于传感器精确的环境感知系统。为了确保自动驾驶车辆在变化环境中安全行驶，多模型互补传感器协作技术随之出现，它可以提供更全面的环境信息，从而有助于更可靠的数据融合。在众多的传感器数据融合方法中，激光雷达和摄像头的组合是驾驶环境感知最常用的搭配之一。激光雷达和摄像头的结合为克服每个传感器的缺陷提供了可行性，可以做到不同传感器间的取长补短。1.激光雷达与摄像头融合的意义0102激光雷达摄像头提供三维点云数据，其中包括精确的深度和反射强度信息捕捉场景的丰富语义信息一、激光雷达与摄像头的联合标定概述激光雷达和摄像头的组合融合这两种异构传感器的主要挑战是找到精确的相机内参和通过执行外参找到传感器坐标系之间的刚体变换。也就是多传感器的联合标定。总而言之，多传感器联合标定是多传感器融合的必要前提。从性质上说，激光雷达与摄像头的联合标定同样需要完成内参标定与外参标定。2.激光雷达与摄像头联合标定工作内容一、激光雷达与摄像头的联合标定概述内参标定外参标定对摄像头进行内参标定，通过建立摄像头误差模型，获得摄像头特性参数、消除摄像头本身测量误差与激光雷达和摄像头的安装位置有关，通过各种先验信息获取两个传感器在车辆坐标系下的位姿。最终建立两个传感器之间的坐标转换关系激光雷达和摄像头外参标定问题即可简化为多传感器外参标定问题，也就是激光雷达与摄像头之间的坐标系转换。激光雷达和摄像头联合标定所涉及的五个主要坐标系：（1）像素坐标系(u，v)（2）图像坐标系(x，y)（3）相机坐标系（𝑋𝑐，𝑌𝑐，𝑍𝑐）（4）激光雷达坐标系（𝑋𝐿，𝑌𝐿，𝑍𝐿）（5）世界坐标系坐标系（𝑋𝐿，𝑌𝐿，𝑍𝐿）1.坐标转换关系二、坐标系转换激光雷达与摄像头之间的坐标系关系坐标系之间的转换过程：1.坐标转换关系二、坐标系转换坐标系之间的转换过程激光雷达与摄像头的观测信息表达方式是不一致的。目前业界比较成熟的方案是通过引入统一观测源建立约束。对于有共视区域的摄像头与激光雷达，可在共视区域内布置靶标作为统一观测源，分别获取靶标在像素坐标系下和激光雷达坐标系下的特征。通过两种特征匹配，完成激光雷达与摄像头之间的联合标定。下图是通过标定板靶标作为统一观测源的激光雷达与摄像头联合标定流程图。2.激光雷达与摄像头联合标定的原理二、坐标系转换激光雷达与摄像头标定流程图完成联合标定后的效果：2.激光雷达与摄像头联合标定的原理二、坐标系转换激光雷达与摄像头标定效果图思政专栏PART04IdeologicalandPoliticalColumn思政专栏上海工商职业技术学院组织师生走进上海汽车博物馆，开展了一场别具一格的“车轮上的思政课”。博物馆宛如一部立体的汽车工业史书，不同时期、不同品牌的经典汽车有序陈列，构建出一条清晰的汽车工业发展脉络。步入“中国汽车工业发展历程”展区，学生们仿佛穿越时空，见证了中国汽车工业从蹒跚起步到振翅高飞的艰辛蜕变。企业导师穿梭于展品间，讲述着工程师们攻克技术难题的幕后故事，从反复试验的执着，到面对失败的坚韧，生动诠释了何为对职业的敬畏、对技术的极致追求。主动探索精神：汽车博物馆里的“车轮上的思政课”车轮上的思政课实施作业AssignmentimplementPART05一、实施准备（1）防护用品：工作服、安全帽、工作手套。（2）台架总成：实训平台。（3）工具、设备：标定板。（4）辅助材料：绝缘垫、无纺布。实训平台1.工具和设备准备（1）启动实训平台。（2）打开“VMware”软件。（3）开启虚拟机。（4）登录Ubuntu系统。（5）摄像头的内参标定1）启动摄像头。2）打开标定工具。3）摄像头的标定和标定结果的保存。（6）结束所有终端的命令具体步骤请查看《项目4任务4摄像头的内参标定》。二、摄像头的内参标定摄像头的内参标定三、激光雷达与摄像头的外参标定（1）在虚拟机窗口上方选择并连接摄像头（如果在前面内参标定结束后断开了摄像头与主机的连接，则需要重新连接摄像头；若没有断开连接，则无需重复操作此步骤）；（2）在窗口空白区域内单击鼠标右键，然后选择“打开终端”；（3）在终端窗口区域内输入并执行以下命令，以运行ROS主节点（注意运行完毕后，勿结束此命令）;（4）再次在窗口空白区域内单击鼠标右键，然后选择“打开终端”新建一个终端，输入并执行以下命令启动摄像头驱动，打开摄像头画面。1.启动摄像头驱动roscoreroslaunchusb_camusb_cam-test.launch三、激光雷达与摄像头的外参标定单击“文件”→“HOME”→“ros+cam+lidar”→“ls16_ws”，进入文件夹后，在文件夹内空白处新建一个终端，输入并执行以下命令刷新一下工作空间的环境：再输入并执行以下命令启动激光雷达驱动，打开激光雷达点云的可视化界面。2.启动激光雷达驱动sourcedevel/setup.bashroslaunchlslidar_c16_decoderlslidar_c16.launch打开激光雷达点云可视化界面三、激光雷达与摄像头的外参标定在RVIZ界面添加摄像头话题，单击界面左下角的“Add”按钮，在弹出的对话框中选择“Bytopic”→“/usb_cam”→“/image_raw”→“image”，再单击右下角的“OK”，此时在RVIZ界面左下角窗口会出现摄像头的画面。3.录制Bag包添加摄像头话题步骤三、激光雷达与摄像头的外参标定新建一个终端，输入并执行以下命令，录制bag包。以上命令指定了录制文件名为camera_rslidar_calibration0916.bag，0916为当前日期，可根据需要进行更改，后面步骤使用Bag包时，找到对应文件名的文件即可。3.录制Bag包录制站位rosbagrecord-Ocamera_rslidar_calibration0916.bag/usb_cam/image_raw/rslidar_points#指定包名三、激光雷达与摄像头的外参标定录制时，注意以下几点：录制完成后，在终端按下“Ctrl+C”键结束录制，然后在“文件”->“Home”目录下找出录制的文件（文件里包含了激光雷达点云，摄像头图像信息等数据）。为了避免后续播放Bag包时发生冲突，因此在回放Bag包前，需要按下“Ctrl+C”键结束启动摄像头驱动的命令，以关闭摄像头实时窗口。另外还需断开激光雷达电源。3.录制Bag包0102整个录制过程，标定板的位置需保证在激光雷达和摄像头的视野范围内。且需要平稳移动，速度不宜过快。改变标定板的角度（角度不宜过大，要保证在点云图和图像中能够清楚标定板），每个角度的摆放时间在1~2s左右。三、激光雷达与摄像头的外参标定单击“文件”→“HOME”→“ros+cam+lidar”→“autoware-1.10.0”→“ros”后，在ros目录下新建一个终端，输入并执行以下命令：然后输入并执行以下命令打开外参标定工具，其中，命令中的“20210916_1119_autoware_camera_calibration.yaml”是前面内参标定时生成的文件，文件名需要更改为实际生成的文件名。命令有点长，注意每行之间是空格关系，不是换行关系。4.打开外参标定工具sourcedevel/setup.bashroslaunchautoware_camera_lidar_calibratorcamera_lidar_calibration.launchintrinsics_file:=/home/alvis/20210916_1119_autoware_camera_calibration.yamlimage_src:=/usb_cam/image_raw三、激光雷达与摄像头的外参标定命令执行成功后，会弹出image-view2窗口。4.打开外参标定工具打开image-view2窗口三、激光雷达与摄像头的外参标定输入并执行以下命令回放Bag包，其中，命令中“--pause”含义：刚启动时处于暂停播放状态，按空格可以切换播放状态（暂停播放和播放两种状态）。5.回放Bag包rosbagplay--pausecamera_rslidar_calibration0916.bag回放Bag命令三、激光雷达与摄像头的外参标定由于刚执行回放Bag包时处于“PAUSED”暂停播放状态，所以image-view2窗口的画面是黑色的，然后在播放Bag包的终端中按下回车键切换成“RUNNING”播放状态，此时image-view2窗口出现摄像头画面，同时激光雷达点云图窗口也出现点云图，这两个窗口展示的是前面录制好的Bag包的回放画面。5.回放Bag包不同的播放状态三、激光雷达与摄像头的外参标定再次按下回车键让其保持“PAUSED”暂停播放状态。再将image-view2和激光雷达点云图窗口中对应的标定板的朝向和位置大小调到一致，为下一步的外参标定过程做准备。5.回放Bag包调整两个画面位置和大小三、激光雷达与摄像头的外参标定具体步骤如下（以其中一个点为例，其他八个点按照同样的步骤操作即可）：（1）在image-view2的界面中选择一个点：单击鼠标左键选择标定板其中一个位置；（2）切换到激光雷达点云图窗口，单击该窗口的工具栏中的“PublishPoint”；（3）单击鼠标左键选择一个与image-view2窗口的选取点对应位置的点云数据点。6.外参标定选择标定点做标定的时候，在摄像头画面和激光雷达点云画面选择九个对应的点作为参考点，要求是左右两个画面选择的点位置保证基本一致。注意：只有当鼠标右下角出现一个浅红色的路标记号时才能单击该数据点，但是这个标记在其他地方的对应点可能也会显示，因此可以尽量放大画面，选取更准确的点。三、激光雷达与摄像头的外参标定重复以上步骤，在标定板上选择9个不同的像素点云对，一般采用上中下和左中右组合，共9个点，当第9个点选择完后，该工具会自动计算并外参矩阵，回到打开image-view2窗口终端，计算结束后，终端会展示标定结果。另外，工具会自动将外参标定文件保存在home目录下。6.外参标定外参标定结果在回放Bag包和运行外参标定工具的终端中按下“Ctrl+C”键结束命令四、验证融合效果回放Bag包rosbagplay--pausecamera_rslidar_calibration0916.bag/rslidar_points:=/point