汽车基础环境部件及标定 11

基于毫米波雷达与摄像头的标定融合主讲老师：XXX项目7：综合实践01学习情境LearningSituation02学习目标LearningObjectives03资料收集Backgroundknowledge06课堂总结Summary目录05实施作业Assignmentimplement04思政专栏IdeologicalandPoliticalColumn学习情境LearningSituationPART01学习情境某客户的汽车在只安装了摄像头的情况下，检测系统会将路边广告牌上的肖像识别为行人，导致汽车做出一些不必要的制动措施，对道路交通安全造成一定的影响。于是客户来到你们公司，想要尝试加装毫米波雷达，对毫米波雷达和摄像头的数据进行融合，以提高目标检测的准确性，加装毫米波雷达后，你需要对毫米波雷达与摄像头进行标定融合。毫米波雷达和摄像头数据融合学习目标LearningObjectivesPART02学习目标素养目标1.强化爱国情怀与社会责任感；2.提升学生团队合作与沟通能力；3.引导学生树立服务人民、奉献社会的观念。1.能阐述传感器融合的原因；2.能说出毫米波雷达与摄像头信息融合层级划分；3.能说出毫米波雷达与摄像头融合的关键点；4.能阐述毫米波雷达与摄像头坐标系转换的过程。知识目标能力目标1.能独立完成摄像头的调试与标定；2.能独立完成毫米波雷达的调试；3.能独立完成毫米波雷达和摄像头的融合。资料收集DataCollectionPART03一、传感器融合的原因由于单一传感器获得的信息有限，且还要受到自身品质和性能的影响，因此智能网联汽车中通常配有数量众多的不同类型的传感器，以满足探测和数据采集的需要，因此，毫米波雷达与摄像头的融合也是一种必然的趋势。摄像头毫米波雷达测距性能比较差，且检测效果容易受到光线、恶劣天气等因素的影响受光照和天气的因素影响比较小，测距精度也比较高，且最大探测距离比较远，但是目前毫米波雷达分辨率比较低，在识别非金属目标时存在一定的困难，并且难以识别目标的特征信息二、毫米波雷达与摄像头信息融合层级划分根据融合中心获取到的传感器数据处理层次不同，毫米波雷达与摄像头信息融合划分为不同的融合层次。分别为原始数据级融合，特征级融合，目标级融合。传统的毫米波雷达与摄像头融合的方法主要集中在目标级的融合方案，未来发展方向是特征级融合的方案。传感器层次融合模型原始数据级融合，就是毫米波雷达点目标与图像像素的匹配。将毫米波雷达的点坐标投影到图像像素上，与图像像素联合标定匹配。1.原始数据级融合二、毫米波雷达与摄像头信息融合层级划分0102优点缺点目标特征信息全，准确度高，鲁棒性强数据传输负荷大；且噪声较大，很难与图像匹配这种融合方式主要是毫米波雷达辅助摄像头。基本的思路是将毫米波雷达的点目标投影到图像上，围绕该点生成一个矩阵的感兴趣区域，然后只对该区域内进行搜索，搜索到以后跟雷达点目标进行匹配。2.特征级融合二、毫米波雷达与摄像头信息融合层级划分0102优点缺点可以迅速地排除大量不会有车辆的区域，极大地提高识别速度。而且可以迅速排除掉毫米波雷达探测到的非车辆目标，增强结果的可靠性对于复杂交通场景，目标可能会被重复探测，造成目标匹配上的混乱这种融合方法主要是根据图像检测的目标结果与毫米波雷达探测的目标结果，进行有效融合。3.目标级融合二、毫米波雷达与摄像头信息融合层级划分对于单目摄像头来说，识别的纵向距离不准确，在障碍物比较多的情况下，匹配准确度较低。还有可能毫米波雷达识别到了，单目摄像头却没有识别到0102优点缺点通信负载小实现摄像头与毫米波雷达的精确融合的关键点：空间同步（解决联合标定问题）和时间同步（解决时间戳问题）。目的就是为了实现三同一不同：同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处。三、毫米波雷达与摄像头融合的关键点空间同步时间同步关键点为了能够准确融合数据，来自不同传感器的信息必须对应相同的时间点。这意味着数据采集和处理的时间必须被精确地记录和校准，以便于将数据映射到一个统一的时间线上。一般以频率最低的传感器为时间基准（毫米波雷达采样时间慢，以毫米波雷达为准）。1.时间同步三、毫米波雷达与摄像头融合的关键点传感器时间同步传感器空间同步就是将不同传感器坐标系的测量值转换到同一个坐标系中。这个工作可分成两部分：内参标定和外参标定，内参是决定传感器内部的映射关系，而外参是决定传感器和外部某个坐标系的转换关系。2.空间同步三、毫米波雷达与摄像头融合的关键点传感器空间同步对于毫米波雷达与摄像头的联合标定就是将毫米波雷达坐标系转换到像素坐标系中。也就是将毫米波雷达检测的目标转换到图像上。具体分为以下两个步骤：（1）将毫米波雷达坐标系的坐标转换到世界坐标系；（2）将世界坐标系的坐标转换到像素坐标系。2.空间同步三、毫米波雷达与摄像头融合的关键点坐标系转换过程思政专栏PART04IdeologicalandPoliticalColumn思政专栏2020年新冠疫情期间，北京市依文集团从服装生产跨界转产防护服。企业组建跨部门团队：采购团队打通原料供应链，技术团队改造产线并钻研标准，生产与质检团队保障高效与质量。团队协作中，各环节互补破局，如原料紧张时采购与生产团队共商降本，技术瓶颈时老员工助力突破，最终实现日产“消毒级”防护服8000至1万件，部分产线升级为全市唯一可生产“无菌级”防护服的产线。这启示职教学子：需借团队合作整合力量，职教应通过实践培养学生协作担当、沟通互补的素养，以适应未来职场挑战。团队合作精神：团队协作铸就职教学子实践范本依文集团员工赶制防护服实施作业AssignmentimplementPART05一、实施准备（1）防护用品：工作服、安全帽、工作手套。（2）台架总成：实训平台。（3）工具、设备：黄色胶带、角度尺、卷尺、标定板。（4）辅助材料：绝缘垫、无纺布。实训平台1.工具和设备准备一、实施准备（1）把实训平台推到适合进行毫米波雷达与摄像头联合标定的位置。（2）在实训平台车头方向（即毫米波雷达下方）的地面上贴一条黄色胶带作为基准线。平行标志线2.场地的准备一、实施准备（3）以毫米波雷达下方（即毫米波雷达垂直于地面与黄色胶带的交点）为圆心，借助角度尺贴出一个角度为40°的扇形报警区域。扇形报警区域2.场地的准备一、实施准备（4）在毫米波雷达前方的地面上，每隔1米用黄色胶带做好标记，报警距离范围在5米内。扇形报警距离范围2.场地的准备二、毫米波雷达和摄像头标定融合（1）打开“摄像头与毫米波雷达标定融合”软件。（2）在软件界面上侧中间位置找到“视觉传感器”，在下拉框中选择安装在实训平台的摄像头。（3）单击界面左上角的“摄像头状态”，单击“打开”，打开摄像头画面。打开摄像头1.摄像头的调试与标定二、毫米波雷达和摄像头标定融合（4）右侧会实时显示摄像头画面，把标定板放置到合适的位置（整个标定板需在摄像头视野范围内），然后单击“拍摄”按钮，需拍摄五个标定板处在不同角度的照片。拍摄照片1.摄像头的调试与标定二、毫米波雷达和摄像头标定融合（5）单击“标定”按钮，系统自动进行标定。若标定效果（通过查看界面右下方的矫正图像）不理想，则可以单击“删除”按钮，删除前面步骤拍摄的照片，重新调整标定板以完成拍摄步骤，再单击“标定”按钮，进行重新标定。拍摄照片1.摄像头的调试与标定二、毫米波雷达和摄像头标定融合（1）在软件界面上侧中间位置找到“毫米波雷达”配置区域，配置报警区域角度和报警区域距离，其中，报警区域角度为20°（此角度值为实际设置角度的一半），报警区域距离为5m；单击“打开设备”按钮，获取毫米波雷达的检测数据。配置报警区域角度和报警区域距离2.毫米波雷达的调试二、毫米波雷达和摄像头标定融合（2）查看可视化界面（界面左下方）是否有数据，如果有数据则说明毫米波雷达功能正常。调试毫米波雷达2.毫米波雷达的调试二、毫米波雷达和摄像头标定融合单击软件界面右侧中间的“融合”按钮，进行毫米波雷达和摄像头的数据融合。融合效果如下图；上图为摄像头的原始图像，下图为经过两种传感器融合后的效果图