汽车基础环境部件及标定 6

摄像头的内参标定主讲老师：XXX项目4：摄像头的装调、故障诊断与标定01学习情境LearningSituation02学习目标LearningObjectives03资料收集Backgroundknowledge06课堂总结Summary目录05实施作业Assignmentimplement04思政专栏IdeologicalandPoliticalColumn学习情境LearningSituationPART01学习情境排除故障后，由于刚安装的摄像头画面存在一定的畸变，对真实环境的还原效果不是很好，这时你需要完成摄像头的内参标定，矫正画面。摄像头画面畸变学习目标LearningObjectivesPART02学习目标素养目标1.鼓励学生跳出传统框架思考，勇于尝试新方法和新技术；2.引导学生学会合理规划时间，培养自律性和责任感。1.能说出摄像头内参标定的定义、目的和方法；2.能说出摄像头的模型参数、涉及的坐标系和畸变类型。知识目标能力目标1.能独立完成摄像头的内参标定。资料收集DataCollectionPART03一、摄像头的模型参数智能网联汽车上的摄像头的基本任务：从摄像头获得的二维图像中恢复物体的三维空间信息，从而能够识别目标物体，提供感知信息。摄像头的基本任务一、摄像头的模型参数空间中物体与其在成像平面形成的二维图像的相互关系由摄像头的内部参数（Intrinsic，简称内参）和外部参数（Extrinsic，简称外参）决定。（1）内参是与摄像头本身的类型有关，主要是由摄像头感光元件和光学特性决定。（2）外参是由建立的相机坐标系与世界坐标系（基坐标系）之间的相对位置关系决定。摄像头的模型参数二、摄像头的内参标定摄像头内参标定就是通过获取摄像头图像像素位置与场景点（世界坐标系）位置之间的关系，建立相机误差模型，由已知特征点的图像坐标求解摄像头的模型参数的过程。摄像头图像像素位置与场景点位置之间的关系1.摄像头内参标定的定义二、摄像头的内参标定摄像头的内参标定其实就是通过一系列的计算校准后得到修正参数，通过这些参数修正后就可以得到与我们人眼看到的景象相同的图像，也就是将三维景象转换成去除畸变后的二维图像。内参标定的目的：获取内参（参数矩阵和畸变系数），完成三维重建和畸变效应矫正两件事：2.摄像头内参标定的目的0102三维重建根据获得的图像重构三维场景畸变效应矫正矫正镜头畸变，生成矫正后的图像二、摄像头的内参标定摄像头内参标定方法有：基于标定物的相机标定方法、基于主动视觉的标定方法、相机自标定法。3.摄像头内参标定的方法标定方法优点缺点常用方法基于标定物的相机标定方法可使用于任意的摄像头模型，精度高需要标定物，算法复杂Tsai两步法，张正友标定法（介于传统和自定标）基于主动视觉的标定方法不需要标定物，算法简单，鲁棒性高成本高，设备昂贵主动系统控制摄像头作特定运动相机自标定法灵活性强，可在线标定精度低，鲁棒性差分层逐步标定，基于Kruppa方程本节实操任务采用的是张正友标定法三、参考坐标系为了来描述针孔相机模型，需要建立四个坐标系：世界坐标系，相机坐标系，图像坐标系和像素坐标系。参考坐标系摄像头的三维坐标系并不是一个“稳定”的坐标系，坐标的原点和各个坐标轴的方向会随着摄像头的平移和旋转而改变。在实际应用中，摄像头安装在汽车上，汽车行驶过程中，摄像头的三维坐标系会实时变化。因此需要引进一个稳定不变的坐标系：世界坐标系。摄像头图像像素位置与场景点位置之间的关系1.世界坐标系三、参考坐标系OwXwYwZw为世界坐标系，用于描述目标物在真实世界里的位置，单位是m以摄像头光心为原点，建立相机坐标系为O_cX_cY_cZ_c，单位为m。过原点垂直于成像平面的光轴为Z轴，平行于图像的X方向为X轴，平行于图像的Y方向为Y轴。相机坐标系2.相机坐标系三、参考坐标系图像坐标系是一个二维直角坐标系，以光轴与成像平面的交点为原点（图像平面的中心），建立图像坐标系oxy，单位为mm。图像坐标系与像素坐标系的关系3.图像坐标系三、参考坐标系像素坐标系是一个二维直角坐标系，反映了相机CCD/CMOS芯片中像素的排列情况。以成像平面左上角为原点，建立像素坐标系ouvuv，单位为像素。图像坐标系与像素坐标系的关系4.像素坐标系三、参考坐标系畸变的产生，是由于摄像头本身不能精确地按照理想的成像模型进行透视投影，即物点在实际的摄像头成像平面上生成的像与理想成像之间存在一定偏差，这个偏差就是摄像头畸变造成的。畸变的英文单词是distortion，英文直译：物体看起来是不正常的。四、摄像头的畸变类型摄像头畸变畸变可分为两种，分别是径向畸变和切向畸变。四、摄像头的畸变类型径向畸变切向畸变畸变由透镜形状引起的畸变称为径向畸变。径向畸变产⽣的主要原因是镜头径向曲率的不规则变化，导致图像扭曲变形，这种畸变的特点是以主点为中⼼，沿径向移动，离的距离越远，产⽣的变形量就越⼤。径向畸变分为桶形畸变（向中心靠拢）和枕形畸变（向外偏移远离中心）两类。径向畸变1.径向畸变四、摄像头的畸变类型切向畸变是由于透镜本身与成像平面不平行而产生的，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致。切向畸变的校正需要严格控制透镜安装过程，以减少由组装问题引起的误差。切向畸变产生的原因2.切向畸变四、摄像头的畸变类型思政专栏PART04IdeologicalandPoliticalColumn思政专栏在智能汽车产业蓬勃发展的当下，车载摄像头作为智能驾驶的“眼睛”，其成像清晰度、识别精准度和环境适应性至关重要。大疆凭借在无人机影像技术领域的深厚积累，跨界投身车载摄像头研发，展现了卓越的工匠精神。大疆与车企合作，在多样路况和极端气候下开展实车测试，依据反馈不断优化，最终成功推出高性能车载摄像头系统。这一成果不仅体现了大疆对技术创新的执着追求，更彰显了其以工匠精神提升出行安全与驾驶体验的社会责任感，为行业树立了创新标杆。工匠精神：以工匠精神重塑车载摄像头未来大疆与车企合作车型实施作业AssignmentimplementPART05一、实施准备（1）防护用品：工作服、安全帽、工作手套。（2）台架总成：实训平台。（3）工具、设备：标定板。（4）辅助材料：绝缘垫、无纺布。实训平台1.工具和设备准备一、实施准备检查标定板是否无破损。标定板2.标定板检查二、摄像头的内参标定打开实训平台电源开关，启动实训平台电脑。1.启动实训平台实训平台二、摄像头的内参标定双击打开“VMware”软件，进入软件主界面。2.打开“VMware”软件打开“VMware”软件二、摄像头的内参标定单击“yolov5-autoware”，再单击“开启此虚拟机”，启动Ubuntu系统。3.开启虚拟机开启虚拟机二、摄像头的内参标定输入密码“root”，按Enter键，登陆Ubuntu系统，进入Ubuntu系统桌面。4.登录Ubuntu系统输入密码二、摄像头的内参标定对实训平台上的摄像头进行内参标定，使用标定板（规格为11角点x8角点，棋盘格单格边长为3.6cm）作为标定工具。5.摄像头的内参标定标定板二、摄像头的内参标定（1）启动摄像头1）单击菜单栏上的“虚拟机”，单击“可移动设备”，单击“MagTekRmoncamA21080P”，单击“连接（断开与主机的连接）（C）”，完成摄像头的连接。5.摄像头的内参标定选择并连接摄像头二、摄像头的内参标定（1）启动摄像头2）鼠标右键单击Ubuntu系统桌面空白区域并选择“打开终端”

。5.摄像头的内参标定打开终端二、摄像头的内参标定（1）启动摄像头3）在终端窗口输入以下命令，然后按Enter键运行ROS主节点（注意此窗口不能关闭）。5.摄像头的内参标定运行ROS主节点roscore二、摄像头的内参标定（1）启动摄像头4）在Ubuntu系统桌面空白区域创建一个新的“终端”，输入以下命令，按Enter键启动摄像头launch文件，打开摄像头。5.摄像头的内参标定摄像头画面roslaunchusb_camusb_cam-test.launch二、摄像头的内参标定（2）打开标定工具1）单击文件夹图标，在“HOME/ros+cam+lidar/autoware-1.10.0”文件夹中找到“ros”文件夹，右键单击“ros”文件夹的空白处新建一个终端，输入以下命令，按Enter键，用于设置环境变量。2）再输入以下命令启动标定工具。5.摄像头的内参标定启动标定工具sourcedevel/setup.bashrosrunautoware_camera_lidar_calibratorcameracalibrator.py--size11x8--square0.036image:=/usb_cam/image_raw二、摄像头的内参标定（3）摄像头的标定和标定结果的保存标定界面为黑白色，当将标定板放置摄像头的视野范围内时，摄像头会自动识别标定板内角的参数，并用彩色线标记。5.摄像头的内参标定标定界面二、摄像头的内参标定（3）摄像头的标定和标定结果的保存1）提起并移动标定板，当X（在摄像头视野范围的最左侧和最右侧之间移动）、Y（在摄像头视野范围的最顶部和最底部之间移动）、Size（移动标定板以接近和远离摄像头）、Skew（改变标定板的角度）的进度条颜色变为绿色时，标定按钮“CALIBRATE”变成可点击状态。5.摄像头的内参标定调整参数直至绿色状态二、摄像头的内参标定（3）摄像头的标定和标定结果的保存2）单击“CALIBRATE”按钮计算内部参数矩阵（后台会自动计算标定结果，标定界面会进入卡滞状态，屏幕会逐渐变灰，注意这不是任务错误，勿关闭窗口）。3）后台计算完成后，窗口会显示摄像头内参（参数矩阵和畸变参数等）。5.摄像头的内参标定摄像头矩阵数据二、摄像头的内参标定（3）摄像头的标定和标定结果的保存4）单击“SAVE”按钮，保存路径会在终端上打印出来，保存好的文件会使用当前系统日期和时间命令自动命名。5.摄像头的内参标定单击“SAVE”按钮二、摄像头的内参标定可以通过对比标定前和标定后的画面，查看摄像头的标定效果。（1）复制标定结果文件的文件名。（2）在上图终端中输入以下命令，调出摄像头拍摄的画面。（3）观察标定前后的摄像头画面，查看标定后画面中的畸变是否消失。6.查看摄像头的标定效果roslaunchautoware_camera_lidar_calibratorcamera_lidar_calibration.launchintrinsics_file:=/home/alvis/20210816_1919_autoware_camera_calibration.yamlimage_src:=/usb_cam/image_raw注意：以上命令中20210816_1919_autow