任务2.5 视频数据采集

项目二主讲教师:段晓亮Videodatacollection视频数据采集近年来，自动驾驶的研究已经成为一个热门话题，人们相信自动驾驶一定是未来解决交通问题、大气污染和能源短缺的重要方式。环境感知作为自动驾驶的核心技术，是自动驾驶体现智能的主要方面，环境感知是汽车与周边环境交互的关键，是让汽车更好的模拟甚至超越人类的感知能力，准确检测与识别车内和车外环境的技术。如道路上的障碍物检测、车辆检测、行人检测以及可行驶区域检测等。任务导入任务知识目标01了解可行驶区域检测任务02了解视频数据的采集需求及采集方案03掌握视频数据的采集方法任务能力目标02了解自动驾驶环境感知的作用与常见任务场景04了解视频的分辨率与帧率，能通过Python程序查看视频的分辨率与帧率06了解自动驾驶领域不同的感知设备01认识自动驾驶，了解自动驾驶的意义03根据可行驶区域的数据采集需求分析采集方法05能根据采集要求获取所需的数据集任务思政目标目标01培养独立思考、团队协作的能力02树立正确的工程伦理观CONTENTS目录自动驾驶01Autonomousdriving环境感知02contextawareness视频数据相关概念03Conceptsrelatedtovideodata摄像头安装04Camerainstallation自动驾驶的感知设备05Perceptiondevicesforautonomousdriving自动驾驶是指车辆能够依赖自身对周围环境的感知、理解、自行进行运动控制，达到人类驾驶员驾驶水平。1.自动驾驶感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.自动驾驶思考：为什么需要自动驾驶？视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.自动驾驶引发交通事故的四大原因：驾驶员分心，注意力不集中超速酒后驾驶鲁莽驾驶

高度的无人驾驶系统能有效提高道路交通安全，减少事故发生。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.自动驾驶未来的无人驾驶还能有效缓解城市交通拥堵，提升出行效率：

高度的、未来的无人驾驶系统是什么？快速了解拥堵情况，及时调整路线避免大量人为因素（如加塞）导致的不合理拥堵….激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.自动驾驶环境感知自动驾驶首先是对环境信息和车内信息的采集、处理和分析，即环境感知，它是车辆自动驾驶的基础和前提。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.自动驾驶的环境感知行驶路径：道路，道路边缘等根据感知对象划分:驾驶状态：驾驶员状态（如疲劳状态）周围物体：行人，车辆，交通标志（如减速、限速），红绿灯等自动驾驶汽车检测道路上的红绿灯、行人激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.自动驾驶的环境感知接下来，我们需要完成可行驶区域检测项目的：可行驶区域检测（车道检测）检测出当前车辆可行驶的区域车道线检测”数据采集“激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。3.视频数据相关概念视频的帧率要求：30fps帧率：指的就是每秒钟播放的图像数量，视频其实就是由一张张连贯起来的图像连续播放组成的，当一秒钟有24张图像快速播放，人眼就会认为这是一幅连续的画面。帧率越高，视频里包含的信息就越丰富。视频来源于网络，若有侵权，请联系删除观察该视频，你能发现不同帧率的“小人”运动有什么区别？激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。3.视频数据相关概念视频分辨率要求:720p分辨率：是用于度量图像内数据量多少的一个参数。720p表示视频的每一幅画面大小为1280*720，横向有1280个像素点，纵向为720个像素点。1280780激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。4.摄像头安装摄像头可以采集汽车周边图像信息，与人类视觉最为接近，根据采集规则，要利用摄像头来采集可行驶区域（车道）信息，最好将摄像头安装在汽车的哪个位置？ABC激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。4.摄像头安装在架设摄像头时，根据不同的功能，需要将摄像头架设在不同的位置。功能使用摄像头功能介绍交通标志识别（TSR）前视、测视识别前方道路两侧的交通标注行人碰撞预警（PCW）前视前视摄像头会标记前方道路行人，并在可能发生碰撞时及时发出警报泊车辅助（PA）后视停车时将车尾影像显示在驾驶舱内，预测并标记倒车轨迹，辅助驾驶员停车驾驶员状态检测内室在车内安装，监测驾驶员是否疲劳，闭眼。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。5.自动驾驶的感知设备在自动驾驶领域除了利用摄像头采集数据外，还会使用其他感知设备进行采集。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。5.自动驾驶的感知设备激光雷达：通过发射激光束探测目标的位置、速度等信息的雷达系统。它通过向目标发射探测信号（激光束），然后将接收到的反射回来的信号（目标回波）与发射信号进行比较，经过处理，就可以获得目标的有关信息（如目标距离、方位、高度、速度、姿态与形状等），进一步实现目标的检测与识别。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。5.自动驾驶的感知设备许多自动驾驶汽车将激光雷达安装在车顶，通过高速旋转对车辆周围进行360度扫描，获得周围空间的点云数据，实时绘制出车辆周边的三维空间地图。检测出周围的障碍物检测出可行驶区域激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。5.自动驾驶的感知设备在网络上查阅相关信息，了解毫米波雷达与超声波雷达的原理、功能以及优劣势。在实际的自动驾驶环境感知中，需要根据需求选择感知设备进行数据采集感知设备原理功能优势劣势摄像头获取视频图像信息显示周围环境的图像信息成本低、接近人类视觉依赖光线，极端天气可能失效，难以测距离、速度、角度信息激光雷达发射激光探测目标获取周围环境的三维模型获取的信息量丰富成本高，受雨雪、浓雾天气影响较大毫米波雷达超声波雷达任务实施Taskimplementation感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。工单与考核完成任务工单内容完成任务考核评价

01