智能网联汽车数据采集 课件 模块1-3 智能网联汽车数据采集与数据应用-摄像头数据接入技术与工程实践

智能网联汽车数据采集CONTENTS目录PARTONE模块一：智能网联汽车数据采集与数据应用PARTTWO模块二：智能网联汽车数据采集系统开发与运行环境准备PARTTHREE模块三：摄像头数据接入技术与工程实践PARTFOUR模块四：激光雷达数据接入技术与工程实践PARTFIVE模块五：毫米波雷达数据接入技术与工程实践PARTSIX模块六：智能视觉传感器及其数据采集PARTSEVEN模块七：智能网联车载通信接入技术与工程实践PARTEIGHT模块八：高精度定位技术及其数据采集PARTNINE模块九：系统集成、系统调试、系统测试验证工程实践模块一：智能网联汽车数据采集与数据应用1一、智能网联汽车数据采集系统二、多源数据的采集与应用三、数据采集与数据应用的相关标准与规范岗位任务一收集补充数据采集与数据应用的相关标准与规范010203学习目标●能描述智能网联汽车数据采集系统的概念。●能描述智能网联汽车数据采集系统的基本架构。●能描述传感器融合的种类。●能描述智能网联汽车驾驶场景规范体系的相关内容。知识目标ONE模块一：智能网联汽车数据采集与数据应用●能根据具体应用需求确定智能网联汽车驾驶场景的形态。●能根据智能网联汽车驾驶场景规范体系中的具体规范指导驾驶场景采集、数据存储、同步、处理、应用和数据库建设等工作。技能目标●养成查阅资料、勤于思考、联系实际的习惯，增强学习能力。●通过了解我国在智能网联汽车驾驶场景方面取得的成绩，提升民族自信心。素质目标自动驾驶汽车需要在真实或者虚拟环境中至少进行177亿km的里程测试，才能证明智能网联汽车自动驾驶系统比驾驶人更可靠。但是，基于里程的测试方法具有测试周期长、效率低、成本高等弊端。里程测试弊端明显自然驾驶数据作为智能网联汽车自动驾驶典型场景和边角场景来源的主要基础，代表了约80%的道路交通状况，必须进行自然驾驶场景数据采集并不断完善场景库。仿真场景不可或缺智能网联自动驾驶汽车数据采集系统是指能够同步采集自动驾驶中所有传感器及控制器的相关数据，由数据采集主机、数据采集接口设备、数据采集和处理软件等组成的有机体。同步采集的有机体1．数据采集系统的概念TWO模块一：智能网联汽车数据采集与数据应用一、智能网联汽车数据采集系统智能网联汽车驾驶场景来源一般包含标准法规、自然驾驶数据、交通事故数据、仿真衍生数据等。驾驶场景来源的构成主要包含两部分内容：一是驾驶场景数据采集平台的搭建和工具链的设计；二是需要设计合理的采集方案和采集需求驾驶场景数据采集的组成测试场景数据来源一般包括自然驾驶场景、危险工况场景、标准法规场景、参数重组场景。测试场景数据来源的构成2．数据采集系统的基本架构TWO模块一：智能网联汽车数据采集与数据应用一、智能网联汽车数据采集系统为保证更高的可靠性、冗余性以及最终的安全性，在智能网联汽车中，融合来自多个传感器数据的过程，是强制的。由于传感器是有噪声的，因此需要传感器融合算法来处理这些噪声，并尽可能进行最精确的估计。1．按抽象级别的传感器融合：低级别（Low-Level）、中级别（Mid-Level）和高级别（High-Level）传感器融合。构建数据融合的算法，可以分为三大类，分别是按抽象级别的传感器融合、按中心化级别的传感器融合和按竞争级别的传感器融合。每一大类又分为三个小类，一共九种。ONE模块一：智能网联汽车数据采集与数据应用二、多源数据的采集与应用2．按中心化级别的传感器融合：中心化、去中心化、分布式。3．按竞争级别的传感器融合：竞争融合、互补融合、协同融合。两种传感器的好处（以检测行人为例）：1、如果两个传感器中的一个没有检测到行人，我们将使用另一个传感器作为冗余来增加检测到行人的机会。

2、如果两个传感器都检测到了行人，传感器融合技术将使我们更准确地知道行人的位置。1．智能网联车驾驶场景规范体系概述场景采集、算法开发、产品验证等对智能网联汽车驾驶场景的需求是不同的，需要根据具体应用需求确定自动驾驶场景的形态。ONE模块一：智能网联汽车数据采集与数据应用三、数据采集与数据应用的相关标准与规范驾驶场景相关规范体系涉及通用类规范、基础类规范、技术类规范和应用类规范四个大类，从驾驶场景的基本定义、分类方法、采集、存储、数据传输和处理到场景库建设和应用整个流程分别作出详细的要求和方法指导。2．驾驶场景规范ONE模块一：智能网联汽车数据采集与数据应用三、数据采集与数据应用的相关标准与规范现有24项规范，具体指导中国驾驶场景采集、数据存储、同步、处理、应用和数据库建设等工作。课后作业：收集补充数据采集与数据应用的相关标准与规范，并思考以下两个问题：1、新增了哪些标准与规范？2、与之前的标准与规范相比，新增的标准与规范有哪些不同？模块二：智能网联汽车数据采集系统开发与运行环境准备2一、Ubuntu系统岗位任务二Ubuntu的安装与使用二、ROS岗位任务三ROS的安装与使用010203学习目标●能列举Ubuntu的特点。●能描述Ubuntu诞生与发展历史。●能描述Ubuntu的版本划分。●能熟练运用Ubuntu的常用命令。●能列举ROS的特点。●能描述ROS的分级。知识目标TWO模块二：智能网联汽车数据采集系统开发与运行环境准备●能安装和使用Ubuntu软件。●能安装和使用ROS软件。技能目标●养成查阅资料、勤于思考、联系实际的习惯，增强学习能力。●通过了解Ubuntu和ROS在智能网联汽车数据采集中的主要作用，加深对自动驾驶命令的了解。素质目标由南非人马克·沙特尔沃思（MarkShuttleworth）创办。Ubuntu是一个以桌面应用为主的Linux操作系统。诞生通过开源协作、分享、互助等方式，探索创新、共同发展。用户下载、使用、分享Ubuntu系统，以及获得技术支持与服务，无须支付任何许可费用。精神通过Ubuntu庞大的社区组织，Ubuntu用户可以获得很多帮助和支持，使得Ubuntu用起来更加得心应手。社区Ubuntu系统TWO模块二：智能网联汽车数据采集系统开发与运行环境准备一、Ubuntu系统TWO模块二：智能网联汽车数据采集系统开发与运行环境准备岗位任务二Ubuntu的安装与使用1．Ubuntu系统的安装

（1）获取Ubuntu镜像

（2）制作Ubuntu的U盘启动盘1）下载并安装UltraISO软件。2）打开UltraISO，选择“文件”中的“打开”，选中下载好的Ubuntu镜像文件3）单击“启动”→写入硬盘映像4）写入方式选择“USB-HDD+”或者“USB-HDD”均可5）单击“便捷启动”→“写入新的驱动器引导扇区”→“Syslinux”，然后单击“写入”6）将Syslinux引导扇区写入设备的确定界面，单击“是”。7）完成后单击“确定”8）单击“写入”，单击“是”9）成功后，会有“刻录成功”打印信息TWO模块二：智能网联汽车数据采集系统开发与运行环境准备岗位任务二Ubuntu的安装与使用1．Ubuntu系统的安装

（3）安装Ubuntu系统1）选择U盘启动方式。2）进入Ubuntu安装界面，3）选择语言环境，如果选择中文，则系统显示字体会对应变成中文，单击“安装Ubuntu”，进入下一步。4）安装时，可以不勾选第一项，以提高安装速度5）清理磁盘并安装Ubuntu，进入下一步6）选择默认分区模式即可，将改动写入磁盘7）自行设置时区。8）设置登录账号和密码。9）安装结束，等待重新启动TWO模块二：智能网联汽车数据采集系统开发与运行环境准备岗位任务二Ubuntu的安装与使用2．Ubuntu系统的应用

（1）显示当前路径pwd

（2）跳转目录命令TWO模块二：智能网联汽车数据采集系统开发与运行环境准备岗位任务二Ubuntu的安装与使用2．Ubuntu系统的应用

（3）显示当前目录所有文件夹或文件TWO模块二：智能网联汽车数据采集系统开发与运行环境准备岗位任务二Ubuntu的安装与使用2．Ubuntu系统的应用

（4）创建名为file的空文件touchfile（5）打开名为file的文件并将文件中内容显示在终端catfile（6）打开名为file的文件并进行编辑geditfile（7）创建新的目录path2mkdir-p/path1/path2（其中，-p是递归创建目录。）

（8）删除目录/path1rm-r/path1（其中，-r参数是指当目录中有文件的时候，先删除文件，再删除目录。）（9）删除文件filerm/fileTWO模块二：智能网联汽车数据采集系统开发与运行环境准备岗位任务二Ubuntu的安装与使用2．Ubuntu系统的应用

（10）搜索命令最为优秀的软件框架之一就是机器人操作系统（RobotOperatingSystem，ROS）。ROS起源于2007年斯坦福大学人工智能实验室与机器人技术公司WillowGarage的个人机器人项目。诞生（1）点对点设计（2）多语言支持（3）精简与集成（4）工具包丰富（5）免费开源主要特点ROS主要可分为三个级别：计算图级（节点、消息、主题、服务）、文件系统级（包、堆）、社区级。总体框架ROSTWO模块二：智能网联汽车数据采集系统开发与运行环境准备二、ROSTWO模块二：智能网联汽车数据采集系统开发与运行环境准备岗位任务三ROS的安装与使用1．ROS的安装

（1）操作系统与ROS的选择。ROS的安装方法主要有两种：软件源安装和源码编译安装。

（2）配置系统软件源首先打开“软件和更新”对话框，具体单击Ubuntu搜索按钮进行搜索。确保勾选“restricted”“universe”“multiverse”

（3）设置安装源官方默认安装源/或来自清华大学的安装源/或来自中国科学技术大学的安装源注意：1）按Enter键后，可能需要输入管理员密码。2）建议使用国内资源，安装速度更快。（4）设置key（5）安装。

首先需要更新aptsudoaptupdate推荐安装kinetic桌面完整版sudoapt-getinstallros-kinetic-desktop-fullTWO模块二：智能网联汽车数据采集系统开发与运行环境准备岗位任务三ROS的安装与使用1．ROS的安装

（6）初始化rosdepsudorosdepinitrosdepupdate（7）配置环境变量echo“source/opt/ros/noetic/setup.bash”>>~/.bashrcsource~/.bashrcTWO模块二：智能网联汽车数据采集系统开发与运行环境准备岗位任务三ROS的安装与使用2．ROS的使用

ROS安装成功以后，可以运行小海龟程序进行测试。窗口1，启动roscore。Roscore窗口2，启动小海龟node节点。rosrunturtlesimturtlesim_nodeTWO模块二：智能网联汽车数据采集系统开发与运行环境准备岗位任务三ROS的安装与使用2．ROS的使用

窗口3，启动键盘控制节点。

rosrunturtlesimturtle_teleop_key在该窗口下，控制方向键就可以控制小海龟运动了。模块三：摄像头数据接入技术与工程实践3一、摄像头二、摄像头通信接口与协议岗位任务四摄像头数据接入与调试010203学习目标●熟悉摄像头的结构、类型及其优缺点。●熟悉摄像头通信接口与协议。●熟悉工业摄像头实践开发的设备。●掌握车载摄像头的类型和功能。●掌握工业摄像头实践开发技术。知识目标Three模块三：摄像头数据接入技术与工程实践●能熟练运用摄像头数据采集相关专业术语。●能描述摄像头在自动驾驶汽车上的运用。●能进行工业摄像头的实践开发。技能目标●养成查阅资料、联系实际的习惯，增强学习能力。●通过了解我国智能网联汽车中摄像头的数据采集，提升民族自信心。素质目标Three模块三：摄像头数据接入技术与工程实践一、摄像头摄像头是自动驾驶核心传感器之一，最大的优势在于可以识别车辆周边的环境信息和纹理信息，能够“看到”目标的类型、信号灯的颜色等，类似于人类的眼睛。摄像头一般具有视频摄像和静态图像捕捉等基本功能。1．摄像头的结构摄像头的主要组件有：镜头组、图像传感器（ImageSensor）、DSP（DigitalSignalProcessing，数字信号处理）芯片等。图像传感器可以分为两类：CCD与CMOS传感器。2．摄像头的类型摄像头有单目摄像头、双目摄像头和多目摄像头。摄像头有红外摄像头和普通摄像头目前智能网联汽车使用的主要是红外摄像头。Three模块三：摄像头数据接入技术与工程实践一、摄像头3．摄像头的功能摄像头的功能应用可分为行车辅助类、驻车辅助类与车内驾驶人监控三大部分。摄像头的安装位置可在前视、侧视、后视和内置四个部分。Three模块三：摄像头数据接入技术与工程实践二、摄像头通信接口与协议1．摄像头通信接口摄像头接口包括长程类接口（如GMSL、FPD-Link、以太网、USB等），短程类接口（如MIPICSI2、HiSPI、DVP并口、自定义LVDS等）。（1）GMSL接口。GMSL（GigabitMultimediaSerialLink），是美信推出的一种针对车用的串行传输接口标准，可以支持的最高串行速率为3.125Gbit/s，支持同轴电缆传输、支持同轴电缆POC供电，成对使用。（2）LVDS。LVDS（低电压差分信号）是一种高速串行信号传输电平，具有传输速度快、功耗低、抗干扰能力强、传输距离远、易于匹配等优点，非常适合在MIPI输入输出端口使用。在它的基础上有很多通信层标准，例如FPD-Link。Three模块三：摄像头数据接入技术与工程实践二、摄像头通信接口与协议2．摄像头通信协议UVC（USBVideoClass，USB视频类），是一种为USB视频捕获设备定义的协议标准，是微软公司与另外几家设备厂商联合推出的定义USB视频捕获设备的协议标准，已成为USB协会标准之一。UVC是属于USB行业规范中的USB设备类规范，用于USB接口的视频设备的一个统一的数据交换规范。具有实际UVC功能的视频设备只需要两种接口：一种为VCInterface（视频控制接口），另一种为VSInterface（视频流接口）。其中VC接口用于对UVC设备进行配置操控，而VS接口则用于负责传输视频数据流，两者相互配合完成UVC设备功能。Three模块三：摄像头数据接入技术与工程实践二、摄像头通信接口与协议1．摄像头通信接口（3）MIPICSI2。MIPICSI2（CameraSerialInterface）协议是MIPI（移动行业处理器接口）联盟协议的子协议，专门针对摄像头芯片的接口而设计，应用非常广泛，具有高速、低功耗的特点。（4）DVP接口。DVP是并口，所占用的数据线较多，逻辑设计上比较复杂。在高速传输的过程中，直接使用数字信号作为数据容易被其他外部信号干扰。（5）USB接口。USB是串行通用串行总线（UniversalSerialBus）的简称。USB由英特尔联合多家公司在1996年推出，已成功替代串口和并口，已成为当今计算机与大量智能设备的必配接口。USB摄像头有很多优点。Three模块三：摄像头数据接入技术与工程实践岗位任务四摄像头数据接入与调试参数类别参数说明感光器件200万1/2.7CMOS传感器像素尺寸3.0umx3.0um像素面积5808umx3288um分辨率默认1920x1080帧速率MJPG30帧YUY2约5帧曝光时间33.33ms/fps信噪比>39db电压功耗USB5V约100-120ma设备接口USB2.0即插即用；国际标准UVC协议，兼容3.0接口Three模块三：摄像头数据接入技术与工程实践岗位任务四摄像头数据接入与调试1、ROS环境下调试Three模块三：摄像头数据接入技术与工程实践岗位任务四摄像头数