任务4.5 基于ADSF的目标检测算法开发-课件

主讲老师：李锋基于ADSF的目标检测算法开发项目4：智能驾驶应用开发与测试任务4.5《车载计算平台技术与应用》目录任务导入AssignmentINTRO学习目标LearningobjectivesCONTENTS0102知识准备Backgroundknowledge03任务实施Assignmentimplement课堂总结Classroomsummary040605课堂小测ClassroomquizzPART01任务导入AssignmentINTRO任务导入目标检测作为智能领域的核心基础，在智能驾驶中已经有相对成熟的应用。然而，基于AdaptiveAUTOSAR的算法开发需要复杂且繁琐的配置过程，我们将探索如何在ADSF框架中更简洁地开发目标检测算法。ADSF框架PART02学习目标Learningobjectives学习目标素质目标通过学习摄像头和激光雷达的接入方法，培养学生的研究兴趣；通过对摄像头数据的可视化，培养学生综合分析能力。能力目标能掌握目标检测算法中各工具的使用[A51]；运用开发手册查阅api接口相关信息[A52]；能总结归纳Camera和Lidar开发流程的异同点[A53]。知识目标能理解自动驾驶系统ADSF框架在开发中的作用[K61]；能描述基于ADSF框架的目标识别开发流程[K62]。PART03知识准备Backgroundknowledge一、Camera目标检测算法开发Camera所接收的数据是图像数据，在图像领域中比较成熟的是深度学习算法，对于目标检测来说有YOLO系列、SSD、Fast-RCNN算法等。基于ADSF框架开发Camera数据接收节点间通信MDCNN加速引擎DVPP硬件加速实现图像预处理MDC针对NN（NeuralNetworks）神经网络，配备专门的NN加速引擎，NN加速引擎在软件上分为四层包括：Device层、Context层、Stream层、Task/Kernel层。1.目标检测算法开发流程一、Camera目标检测算法开发NN加速引擎1.目标检测算法开发流程一、Camera目标检测算法开发Device层指定计算设备，MDC上每个mini有一个Device，Device的ID都为0，都是一个独立的DeviceContext层Context在Device下，一个Context一定属于一个唯一的Device；Context与用户线程绑定，一个用户线程对应一个ContextStream层Device上的执行流，在同一个Steam中的任务是串行执行的，不是同一个Stream中的任务是并行执行的；开发者的编程阶段Task/KernelDevice上真正的执行体，从属于Stream基于AI或者NN类的算法开发，一般包含以下4个步骤。1.目标检测算法开发流程一、Camera目标检测算法开发已有AI模型.caffemodel.onnx等框架初始化加载AI模型数据预处理模型推理数据后处理模型转换编译运行OM模型1423开发过程开发流程准备训练好AI的模型，将AI模型（如Caffe框架的.caffemodel模型、ONNX框架的.onnx模型）通过MindStudio/ATC工具将已经训练好的AI模型转化成MDC支持的.om模型。1.目标检测算法开发流程一、Camera目标检测算法开发（1）模型训练Caffe/TensorFlow/MindSpore/ONNXATC工具图准备图优化图拆分图编译Model.omfileModelfile模型转换在MDCDevelopmentStudio集成开发工具中编写代码。1.目标检测算法开发流程一、Camera目标检测算法开发（2）开发过程调用功能软件框架Init函数初始化框架调用功能软件框架AI模型加载函数加载已经转换好的OM模型调用功能软件框架图像/点云处理函数做数据预处理调用功能软件框架AI推理引擎做AI模型推理调用功能软件框架图像/点云处理函数做数据后处理工具使用交叉编译包部署交叉编译环境。1.目标检测算法开发流程一、Camera目标检测算法开发（3）编译交叉编译在MDS中编译程序，并拷贝到MDC的AI处理器上运行。1.目标检测算法开发流程一、Camera目标检测算法开发（4）运行MDC参考“任务4.3MDC执行器和传感器接入”Camera的接入方法，保证Camera抽象中图像输出，确保节点能接受图像数据做算法处理。2.基于ADSF框架的开发流程一、Camera目标检测算法开发（1）接通Camera传感器Camera接入服务功能根据算法的输入输出选择通讯框架，例如Camera目标检测算法的输入是Camera的图像数据，输出是检测出的目标框，因此可以选择Camera目标检测框架作为Camera目标检测算法的通讯框架。2.基于ADSF框架的开发流程一、Camera目标检测算法开发（2）选定ADSF框架ADSF自动驾驶服务框架2.基于ADSF框架的开发流程一、Camera目标检测算法开发（3）代码开发调框架初始化读取配置文件，启动发送与接收服务NN初始化创建context，载入模型，创建模型的输入与输出获取输入图像图像预处理图像颜色空间转换与缩放处理模型推理将预处理的数据输入模型并执行推理解析结果并发送解析推理的结果，将结果发送出去ADB提供一套统一的接口，包括公共接口与基础算法接口，可实现MDC硬件加速的功能。ADB的接口API一般以Haf开头，具体调用方式可参考“MDC300产品文档->应用开发->ADSF&ADB使用指南->ADB统一加速接口->框架提供API接口。”2.基于ADSF框架的开发流程一、Camera目标检测算法开发（4）ADB接口加速公共接口基础算法接口MDC硬件加速1)框架初始化CameraDetDemoApp::Initialize。2.基于ADSF框架的开发流程一、Camera目标检测算法开发（4）ADB接口加速框架初始化2)NN初始化ImageDetInference::Initialize。2.基于ADSF框架的开发流程一、Camera目标检测算法开发（4）ADB接口加速NN初始化3)获取输入图像CameraDetDemoApp::ObjectDetectionThread。2.基于ADSF框架的开发流程一、Camera目标检测算法开发（4）ADB接口加速获取输入图像4)图像预处理。2.基于ADSF框架的开发流程一、Camera目标检测算法开发（4）ADB接口加速图像预处理5)模型推理CameraDetDemoApp::ModelAddInput。2.基于ADSF框架的开发流程一、Camera目标检测算法开发（4）ADB接口加速模型推理6)解析结果并发送，以Caffe框架中的YOLOv3为例。2.基于ADSF框架的开发流程一、Camera目标检测算法开发（4）ADB接口加速解析结果并发送代码开发完成后，还需要修改框架的配置文件Config.yaml，每个框架都有一个需要配置的Config.yaml文件，配置文件中定义了日志模式、日志级别、框架输入输出的端口（instanceid）等重要信息。3.框架配置一、Camera目标检测算法开发配置文件样例二、Lidar目标检测算法开发基于ADSF框架的Lidar目标检测算法开发流程与Camera目标检测算法的开发流程类似，总共分为5个步骤：框架选择、开发过程、编译、运行、可视化。框架选择编译运行可视化框架初始化算法开发结果发送开发过程12345开发流程框架的选择与Camera的框架选择依据基本一致，根据输入的激光雷达点云数据，输出的检测目标框（位置、大小、朝向）信息，和ADSF的Lidar目标检测框架的输入输出匹配对应的通讯框架。1.框架选择二、Lidar目标检测算法开发ADSF自动驾驶服务框架Lidar目标检测框架提供通信接口来完成通信服务的启动、停止及消息收发的功能。2.开发过程二、Lidar目标检测算法开发Lidar目标检测框架Init()Stop()GetLidar()SendObject()通信接口1)框架初始化：创建Lidar目标检测框架实例，调用Init()接口完成通信服务的启动。2.开发过程二、Lidar目标检测算法开发框架初始化2)Mviz初始化。2.开发过程二、Lidar目标检测算法开发Mviz初始化3)调用GetLidar()接口获取点云数据；4)核心算法代码开发；5)结果发送：调用SendObject()通信接口来完成检测结果AP消息的发送；将检测结果转换为viz-lib消息，调用viz-lib的Publish发送。2.开发过程二、Lidar目标检测算法开发345算法开发流程使用MDS（MDCDevelopmentStudio）工具导入整个ADSF_Sample工程。MDS中使用CMake和Make工具实现工程的编译，该过程将源文件编译为MDC上可运行的目标文件。3.编译二、Lidar目标检测算法开发算法编译3)Lidar目标检测应用可以运行在mini和Host，mini和Host二进制文件依赖不同，涉及AI算力的应用只能部署在mini。3.编译二、Lidar目标检测算法开发miniHostLidar目标检测应用4.运行二、Lidar目标检测算法开发MDS编译完成后，在开发环境下打开终端，切换到ADSF_Sample的目录下，执行命令bash./get_target.sh，将adsf_sample/lidar_det复制到MDCHost或者Mini上将获取的AP数据包拷贝到MDCHost上，执行rtfbagplay***.bag--dds-network=192.168.1.6-l循环播放数据包Host运行：进入lidar_det目录，修改配置文件，执行bashstart.shlidar_det_host命令，成功运行Mini运行：进入lidar_det目录，修改配置文件，执行bashstart.shlidar_det_mini命令，成功运行成功运行后的日志示例。4.运行二、Lidar目标检测算法开发成功运行打印日志示例为了能够快速查看MDC的激光雷达数据，在版本中内置了Lidar可视化应用，需要在MDC和MViz上运行相应的操作和配置。在MDC上：5.可视化二、Lidar目标检测算法开发（1）激光点云数据可视化进入/opt/cfg/conf_run/viz/目录，在viz_address.conf中添加上位机ip进入/opt/platform/mdc_platform/script/，使用lidar_mviz_start.sh脚本启动Lidar_mviz应用在MViz上：1)在Topic处选择一路lidar的Topic；2)如果观察到Status:Error，查看具体错误，如果是提示Transform错误，则复制提示的frame值。5.可视化二、Lidar目标检测算法开发（1）激光点云数据可视化选择对应topic3)将frame值填写到FixedFrame处。5.可视化二、Lidar目标检测算法开发（1）激光点云数据可视化填入frame值4)在3D显示区域即可查看到点云数据。5.可视化二、Lidar目标检测算法开发（1）激光点云数据可视化点云画面在MDC上操作完成后，开发者还可以到上位机进行3D障碍物可视化的操作，调用viz-lib的接口发送ObjectArray数据。最终呈现的可视化效果如图所示。蓝色框表示3D障碍物目标框，红色点表示原始的激光点云。5.可视化二、Lidar目标检测算法开发（2）3D障碍物可视化3D障碍物可视化思政专栏

ADSF框架在自动驾驶领域广受认可，取得显著成果。中国汽车在2023年同样大放异彩，产销量突破3000万辆，出口522万辆，首次成为全球第一大汽车出口国。在各价位的车型上，中国本土车企都展示了惊人的技术能力。不少欧美日车企还处于概念阶段的技术，已在中国车企的量产车上搭载，这让国外同行感到惊讶。2021-2023年中国汽车销量中国跃升世界第一大汽车出口国思政专栏

仅仅在三年前，面对中国本土车企时，他们还拥有优越感。2023年初，比亚迪在云辇系统发布会上让车辆平地起跳；年底，蔚来在ET9车型的前盖上搭起4层香槟塔，车辆穿行减速带的同时，香槟一点不洒；下半年，不少新车型做到了充电15分钟即可行驶几百公里，电动车的补能速度越来越接近燃油车；2022年以来，深圳、广州、北京，无人驾驶的出租车陆续开始自动载客运营。2023年汽车销量前十榜中国跃升世界第一大汽车出口国PART04Assignmentimplement任务实施一、摄像头数据可视化1.启动mviz1）右键点击MDC_Application_Visualizer-Ubuntu20-3.0.002文件包，在出现的选项中选择在终端打开。打开终端一、摄像头数据可视化1.启动mviz2）打开终端后运行rosore的命令启动ROS系统的核心节点。启动ROS系统的核心节点一、摄像头数据可视化1.启动mviz3）在终端框中右键鼠标新建标签页，并输入以下命令，自动启动MViz。启动ROS系统的核心节点一、摄像头数据可视化2.启动摄像头1）在终端框中右键鼠标再次新建标签页，并输入以下指令，登录到mdc账户，密码为Huawei12#$登录mdc账户一、摄像头数据可视化2.启动摄像头2）继续在该终端框中输入以下指令，启动摄像头脚本文件启动脚本文件一、摄像头数据可视化2.启动摄像头3）在打开的MViz显示界面上，右键Displays并勾选MDCVision选项勾选MDCVision一、摄像头数据可视化2.启动摄像头4）勾选之后，摄像头的界面就可以在MDCVision插件中实时显示出来勾选MDCVision二、调用摄像头进行轨迹跟踪1.导入工程文件1）打开主文件夹/“MDC_Development_Studio-3.0Ubuntu20”文件夹，双击mdc_development_studio图标，启动MDS软件。启动MDS二、调用摄像头进行轨迹跟踪1.导入工程文件2）启动之后，在“Workspace”处确认工作空间路径。确定MDS工作空间路径二、调用摄像头进行轨迹跟踪1.导入工程文件3）进入MDS界面后，然后点击“File”->“Import”选项点击导入选项二、调用摄像头进行轨迹跟踪1.导入工程文件4）在弹出来的界面中，点击“MDC”->“ImportasaMDCProject”->“Next”选项选择导入类型二、调用摄像头进行轨迹跟踪1.导入工程文件5）在“ImportasaMDCProject”窗口中，点击“Browse”，选择导入项目的路径选择导入项目的路径二、调用摄像头进行轨迹跟踪1.导入工程文件6）找到eisa/Sample/cam_det文件夹，点击“打开”选择cam_det项目文件夹二、调用摄像头进行轨迹跟踪1.导入工程文件7）随后跳转回到“ImportasaMDCProject”窗口，点击“Finish”。完成示例工程的导入完成工程导入二、调用摄像头进行轨迹跟踪1.导入工程文件8）导入成功后，可在左侧工具栏中查看该工程文件的目录，工程中包含轨迹追踪和定位两个应用的相关程序。完成工程导入二、调用摄像头进行轨迹跟踪2.源码编译发送1）在MDS菜单栏点击Build（类似小锤子的选项）对该工程进行编译。编译程序二、调用摄像头进行轨迹跟踪2.源码编译发送2）编译源码之后，右键cam_det工程，在出现的选项中点击RunAs之后打开RunConfigurations运行配置选项。进入运行配置二、调用摄像头进行轨迹跟踪2.源码编译发送3）打开的运行配置界面其中具体配置项包括：Executable（执行文件）：camera_track（轨迹追踪应用）Connetion（连接设备）：RemoteHostRemoteAbsoluteFilePathforMDCApplication（MDC的远程绝对路径）：/home/mdc/wks/camera_tracker完成运行配置二、调用摄像头进行轨迹跟踪2.源码编译发送4）配置完成后点击运行按键，将编译后的轨迹追踪执行文件发送到MDC指定的路径上。运行程序二、调用摄像头进行轨迹跟踪2.源码编译发送5）同理，还需要将定位应用的执行文件发送到MDC上，再次右键cam_det工程，在出现的选项中点击RunAs之后打开RunConfigurations运行配置选项进入运行配置二、调用摄像头进行轨迹跟踪2.源码编译发送6）打开的运行配置界面其中具体配置项包括：Executable（执行文件）：loacation（定位应用）Connetion（连接设备）：RemoteHostRemoteAbsoluteFilePathforMDCApplication（MDC的远程绝对路径）：/home/mdc/wks/location完成运行配置二、调用摄像头进行轨迹跟踪2.源码编译发送7）配置完成后点击运行按键，将编译后的轨迹追踪执行文件发送到MDC指定的路径上。运行程序二、调用摄像头进行轨迹跟踪3.在MDC上运行定位应用1）在桌面空白出右键鼠标打开终端框。打开终端框二、调用摄像头进行轨迹跟踪3.在MDC上运行定位应用2）登录到mdc账户，密码为Huawei12#$登录mdc账户二、调用摄像头进行轨迹跟踪3.在MDC上运行定位应用3）切换到应用程序文件夹，并通过命令将可执行文件移动到正确路径上移动定位应用的文件路径二、调用摄像头进行轨迹跟踪3.在MDC上运行定位应用4）执行定位应用，输出定位信息执行定位应用二、调用摄像头进行轨迹跟踪4.在MDC上运行轨迹跟踪应用1）在终端框中右键选择新建标签页