任务3.3 MDC调测和维护工具-MViz-课件

主讲老师：李锋MDC调测和维护工具-MViz项目3：MDC调测和维护任务3.3《车载计算平台技术与应用》目录任务导入AssignmentINTRO学习目标LearningobjectivesCONTENTS0102知识准备Backgroundknowledge03课堂小测Classroomquizz课堂总结Classroomsummary0405思政专栏在疫情防控期间，多地政府积极运用数据可视化技术，构建了一系列高效、透明的信息发布平台，实时更新并展示包括确诊病例、无症状感染者、治愈出院人数、死亡人数等在内的各项疫情数据。这些动态更新的数据图表，如折线图、柱状图、热力图等，直观展现了疫情的发展态势和变化趋势，为公众提供了及时、准确的信息来源。中国疫情信息可视化界面视图思政专栏除了基本的疫情数据外，数据可视化平台还涵盖了疫苗接种情况、核酸检测结果、密接追踪等多维度信息。通过地图定位、时间轴展示等方式，公众可以清晰地看到不同地区、不同时间段的疫情状况和防控成效，为科学防控提供了有力支持。部分先进的数据可视化平台还集成了智能分析功能，能够基于历史数据和实时数据，运用大数据分析、机器学习等技术手段，对疫情发展趋势进行预测和预警。在智能驾驶的计算平台方面如何进行AP应用的可视化？中国疫情信息可视化界面视图PART01任务导入AssignmentINTRO任务导入假如你是某自动驾驶企业的一名自动驾驶研发工程师，选择了可视化工具MViz并进行工作，那么可视化工具MViz在界面上如何以2D或3D可视化的方式呈现MDC平台上的应用消息呢？你会如何进行AP应用的可视化调测呢?可视化通信库viz-libAPP1可视化通信库viz-libAPPn…MDC平台TCP通信上位机数据转换数据发布数据接收节点MViz插件内置标准插件RVizROS消息MVizROSUbuntuMViz实现原理PART02学习目标Learningobjectives学习目标素质目标学习MViz相关知识点，使学生掌握调测和维护工具的关键点；通过课程的学习，培养学生的创新思维能力。能力目标熟悉MViz的功能[A32]；掌握MViz可视化工具的使用[A33]。知识目标了解MViz的相关功能[K40]；熟悉MViz的使用方法[K41]。PART03知识准备Backgroundknowledge一、MViz简介MViz工具的主要功能是将APP应用发送的数据进行转换后发布至可视化工具插件RViz上进行图形化显示，其支持显示H.265压缩的视频数据，也支持在视频数据上叠加AI算法输出的检测框、支持显示车辆状态、道路信息等。1.MViz概述数据转换数据发布图形化显示RVizMVizMViz的主要功能一、MViz简介MDC平台是基于AUTOSAR架构开发的智能驾驶计算平台，由于AUTOSAR的开发和调测生态尚未完善，因此MDC平台提供了基于ROS的MViz可视化调测工具。1.MViz概述APP1viz-libAPP2viz-lib…MDC数据转换数据发布MViz插件内置标准插件RVizROSMViz上位机（Ubuntu20.04）MDC应用可视化工具架构图一、MViz简介1.MViz概述viz-lib支持MDC上的AP应用对接MViz，用于通信通道的管理和可视化数据的传输。数据转换节点接收MDC平台发送来的可视化数据，并将其转换成RViz支持的ROS数据。开发者可以在RViz工作界面中通过按钮下发指令给车辆，直观高效地进行AP应用的开发和调测。MViz基于X86Ubuntu20.04操作系统，由数据转换节点和一系列RViz插件组成。一、MViz简介1.MViz概述（1）实现原理MDC平台上的应用程序通过viz-lib库发送和接收可视化数据，上位机中的数据接收节点通过TCP通信的方式接收MDC上应用程序发送过来的可视化数据。可视化通信库viz-libAPP1可视化通信库viz-libAPPn…MDC平台数据接收节点TCP通信上位机MViz实现原理一、MViz简介1.MViz概述（1）实现原理上位机中的数据接收节点将接收到的数据进行数据转换和数据发布，将收到的TCP数据再发布为ROS的一个数据，最终到RViz中的MViz插件里面。上位机数据转换数据发布数据接收节点MViz插件内置标准插件RVizROS消息MVizROS上位机的功能一、MViz简介1.MViz概述（2）功能特性支持传感器数据可视化，包括摄像头、激光雷达、毫米波雷达传感器数据可视化。支持基于图像的感知结果可视化，包括障碍物、交通灯、车道线、Freespace和语义分割图。支持叠加点、线、文字、矩形、圆形、三角形等基础图形元素到图像。一、MViz简介1.MViz概述（2）功能特性支持基于激光雷达点云的障碍物、Freespace感知结果可视化。支持高精地图的车道线数据可视化。支持导航路径可视化。支持下发途经点、终点、地图刷新指令。一、MViz简介1.MViz概述（2）功能特性支持自车模型加载。支持ST/SLT/二维曲线可视化。支持在可视化面板中查看车辆状态、车控指令、道路信息、定位和交通标志信息、导航场景和关键障碍物数据。一、MViz简介1.MViz概述（2）功能特性支持Camera与Lidar传感器数据、Radar传感器数据进行3D叠加，可视化标定数据。支持用户加载用户自定义可视化插件。支持使用表格或键值对的方式显示自定义数据。支持截取保存图像、点云数据等。二、MViz功能列表1.传感器数据可视化将各种图像数据，感知数据，地图数据等加载到MViz中使用后，图像显示区域就把图像和障碍物一起显示出来，3D显示区域显示了点云、车辆、障碍物、导航的路径等信息。可视化界面总览二、MViz功能列表（1）Camera数据可视化在MDC上启动camera_mviz_start.sh脚本，启动脚本之后就会启动camera_mviz应用，这个应用会把camera传感器的H.265数据通过viz_lib转发到MViz上。1.传感器数据可视化viz-libcamera_mvizMDC平台MVizH.265数据camera_mviz_start.shCamera数据可视化实现原理二、MViz功能列表（1）Camera数据可视化查看camera数据：①在插件管理区域展开MDCVision插件；②在展开的MDCVision下找到子项Image并展开；③在Image下订阅camera的Topic话题；④订阅成功后，在图像显示区域就可以查看到camera的视频图像。1.传感器数据可视化Camera数据可视化二、MViz功能列表（2）Lidar数据可视化在MDC上启动lidar_mviz_start.sh脚本，启动脚本之后就会启动lidar_mviz应用，然后转发点云数据。1.传感器数据可视化viz-liblidar_mvizMDC平台MViz点云数据lidar_mviz_start.shLidar数据可视化实现原理二、MViz功能列表（2）Lidar数据可视化查看点云数据：①在Topic处选择lidar的Topic话题。②观察Status：Error，查看具体错误，如果提示Transform错误，则复制提示的frame值。③将复制的frame值填入到FixedFrame处。④成功后就可以在3D区域正常显示激光雷达的点云数据。1.传感器数据可视化Lidar数据可视化二、MViz功能列表2.开发者发送及可视化数据为方便开发者在自己的算法应用中发送可视化数据，MViz提供了与ROS类似的API接口进行数据发送，开发者需要添加调用viz_lib的代码发送可视化数据，来降低学习的成本。开发者API接口可视化数据开发者发送可视化数据1）引入viz_lib的头文件publisher.h;2）调用Connect接口，初始化资源并发起连接;3）构造发布者，发送数据前实例化一个对应数据类型的Publisher;4）构造需发布的可视化数据，通过publish接口发布;5）应用退出前，调用Close接口，断开服务端的连接，释放资源。2.开发者发送及可视化数据viz_lib接口示例代码二、MViz功能列表（1）图像感知结果可视化障碍物感知结果可视化：在MDC上使用camera_mviz转发Camera

H.265数据到MViz显示,并开发独立的AP应用,接收障碍物感知应用的输出,构造ObjectArray结构体,并调用viz-lib的Publish接口发送。2.开发者发送及可视化数据MVizH.265数据MDC平台viz-libAPPcamera_mvizObjectArray障碍物可视化实现原理二、MViz功能列表（1）图像感知结果可视化2.开发者发送及可视化数据障碍物检测框可视化二、MViz功能列表

①在MViz的MDCVision插件中,展开Image后订阅Camera数据;②勾选Objects③展开Objects后,选择障碍物数据对应的Topic;④检测框的颜色、类别文字等可展开DisplayEffects进行配置;⑤在视频窗口中查看检测框和图像的叠加效果。（1）图像感知结果可视化交通灯感知结果可视化：在MDC上使用camera_mviz转发CameraH.265数据到MViz显示，并开发独立的AP应用，接收障碍物感知应用的输出，构造ImageRectangleArray结构体，并调用viz-lib的Publish接口发送。2.开发者发送及可视化数据MVizH.265数据MDC平台viz-libAPPcamera_mvizImageRectangleArray交通灯可视化实现原理二、MViz功能列表（1）图像感知结果可视化①在MViz的MDCVision插件中，展开Image后订阅Camera数据；②勾选TrafficLights;2.开发者发送及可视化数据③展开TrafficLights后，选择障碍物数据对应的Topic;④检测框的颜色、类别文字等可展开DisplayEffects进行配置；⑤在视频窗口中查看检测框和图像的叠加效果。交通灯检测框可视化二、MViz功能列表（1）图像感知结果可视化车道线感知结果可视化：在MDC上使用camera_mviz转发CameraH.265数据到MViz显示，并开发独立的AP应用，接收障碍物感知应用的输出，构造ImageLineArray结构体，并调用viz-lib的Publish接口发送。2.开发者发送及可视化数据MVizH.265数据MDC平台viz-libAPcamera_mvizImageLineArray车道线可视化实现原理二、MViz功能列表（1）图像感知结果可视化①在MDCVision插件中，展开Image后订阅Camera数据；②勾选RoadLines;③展开RoadLines后，选择障碍物数据对应的Topic;④检测框的颜色、类别文字等可展开DisplayEffects进行配置；⑤在视频窗口中查看检测框和图像的叠加效果。2.开发者发送及可视化数据车道线可视化二、MViz功能列表二、MViz功能列表（1）图像感知结果可视化Freespace感知结果可视化：在MDC上使用camera_mviz转发CameraH.265数据到MViz显示，并开发独立的AP应用，接收障碍物感知应用的输出，构造ImageFreespace结构体，并调用viz-lib的Publish接口发送。2.开发者发送及可视化数据MVizH.265数据MDC平台viz-libAPcamera_mvizImageFreespaceFreespace可视化实现原理二、MViz功能列表（1）图像感知结果可视化①在MDCVision插件中，展开Image后订阅Camera数据；②勾选Freespace;③展开Freespace后，选择障碍物数据对应的Topic;④检测框的颜色、类别文字等可展开DisplayEffects进行配置；⑤在视频窗口中查看检测框和图像的叠加效果。2.开发者发送及可视化数据Freespace可视化二、MViz功能列表（2）激光点云感知结果可视化在MDC上使用lidar_mviz转发Lidar数据到MViz,使用PointCloud2插件显示，并开发独立的AP应用，接收点云障碍物检测数据，构造ObjectArray结构体，并调用viz-lib的Publish接口发送。2.开发者发送及可视化数据Lidar数据MVizPointCloud2插件MDC平台viz-libAPlidar_mvizObjectArray点云感知障碍物可视化实现原理二、MViz功能列表（2）激光点云感知结果可视化①在ObjectArray插件中订阅3D障碍物数据；②可在配置界面勾选是否显示相关内容；③类型文字、3D障碍物的颜色等可在ClassificationSetting中配置修改；④在3D窗口中查看3D障碍物显示效果。2.开发者发送及可视化数据点云感知障碍物可视化二、MViz功能列表（3）地图可视化在MDC上读取并解析地图数据，将地图数据的车道线的坐标赋值到Marker中，Marker的type字段赋值为LINE_STRIP,将多条车道线组合为MarkerArray后，调用viz-lib的Publish接口发布数据；实现途经点/终点坐标接收和地图刷新的回调函数以及发送地图偏移量(CoordsOffset)。2.开发者发送及可视化数据地图数据MarkerMarkerArray发布数据车道线坐标组合地图数据可视化实现原理二、MViz功能列表（3）地图可视化①添加并展开RobotModel;②在RobotDescription处填写car_full,显示轿车模型；③加载MarkerArray插件订阅地图数据；④使用MVizTool栏在地图上选取途经点、终点，选取后，坐标数据将下发到MDC上，由回调函数接收；⑤地图、自车、途经点和终点在3D区域的呈现效果。2.开发者发送及可视化数据地图数据可视化二、MViz功能列表（4）车辆/道路/导航等数据可视化1）车辆状态2.开发者发送及可视化数据车辆状态二、MViz功能列表（4）车辆/道路/导航等数据可视化2）车控指令2.开发者发送及可视化数据车控指令二、MViz功能列表（4）车辆/道路/导航等数据可视化3）道路信息2.开发者发送及可视化数据道路信息二、MViz功能列表（4）车辆/道路/导航等数据可视化4）定位信息和交通标志信息2.开发者发送及可视化数据定位信息和交通标志信息二、MViz功能列表（4）车辆/道路/导航等数据可视化5）导航场景和关键障碍物数据2.开发者发送及可视化数据导航场景和关键障碍物数据二、MViz功能列表（5）标定数据可视化在MDC上使用lidar_mviz和camera_mviz转发Lidar和Camera数据到MViz显示，开发独立的AP应用，构造TF数据发送Lidar相对于自车的标定参数，构造Cameralnfo数据发送Camera的内参数据。2.开发者发送及可视化数据viz-liblidar_mvizMDC平台viz-libcamera_mvizMVizAPP标定数据可视化实现原理二、MViz功能列表（5）标定数据可视化①使用MDCVision插件订阅图像数据；②使用PointCloud2插件订阅点云数据；③使用Camera插件订阅图像数据；④在Camera窗口中查看图像和点云叠加效果。2.开发者发送及可视化数据标定数据可视化二、MViz功能列表（6）自定义可视化插件加载①根据RViz的插件接口开发可视化插件；②使用*.msg文件开发MDC应用，并使用mviz_deveL_kit提供的接口发布/订阅自定义数据；③将算法应用部署到MDC上运行；④将用户插件加载到RViz中；⑤在上位机启动MViz加载用户插件，进行自定义数据通信。2.开发者发送及可视化数