任务3.6 传感器数据可视化-学生手册

任务3.6传感器数据可视化学生手册任务3.6传感器数据可视化【任务导入】摄像头在自动驾驶中起着至关重要的作用，它通过实时的图像处理和分析，为车辆提供必要的环境感知和决策支持，从而确保行车安全和效率。假如你是某自动驾驶企业的一名自动驾驶研发工程师，该如何利用摄像头开展实时感知的工作呢？【学习目标】素质目标了解摄像头接口和摄像头配置，培养学生严谨的学习态度；通过数据可视化案例，引导学生思考技术应用如何服务于社会公共利益；通过实操，锻炼学生理论知识应用能力。知识目标描述摄像头接口知识[K48]；总结摄像头配置及操作[K49]；能力目标能够独立安装摄像头并使用[A40]；能够实现摄像头实时感知[A41]。【知识准备】摄像头接口MDC610提供4×4个视频接口，共4个Block（模块）。其中A、B、C以及D1和D2为视频输入接口，D3、D4为视频输出接口，如REF_Ref7697\h图3-6-1所示。每个模块最多支持2种帧率的摄像头接入，所有视频端口一共最多支持3种帧率的摄像头接入。图3-6-SEQ图3-6-\*ARABIC1Camera接口视频数据传输所用LVDS（低电压差分信号）是一种高速串行接口，适用于视频、音频和控制信号的传输，如REF_Ref11000\h图3-6-2所示。14路视频输入支持最多4路4k@30Hz和10路2k@30Hz摄像头接入。在接入摄像头时，禁止在设备带电的状态下插拔摄像头，否则可能损坏硬件。图3-6-SEQ图3-6-\*ARABIC2MDC610视频接口拓扑摄像头配置1.配置说明用户需要根据接入Camera的信息修改配置文件，其中包括Camera型号、视频输出帧率、slot编号、视频输出分辨率等，详细信息见REF_Ref7521\h表3-6-1。表3-6-SEQ表3-6-\*ARABIC1参数说明参数名称数据类型是否必选参数说明slotIdstring是端口名称，与Camera接口示意图一一对应，其名称分别为A1、A2、A3、A4、B1、B2、B3、B4、C1、C2、C3、C4。cameraModulestring是Camera型号名称，目前支持以下类型的Camera：entron_ar0231、hongjing_imx390、leopard_ar0231_isp、leopard_ar0820、leopard_ov10640_isp、wissen_imx390、jinghua_ar0233_isp、sensing_ar0233_isp、sensing_ar0233、sensing_imx390_isp、sensing_imx490_isp、nandou_ov10640_isp、iray_m3。instanceIduint是YUV视频流输出通道ID，其中通道10、20、30、40可以发送大于1920x1080，小于等于3840x2160分辨率的码流，其他通道只能发送小于等于1920x1080分辨率的码流，取值范围如下：HOST，取值范围：1～6，MINI_0取值范围：10～14，MINI_1，取值范围：20～24，MINI_2，取值范围：30～34，MINI_3，取值范围：40～44。fovuint否Camera的fov设置，需要符合模组的fov取值范围，带ISP的模组可以不设置。fpsuint是Camera输出的帧率，表示每秒帧数，需要符合取值范围。其中要更改的是"slotId","cameraModule","instanceId"对应的3项，其他选项默认，如REF_Ref7903\h图3-6-3配置文件示例。图3-6-SEQ图3-6-\*ARABIC3配置文件示例2.配置操作通过编写或修改Json文件使Camera基础配置生效，Camera的基础配置包括接入的Camera型号、视频输出帧率、slot编号、视频输出分辨率等。操作步骤：前提条件，已经完成Camera的硬件连线：1）修改“/opt/platform/mdc_platform/manual_service/camera_tool/conf”目录下的配置文件userConf.json。①运行sshmdc@192.168.30.42.命令行，然后输入Huawei12#$密码登录mdc账户②输入cd/opt/platform/mdc_platform/manual_service/camera_tool/conf命令行进入conf目录③输入viuserConf.json或者vimuserConf.json命令进入userConf.json文件下操作命令如REF_Ref8131\h图3-6-4所示：图3-6-SEQ图3-6-\*ARABIC4操作命令2）根据Camera的硬件连接情况，参考配置文件说明修改配置文件示例或新建配置文件，配置文件内容需要与连接情况一致，否则可能会有无码流异常。3）进入“/opt/platform/mdc_platform/manual_service/camera_tool/bin”目录下，执行如下命令解析加载配置参数：./camera_tool4）解析完成后，如果验证无误，则回显，如REF_Ref8259\h图3-6-5所示：图3-6-SEQ图3-6-\*ARABIC5回显界面如果解析过程中发现错误，会上报错误码，见REF_Ref8491\h表3-6-2，根据错误码解析确定原因并进行修改。若显示“Connectedcamerasexceedthespecifications.”，表示配置文件内容超过接入规格要求，可能导致性能风险。表3-6-SEQ表3-6-\*ARABIC2错误码信息错误码说明0x001没有找到报错信息中提及的文件。0x002解析json文件的格式错误，打印信息会指示具体的错误行。0x003报错信息中指定的json文件为空。0x004参数缺失，报错信息中会列出缺失的参数。0x005指定slotId存在非法字段。0x006存在参数类型不匹配错误。0x007slotId设置错误。0x101指定slotId模组名错误。0x103slotId模组接入配置错误。四合一摄像头接口要求接入相机类型一致。四合一摄像头接口接入的2路高分辨率相机（>1920x1080）只能位于同一行。0x201指定slotId对应的res设置错误。0x202指定slotId对应的fov设置错误。0x203指定slotId对应的fps设置错误。0x204配置文件中slotId重复。0x205指定slotId对应的instanceId设置错误。0x206配置文件中instanceId重复。0x207单个四合一摄像头接口至多装载两个高分辨率Camera（>1920x1080）。0x209指定slotId对应的畸变矫正参数设置错误。0x20A指定slotId对应的palette参数设置错误。0x301配置文件保存失败，需重启设备解决。6）执行命令reboot重启MDC，使配置文件生效，命令如REF_Ref8624\h图3-6-6所示。图3-6-SEQ图3-6-\*ARABIC6重启MDC

【任务实施】一、启动MDS摄像头应用启动Mviz1）双击MDC_Application_Visualizer-Ubuntu20-3.0.002文件包，在出现的选项中选择在终端打开，如REF_Ref8736\h图3-6-6所示。图3-6-SEQ图3-6-\*ARABIC7打开文件包2）点击鼠标右键，点击打开终端。打开终端后运行./run.py的命令启动MViz，如图3-6-7所示。图3-6-SEQ图3-6-\*ARABIC8启动MViz3）启动后Mviz画面，如REF_Ref4005\h图3-6-8所示。图3-6-SEQ图3-6-\*ARABIC9Mviz画面启动摄像头双击打开MDC_Development_Studio-3.0Ubuntu20文件夹如REF_Ref4005\h图3-6-9所示,双击打开软件mdc_development_studio如REF_Ref4005\h图3-6-10所示。图3-6-9打开文件夹图3-6-10打开软件2）选中test-cam_mviz工程包，点击上方小齿轮形状按钮如REF_Ref4005\h图3-6-11所示，进入调试配置界面，如REF_Ref4005\h图3-6-12所示。其中具体调试配置项包括：Executable（执行文件）：loacation（定位应用）；Connetion（连接设备）：Remote

Host；Remote

Absolute

File

Path

for

MDC

Application（MDC的远程绝对路径）：/home/mdc/wks/location。配置完成后点击Apply

and

close按键，完成调试配置。图3-6-11进入调试配置图3-6-12完成相关配置3）点击左上角绿色运行按钮，终端显示连接成功即可，如REF_Ref4005\h图3-6-13所示。图3-6-13运行工程包二、摄像头数据录制及回播新建录制包存放文件夹在ubuntu界面桌面，右键鼠标，选择新建文件夹，并命名为“rosbag”，如REF_Ref2845\h图3-6-14所示。图3-6-SEQ图3-6-\*ARABIC10新建rosbag文件夹打开新建好的rosbag文件夹中，右键鼠标打开终端框，如REF_Ref3338\h图3-6-15所示。图3-6-SEQ图3-6-\*ARABIC11打开终端框录制摄像头bag包输入命令，录制摄像头bag数据包，如REF_Ref7867\h图3-6-16所示。rosbag是一个用于记录、回放和分析消息数据的工具。record是指示rosbag开始记录消息数据的命令。-O标志用于指定文件名，后面跟随要创建的包文件的名称camera.bag(可以自行修改，但文件类型一定为.bag)，用于存储记录的消息数据。/mdc_camera_instance_71是订阅的摄像头话题，需要与程序启动的摄像头话题一致。图3-6-SEQ图3-6-\*ARABIC12录制摄像头bag包运行指令后，系统会自动录制摄像头bag包，可通过键盘“ctrl+c”停止录制，停止录制后，可通过文件夹查看录制好的数据包文件，如REF_Ref7867\h图3-6-17所示。图3-6-SEQ图3-6-\*ARABIC13录制好的数据包播放摄像头bag包在终端框中输入命令，播放摄像头bag数据包运行命令后，按空格键可以控制播放/暂停包的播放，如REF_Ref12886