项目4-任务5 基于YOLOv5进行目标检测

任务5部署YOLOv5模型并进行目标检测项目4基于YOLOv5模型的部署与目标检测完成任务达成的技能目标01任务描述

02技能目标

本任务实现一个基于瑞芯微芯片和YOLOv5进行目标检测的应用，使用相机进行拍照，并将目标监测结果显示在XComponentContext组件上。能将YOLOv5部署到鸿蒙工程中1能实现相机拍照并进行目标检测2能实现静态图片中的目标检测3任务实施效果本任务在工程中部署YOLOv5模型，进行模型转换(将YOLOv5模型转换为RKNN格式，并将模型文件放入应用的rawfile目录，在拍照或者从相册取图后，加载RKNN模型并对图片进行推理，使用xComponentContext组件显示检测结果。任务实施步骤STEPS在工程中添加和配置目标识别相关库和文件1添加加载和卸载机器学习模型的代码2进行拍照目标检测并处理AI检测的结果3从相册取图并进行AI检测4通过页面跳转重新加载EGL环境5在工程中添加和配置目标识别相关库和文件01任务实施在工程中添加和配置目标识别相关库和文件要完成目标检测，需要将目标检测相关的库和文件添加到工程中，并完成相关配置。（1）添加库和文件将教材配套资源包中“项目4任务5”目录下提供的文件整理到工程目录中，要求如下：①将“lib”目录复制到“RKNN_DEMO”工程的“entry”目录下。②将“cpp”目录复制到“RKNN_DEMO”工程的“entry/src/main”目录下。③将“rawfile”目录下的文件复制到“rawfile”目录下。在工程中添加和配置目标识别相关库和文件将目标检测相关的库和文件添加到工程中。COCO(Common

Objects

in

Context)是一个广泛使用的数据集，主要用于图像识别、目标检测和分割等任务。它包含80个不同的对象类别。通过yolov5s_1.3.rknn文件，开发者可以快速将YOLOv5s模型部署到瑞芯微（Rockchip）

的嵌入式设备上，实现高性能、低功耗的目标检测应用。在工程中添加和配置目标识别相关库和文件（2）配置工程打开“entry\oh-package.json5”文件，在“dependencies”节点中添加库依赖。代码如下。"libnativerender.so":

"file:./src/main/cpp/types/libnativerender"在工程中添加和配置目标识别相关库和文件（2）配置工程打开“entry\build-profile.json5”文件，需要配置CMakeLists.txt以编译Native模块，在“buildOption”添加的代码。演示添加加载和卸载机器学习模型的代码02任务实施添加加载和卸载机器学习模型的代码在CameraController类添加加载和卸载机器学习模型的相关代码，以便在相机捕获的图像上进行实时分析或处理。通过XComponentContext与本地渲染库交互，提供相机的初始化、预览、拍照和保存图片等功能。当拍照成功生成图片缓冲数据后，通过调用xComponentContext的imageDeal方法处理图像缓冲区数据，进行目标识别检测，识别成功后会在xComponentContext显示处理后的图片。代码演示进行拍照目标检测并处理AI检测的结果03任务实施进行拍照目标检测并处理AI检测的结果在“相机”页签对应的内容页“CameraTdPage.ets”中添加代码，拍照时，通过XComponentContext与Native层进行交互，将照片传递给模型进行目标检测，并处理AI检测的结果，当检测到有人时，显示“有人”，否则显示“无人”。说明代码演示进行拍照目标检测并处理AI检测的结果将应用进行签名，运行在实验终端上。应用运行起来后，先进行用户权限授权，都允许权限后，在“相机”页签，点击“启动”按钮，查看拍照后并进行目标检测的结果。过程过程演示从相册取图并进行AI检测04任务实施从相册取图并进行AI检测在“图库”页签对应的内容页ImageTdPage.ets中，编写代码，从相册中取图并使用List列表进行展示，当用户点击某一张图片后，该图片会被加载到YOLOv5模型中进行目标检测，如果检测到有人则在顶部显示“有人”，反之显示“无人”。过程代码演示从相册取图并进行AI检测将应用进行签名，运行在实验终端上。应用运行起来后，先进行用户权限授权，都允许权限后，在“图库”页签，从加载的图片列表中选择一个图片进行目标检测，验证检测的结果。过程过程演示通过页面跳转重新加载EGL环境05任务实施通过页面跳转重新加载EGL环境当验证完“图库”页的图片检测之后，再次回到“相机”页面，当点击“启动”相机时，发现相机是可以拍照和实时检测目标的，但是XComponent组件的显示画面消失了，这是因为当从“图库”页切换回“相机”页时，Native侧的EGL环境被覆盖了，需要重新加载XComponent组件，才能重新加载EGL环境，通过页面跳转与返回的方式可以让EGL环境重新加载。过程演示任务小结本任务实现在OpenHarmony工程上基于COCO数据集，将照片交给YOLO模型，并利用C/C++API在RK3588