边缘计算与智能视觉应用 课件 第6章 边缘计算模型的加速技术

边缘计算与智能视觉应用6.1TensorRT简介讲课人：XXX时间：20XX年12月30日延时符AboutUs目录1TensorRT概述012TensorRT工作原理02TensorRT概述01TensorRT概述1、模型优化与转换TensorRT能够将各种深度学习框架（如TensorFlow、PyTorch、ONNX等）训练好的模型转换为优化的TensorRT引擎。2、多种精度支持TensorRT支持多种数据精度模式，包括FP32（单精度浮点）、FP16（半精度浮点）和INT8（8位整数）等。3、高效内存管理在边缘设备或资源有限的环境中，高效的内存使用至关重要。TensorRT提供了动态内存管理功能，能够根据输入数据的实际需求动态分配内存资源，减少内存浪费。TensorRT概述4、网络层融合与内核自动调优网络层融合是TensorRT的一项重要优化技术，它将多个计算层合并为一个，减少了数据传输的开销和计算负担。5、灵活的部署支持TensorRT被广泛应用于各类深度学习推理任务，特别是在自动驾驶、智能安防、机器人、边缘计算等领域。6、丰富的API和工具支持TensorRT提供了丰富的API以支持不同的编程语言（如C++和Python），开发者可以通过这些API灵活地将TensorRT集成到自己的应用中。TensorRT工作原理02TensorRT工作原理1.模型解析与优化TensorRT首先将输入的模型（如来自TensorFlow、PyTorch、ONNX等框架的模型）进行解析。解析后的模型以计算图的形式表示，TensorRT随后对该计算图进行一系列优化操作。2.网络层融合网络层融合是TensorRT进行模型优化的关键步骤之一。通过将多个连续的网络层合并为一个计算单元，TensorRT减少了数据传输的开销和计算节点的数量，从而提高了推理速度。3.精度校准与量化TensorRT支持多种精度（如FP32、FP16和INT8）的推理模式。为了在加速推理的同时保持模型精度，TensorRT提供了精度校准功能。TensorRT工作原理4.动态内存管理与内核自动调优为了适应不同输入数据的需求，TensorRT实现了动态内存管理技术。该技术能够根据实际输入数据的大小和形状，动态调整内存分配，避免资源浪费。5.推理引擎的构建与执行经过解析和优化，TensorRT会生成一个高度优化的推理引擎（TensorRTEngine）。该引擎是一个独立的二进制文件，包含了优化后的计算图和运行时需要的配置。6.实时推理与边缘部署TensorRT的优化技术特别适用于实时推理任务，如自动驾驶、智能监控、机器人控制等应用场景。它能够在有限的硬件资源下，提供低延迟、高吞吐量的推理性能。谢谢观看Thankyouforwatching边缘计算与智能视觉应用6.2JetsonTX2安装YOLOV8讲课人：XXX时间：20XX年12月30日延时符AboutUs目录Jetpack的检查与升级01创建Conda环境02Pytorch安装03TensorRTPybind04Jetpack的检查与升级011、检查Jetpack版本命令：jtop，先查看jetpack版本，本实验在JETSONTX2jetpack4.6版本下通过测试，这将显示当前安装的Jetpack版本号2.备份重要数据在升级之前,请确保备份所有重要的数据和配置文件。3.更新软件源更新apt软件源，执行以下指令：sudoaptupdate4.升级系统包升级所有已安装的系统包，执行以下指令：sudoaptfull-upgradeJetpack的检查与升级5.安装NVIDIA软件源如果尚未安装,添加NVIDIA软件源，执行以下指令：sudoapt-add-repository/jetson/commonsudoapt-add-repository/jetson/t194(注意:t194可能需要根据你的Jetson型号调整)6.更新JetPack更新JetPack组件，执行以下指令：sudoaptupdatesudoaptinstallnvidia-jetpack7.重启设备完成安装后重启Jetson设备，执行以下指令：sudorebootJetpack的检查与升级8.验证升级重启后,验证新版本，执行以下指令：sudoapt-cacheshownvidia-jetpack9.更新CUDA工具包(可选)如果需要,更新CUDA工具包，执行以下指令：sudoaptinstallcuda-toolkit-10-210.清理旧文件(可选)升级完成后,可以清理不再需要的旧文件，执行以下指令：sudoaptautoremoveJetpack的检查与升级创建Conda环境02condacondacreate-nyolopython=3.8condaactivateyolopipinstallultralyticsonnxlapxnumpy==1.23.1-i/simple创建Conda环境Pytorch安装03将第6章安装包文件夹下Pytorch安装文件：torch-1.11.0a0+gitbc2c6ed-cp38-cp38-linux_aarch64.whl，torchvision-0.12.0a0+9b5a3fe-cp38-cp38-linux_aarch64.whl，通过ssh发送到Jetson边缘计算平台的down文件夹下，执行以下指令：pipinstalltorch-*.whltorchvision-*.whl安装完成Pytorch安装TensorRTPybind04们可以将TensorRT的功能无缝集成到Python3.8环境中，从而在保持环境现代化的同时，充分发挥JetsonTX2的硬件加速能力。将第6章安装包文件夹下的安装文件：tensorrt--cp38-none-linux_aarch64.whl，通过ssh发送到Jetson边缘计算平台的down文件夹下，执行以下指令：python-mpipinstallbuild/dist/tensorrt-*.whlTensorRTPybind谢谢观看Thankyouforwatching边缘计算与智能视觉应用6.3TensorRTEngine构建讲课人：XXX时间：20XX年12月30日延时符我们在PC训练好的yolov8n.pt模型上传到Jetson上，再利用TensorRT将转换为engine模型。将第6章配套素材里的engtrr.py通过SSH上传到Jetson平台，在yolo环境中执行以下指令:pythonengtrr.py将.pt模型转换为.engine模型。TensorRTEngine构建谢谢观看Thankyouforwatching边缘计算与智能视觉应用6.4TensorRT部署讲课人：XXX时间：20XX年12月30日延时符AboutUs目录TensorRTEngine加载及推理01TensorRT推理代码02TensorRTEngine加载及推理01本节将讲解如何使用TensorRT加速YOLOv8模型推理，并在GPU上进行目标检测。我们将通过实例代码逐步讲解推理过程，并展示如何获取并可视化推理结果。TensorRTEngine加载及推理TensorRT推理代码02TensorRT推理代码在执行推理之前，首先需要选择推理设备。如果系统中存在可用的GPU（即CUDA可用），则使用GPU进行加速，否则使用CPU。1、选择推理设备使用TensorRT推理引擎加载YOLOv8模型。.engine文件是经过优化的推理引擎文件，可实现快速推理。task='detect'参数指定这是一个目标检测任务。2、加载模型通过OpenCV(cv2.imread)加载待检测的图片。需确保提供的图片路径正确，否则可能无法成功读取图片。3、读取图片在继续进行推理之前，先检查图片是否成功加载。如果图片加载失败，将输出错误提示信息，并终止后续操作。4、图片检查TensorRT推理代码使用加载的YOLOv8模型对输入图片进行推理。模型会根据输入图片返回检测结果，其中包括检测到的目标及其边界框信息。5、运行推理遍历模型的检测结果，并打印每个目标的边界框信息。代码还会统计检测到的目标数量，并将其存储在