模块9：产品质量检测系统搭建-实操

模块9：产品质量检测系统搭建案例实现模块小结知识拓展PARTONEPARTTWOPARTTHREE案例实现:基于物体检测的PCB板质量检测系统搭建人工智能边缘设备应用01基于物体检测的PCB板质量检测系统搭建基于模块描述与知识准备的内容，基本了解产品质量检测系统的常用方法、边缘设备的相关应用案例及实现流程。为了能够再边缘计算设备中实现PCB板质量检测系统的部署，需要在边缘设备中搭建相关环境，并通过相关代码对部署模型进行调用预测，实现对指定PCB板图像的质量检测。接下来将在边缘设备中搭建模型部署环境，并通过编写相关代码调用模型实现预测，最终实现启动程序，程序能够调用模型实现PCB板质量检测，返回PCB板质量检测的结果，包括检测出瑕疵类型、标签id、置信度以及检测框的坐标信息，并将检测结果进行保存和显示。（1）PCB板质量检测模型部署格式导出（2）PCB板质量检测模型部署环境编译（3）PCB板质量检测部署格式模型性能预测（4）PCB板质量检测部署格式模型命令行部署预测任务1：PCB板质量检测模型部署格式导出接通边缘设备电源，通过本地连接或者远程连接的方式进入边缘设备的桌面，打开终端命令行。在终端命令行中输入命令，切换到本次案例对应的文件夹。切换到对应文件夹下，通过ls命令即可查看本次案例所需的文件，其中data文件夹下存放着用于预测是PCB板图像，model文件夹存放着已经训练完成的PCB板质量检测模型，PaddleX文件夹、fluid_inferfence.tar.gz文件和yaml-cpp.zip为环境编译所需的文件。cdDesktop/projects/char9/任务1：PCB板质量检测模型部署格式导出接下来将PCB板质量检测模型导出为部署格式，用于后续模型部署及预测。本次案例使用的PCB板质量检测模型由PaddleX训练得到，因此可以直接在终端命令行中使用PaddleX相关命令将模型导出为部署格式，导出命令如下所示：其中，模型导出命令可选参数及说明如表所示。paddlex--export_inference--model_dir=./model--save_dir=./inference_model参数说明--export_inference是否将模型导出为用于部署的inference格式，指定即为True--model_dir待导出的模型路径--save_dir导出的模型存储路径--fixed_input_shape固定导出模型的输入大小，默认值为None任务1：PCB板质量检测模型部署格式导出在终端中输入上述命令并等待片刻后，即可看到如图所示的输出，当出现“Modelforinferencedeploysavedin./inference_model”的字样，即表示PCB板质量检测模型已经导出为部署格式且保存至指定的inference_model文件夹下。部署格式模型导出完成后，即可在inference_model文件夹下生成的“__model__”“__params__”和“model.yml”三个文件，分别表示模型的网络结构、模型权重和模型的配置文件（包括数据预处理参数等）。任务2：PCB板质量检测模型部署环境编译（1）首先将编译所需的PaddlePaddleC++预测库fluid_inference.tar.gz压缩文件进行解压，在上一步骤中打开的终端命令行中输入以下命令解压文件：等待解压完成后，即可在当前目录下查看解压的文件夹，由于文件夹名字过长，后续修改配置文件填写路径时比较复杂，可通过以下命令将文件夹重命名为“paddle_inference”。tar-zxvffluid_inference.tar.gzmvfluid_inference_1.6.2_cuda10_cudnnv7.5_trt_jetson_sm53_62_72paddle_inference任务2：PCB板质量检测模型部署环境编译（2）对需要编译的PaddleX配置文件进行修改，在打开的终端命令行中输入以下命令，即可对打开文本编辑器对配置文件进行修改。执行上述命令后，在打开的文本编辑器中，主要对Paddle预测库的路径进行修改，将其修改为“paddle_inference”文件夹的路径即可，其余参数可根据具体需求进行修改，修改完成后，保存编译配置文件的修改，如图所示。geditPaddleX/deploy/cpp/script/jetson_build.sh任务2：PCB板质量检测模型部署环境编译（3）需要注意的是，Linux环境下编译会自动下载YAML文件，如果编译环境无法下载，则在边缘设备的当前目录下已经准备了一个文件名为“yaml-cpp.zip”的压缩文件，接着需要对“PaddleX/deploy/cpp/cmake”目录下的“yaml-cpp.cmake”文件中URL部分的参数进行修改，在打开的终端命令行中输入以下命令，即可对文件进行编译：执行上述命令后，在打开的文本编辑器中，将URL后的路径修改为YAML文件的存放路径，即修改为“~/Desktop/projects/char9/yaml-cpp.zip”，如图所示，修改完成后保存即可。geditPaddleX/deploy/cpp/cmake/yaml-cpp.cmake任务2：PCB板质量检测模型部署环境编译（4）配置文件全部修改完成后，即可在打开的终端命令行中依次输入以下命令，执行“jetson_budil.sh”文件开始环境编译操作。cdPaddleX/deploy/cpp/shscripts/jetson_build.sh依次执行上述命令后，开始环境编译，等待配合后，即可看到编译进度为100%，如图所示，即表示环境编译完成，接下来即可在“PaddleX/deploy/cpp/build/demo/”目录下看到生成的可执行程序，包括图片类和视频类，后续即可使用生成的可执行程序进行模型的部署预测。任务3：PCB板质量检测部署格式模型性能预测（1）在边缘设备的桌面上单击鼠标右键，单击“OpenTerminal”选项打开一个新的终端，接着在终端命令行中依次输入以下命令，在对应文件夹下创建一个名为“predict.py”的Python文件用于代码编写。在终端命令行中输入上述命令后，即可打开一个新的文本编辑器窗口用于代码编写，如图所示，接下来将在编辑器中编写Python代码。cdDesktop/projects/char9/geditpredict.py任务3：PCB板质量检测部署格式模型性能预测（2）首先进行单张图片预测，使用Predictor()类加载部署格式模型后，使用predict()接口对data文件夹下的一张PCB板图像进行预测，即可获取到模型检测的结果，包括检测的瑕疵类别及检测框的位置坐标信息，接着通过OpenCV的rectangle()方法将返回的检测框绘制到原始图像上并作显示，最后使用cv2.imwrite()方法保存检测结果图像，将代码编写至predict.py的文本编辑器之后，保存即可，如图所示。任务3：PCB板质量检测部署格式模型性能预测#引入库importpaddlexaspdximportcv2importmatplotlib.pyplotasplt#加载部署格式模型predictor=pdx.deploy.Predictor('./inference_model')#执行预测data=predictor.predict('data/missing_hole.jpg')#打印结果print(data)#读取预测的图片img=cv2.imread('data/missing_hole.jpg’)#将检测结果绘制到预测图片上foriinrange(len(data)):#判断阈值大于0.6ifdata[i]['score']>0.6:#获取坐标信息x1=int(data[i]['bbox'][0])y1=int(data[i]['bbox'][1])x2=int(data[i]['bbox'][2])y2=int(data[i]['bbox'][3])#设置字体

font=cv2.FONT_HERSHEY_DUPLEX#绘制检测框

cv2.rectangle(img,(x1,y1),(x1+x2,y1+y2),(0,0,255),2)#写入检测结果

cv2.putText(img,data[i]['category'],(x1,y1-50),font,1.5,(0,0,255),1,)#关闭坐标plt.axis('off')#显示图像plt.imshow(img[:,:,::-1])plt.show()#保存检测结果cv2.imwrite('result.jpg',img)任务3：PCB板质量检测部署格式模型性能预测接着在终端命令行中输入以下命令运行predict.py代码文件，即可查看PCB板质量检测模型输出的检测结果及绘制的检测结果图像。运行上述命令后，即可在终端命令行中查看模型检测的结果，也可以看到弹出的检测结果图像，同时在当前目录下会生成一张“result.jpg”的PCB板图检测结果图像。根据输出的检测结果可以看到，模型检测的最高置信度约为0.9917，其中置信度越接近1表示模型效果越好，此处可以判断该PCB板质量检测模型的效果较好，符合真实场景下的部署应用。python3predict.py任务4：PCB板质量检测部署格式模型命令行部署预测环境编译完成后，在“PaddleX/deploy/cpp/build/demo/”目录下已经生成了相关可执行程序，包括图片类和视频类，其中图片预测demo的可执行程序包括用于图像检测的“detector”，用于图像分类的“classifier”以及用于图像分割的“segmenter”。可根据对应的模型类型选择相应的可执行程序进行预测，可执行程序命令主要参数说明如表所示。参数说明model_dir导出的预测模型所在路径image要预测的图片文件路径image_list按行存储图片路径的txt文件use_gpu是否使用GPU预测，支持值为0或1（默认值为0）use_trt是否使用TensorRT预测，支持值为0或1（默认值为0）gpu_idGPU设备ID，默认值为0save_dir保存可视化结果的路径，默认值为“output”，classfier无该参数batch_size预测的批量大小，默认为1thread_num预测的线程数，默认为CPU处理器个数任务4：PCB板质量检测部署格式模型命令行部署预测视频预测demo的可执行程序包括用于视频检测的“video_detector”，用于视频分类的“video_classifier”以及用于视频分割的“video_segmenter”。可根据对应的模型类型选择相应的可执行程序进行预测，可执行程序命令主要参数说明如表所示。参数说明model_dir导出的预测模型所在路径use_camera是否使用摄像头预测，支持值为0或1（默认值为0）camera_id摄像头设备ID，默认值为0video_path视频文件的路径use_gpu是否使用GPU预测，支持值为0或1（默认值为0）use_trt是否使用TensorRT预测，支持值为0或1（默认值为0）gpu_idGPU设备ID，默认值为0show_result对视频文件做预测时，是否在屏幕上实时显示预测可视化结果（因为加入了延迟处理，所以显示结果不能反映真实的帧率），支持值为0或1（默认值为0）save_result是否将每帧的预测可视结果保存为视频文件，支持值为0或1（默认值为1）save_dir保存可视化结果的路径，默认值为“output”任务4：PCB板质量检测部署格式模型命令行部署预测接下来可以在终端命令行中输入以下命令，实现调用PCB板质量检测部署格式模型对单张PCB板图像进行预测，并将检测PCB板图像结果保存到指定路径下，注意以下命令需要在“Desktop/projects/char9/”目录下运行。在终端命令行中输入以上命令后，可在终端命令行中查看输出的PCB板图像检测结果，包括检测出的瑕疵类型、标签ID、置信度以及检测框的坐标信息，如图所示。Paddlex/deploy/cpp/build/demo/detector--model_dir=inference_model--image=data/missing_hole.jpg--save_dir=output任务4：PCB板质量检测部署格式模型命令行部署预测在“Desktop/projects/c