5.6-果蔬分类模块开发《智能机器人技术应用》

项目五小型柔性智能制造案例创灵实验平台果蔬分类模块开发任务六职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务四色块分类模块开发掌握opencv实现摄像头获取图片掌握果蔬色块识别功能实现掌握果蔬分类分拣业务逻辑实现介绍opencv实现摄像头获取图片调用目标识别模型算法，进行果蔬色块识别驱动机械臂完成果蔬分拣业务逻辑实现职业能力目标01实验目的实验内容职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务四色块分类模块开发将任意果蔬块放置在仓库位置黄色区域，使工作台左上角机械臂抓取果蔬块并通过传送带传送。同时视觉系统应能够准确识别果蔬种类，并通过右下角机械臂将果蔬进行分类放置。苹果（apple）放置到红色布垫，柠檬（lemon）放置到蓝色布垫，梨（pear）放置到黄色布垫，南瓜（pumpkin）放置到绿色布垫。任务描述任务要求复习并完成opencv实现摄像头获取图片，成功采集到图片；完成色块目标检测图像推理功能实验，实现色块识别；完成小柔智能制造业务逻辑设计，给出设计思路。任务描述与要求02职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务四色块分类模块开发任务分析思考一下我们在完成了本章色块分类任务后，可以如何改进。根据自己的了解，思考果蔬块识别模型有哪些不同？任务分析与计划03任务计划表项目名称创灵实验平台任务名称果蔬分类模块开发计划方式自主设计计划要求请用6个计划步骤来完整描述出如何完成本次任务序号任务计划1

2

3

4

5

6

通过上面的思考，你是否对本任务要完成的工作有所了解？让我们一起来制订完成本次任务的实施计划吧！任务分析与计划03职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务四色块分类模块开发业务逻辑204知识储备装饰器1装饰器04

大家还记得异步装饰器如何使用吗？那么装饰器是什么？装饰器的作用是当你编写了一段程序，发现程序运行的很慢，调试过程中，你需要知道程序执行过程中每一个函数的执行时间，以此来确定哪里需要优化性能，通常的做法是在函数开始的时候记录一次时间，在函数结束的时候记录一次时间，这两个时间的差值就是函数的执行时间。异步装饰器04-Python装饰器:可以让被装饰的函数在不修改代码的情况下增加额外的功能，装饰器本质上是一个函数-异步:即非阻塞，意味着在执行某项任务时候不会阻塞后续或其他任务的执行-多线程:在进程基础上开辟多个执行任务的线程05知识储备业务逻辑2装饰器13业务逻辑04

将任意果蔬块放置在仓库位置黄色区域，使工作台左上角机械臂抓取果蔬块并通过传送带传送。同时视觉系统应能够准确识别果蔬种类，并通过右下角机械臂将果蔬进行分类放置。苹果（apple）放置到红色布垫，柠檬（lemon）放置到蓝色布垫，梨（pear）放置到黄色布垫，南瓜（pumpkin）放置到绿色布垫。回顾业务需求，思考实现逻辑职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务四色块分类模块开发05任务实施果蔬块目标识别功能实现2opencv获取视频流1果蔬块分拣业务逻辑实现3opencv获取视频流1.检查usb摄像头：果蔬分拣任务是基于计算机视觉来实现，那么首先就是要获取到对应的视觉数据，通过摄像头将采集到的图片数据进行预处理，再将数据通过人工智能模型进行识别判断，返回识别结果。所以，通过opencv实现摄像头获取图片是识别的第一步。

opencv获取视频流1.检查usb摄像头：注意：上述指令如没有输出，则表明usb摄像头没安装好，如果输出video0则表明usb摄像头已正常连接，可以使用。opencv获取视频流1.检查usb摄像头：动手练习1：1.在<1>处，输入指令查看设备usb摄像头是否正常接入。opencv获取视频流2.导入依赖库：opencv获取视频流2.导入依赖库：导入线程库、jupyter画图依赖库。Thread:创建线程类；ipywidgets:用于在Jupyter中开辟一个用于显示图片的窗口；display:在Jupyter中播放图片。opencv获取视频流3.创建图片显示窗口：widgets.Image：开辟一个用于显示图片的窗口；format:显示图片格式；height:窗口高度；width:窗口宽度。opencv获取视频流4.异步装饰器：Python装饰器:可以让被装饰的函数在不修改代码的情况下增加额外的功能，装饰器本质上是一个函数。异步:即非阻塞，意味着在执行某项任务时候不会阻塞后续或其他任务的执行。多线程:在进程基础上开辟多个执行任务的线程。opencv获取视频流5.opencv获取视频流实验预览：opencv获取视频流3.opencv获取视频流实验预览：获取后得到的结果如下图： 实验结束后要记得重启内核，释放摄像头资源：opencv获取视频流动手练习2：1.在<1>处，添加装饰器，让被获取图片异步执行。2.在<2>处，填写opencv读取图像方法，使得frame变量能获取到图像。3.在<3>处，填写相应的代码，使得image变量为全局变量。4.在<4>处，填写相应的代码，使得opencv能获取图像，并将内容保存到全局变量image中。5.在<5>处，添加相应的变量名称，使视频能正常显示。6.请在notebook上进行相应代码的编写。opencv获取视频流opencv获取视频流更改对应文本，完成任务：opencv获取视频流注意：完成试验后记得重启内核，退出循环，防止占用摄像头资源。05任务实施213opencv获取视频流果蔬块目标识别功能实现果蔬块分拣业务逻辑实现果蔬块目标识别功能实现1.实验预览（参考Jupyter中的任务四中的2.1）：请运行JupyterLab对应的实验预览观察实验运行效果，如下图实验中。果蔬块目标识别功能实现识别模型接口说明：fromlibs.toy_detectimportNlToyDetect导入物体分类识别算法接口类；nlDetect=NlToyDetect(libNamePath)实例化分类算法接口类；nlDetect.NL_TD_ComInit(configPath,dwClassNum,dqThreshold,pbyModel,pbyLabel)加载模型，根据配置参数进行模型初始化；nlDetect.NL_TD_InitVarIn(limg)加载要识别的图像，返回0表示加载成功；nlDetect.NL_TD_Process_C()调用检测函数，返回目标检测个数；nlDetect.djTDVarOut.dwObjectSize检测结果的对象，包含检测结果目标位置与分类以及置信度等值；果蔬块目标识别功能实现识别模型接口说明：outObject.fscore置信度；outObject.className分类类别；outObject.dwLeft目标左上角x轴坐标；outObject.dwTop目标左上角y轴坐标；outObject.dwRight目标右下角x轴坐标；outObject.dwBottom目标右下角y轴坐标。果蔬块目标识别功能实现2.启动识别：结果如图，识别到对应果蔬块的种类。果蔬块目标识别功能实现2.启动识别：结果如图，识别到对应果蔬块的种类。果蔬块目标识别功能实现3.停止识别：结果如图，重启内核释放摄像头资源。果蔬块目标识别功能实现2.分类识别模型接口说明：动手练习3：1.在`<1>`处，填写导入分类识别的类名称。2.在`<2>`处，填写相应的模型路径。3.在`<3>`、`<4>`处，填写`detect_process`需要的两个参数：模型和图片。4.在`<5>`处，判断预测的置信结果。5.在`<6>`、`<7>`、`<8>`、`<9>`处，编写代码启动识别进程，进行色块分类识别。完成后请记得重启内核。完成上述操作后，重启notebook内核，恢复环境，确保后面的实验可以正常进行。果蔬块目标识别功能实现2.分类识别模型接口说明：请前往Jupyter上完成动手练习三。05任务实施213opencv获取视频流果蔬块目标识别功能实现果蔬块分拣业务逻辑实现果蔬块分拣业务逻辑实现1.业务流程图：

将任意果蔬块放置在仓库位置黄色区域，使工作台左上角机械臂抓取果蔬块并通过传送带传送。同时视觉系统应能够准确识别果蔬种类，并通过右下角机械臂将果蔬进行分类放置。苹果（apple）放置到红色布垫，柠檬（lemon）放置到蓝色布垫，梨（pear）放置到黄色布垫，南瓜（pumpkin）放置到绿色布垫。果蔬块分拣业务逻辑实现业务逻辑实现过程要用到机械臂、传送带、以及配置参数等业务相关模块，这部分内容前面在任务3部分以及做了封装，本次实验已将模块封装好在libs目录下。实验过程可以直接导入模块调用接口进行使用（详细案例请参照Jupyter）。分拣业务代码实现如下图：2.代码实现：果蔬块分拣业务逻辑实现启动系统后，将任意颜色的物块放到写有`黄`的方格内。3.启动系统：运行下方单元格后，会从标志为`黄`的方格中吸取物块，经过传送带最终放置对应的区域，可以重复放置物块并运行单元格，查看分拣效果。4.重复抓取果蔬块：果蔬块分拣业务逻辑实现果蔬块分拣业务逻辑实现果蔬块分拣业务逻辑实现果蔬块分拣业务逻辑实现果蔬块分拣业务逻辑实现职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务四色块分类模块开发任务检查与评价06序号评价内容评价标准分值得分1知识运用（20%）掌握相关理论知识，理解本次任务要求，制定详细计划，计划条理清晰，逻辑正确（20分）20分

理解相关理论知识，能根据本次任务要求、制定合理计划（15分）了解相关理论知识，有制定计划（10分）无制定计划（0分）2专业技能（40%）opencv实现摄像头获取视频流，实现色块分拣图像推理功能，实现果蔬分拣业务逻辑。（40分）40分

opencv实现摄像头获取视频流，实现果蔬块识别功能。（25分）opencv实现摄像头获取视频流。（15分）没有完成opencv实现摄像头获取视频流。（0分）3核心素养（20%）具有良好的自主学习能力、分析解决问题的能力、整个任务过程中有指导他人（20分）20分

具有较好的学习能力和分析解决问题的能力，任务过程中无指导他人（15分）能够主动学习并收集信息，有请教他人进行解决问题的能力（10分）不主动学习（0分）4课堂纪律（20%）设备无损坏、设备摆放整齐、工位区域内保持整洁、无干扰课堂秩序（20分）20分

设备无损坏、无干扰课堂秩序（15分）无干扰课堂秩序（10分）干扰课堂秩序（0分）总得分1、请参照评价标准完成自评和对其他小组的互评。2、各组请代表分析本组任务实施经验。职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务四色块分类模块开发任务小结07

在大家学习完本任务后，是否还有许多为解决的问题？那么