5.4-色块分类堆垛模块开发《智能机器人技术应用》

项目五小型柔性智能制造案例创灵实验平台色块分类堆垛模块开发任务四职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务四色块分类堆垛模块开发复习并掌握第四章YOLO模型实现目标检测，并能够根据所学内容编写相应的opencv实现摄像头获取图片；实现色块目标检测图像推理功能；在小柔智能制造业务逻辑实现中应用。掌握opencv实现摄像头获取图片；掌握色块目标检测图像推理功能实现；掌握小柔智能制造业务逻辑实现。职业能力目标01实验目的实验内容职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务四色块分类堆垛模块开发要求同学们复习并掌握第四章YOLO模型实现目标检测，并能够根据所学内容编写相应的opencv实现摄像头获取图片，以及实现色块目标检测图像推理功能。最后通过在小柔智能制造业务逻辑实现中应用，达到学习的目的。任务描述任务要求复习并完成opencv实现摄像头获取图片，成功采集到图片；完成色块目标检测图像推理功能实验，实现色块识别；完成小柔智能制造业务逻辑设计，给出设计思路。任务描述与要求02职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务四色块分类堆垛模块开发任务分析思考一下在我们学习了解完本章知识后，我们能如何改进色块分类模块。根据自己的了解，要怎样去了解认识色块分类模块，可以促进自己进一步地学习？任务分析与计划03任务计划表项目名称创灵实验平台任务名称色块分类堆垛模块开发计划方式自主设计计划要求请用6个计划步骤来完整描述出如何完成本次任务序号任务计划1

2

3

4

5

6

通过上面的思考，你是否对本任务要完成的工作有所了解？让我们一起来制订完成本次任务的实施计划吧！任务分析与计划03职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务四色块分类堆垛模块开发业务逻辑204知识储备装饰器1装饰器04

大家还记得异步装饰器如何使用吗？那么装饰器是什么？装饰器的作用是当你编写了一段程序，发现程序运行的很慢，调试过程中，你需要知道程序执行过程中每一个函数的执行时间，以此来确定哪里需要优化性能，通常的做法是在函数开始的时候记录一次时间，在函数结束的时候记录一次时间，这两个时间的差值就是函数的执行时间。异步装饰器04-Python装饰器:可以让被装饰的函数在不修改代码的情况下增加额外的功能，装饰器本质上是一个函数-异步:即非阻塞，意味着在执行某项任务时候不会阻塞后续或其他任务的执行-多线程:在进程基础上开辟多个执行任务的线程05知识储备业务逻辑2装饰器13业务逻辑04

智能网是用于生成和提供电信新业务的网路结构体系。主要由业务交换点、业务控制点、业务管理点和业务创建点组成。主要目标是实现新业务的快速引入。业务逻辑是在智能网中，对利用积木式组件(SIB)和基本呼叫处理(BCP)模块的组合来完成每项业务特征的过程描述。智能网业务逻辑在不同的平面中有不同的表示，在总功能平面中，有一组总业务逻业务逻辑04辑(GSL)，它说明了完成各个业务独立模块(SIB)链接在一起的次序；在分布功能平面中，分布业务逻辑(DSL)是实现SIB功能时各个功能实体的动作和各个功能实体间的信息流；在物理平面中，包含业务控制功能(SCF)的物理实体执行业务逻辑程序。通信有限状态机模型是由表示进程的有限状态机和表示进程之间通道的先进先出队列(FIFO)组成。业务逻辑层04业务逻辑层又可以细分为业务实体、业务组件和业务工作流。业务实体(Entity)相当于以面向对象的类实例来代表数据库中的实体，可能使用过DataReader或者Dataset之类的对象来代表数据库中访问的行，不过，在使用这些对象时，需要通过列名称或索引来访问各列中的数据。这将导致使用这些对象的页面与数据库实现耦合。通过编写一个实体层，将这种耦合性转移到了业务逻辑层中；于是，如果数据库发生了某些变动，可以修改业务逻辑层，而不需要维护页面层。实体层中，不会包含业务逻辑；实体只是一个数据的集合体。业务组件负责业务规则(例如，计算税率、折扣等)，同时负责实体层到数据访问层的过渡工作。职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务四色块分类模块开发05任务实施色块分拣图像推理功能实现2opencv获取图片1色块分拣堆垛业务逻辑实现3opencv获取图片1.检查usb摄像头：小柔智能制造项目中色块分拣是基于计算机视觉来实现，那么首先就是要获取到对应的视觉数据，通过摄像头将采集到的图片数据进行预处理，再将数据通过人工智能模型进行识别判断，返回识别结果。所以，通过opencv实现摄像头获取图片是识别的第一步。opencv获取图片1.检查usb摄像头：注意：上述指令如没有输出，则表明usb摄像头没安装好，如果输出video0则表明usb摄像头已正常连接，可以使用。opencv获取图片1.检查usb摄像头：动手练习1：1.在<1>处，输入指令查看设备usb摄像头是否正常接入。opencv获取图片2.opencv获取图片，视频流：opencv获取图片2.opencv获取图片，视频流：步骤一：导入线程库、jupyter画图依赖库。

Thread:创建线程类；

ipywidgets:用于在Jupyter中开辟一个用于显示图片的窗口；

display:在Jupyter中播放图片。opencv获取图片2.opencv获取图片，视频流：步骤二：创建图片显示窗口。widgets.Image：开辟一个用于显示图片的窗口；format:显示图片格式；height:窗口高度；width:窗口宽度。opencv获取图片2.opencv获取图片，视频流：步骤三：异步装饰器Python装饰器:可以让被装饰的函数在不修改代码的情况下增加额外的功能，装饰器本质上是一个函数。异步:即非阻塞，意味着在执行某项任务时候不会阻塞后续或其他任务的执行。多线程:在进程基础上开辟多个执行任务的线程。opencv获取图片3.opencv获取图片实验预览：opencv获取图片3.opencv获取图片实验预览：opencv获取图片3.opencv获取图片实验预览：获取后得到的结果如下图： 实验结束后要记得重启内核，释放摄像头资源：opencv获取图片3.opencv获取图片实验预览：动手练习2：1.在<1>处，添加装饰器，让被获取图片异步执行。2.在<2>处，填写opencv读取图像方法，使得frame变量能获取到图像。3.在<3>处，填写相应的代码，使得image变量为全局变量。4.在<4>处，填写相应的代码，使得opencv能获取图像，并将内容保存到全局变量image中。5.在<5>处，添加相应的变量名称，使视频能正常显示。6.请在notebook上进行相应代码的编写。opencv获取图片3.opencv获取图片实验预览：opencv获取图片3.opencv获取图片实验预览：更改对应文本，完成任务：opencv获取图片3.opencv获取图片实验预览：重启内核，退出循环，防止占用摄像头资源。05任务实施213opencv获取图片色块分拣图像推理功能实现色块分拣堆垛业务逻辑实现色块分拣图像推理功能实现1.实验预览（参考Jupyter中的任务四中的2.1）：请运行JupyterLab对应的实验预览观察实验运行效果，如下图实验中。色块分拣图像推理功能实现1.实验预览（参考Jupyter中的任务四中的2.1）：启动识别：结果如图，识别到对应四个色块的颜色。色块分拣图像推理功能实现1.实验预览（参考Jupyter中的任务四中的2.1）：启动识别：结果如图，识别到对应四个色块的颜色。色块分拣图像推理功能实现1.实验预览（参考Jupyter中的任务四中的2.1）：停止识别：结果如图，重启内核释放摄像头资源。色块分拣图像推理功能实现2.分类识别模型接口说明：fromlibs.rknn_detect_yolov5importYOLOV5_Detect导入物体分类识别算法接口类yolov5_detect=YOLOV5_Detect()实例化分类算法接口类rknn=yolov5_detect.detect_init(pbyModel)加载模型，根据配置参数进行模型初始化boxes,classes,scores=self.block_detect.detect_process(self.rknn,limg)调用检测方法，加载要识别的模型及图像，返回检测目标信息色块分拣图像推理功能实现2.分类识别模型接口说明：score置信度classes分类类别box.left目标左上角x轴坐标box.top目标左上角y轴坐标box.right目标右下角x轴坐标box.bottom目标右下角y轴坐标色块分拣图像推理功能实现2.分类识别模型接口说明：动手练习3：1.在<1>处，填写导入分类识别的类名称。3.在<2>处，填写相应的模型路径。4.在<3>、<4>处，填写detect_process需要的两个参数：模型和图片。5.在<5>处，判断预测的置信结果。5.在<6>、<7>、<8>、<9>处，编写代码启动识别进程，进行色块分类识别。完成后请记得重启内核。完成上述操作后，重启notebook内核，恢复环境，确保后面的实验可以正常进行。色块分拣图像推理功能实现2.分类识别模型接口说明：请前往Jupyter上完成动手练习三。05任务实施213opencv获取图片色块分拣图像推理功能实现色块分拣堆垛业务逻辑实现色块分拣堆垛业务逻辑实现1.业务流程图：堆垛逻辑的实现：在全局存储已抓取不同颜色物块的数量信息，根据其变化改变堆垛码放时的高度。色块分拣堆垛业务逻辑实现业务逻辑实现过程要用到机械臂、传送带、以及配置参数等业务相关模块，这部分内容前面在任务3部分以及做了封装，本次实验已将模块封装好在libs目录下。实验过程可以直接导入模块调用接口进行使用（详细案例请参照Jupyter）。色块分拣堆垛业务代码实现如下图：2.代码实现：色块分拣堆垛业务逻辑实现启动开始按钮：结果如图：物块被放置到指定位置，在重复放置物块后，重复运行可以看到分拣及堆垛效果。2.代码实现：职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务四色块分类堆垛模块开发任务检查与评价06序号评价内容评价标准分值得分1知识运用（20%）掌握相关理论知识，理解本次任务要求，制定详细计划，计划条理清晰，逻辑正确（20分）20分

理解相关理论知识，能根据本次任务要求、制定合理计划（15分）了解相关理论知识，有制定计划（10分）无制定计划（0分）2专业技能（40%）opencv实现摄像头获取图片，实现色块分拣图像推理功能，实现色块分拣堆垛业务逻辑。（40分）40分

opencv实现摄像头获取图片。（10分）opencv实现摄像头获取图片，实现色块分拣图像推理功能。（15分）实现色块分拣堆垛逻辑。（15分）3核心素养（20%）具有良好的自主学习能力、分析解决问题的能力、整个任务过程中有指导他人（20分）20分

具有较好的学习能力和分析解决问题的能力，任务过程中无指导他人（15分）能够主动学习并收集信息，有请教他人进行解决问题的能力（10分）不主动学习（0分）4课堂纪律（20%）设备无损坏、设备摆放整齐、工位区域内保持整洁、无干扰课堂秩序（20分）20分

设备无损坏、无干扰课堂秩序（15分）无干扰课堂秩序（10分）干扰课堂秩序（0分）总得分1、请参照评价标准完成自评和对其他小组的互评。2、各组请代表分析本组任务