人工智能边缘设备应用 (微课视频版) 课件 模块8：产品智能分拣系统搭建

模块8：产品智能分拣系统搭建产品智能分拣系统的概述智能分拣系统常用方法人工智能边缘设备应用案例分析目标检测的实现原理PARTONEPARTTWOPARTTHREEPARTFOUR产品智能分拣系统的概述人工智能边缘设备应用01产品智能分拣系统，指的是不同于传统的人工或者半自动控制分拣方式的一种全自动分拣方式，可以自动识别物体的标签或者物体本身的类别，并进行分类与分拣，其一般包括如图所示的输送装置、识别装置、分拣装置三大部分;输送装置主要负责组织待分拣物品，把待分拣物品输送到识别装置中，识别装置由不同传感器组成，通常主要传感器为摄像头，识别装置主要负责识别待分拣物品，并把识别结果转换成指令发送给分拣装置，是整个产品智能分拣系统的核心，分拣装置主要负责接受识别装置的结果，对具体物品进行分拣。1产品智能分拣系统的概述输送装置识别装置分拣装置产品分拣是生产制造环节中不可或缺的一部分，为了更好地将产品进行管理，为后续的工作提供便利，如何更好地改进分拣作业和提高分拣效率，是制造、物流、零售等行业所面临的主要问题。除此之外，人们对产品的需求越来越多样化，用传统产品分拣方式处理多样化的产品，不仅成本高，而且效率低，这使得各行业不得不对传统产品分拣方式进行改革。1.1产品智能分拣系统的背景基于机器视觉的产品智能分拣系统智能化自动化信息化基于机器视觉的产品智能分拣系统在当今自动化生产线上起着重大的作用，它打破了传统分拣方式的高成本低回报的尴尬现状。产品智能分拣系统的广泛应用，是人力资源密集型产业向自动化与智能化产业转型的重要标志，对传统制造、物流、零售等行业进入新的智能化发展阶段提供了积极作用。1.2产品智能分拣系统的意义分拣效率高智能分拣系统不受时间、气候、人力等因素的限制，可以持续运行时间通常以天为单位进行计算。分拣差错率低智能分拣系统的分拣误差，主要来源于不正确的分拣信息输入，这取决于分拣信息的输入机制。基本无人化采用智能分拣系统的目的之一，就是为了减少作业人员数量，减轻人员的劳动强度，提高人员的使用效率，因此自动分拣系统能最大限度地减少人员的使用，基本做到无人化。智能分拣系统常用方法人工智能边缘设备应用02在智能分拣系统中，自动识别技术发挥着关键作用。自动识别技术就是利用识别装置对被识别物品进行识别，从而自动获取被识别物品的相关信息，同时，将所识别到的信息传输到对应的计算机处理系统，并实施后续处理。其中包括生物识别技术、图像识别技术、磁卡识别技术、条码识别技术、射频识别技术等。2智能分拣系统常用方法条码识别技术射频识别技术图像识别技术一维条形码偏重于“标识”商品，但通常只在水平方向表示信息，而不在垂直方向表示任何信息。常见的一维条形码如图所示；一维条形码技术有着可手动输入、设备简单便捷、成本较低的特点。但是，一维条形码容量小，通常只能表示物品的基本信息，如果需要物品更详细的信息，必须依赖数据库或通讯网络。而且由于其携带信息量大小有限，因此只具备校验功能而不具备纠错能力，所以破损或污染后可读性较差。2.1条形码识别技术-一维条形码技术二维条形码偏重于“描述”商品，在拥有水平和垂直方向的二维空间存储信息。常见的二维条形码如图所示；二维码具有信息容量大、编码范围广、容错能力强、防盗能力强等优点，而且还拥有纠错能力以及校验的能力。具备立体、庞大的信息存储和表达功能，可以不依赖数据库或通讯网络直接储存物品的详细信息。目前在制造业中主要有物流跟踪和产品追溯这两种用途。2.1条形码识别技术-二维条形码技术RFID射频识别技术是以无线电波识别与传输为基础的自动识别技术。RFID的识别系统包括计算机网络、电子标签、读写器三个基本组成部分。生活中常见的门禁卡、二代身份证等都用到了RFID射频识别技术。该技术可以将智能电子标签拣货系统、RF系统、AS/RS系统、自动分合流控制输送系统等集中到操作管理平台之中，从而实现智能化操作。2.2RFID射频识别技术随着人工智能的不断发展，目标检测技术在智能分拣系统中也得到了广泛应用。图形分类技术可以用于确定产品的类别属性信息，OCR技术识别则可以识别产品标签中的文字信息。目前，目标检测技术在自动分拣中常作为条形码识别的补充模块，当条形码识读出现异常时，由目标检测技术获取产品信息，结合条形码识读结果，确定产品即将流向的分拣口。实现分类主要包括三个步骤，其过程如图所示。2.3图像识别技术构建数据集训练模型部署模型在实际工程应用中，针对不同的类别，通常需要重新获取数据集，构建对应的网络，训练模型。分类模型的输出时，通常无法直接输出具体的类别，只能通过置信度判断，一般选择所有类别中置信度最高的类别作为分类模型的输出。2.3图像识别技术构建数据集确认目前分类任务所包括的所有需要被分类的的目标类别，针对每个类别的物品，拍摄制作或者网上搜集一定数量其对应的图像，最后，由所有类别的图像组成的数据集合，即可称为数据集。训练模型数据集结合分类任务的难度，选择或者构建对应的分类模型，将数据集输入网络即可开始训练，若训练结束后的各项指标都达到预定要求，则可以完成训练，并提取出模型用于后续的部署运用之中。部署模型针对不同的设备，开发相应的模型部署方案，并且需要优化训练后的模型，例如模型蒸馏、模型剪枝以及模型量化，在保证模型准确率的前提下，提高模型的推理速度。如图所示，是某公司在一个智能分拣项目中，使用目标检测技术进行自动分拣的应用案例，图中白色房间处，即为该系统的识别装置。其产品为整箱封装的啤酒、牛奶、矿泉水等，产品种类有限，且箱子外表面有颜色或纹理差异，这种区别能够降低分类难度，提高自动分拣识别的准确率。2.3图像识别技术人工智能边缘设备应用案例分析人工智能边缘设备应用03传统零售领域主要包含三大元素，分别为人、货、场，人是指消费者，货是指商品，场是指各种大卖场、超市、便利店等。场可以再细分到最小的有机单元，就是货架。随着新零售时代到来，货架已经逐渐成为零售企业的战场。需求：品牌商和零售商需要精确的获取线下商品的实际陈列信息。3人工智能边缘设备应用案例分析有没有竞品?应该陈列哪些品类?商品放在哪里比较适合？商品有多少?……面对激烈的市场竞争，某大型商超为保证更精准、高效的落实终端的商品投放，保证驱动销售长久持续增长，在过去曾投入核销部的40多人，通过商超内架设的摄像头，以人工的方式对商超内货架图像进行逐条逐张照片检查，再根据核销结果进行商品分拣摆放。3.1核心诉求1、人工核销速度慢活动高峰期一天的量需要持续3-5天才能完成，导致对终端费用执行结果反馈慢，不能满足市场营销部门的快速反馈需求；2、人工核销成本高需要维持40多人的核销团队，并持续加班加点工作。3、核销岗位面临招人困难人工成本逐年增加等挑战。该公司最终选择了智能核销模式来实现终端费用执行的核销。结合摄像头采集到的门店的图片与商品检测算法，能够精准高效的识别出图片中的目标商品，进而统计出商品投放的数量、商品分销率、货架商品比例等结果，达到准实时的商品核销结果反馈，让市场人员能够在极短时间内掌握终端费用投放结果，及时调整商品投放计划并进行商品分拣摆放。3.2解决方案目标检测的实现原理人工智能边缘设备应用04目标检测是最简单的计算机视觉任务，问题核心在于如何根据不同图像的内容，输出对应的类别。传统的目标检测方法是通过特征描述及检测来工作的，然而这类传统方法只在一些简单的目标检测任务有效，例如分辨物体的形状、颜色以及大小；深度学习在目标检测中的应用，往往是通过卷积神经网络，在神经网络中经过多个不同尺度的卷积运算，提取图像不同尺度的特征，再结合激活函数和池化计算，得到每种类别的置信度，最后通过Softmax函数来归一化，然后输出图像内容是否为每个类别具体的概率。4目标检测的实现原理图像预处理在将图像传入卷积神经网络之前，为了更好地进行提取图像特征，需要对该图像进行预处理；其中包括对图像进行去噪、重新裁剪等操作，最后再将图像转化成张量，这是由于计算机无法像人眼一般直接读取图像信息，所以需要将图像转化成计算机能够读取的信息。4目标检测的实现原理-图像预处理4目标检测的实现原理-卷积神经网络卷积神经网络图像特征提取模块通过尺度不同的卷积池化运算，提取图像的多尺度特征信息。越靠前的卷积层提取到的信息越局部，越靠后的卷积层提取的信息越接近全局的信息。目标检测模块该模块将提取到的特征信息经过线性映射和激活函数Softmax归一化操作后就能得到各个类别的概率分布。卷积神经网络是目标检测的核心，如图为一个经典的神经网络模型，它由图像特征提取模块和目标检测模块组成。模块8：产品智能分拣系统搭建案例实现模块小结知识拓展PARTONEPARTTWOPARTTHREE案例实现:基于目标检测的商品识别功能实现人工智能边缘设备应用01基于迁移学习的电子产品分类在知识准备中，已经基本了解了产品智能分拣系统的意义与常用方法。在接下来的案例实现中，将围绕智慧零售场景下的商品智能分拣任务，使用人工智能边缘设备实现商品检测功能。同时，本次案例实现任务可作为中国大学生计算机设计大赛人工智能挑战赛智慧零售挑战赛竞赛任务实现过程的参考。中国大学生计算机设计大赛人工智能挑战赛智慧零售挑战赛，是由教育部高校与计算机相关教指委联合主办的国家一类（A类）赛事。（1）模型训练环境准备；（2）目标检测数据采集；（3）迁移学习模型训练；（4）测试模型训练结果。任务1：模型训练环境准备（1）创建交换空间模型训练过程中会占用大量计算资源，为保证模型在训练过程中不会因为计算资源不足导致中途停止，需要在模型训练前准备足够的计算资源。通过代码创建模型训练空间。接着在终端中输入以下代码，将交换空间挂在到人工智能边缘设备中。接下来在该文件的最后一行中添加代码，保证设备每次启动后都能挂载到该空间。sudofallocate-l4G/mnt/4GB.swap#创建一个大小为4G的文件sudomkswap/mnt/4GB.swap#在创建好的文件上建立交换分区sudoswapon/mnt/4GB.swap#启用这个交换分区sudogedit/etc/fstab/mnt/4GB.swapnoneswapsw00任务1：模型训练环境准备（2）创建模型训练标签本次任务将使用中国大学生计算机设计大赛人工智能挑战赛智慧零售挑战赛竞赛中提供的苹果（apple）、草莓（strawberry）、莲雾果（waxapple）三种商品目标作为检测目标类型，使用迁移学习方法，将开源大型目标检测型模型转化为高性能小模型。cdDesktop/projects/char8mkdirretailcdretailgeditlabels.txt接下来创建模型训练过程中不可或缺的训练标签文件，首先通过以下命令进入到具体路径下。通过命令创建本次任务对应文件夹并进入文件夹中。在该路径下，通过以下代码创建模型训练标签文件。在文件中输入需要检测的目标标签，即苹果（apple）、草莓（strawberry）、莲雾果（waxapple）。不同标签以enter换行间隔，保存即可。具体效果如下。任务2：检测目标数据采集（1）启动图像采集工具准备好模型训练环境后，接下来准备分类模型训练过程中需要的图像数据。在人工智能边缘设备中预置了图像采集工具，通过以下代码启动图像采集工具。打开图像采集工具后，右上角会弹出图像采集工具界面，右下角会出现相机实时视频流界面。图像采集工具界面如图所示；接着在“DatasetType”栏点击下拉框，选择“Detection”，如下所示。cd/jetson-inference/tools#启动相机捕获工具camera-capture--width=800--height=600--camera=/dev/video0#设定相机相关参数，相机显示界面宽为800像素，高为600像素，使用端口为video0的相机设备任务2：检测目标数据采集（1）启动图像采集工具参数介绍DatasetType数据集类型。该工具支持采集图像分类和目标检测两类数据集。默认值为Classification，表示图像分类。DatasetPath存放模型数据集的路径。ClassLabels存放模型标签的路径。CurrentSet训练类别选择，是模型训练需要的三种数据集采集的类别，下拉框有三个选项：train（训练集）、test（测试集）、val（验证集）JPEGQuality图像质量Freeze/Edit(space)点击该按钮或按下空格键键即可冻结该窗口进行数据标注任务2：检测目标数据采集（1）启动图像采集工具首先点击DatasetPath后方按钮，选择任务1中创建的图像数据集路径。任务2：检测目标数据采集（1）启动图像采集工具此时在retail文件夹中会自动新增Annotations、JPEGImages和ImageSets三个文件夹。接着点击DatasetPath后方按钮，如下图所示，选择任务1中准备的模型训练标签文件。任务2：检测目标数据采集（2）图像数据采集与标注本次任务中将采集与标注苹果（apple）、草莓（strawberry）、莲雾果（waxapple）三种商品目标的图像数据。由于商品检测场景下，存在多种商品同时存在的情况，即多目标检测识别任务，因此需要采集单目标图像数据和多目标数据。在本任务中，我们将采集以下7种类型的图像数据：（1）只有苹果的图像；（2）只有草莓的图像；（3）只有莲雾的图像；（4）苹果和草莓同时存在的图像；（5）草莓和莲雾同时存在的图像；（6）苹果和莲雾同时存在的图像；（7）苹果、草莓和莲雾同时存在的图像。每种类型大约采集10张图像数据作为train训练集图片、5张图像数据作为test测试集图片、3张图像数据作为val验证集图片。任务2：检测目标数据采集（2）图像数据与标注点击“Freeze”按钮或按下键盘空格键，冻结视频窗口，在视频画面中，使用鼠标左键，拉动标注框，框选苹果数据目标。需要注意的是，在进行图像数据采集时，以尽可能还原真实场景为数据采集原则，尽可能多地采集不同角度、不同光线场景下的目标图像数据，以提高模型应用效果。任务2：检测目标数据采集（2）图像数据与标注在进行图像数据标注时，标注框紧贴目标数据轮廓。图像采集工具中，标注框相关参数说明如下：①“Class”代表当前标注的数据类型，本任务中包含的数据类型包括苹果（apple）、草莓（strawberry）、莲雾果（waxapple）三种；②“x”表示标注框的横向位置，图像采集工具以视频界面左上角为原点建立直角坐标系，增加该数值标注框将向右移动；③“y”表示标注框的纵向位置，增加该数值标注框将向下移动；④“Width”表示标注框的宽值，“Height”表示标注框的高值。任务2：检测目标数据采集（2）图像数据与标注再次点击“Freeze”按钮或按下键盘空格键，解冻视频窗口，视频界面恢复实时视频流图像，此时JPEGImages、Annotations和ImageSets三个文件夹中会自动更新信息。其中JPEGImages文件夹将用于存放采集到的图像数据，根据图像拍摄的时间命名。Annotations文件夹将用于存放图像的标注数据，打开图像对应的xml标签文件，其中将包含标注的类型、标注框的位置等信息。ImageSets文件夹中的内容将用于模型训练时建立图像数据和标注数据的匹配索引。▲JPEGImages文件夹▲Annotations文件夹任务2：检测目标数据采集（2）图像数据与标注在进行多目标标注时，通过对图像采集工具中的标注框相关参数进行调整，对目标进行标注，具体效果如下图所示，接着点击“CurrentSet”后的下拉框即可选择数据类型。依次对上述7种类型的目标进行图像采集，大约采集10张图像数据作为train训练集图片、5张图像数据作为test测试集图片、3张图像数据作为val验证集图片。任务3：迁移学习模型训练（1）模型训练图像数据采集完成后，接下来进行模型训练。人工智能边缘设备中已经预置了基于迁移学习的目标检测模型训练程序，通过以下命令进入到该程序所在的文件路径中。通过以下命令启动模型训练程序。cdjetson-inference/python/training/detection/ssdpython3train_ssd.py--dataset-type=voc--data=/home/tringai/Desktop/projects/char8/retail--model-dir=/home/tringai/Desktop/projects/char8/retail--batch-size=4--epochs=30任务3：迁移学习模型训练（1）模型训练训练过程可在后台中查看，“Epoch”表示训练的轮次，每一个训练轮次都会将该轮次得到的模型进行保存，得到的模型文件为图中后缀为“.pth”的文件。本次任务中将对模型进行30轮训练，训练总时长将在10分钟左右。模型训练完成后，将在retail文件夹中生成30个模型文件，如图所示。每个模型文件名中均包含“Loss”值，“Loss”表示模型损失值，即使用测试集进行测试时，预测得到的目标类型与真实目标类型不一致的程度，该值越小代表测试过程中模型表现的性能越好。任务3：迁移学习模型训练（2）模型导出新建一个model文件，挑选Loss值最小的模型文件，与labels.txt文件一同存放至该文件夹，labels.txt文件中加入一行“BACKGROUND”用于模型检测无目标物体时不错误显示。模型导出效果如右图所示。人工智能边缘设备中预置了导出程序，通过以下命令进入到该程序所在的文件路径中并启动模型导出程序，导出结果如图。cdjetson-inference/python/training/detection/ssdpython3onnx_export.py--model-dir=/home/tringai/Desktop/projects/char8/retail/model▲导出结果，新增的ssd-mobilenet.