4.3-机械臂色块分拣深度神经网络模型训练《智能机器人技术应用》

项目四机械臂色块分拣深度神经网络模型训练创灵实验平台机械臂色块分拣深度神经网络模型训练任务三职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务三机械臂色块分拣深度神经网络模型训练了解YOLO的模型结构，学习目标检测算法；学习并了解caffe框架下的色块模型训练；下载安装模型训练工具，了解并掌握模型训练工具的使用，完成数据集配置，数据转换，数据标注，模型训练等。了解YOLO的模型结构掌握caffe框架下的色块模型训练掌握标注数据转换掌握模型训练工具的使用职业能力目标01实验目的实验内容职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务三机械臂色块分拣深度神经网络模型训练

此任务要求同学们了解YOLO的模型结构，学习目标检测算法；学习并了解caffe框架下的色块模型训练；下载安装模型训练工具，了解并掌握模型训练工具的使用，完成数据集配置，数据转换，数据标注，模型训练等。任务描述任务要求了解YOLO的模型结构，对YOLO的架构有个简要的了解；掌握caffe框架下的色块模型训练，完成对应实验；完成模型训练工具的模型转换、模型训练等功能。任务描述与要求02职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务三机械臂色块分拣深度神经网络模型训练任务分析思考一下，YOLO模型对比其他模型在目标检测上有什么优点或者有什么不足之处？根据自己的所学知识，我们能否改进YOLO模型，使得模型更加精确？任务分析与计划03任务计划表项目名称创灵实验平台任务名称机械臂色块分拣深度神经网络模型训练计划方式自主设计计划要求请用6个计划步骤来完整描述出如何完成本次任务序号任务计划1

2

3

4

5

6

通过上面的思考，你是否对本任务要完成的工作有所了解？让我们一起来制订完成本次任务的实施计划吧！任务分析与计划03职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务三机械臂色块分拣深度神经网络模型训练04知识储备YOLO模型2深度神经网络1模型量化3什么是深度神经网络？04

深度神经网络（DeepNeuralNetworks，以下简称DNN）可以理解为有很多隐藏层的神经网络，又被称为深度前馈网络（DFN），多层感知机。DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层。感知机04

输出和输入之间学习到一个线性关系，得到中间输出结果：

感知机的模型，它是一个有若干输入和一个输出的模型，如下图:感知机04

这个模型只能用于二元分类，且无法学习比较复杂的非线性模型，而神经网络则在感知机的模型上做了扩展，主要有三点：加入了隐藏层；输出层的神经元可以有多个输出；对激活函数做扩展。接着是一个神经元激活函数，从而得到想要的结果1或者-1。深度神经网络04一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。输出层也可以有多个输出。04知识储备213深度神经网络YOLO模型模型量化04什么是YOLO模型？

YOLO是目标检测模型。目标检测是计算机视觉中比较简单的任务，用来在一张图篇中找到某些特定的物体，目标检测不仅要求我们识别这些物体的种类，同时要求我们标出这些物体的位置。目标检测算法在人们的日常生活中有着许多应用实例，如自动驾驶、行人检测、农作物检测等。思考一下，目标检测除了可以使用YOLO模型外还有哪些算法模型可以使用？04什么是YOLO模型？

YOLO的网络结构参考GooLeNet模型，包含24个卷积层和2个全连接层，对于卷积层，主要使用1x1卷积来做channlereduction，紧跟3x3卷积。对于卷积层和全连接层，采用LeakyReLU激活函数：max(x,0.1x)max(x,0.1x)，最后一层采用线性激活函数。04YOLO模型结构04YOLO模型结构介绍04知识储备213深度神经网络YOLO模型模型量化什么是模型量化04

模型量化即以较低的推理精度损失将连续取值（或者大量可能的离散取值）的浮点型模型权重或流经模型的张量数据定点近似（通常为int8）为有限多个（或较少的）离散值的过程，它是以更少位数的数据类型用于近似表示32位有限范围浮点型数据的过程，而模型的输入输出依然是浮点型，从而达到减少模型尺寸大小、减少模型内存消耗及加快模型推理速度等目标。。模型量化的优点与缺点04优点1.减小模型尺寸，如8位整型量化可减少75%的模型大小。2.减少存储空间，在边缘侧存储空间不足时更具有意义。3.易于在线升级，模型更小意味着更加容易传输。4.减少内存耗用，更小的模型大小意味着不需要更多的内存。5.加快推理速度，访问一次32位浮点型可以访问四次int8整型，整型运算比浮点型运算更快。6.减少设备功耗，内存耗用少了推理速度快了自然减少了设备功耗。7.支持微处理器，有些微处理器属于8位的，低功耗运行浮点运算速度慢，需要进行8bit量化。缺点1.模型量化增加了操作复杂度，在量化时需要做一些特殊的处理，否则精度损失更严重。2.模型量化会损失一定的精度，虽然在微调后可以减少精度损失，但推理精度确实下降。职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务三机械臂色块分拣深度神经网络模型训练05任务实施数据集配置、数据转换下载模型训练工具1模型量化3234模型训练、模型评估任务三机械臂色块分拣深度神经网络模型训练下载模型训练工具在本任务同级目录下载“模型训练工具”。任务三机械臂色块分拣深度神经网络模型训练模型工具说明（此训练工具为旧版，仅适用于3559A的开发板）一、界面介绍。任务三机械臂色块分拣深度神经网络模型训练二、主要功能介绍本工具仅限于caffe物体分类模型训练，步骤流程：数据集配置、数据转换、模型训练、模型评估。1、数据集配置：选择图片数据、选择标注数据、生成文本路径；2、数据转换：设置类别名称、选择caffe工具包路径，生成caffe数据库；3、模型训练：选择模型、设置训练类别数量、设置训练迭代次数，开始训练模型；4、模型评估：选择要评估的模型、选择deploy路径、加载图片、开始评估模型。任务三机械臂色块分拣深度神经网络模型训练三、步骤详解（详细内容请参考Jupyter中2.2模型训练工具中的第三点）1.准备项目文件步骤一：下载并解压【tool】，点击【./ModelTool/caffetools.exe】，运行模型训练工具。步骤二：在windows10任意盘新建一个项目文件夹，以英文形式命名，本操作文档项目文件夹为ToolTest。步骤三：在模型训练工具中点击浏览，选择步骤2创建项目路径，并在状态提示区展示相应提示。05任务实施数据集配置、数据转换下载模型训练工具1模型量化3234模型训练、模型评估数据集配置步骤一：点击数据集配置选项卡进入数据集配置界面，如下图所示。数据集配置、数据转换数据集配置、数据转换数据集配置步骤二：按界面信息，点击浏览选择标注精灵生成的标注数据，路径选择成功后会在项目路径step1中生成XMLLabels文件夹。（配套数据源路径：./train/data/outputs）数据集配置、数据转换数据集配置步骤二：按界面信息，点击浏览选择标注精灵生成的标注数据，路径选择成功后会在项目路径step1中生成XMLLabels文件夹。（配套数据源路径：./train/data/outputs）数据集配置步骤三：点击浏览，选择图片数据路径。选择成功后会在项目路径下step1中生成JPEGImages文件。（配套数据源路径：./train/data/image）选择数据图片路径数据集配置、数据转换数据集配置步骤三：点击浏览，选择图片数据路径。选择成功后会在项目路径下step1中生成JPEGImages文件。（配套数据源路径：./train/data/image）数据集配置、数据转换数据集配置步骤四：点击生成路径文本。执行成功后会在项目路径下step1中生成trainval.txt，test.txt两个文件。生成文本路径数据集配置、数据转换数据集配置步骤四：点击生成路径文本。执行成功后会在项目路径下step1中生成trainval.txt，test.txt两个文件。生成文本数据集配置、数据转换数据转换步骤一：点击下一步或者点击数据转换选项卡进入数据转换界面。界面如下所示：数据集配置、数据转换数据转换步骤二：设置类别名称，以半角逗号隔开。如下图所示：数据集配置、数据转换数据转换步骤三：点击浏览，选择caffe工具包路径。（配套工具包路径：./caffe）数据集配置、数据转换数据转换步骤四：点击生成脚本，应用会在项目路径下step2中生成creat_lmdb.bat文件、totxt文件。如下图所示：生成脚本数据集配置、数据转换数据转换步骤四：点击生成脚本，应用会在项目路径下step2中生成creat_lmdb.bat文件、totxt文件。如下图所示：生成脚本路径数据集配置、数据转换数据转换步骤五：点击运行脚本按钮，应用会自动运行creat_lmdb.bat脚本，系统弹出命令窗口执行脚本。如下图所示。执行成功后会在项目路径下step2中生成test_lmdb、trainval_lmdb文件。运行脚本数据集配置、数据转换数据转换步骤五：点击运行脚本按钮，应用会自动运行creat_lmdb.bat脚本，系统弹出命令窗口执行脚本。如下图所示。执行成功后会在项目路径下step2中生成test_lmdb、trainval_lmdb文件。数据集配置、数据转换05任务实施数据集配置、数据转换下载模型训练工具1模型量化3234模型训练、模型评估模型训练、模型评估模型训练步骤一：点击下一步或者模型训练选项卡，进入模型训练界面。如下图所示：模型训练步骤二：输入训练类别数，本次案例训练类别数为4类（blue,green,yellow,reed），输入4即可。模型训练、模型评估模型训练步骤三：设置训练次数，为了方便演示，本次训练次数设置成10次,训练方式可根据机器配置选择GPU或CPU进行训练。如下图所示：模型训练、模型评估模型训练步骤四：点击保存参数，系统会在step3中生成如下图中的文件：模型训练、模型评估模型训练步骤四：点击保存参数，系统会在step3中生成如下图中的文件：

模型训练、模型评估模型训练步骤五：点击开始训练模型，系统会弹出命令行窗口开始训练模型。训练成功后，会在step3中生成模型文件、日志文件。

模型训练、模型评估模型训练步骤五：点击开始训练模型，系统会弹出命令行窗口开始训练模型。训练成功后，会在step3中生成模型文件、日志文件。

模型训练、模型评估模型评估步骤一：关闭训练窗口，点击下一步或者模型评估选项卡进入模型评估界面。模型训练、模型评估模型评估步骤二：点击选择模型按钮，选择模型。选择本次训练生成的模型，模型评估选择已训练好的模型，如下图。选择模型模型训练、模型评估模型评估步骤二：点击选择模型按钮，选择模型。选择本次训练生成的模型，模型评估选择已训练好的模型，如下图。模型评估选择已训练好的模型模型训练、模型评估模型评估步骤三：点击deploy路径按钮，选择deploy路径。如下图所示：模型训练、模型评估模型评估步骤三：点击deploy路径按钮，选择deploy路径。如下图所示：模型训练、模型评估模型评估步骤四：点击加载图片，选择需要识别的图片，如下图。模型训练、模型评估模型评估步骤五：点击验证模型按钮，开始模型验证，当精度超过50%识别结果会保存至step4中。模型训练、模型评估模型评估步骤五：点击验证模型按钮，开始模型验证，当精度超过50%识别结果会保存至step4中。注意：若提示识别准确率低于50%，请优化模型精度，可自行增加训练数据进行迭代训练，提高模型识别精度。模型训练、模型评估任务三机械臂色块分拣深度神经网络模型训练动手实验将下载的tool.rar工具包中的自带的色块图片、标注数据，使用模型训练工具进行如下操作：1.数据集配置2.数据转换，生成模型训练参数与网络结构3.填写模型训练参数，进行模型训练4.使用工具包对训练的模型进行模型评估，判断模型的精度05任务实施数据集配置、数据转换下载模型训练工具1模型量化3234模型训练、模型评估模型量化使用RKNNToolkit工具对模型进行量化步骤一：在Window10系统上安装【RKNNToolkit】工具1.在Window10上安装Python3.6.5在本任务同级目录下载Window10Python安装包模型量化使用RKNNToolkit工具对模型进行量化步骤一：在Window10系统上安装【RKNNToolkit】工具1.在Window10上安装Python3.6.5双击安装包，将Python添加到环境变量中，然后点击安装。模型量化使用RKNNToolkit工具对模型进行量化步骤一：在Window10系统上安装【RKNNToolkit】工具1.在Window10上安装Python3.6.5安装完成后打开cmd输入python，出现如下结果，则Python安装成功。模型量化使用RKNNToolkit工具对模型进行量化2.安装RKNNToolkit工具1）.下载本任务同级目录下的【packages.zip】安装包，并进行解压模型量化使用RKNNToolkit工具对模型进行量化2.安装RKNNToolkit工具2）.用Python在解压后的packages目录下创建虚拟环境，【python-mvenvenv】在packages目录下创建虚拟环境模型量化使用RKNNToolkit工具对模型进行量化2.安装RKNNToolkit工具3）.进入虚拟环境，安装RKNToolkit。启动虚拟环境。模型量化使用RKNNToolkit工具对模型进行量化2.安装RKNNToolkit工具3）.进入虚拟环境，安装RKNToolkit。启动虚拟环境。

注意：若启动虚拟环境时，提示【无法加载文件.....因为在此系统上禁止运行脚本】的报错提示。解决方法如下：Windows+x打开面板，选择以管理员身份运行PowerShell，输入：set-executionpolicyremotesigned，接下来输入“y”表示执行。注意：若正常进入虚拟环境，则跳过上述步骤。更新pip工具：【python-mpipinstall--upgradepip】模型量化使用RKNNToolkit工具对模型进行量化2.安装RKNNToolkit工具4）.安装RKNToolkit，执行命令：【pipinstall--no-index--find-links=./pip_packages-r

requirements.txt】模型量化使用RKNNToolkit工具对模型进行量化2.安装RKNNToolkit工具5）.启动RKNNToolkit，执行命令【python-mrknn.bin.visualization】。模型量化使用RKNNToolkit工具对模型进行量化2.安装RKNNToolkit工具5）.启动RKNNToolkit，执行命令【python-mrknn.bin.visualization】。模型量化使用RKNNToolkit工具对模型进行量化步骤二:使用RKNNToolkit进行模型量化与转换1.模型量化1）.下载模型训练数据集模型量化使用RKNNToolkit工具对模型进行量化步骤二:使用RKNNToolkit进行模型量化与转换1.模型量化2）.解压train.rar文件使用上面模型训练下载的数据集，在数据集目录下打开powershell，执行pythoncreate_test.py脚本，生成模型量化需要用到的测试数据集。模型量化使用RKNNToolkit工具对模型进行量化步骤二:使用RKNNToolkit进行模型量化与转换1.模型量化3）.打开RKNNToolkit工具，如下图模型量化使用RKNNToolkit工具对模型进行量化步骤二:使用RKNNToolkit进行模型量化与转换1.模型量化4）.选择caffe模型量化使用RKNNToolkit工具对模型进行量化步骤二:使用RKNNToolkit进行模型量化与转换1.模型量化5）.填上对应的值，如下图。填写完成后下滑滚轮，点击下一步。根据图表填上对应的值，详情可以参考Jupyter模型量化使用RKNNToolkit工具对模型进行量化步骤二:使用RKNNToolkit进行模型量化与转换1.模型量化5）.填上对应的值，如下图。填写完成后下滑滚轮，点击下一步。选择训练生成的caffe模型模型量化使用RKNNToolkit工具对模型进行量化步骤二:使用RKNNToolkit进行模型量化与转换1.模型量化6）.填完值后点下一步，进行模型量化。模型量化使用RKNNToolkit工具对模型进行量化步骤二:使用RKNNToolkit进行模型量化与转换1.模型量化7）.量化完成后点击下一步，进行模型转换模型量化使用RKNNToolkit工具对模型进行量化步骤二:使用RKNNToolkit进行模型量化与转换1.模型量化8）.转化完成后在设置的目录下可以看到生成的rknn模型模型量化使用RKNNToolkit工具对模型进行量化步骤二:使用RKNNToolkit进行模型量化与转换1.模型量化8）.转化完成后在设置的目录下可以看到生成的rknn模型文件夹中生成对应的test.rknn模型职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08任务三机械臂色块分拣深度神经网络模型训练任务检查与评价06序号评价内容评价标准分值得分1知识运用（20%）掌握相关理论知识，理解本次任务要求，制定详细计划，计划条理清晰，逻辑正确（20分）20分

理解相关理论知识，能根据本次任务要求、制定合理计划（15分）了解相关理论知识，有制定计划（10分）无制定计划（0分）2专业技能