人工智能通识教程 课件 第14讲 第8章嵌入式人工智能实例【8.4-8.6 物体认知系统】

第8章嵌入式人工智能实例

【教材8.4-8.6节物体认知系统】第14讲人工智能通识教程人工智能通识教程

导读：人工智能分为学习与推理两大基本过程，学习又分为有监督学习与无监督学习两大类，目前人工智能研究中的学习大部分为有监督学习。一般来说，人工智能的学习算法大多在性能较高的通用计算机上进行，但是，人工智能真正落地的产品为种类繁多的嵌入式计算机系统。嵌入式人工智能就是指含有基本学习或推理算法的嵌入式智能产品，本节以物体认知系统为例学习人工智能。第2页共22页8.4物体认知系统EORS概述8.5在PC机上运行EORS训练软件8.6EORS的视频演示人工智能通识教程目录人工智能通识教程8.4物体认知系统EORS概述8.4.1物体认知系统EORS的概念物体认知：即说出物体的名字，是幼儿学习启蒙的开端，蕴含了人类智能中的“示教、学习、识别”基本过程。嵌入式物体认知系统：（EmbeddedObjectRecognitionSystem，EORS），以嵌入式计算机为核心，利用图像、声音、气味、形态等传感器采集物体信息，进行标记、训练与推理的系统。基于图像识别的嵌入式物体认知系统：利用嵌入式计算机通过摄像头采集物体图像，利用图像识别相关算法进行训练、标记，训练完成后，可进行推理完成对图像的识别。嵌入式人工智能：以微控制器MCU或应用处理器MPU为核心，具备基本学习或推理算法，融合传感器采样、滤波处理、边缘计算、通信及执行机构等功能于一体的嵌入式计算机系统。随着机器学习理论与算法的发展、嵌入式芯片性能的提高、嵌入式智能终端的市场需求而出现了嵌入式人工智能，它的应用开发，不仅仅涉及人工智能算法，还涉及到传感器应用、嵌入式软硬件设计等，具有较高的技术门槛，可以通过适当的方式降低这个门槛，期望通过物体认知系统这一可操作实践的例子，使嵌入式人工智能能够落地。第4页共22页人工智能通识教程自研软件：自研嵌入式物体认知系统AHL-EORS，具体型号为AHL-EORS-D1-H，其中D1-H是嵌入式微处理器型号。主要目标：用于嵌入式人工智能入门教学，试图把复杂问题简单化，利用最小的资源、最清晰的流程体现人工智能中“标记、训练、推理”的基本知识要素。学生成长：学生可通过本系统来获得人工智能的相关基础知识，并真实体会到人工智能的学习快乐，消除畏惧心理，使其敢于自行开发自己的人工智能系统。案例应用场景：AHL-EORS除了用于教学，本身亦可用于产品缺陷检测、数字识别、数量计数等实际应用系统中。8.4.2物体认知系统EORS的目标手势识别数字识别模型训练第5页共22页人工智能通识教程8.5.1物体认知功能的实现流程本节给出物体认知功能的实现流程、物体认知系统训练软件EORS的下载与安装、EORS软件的操作步骤、基于EORS训练软件进行物体认知的实例。通过本节的学习，可以直观地了解人工智能的基本实现过程。图8-5物体认知功能的一般过程8.5在PC机上运行EORS训练软件

1．基于计算机进行物体认知的一般过程（1）采集与标记。采集即通过摄像头获取物体的图像，标记即对图片进行标记，告诉用户是这是什么物体。（2）模型选择与训练。选择合适的人工智能算法模型，利用计算机对图像进行训练，以获取图像特征并优化模型参数。（3）推理。有一张新的图片，作为已训练好模型的输入，该模型的输出是确定这张图片是什么物体。数据采集与标记：生成数据集模型训练：获取模型参数推理：物体识别第6页共22页通过摄像头对“石头、剪刀、布”三种手形进行识别，具体做法如下：

2．实现物体认知功能的具体做法1）进行“石头、剪刀、布”图像样本的数据采集与标记。①在PC机建立一个名为Hands的文件夹②在Hands文件夹中新建data文件夹③在data文件夹中新建“石头、剪刀、布”对应的三个文件夹④布手形的若干幅图片：321张⑤石头手形的若干幅图片：320张⑥剪刀手形的若干幅图片：398张将每种手形的图片文件分别存放至rock、scissors和paper文件夹中，这一个过程，就是标记。第7页共22页人工智能通识教程在自研的训练软件平台上，可以完成如下工作：（1）数据采集（2）模型训练（3）构建生成EORS训练软件2）利用EORS训练软件进行训练。3）利用AHL-EORS-D1-H软件完成推理AHL推理软件终端实时推理效果在自研的推理平台上，可以完成如下工作：（1）加载推理模版文件（2）实时推理（3）嵌入式终端实时呈现结果第8页共22页人工智能通识教程EORS训练软件的下载8.5.2物体认知系统EORS训练软件的下载与安装

1．EORS训练软件的下载软件下载路径：百度搜索“苏州大学嵌入式学习社区”官网，然后在金葫芦专区→AHL-EORS栏目→EORS_Setup，进行下载。下载网址：/下载后的安装包第9页共22页人工智能通识教程

2．EORS训练软件的安装EORS训练软件的安装步骤如下：（1）运行安装程序。双击下载的EORS_Setup.exe，系统会弹出用户权限提示窗口，点击“是”以允许安装程序进行修改。（2）选择安装语言。选择安装时使用的语言为“简体中文”，点击“确定”。（3）选择安装路径。默认安装路径是“C:\ProgramFiles(x86)\EORS”，如需更改路径，可点击“浏览”按钮选择新的安装位置。点击“下一步”继续。（4）选择附加组件。若需要附加快捷方式，可勾选“创建桌面快捷方式”。点击“下一步”继续。（5）开始安装。点击“安装”，等待安装程序完成，安装过程耗时约1分钟。（6）完成安装。安装完成后，勾选“运行EORS”或手动点击桌面快捷方式运行软件。点击“完成”退出安装程序。安装完成后的软件快捷方式第10页共22页人工智能通识教程首次运行EORS软件时，若出现右图所示的错误提示弹窗，则需根据软件左下角“软件帮助”安装依赖软件Graphviz。Graphviz软件的安装步骤如下：图8-6缺少软件依赖错误提示（1）下载Graphviz安装包。“软件帮助”->打开Graphviz官网->Download→Windows→graphviz-12.2.1(64-bit)EXEinstaller

下载。（2）运行安装程序。双击安装包->点击“是”->点击“下一步”。（3）阅读许可协议。选择“我接受”->“下一步”安装。（3）添加环境变量。勾选“AddGraphviztothesystemPATHforallusers”。（4）选择安装目录。（5）开始安装。（6）完成安装。图8-7EORS软件界面整体布局第11页共22页人工智能通识教程EORS训练软件提供了从数据采集到模型训练和结果验证的完整流程。用户可以按照软件的功能模块逐步完成任务。本节将介绍操作流程，帮助用户熟悉软件的使用方法并顺利完成训练任务。表8-1数据集文件夹结构要求图8-8模型训练界面8.5.3EORS训练软件的操作步骤

1．对现有数据集进行训练第一级文件夹（数据集名称）第二级文件夹（data）第三级文件夹（类别标签）数据集图片Handsdatapaperpaper-image1.jpgpaper-image2.jpg…rockrock-image1.jpg…scissorsscissors-image1.jpg…1）图像数据集的组织方式2）进入“模型训练”界面第12页共22页人工智能通识教程图8-9导入数据集信息图8-10模型训练3）导入数据集4）模型训练（1）点击“导入数据集”按钮。（2）导入数据集。（1）界面右边设置超参数。（2）“普通训练”选项卡，选择需要训练的模型类型（如MobileNetv2），开始训练。第13页共22页人工智能通识教程默认的超参数图8-10模型训练5）更改超参数6）软件自动存储模型文件（1）训练轮数（2）批量大小（3）学习率。（4）测试集比率（5）tail（6）alpha（1）模型训练结束后，软件会自动将模型的结构、权重和配置以H5格式文件（.keras）的形式保存至第一级根文件夹下，这是训练好的模型文件。第14页共22页人工智能通识教程

2．验证训练的效果1）导入一张图片对数据集训练后，可以按照下列步骤检验训练的效果，仍以Hands为例。2）选择模型3）开始预测图8-12图片识别结果选择一个训练好的模型文件图8-11导入预测图片在图像分类任务中，置信度表示模型对于预测结果的信心程度。如果模型对某个类别的预测概率较高，那么模型就相信该图像属于这个类别的可能性较大。第15页共22页本节将通过一个具体的实例，进一步阐述如何使用在PC机上运行的EORS训练软件，进行物体认知。人工智能通识教程8.5.4基于EORS训练软件进行物体认知的实例

1．训练目标

以经典的手写数字识别问题为例，通过EORS软件进行手写0-9数字的模型训练和验证。

2．训练集的准备与组织将收集到的手写数字图片分别放置在【03-Software\CH02\Numbers\data】文件下的0-9文件夹中，这一步也顺便完成了标记工作。

3．在EORS软件中进行模型训练将手写数字数据集导入EORS软件，选择MobileNetV2模型，使用默认的超参数或者稍微调整一下超参数，点击“开始训练”按钮，进行模型训练。图8-13模型训练第16页共22页人工智能通识教程在EORS软件的“首页”中选择刚刚训练好的模型文件，选择测试集（test）文件夹的下一级分类文件夹中的某一张手写数字图片，点击“”按钮进行图像推理，完成了物体认知。图8-14图像推理

4．验证训练的效果推理结果显示预测结果为：3置信度：95.25%第17页共22页人工智能通识教程本节给出EORS的视频演示，以便直观了解物体认知系统。8.6EORS的视频演示8.6.1了解EORS硬件系统学习嵌入式人工智能离不开嵌入式硬件，嵌入式物体认知系统AHL-EORS-D1-H具有价格低、功能强、操作便利等特点，为学习嵌入式技术基础、实时操作系统、嵌入式人工智能等提供硬件实体。嵌入式物体认知系统以D1-H微处理器为核心，外围搭载LCD显示屏与摄像头等，采用标准USB接口进行数据传输与系统供电。图8-15AHL-EORS硬件系统第18页共22页人工智能通识教程芯片：D1-H是全志科技首款基于64位RISC-V指令集的芯片，集成了64位玄铁C906核心（32KBI-cache+32KBD-cache），1GHz+主频，支持：可支持Linux、RTOS等系统。同时支持最高4K的H.265/H.264解码，内置：内置一颗HiFi4DSP（32KBI-cache+32KBD-cache、64KBI-RAM+64KBD-RAM），外接：最高可外接2GBDDR3，应用领域：智慧城市、智能汽车、智能商显、智能家电、智能办公和科研教育等领域。表8-3