边缘智能计算应用课件：手掌检测在嵌入式设备中的部署和运行

基于TFLite的手掌检测模型部署边缘智能计算应用手掌检测在嵌入式设备中的部署和运行边缘智能计算应用职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08手掌检测在嵌入式设备中的部署和运行了解模型部署相关流程。掌握手掌检测在嵌入式设备中的部署和运行。职业能力目标01知识目标技能目标职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08手掌检测在嵌入式设备中的部署和运行

此任务要求首先要将模型进行保存与工程打包，接着使用MobaXterm工具将工程下载到嵌入式开发板中，最后进行工程代码的解压与运行，得到检测结果。任务描述任务要求完成模型的保存与工程打包；掌握MobaXterm工具的使用；完成下载工程到开发板中。任务描述与要求02职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08手掌检测在嵌入式设备中的部署和运行任务分析MobaXterm软件是如何实现将工程文件下载到开发板的？如何使用工程代码进行解压和运行？任务分析与计划03任务计划表项目名称基于TFLite的手掌检测模型部署任务名称手掌检测在嵌入式设备中的部署和运行计划方式自主设计计划要求请用8个计划步骤来完整描述出如何完成本次任务序号任务计划1

2

3

45678通过上面的思考，你是否对本任务要完成的工作有所了解？让我们一起来制订完成本次任务的实施计划吧！任务分析与计划03职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08手掌检测在嵌入式设备中的部署和运行手部关键点204知识储备手势识别1MediaPipeHands304手势识别在计算机科学中，手势识别是通过数学算法来识别人类手势的一个议题。手势识别可以来自人的身体各部位的运动，但一般是指脸部和手的运动。04手势识别用户可以使用简单的手势来控制或与设备交互，让计算机理解人类的行为。其核心技术为手势分割、手势分析以及手势识别。04手势识别手势无论是静态或动态，其识别顺序首先需进行图像的获取手的检测和分割手势的分析，然后进行静态或动态的手势识别。04手势识别手势分割是手势识别过程中关键的一步，手势分割的效果直接影响到下一步手势分析及最终的手势识别。目前最常用的手势分割法主要包括基于单目视觉的手势分割和基于立体视觉的手势分割。04手势识别手势分析是完成手势识别系统的关键技术之一。通过手势分析，可获得手势的形状特征或运动轨迹。手势的形状和运动轨迹是动态手势识别中的重要特征，与手势所表达意义有直接的关系。04手势识别手势识别是将模型参数空间里的轨迹(或点)分类到该空间里某个子集的过程，其包括静态手势识别和动态手势识别，动态手势识别最终可转化为静态手势识别。04手势识别手势识别应用场景家庭娱乐智能驾驶智能穿戴手部关键点204知识储备手势识别1MediaPipeHands3MediaPipeHands是一种高保真手和手指跟踪解决方案，它采用机器学习（ML）仅从单个帧中推理出手部的21个3D坐标04MediaPipeHands当前最先进的方法主要依赖于强大的算力，而使用MediaPipe提供的解决方案实现了在手机上进行实时检测的性能，甚至可以同时辨识到多只手。04MediaPipeHandsMediaPipe框架将在未来被广泛地研发，更多的开发者也将加入到此行列中对手部识别和模拟应用进行开发。04MediaPipeHands手部关键点204知识储备手势识别1MediaPipeHands3在计算机视觉领域中，手势识别被广泛应用于人机交互、手语识别等场景中，而手势识别依赖于手部关键点检测，并且随着移动终端和移动互联网的普及，手势识别也广泛应用于移动终端中。04手部关键点04手部关键点04手部关键点识别是指对于任何一幅给定的图像，如果图像中有手，则定位手的21个关键点的位置，每个关键点的位置用它在图像中的横纵坐标表示；这21个关键点包括大拇指、食指、中指、无名指、小拇指的指尖、指间关节，以及手心，不区分左右手；21个关键点在手上的位置分布如图所示：手部关键点04指尖识别是指只对伸出食指这种手势的食指指尖进行定位的技术，是一种特殊的手部关键点识别；手部关键点04手部关键点检测图片中的手部并返回坐标信息，精准定位食指指尖、及4个辅助关键点的坐标位置。04手部关键点给定任意的图片，如果其中手势的类别是伸出食指，那么返回指尖的位置，其中位置用横纵坐标表示；04手部关键点因为只需要识别指尖的位置，本方法在处理速度与精确度上要优于识别所有关键点的方法。04手部关键点应用场景：学习机点读学习平板、陪伴机器人等儿童学习设备，基于食指指尖检测，精准定位书本上的内容模块，实现自动跟读、点读搜题等效果，让学习机变得更“聪明”职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08手掌检测在嵌入式设备中的部署和运行05任务实施模型保存与工程打包1下载工程到开发板205拷贝任务2转换好的RKNN模型到工程中模型保存与工程打包#拷贝手掌检测模型!cpmodels/palm_detectionu8.rknnsrc/hand_tracking_rknn/models/#拷贝手掌关节点检测模型!cpmodels/hand_landmarku8.rknnsrc/hand_tracking_rknn/models/打包手掌检测项目使用tar命令进行打包05任务实施模型保存与工程打包1下载工程到开发板205下载工程包模型保存与工程打包工程包名称：hand_tracking_rknn.tgz05在MobaXterm软件中创建一个新的ssh会话模型保存与工程打包05输入ssh登陆的密码，并确定是否记住ssh登陆密码模型保存与工程打包05RK3399pro开发板登陆成功，出现如下打印模型保存与工程打包05将下载到PC的手掌检测案例，发送到RK3399pro开发板中模型保存与工程打包05在MobaXterm软件远程RK3399PRO开发板的会话窗口中，依次输入如下命令，在开发板上运行手掌检测案例（注：运行前确认USB摄像头和显示器已连接到开发板上）模型保存与工程打包05在RK3399PRO开发板连接的显示器上我们可以看到如下结果模型保存与工程打包职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08手掌检测在嵌入式设备中的部署和运行任务检查与评价06序号评价内容评价标准分值得分1知识运用（20%）掌握相关理论知识，理解本次任务要求，制定详细计划，计划条理清晰，逻辑正确（20分）20分

理解相关理论知识，能根据本次任务要求、制定合理计划（15分）了解相关理论知识，有制定计划（10分）无制定计划（0分）2专业技能（40%）很好的完成模型保存与工程打包，创建ssh对话，将发送到RK3399pro开发板中，在开发板上运行手掌检测案例。（40分）40分

完成模型保存与工程打包，创建ssh对话，将发送到RK3399pro开发板中。（30分）完成模型保存与工程打包，创建ssh对话。（20分）完成模型保存与工程打包。（10分）没有完成模型保存与工程打包。（0分）3核心素养（20%）具有良好的自主学习能力、分析解决问题的能力、整个任务过程中有指导他人（20分）20分

具有较好的学习能力和分析解决问题的能力，任务过程中无指导他人（15分）能够主动学习并收集信息，有请教他人进行解决问题的能力（10分）不主动学习（0分）4课堂纪律（20%）设备无损坏、设备摆放整齐、工位区域内保持整洁、无干扰课堂秩序（20分）20分

设备无损坏、无干扰课堂秩序（15分）无干扰课堂秩序（10分）干扰课堂秩序（0分）总得分1、请参照评价标准完成自评和对其他小组的互评。2、各组请代表分析本组任务实施经验。职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08手掌检测在嵌入式设备中的部署和运行任务小结07职业能力目标01