OpenHarmony物联网开发教程课件 第8章-自动识别技术应用开发实践

OpenHarmony物联网开发教程第8章自动识别技术应用开发实践教材章节定位与授课安排本章围绕“自动识别技术应用开发实践”展开，课堂重点是把教材步骤、接口表、接线图、代码实现和实验现象连成完整开发流程。模块课堂内容授课方式学习产出8.1智能语音交互讲解+演示能复述流程并定位关键文件/接口8.2智能手势识别讲解+演示能复述流程并定位关键文件/接口OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践学习目标与考核关注1理解智能语音交互和手势识别的基本原理2能完成模块烧写、接线、串口指令或传感器接口配置3能按总体设计实现自动识别应用4能把识别结果映射为设备控制动作本章重点教材中的截图、流程表、接线图、电路原理图和核心接口调用。考核关注能把操作步骤、硬件连接、代码位置和运行结果讲清楚，而不是只照着截图操作。OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践本章知识地图8.1智能语音交互教材模块8.2智能手势识别教材模块•建议按“目标-准备-设计-实现-验证-排错”的课堂线索串讲。•图片页均采用Word版教材内嵌原图，表格页根据Word原生表格重排。•实验章节要让学生明确：每一步操作对应哪个工程文件、接口或硬件现象。OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1智能语音交互按“基本概念/应用场景-总体设计-代码实现-成果展示”组织授课8.1智能语音交互实验主线本节学习线索18.1.1基本原理28.1.2应用场景38.1.3总体设计48.1.4实现软件代码58.1.5成果展示OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.1基本原理•1.智能语音交互简介•智能语音识别模块如图8.1所示，是一种集成了语音识别和语音合成功能的硬件设备，可以在无需互联网连接的情况下进行语音交互。•基于语音识别和语音合成原理，通过内置的算法和模型，在离线状态下将语音信号转换为文本，并能将文本转化为自然流畅的人类语音。•基于离线快速等优势广泛应用在智能家居、物联网设备、智能机器人、车载系统、医疗设备和工业自动化等多个应用场景，为用户提供方便的语音交互方式，并赋予设备和系统智能化和人性化的特点。•2.智能语音交互原理OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践表8.1串口收发指令示例包头（固定）功能播报音OID包尾（固定）唤醒返回F40600FB识别返回F406（十六进制OID）FB合成播报F4F5合成IDFB•表格内容来自Word版教材原生表格，课堂中建议结合对应截图和代码逐项解释。OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.1基本原理图8.1智能语音识别模块图8.2智能语音交互原理图•图8.1智能语音识别模块•图8.2智能语音交互原理图OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.1基本原理（图示续）图8.3下载连接图8.4烧录工具•图8.3下载连接•图8.4烧录工具OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.1基本原理（图示续）图8.4烧录工具图8.5识别词条•图8.4烧录工具•图8.5识别词条OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.1基本原理（图示续）图8.6语音合成图8.7固件打包•图8.6语音合成•图8.7固件打包OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.1基本原理（图示续）图8.8固件升级操作要点•图8.8固件升级OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.2应用场景•智能语音识别技术通过将语音转换为文本，广泛应用于各个领域，极大地提升了人机交互的便捷性和智能化水平。•以下是智能语音识别的常见应用场景：•在智能家居系统中，语音识别技术被广泛应用于控制家电设备。•用户可以通过语音指令控制灯光、空调、电视、音响等家电设备，实现家居生活的智能化。•例如，用户可以对智能音箱说出“打开客厅灯”或“调高空调温度”等指令，系统将自动执行相关操作。OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.2应用场景图8.9语音翻译操作要点•图8.9语音翻译OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.3总体设计•1.确定开发目标•使用UART通信协议进行数据交互，从而获取识别到的语音信息，查看硬件原理图如图8.15所示，确定智能语音识别的UART通信接口对应的GPIO管脚，编写数据交互程序，实现语音数据的获取与显示。•2.准备开发工具•（1）硬件准备：Windows系统主机1台、OpenHarmony鸿蒙开发主板1块、USB-TypeC线1根，智能语音识别模块。•（2）开发实践前提：OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践表8.2编程流程设计说明序号流程说明流程接口说明1确定UART通信的GPIO管脚GPIO_5——>管脚号：HI_IO_NAME_GPIO_5GPIO_6——>管脚号：HI_IO_NAME_GPIO_62UART通信初始化（硬件UART）UART_Com_Init5显示语音Logo图标OLED_Draw_BMP6OLED显示语音标题OLED_Show_Str5读取串口语音数据IoTUartReadOpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践表8.2编程流程设计说明（续）序号流程说明流程接口说明6OLED显示语音识别内容OLED_Show_Str•表格内容来自Word版教材原生表格，课堂中建议结合对应截图和代码逐项解释。OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.3总体设计图8.10接线简图图8.11智能语音识别电路原理图•图8.10接线简图•图8.11智能语音识别电路原理图OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.4实现软件代码•将软件实现代码存放到如下路径：•//applications/sample/wifi-iot/app/05_identify_experiment/03_Speech_Recognition_Test•---------------------------------------------------------------------------------------------------------…•static_library("speech_recognition_test"){•sources=[OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.4实现软件代码：代码讲解重点•先定位示例工程目录、源文件和BUILD.gn构建文件，再讲解核心接口调用。•按“初始化-配置-读写/控制-日志输出-异常处理”的顺序阅读代码。•强调接口返回值检查、延时/任务调度、资源释放和串口日志定位问题。•让学生把代码执行结果与接线图、电路原理图和编程流程表对应起来。OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.5成果展示•将程序编译、烧录后，通过OLED显示单元查看运行结果，实验现象如下图8.12所示。•（1）首先对着智能语音识别模块说出唤醒词：“小创小创”，若语音识别模块回应“我在”，则代表唤醒成功。•（2）最后对着语音识别模块说出：“你好世界”，若语音识别模块回应“世界你好”，则代表语音正常被识别且正常实现语音交互功能。讲授提示把教材说明与后续截图、表格、代码和运行结果对应起来，形成可复现的实验链路。OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.1.5成果展示图8.12OLED显示操作要点•图8.12OLED显示OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.2智能手势识别按“基本概念/应用场景-总体设计-代码实现-成果展示”组织授课8.2智能手势识别实验主线本节学习线索18.2.1基本原理28.2.2应用场景38.2.3总体设计48.2.4实现软件代码58.2.5成果展示OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.2.1基本原理•1.手势识别传感器•手势识别传感器如下图8.13所示，是一种能够通过光学感知并解释人类手势或动作的传感器。•它采用PAJ7620U2手势识别传感器结合了红外线反射技术和类似微软Kinect的深度视觉技术来实现手势的捕捉、识别和转换手部动作或姿势为电信号或数字信号，从而实现人与电子设备的交互。•2.PAJ7620U2介绍•PAJ7620U2是原相科技（PixArt）公司推出的一款光学数组式传感器，它使用红外发光二极管(IR-LED)和红外光传感器(IRphotodiode)组成的衍射贴片矩阵来发射和接收红外光信号。OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.2.1基本原理图8.13手势识别传感器图8.14PAJ7620U2功能框图•图8.13手势识别传感器•图8.14PAJ7620U2功能框图OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.2.2应用场景•手势识别技术通过计算机视觉和传感器技术，能够准确识别和理解人类手部的各种动作和姿态。•它在很多领域都有着广泛的应用，以下是一些常见的手势识别应用场景。•在智能家居系统中，手势识别技术能够提供更加便捷和直观的用户交互方式，如图8.15所示。•用户可以通过简单的手势操作来控制家中的灯光、电视、空调等设备。•例如，挥手关闭灯光，抬手调节音量等。OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.2.2应用场景图8.15手势识别操作要点•图8.15手势识别OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.2.3总体设计•1.确定开发目标•实现PAJ7620U2的手势识别和接近检测（物体的体积大小和亮度）的功能（采用轮询方式，没有使用中断引脚），具体的工作流程如下图8.16所示。•首先，进行初始化设置，包括配置与PAJ7620U2通信的接口（如I2C），并根据数据手册设置适当的寄存器，以配置传感器的工作模式、手势识别模式以及接近检测模式等。•同时，确保传感器的电源和地线连接正确无误。•接着，进入主循环轮询阶段。OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践表8.3编程流程设计说明序号流程说明流程接口说明1确定传感器I2C总线通信对应的GPIO管脚GPIO_0—>管脚号：HI_IO_NAME_GPIO_0GPIO_1—>管脚号：HI_IO_NAME_GPIO_12手势传感器初始化Paj7620u2_Init3获取手势识别内容Paj7620u2_Gesture5显示手势Logo图标OLED_Draw_BMP6OLED显示手势标题与内容OLED_Show_StrOpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.2.3总体设计图8.16工作流程图图8.17系统接线简图•图8.16工作流程图•图8.17系统接线简图OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.2.3总体设计（图示续）图8.18手势识别传感器原理图操作要点•图8.18手势识别传感器原理图OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.2.4实现软件代码•将软件实现代码存放到如下路径：•//applications/sample/wifi-iot/app/05_identify_experiment/05_Gesture_Recognition_Test•---------------------------------------------------------------------------------------------------------…•static_library("gesture_recognition_test"){•sources=[OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.2.4实现软件代码：代码讲解重点•先定位示例工程目录、源文件和BUILD.gn构建文件，再讲解核心接口调用。•按“初始化-配置-读写/控制-日志输出-异常处理”的顺序阅读代码。•强调接口返回值检查、延时/任务调度、资源释放和串口日志定位问题。•让学生把代码执行结果与接线图、电路原理图和编程流程表对应起来。OpenHarmony物联网开发教程｜第8章自动识别技术应用开发实践8.2.5成果展示•将程序编译、烧录后，通过OLED显示单元查看运行结果，现象如下图8.19所示。•可对着手势识别传感器做出向左、向右、向上、向下等不同手势，观察OLED屏显示的手势动作是否符合所做出的动作。讲授提示