聋哑人辅助交流系统

第1章引言1.1研究背景及意义随着各类人工智能的快速发展，各种以人工智能为基础的产品为人们带来了的便利，而人机交互在其中发挥重要的作用REF_Ref15739\r\h[1]。在科技飞速发展的今天，我们应重视社会上的某些特定人群，如失聪人群。根据一份关于残疾的调查，目前中国有8500万名各种类型的残疾人员，这是一个很好的数字，也是一个很好的数字REF_Ref15742\r\h[2]。在他们当中，失聪的人数超过2000万，是一个很大的比例。聋哑人在各种场合都会遇到沟通问题，比如在车站里，聋哑人想要买票，在医院里，聋哑人和医生交流病情，在银行里，自己需要向工作人员表示自己需要取钱等，都会遇到沟通的问题REF_Ref15588\r\h[3]。而目前我国手语教育的发展相对滞后，缺乏手语教育的社会性人才，使我国各高校的教育水平普遍偏低。随着全球化和信息化的快速发展，人们的交流和互动变得越来越普遍。然而，对于一些特殊人群，如聋哑人，交流和互动可能就不容易了。聋哑人存在语言和听障的限制，无法通过口语进行交流，在社交互动、教育、就业等方面受到了很大的障碍。因此，为了帮助聋哑人进行更加友好的交流，人们开始利用技术手段研究和开发聋哑人辅助交流系统。聋哑人辅助交流系统是一种多模态交互系统，以机器学习、计算机视觉、自然语言处理等技术为基础，在帮助聋哑人通过手语、文字和语音等多种方式进行交流。其中，手语识别是聋哑人辅助交流系统中的关键技术之一，此外，为了提供更加全面的服务，该系统还可以结合各种计算机硬件设备和软件程序，例如智能手环、智能眼镜、移动设备以及即时通讯软件等，为聋哑人带来更为便捷的交流方式。虽然聋哑人辅助交流系统的发展存在挑战，例如识别准确率、人机交互等方面的问题，但是当前，这个领域的研究也正在获得突破性进展。聋哑人辅助交流系统的研究和应用，对于聋哑人的生活和社交、教育和就业等方面都有着重要的意义和作用。这种系统的研究和应用，对于聋哑人的生活和社交、教育和就业等方面都有着重要的意义和作用。虽然聋哑人辅助交流系统还面临各种技术和实际的挑战，但是当前这个领域的研究也正在获得突破性进展，不断推动着聋哑人群体的走向更加平等和自主的社会参与。1.2国内外研究现状1.2.1国内研究现状江西财经大学软件与物联网工程学院的张维提出了一种基于神经网络的手语翻译系统REF_Ref4316\r\h[7]。在一个手套中安装各种传感器对手部进行观测，并对各种手势数据进行采集。在电脑上完成神经网络的训练，将训练，结束的权值矩阵转移到数据手套上利用单片机完成对穿戴者做出的手语动作进行识别。平均识别成功率在95%以上。国内对聋哑人辅助交流系统的研究起步较早，主要涵盖以下几个方面：1.中文手语识别技术的研究：中文手语是中国聋哑人用于交流的主要方式之一，对于开发聋哑人辅助交流系统具有重要意义。国内研究团队采集大量中文手语视频数据，研究中文手语的特征提取和手势识别算法，取得了进展。2.声音转文字技术的研究：声音转文字技术可以将公共场所的声音信息转化为文字，方便聋哑人理解。中国科学院自动化研究所等研究机构在该领域取得了一些成果，但实用性还有待提高。3.聋哑人教育技术的研究：针对聋哑人群体的特殊需求，国内研究团队开发了一系列教育技术工具，例如手语教学软件、视频字幕制作软件等，帮助聋哑人更好地学习和交流。1.2.2国外研究现状在上世纪九十年代末，国外的研究人员就已经着手聋哑人交互设备的相关研究。研究团体多以实验室为主，展开对聋哑人交互设备的基础研究。2010年，科威特大学团队的A.S.Tolba提出了一种基于手套的手势识别系统，使用手套设备捕捉手势并用最小距离分类器对手势进行分类，最后将手势转变成阿拉伯语语音，用于解决听力障碍人群与其他人的之间的交流问题REF_Ref15746\r\h[4]。2014年，英国邓迪大学的StephenJ.McKenna提出了基于轨迹的隐马尔科夫模型识别，一般选用高清摄像头捕获手势动作的图像信息，并在健全和残疾的受试者中测试了他们自己的手势词汇REF_Ref26336\r\h[5]。2020年，印度安那大学的P.S.Neethu提出了一种手势检测与识别办法，它是基于深度学习算法的，所使用的数据集是从开放存取图像数据集中获得的。先对图像进行掩模，并对手部区域进行手指分割、将分割手指图像的归一化使用CNN分类器进行手指识别，识别率达到了96.2%REF_Ref15749\r\h[6]。随着ANN技术的不断发展，在人机交互中的作用越来越重要。如果能够把人工神经网络手势识别技术与可穿戴设备结合起来，开发出一种可以让聋哑人与健全人进行交流的人机交互系统，而且它还具有携带便利，体积较小，识别率高等优点，可以用它来解决聋哑人与健全人之间的沟通问题，让聋哑人能够更加积极、乐观，从而推动社会主义和谐社会的平衡发展。

第2章整体设计2.1系统设计方案在图2.1中给出了该系统的整体设计结构。系统由STM32单片机、手势识别模块、语音识别模块、姿态传感器、电源模块、语音合成模块、WIFI模块组成。该系统的目的是在聋哑人与正常人进行沟通的时候，可以制作一副手套，可以对聋哑人的手势信息进行收集，并使用神经网络算法对实验人员的手势信息进行分类，最终以语音、文字的形式表达出他们的手语。在正常人想要与聋哑人进行交谈的时候，可以使用语音模块对正常人的语音进行识别，将正常人的发出的语音以软件中动画的形式展示给聋哑人，从而让聋哑人与正常人的沟通需要得到满足。语音合成模块语音合成模块STM32电源模块WiFi模块语音识别模块手势识别模块姿态传感器图2.1系统的总体设计框图在图3.2中，可以看到一种手语实时翻译的聋哑人无障碍交互系统，分别安装了语音识别模块，语音合成模块在手掌和前臂的位置上安装了姿态传感器，将MCU、无线串口模块和语音识别模块都收集到了我们自制的电路板上。在图中，电脑可以将正常人语音识别的结果通过文字的方式呈现给聋哑人。图2.2聋哑人与健全人的人机交互系统在与正常人进行对话的时候，失聪者会带着，就是普通人对聋哑人做出相应动作或是说话，电压并将其传送到控制模块，同时，通过语音合成模块，手势识别模块获得信息，并将其传送到上位机，通过上位机展示出文字使得正常人与聋哑人的无障碍交流。TTL的串口通信获得的X,Y,Z3个坐标轴的变化，并将其传送到Matlab,MATLAB在接收到失聪者的手背和前臂的姿势信息后，将其归一化，并将其输入到预先训练好的神经网络中，由神经网络进行判定，最终得出结果。然后，将所获得的特征矢量，以无线方式传送至Arduino单片机，再由SYN6288中文语音合成模块，根据所获得的特征矢量，用相应的语言，将失聪者的动作信息转化为正常者能够听懂的动作信息，实现了失聪者与正常者之间的沟通。本研究将正常人与聋哑人进行互动，并将其分成两个步骤：一是声音辨识，二是动作演示。首先是声音辨识模组对声音进行辨识，ArduinoMCU主控制模组将辨识的结果转换成动作模组的动作资料，最终的动作资料则是Unit3D的动作资料，而通信模组则是将动作资料以无线方式传送到Unit3D，以达到动作的效果。如果想和聋哑人进行沟通，每个人对LD3320A的语音模块说出语音。LD3320A语音模块对语音进行识别，当识别成功的时候，向Arduino微控制器发送16进制指令，上传到上位机展示文字显示，Arduino微控制器将x、y轴的偏移量。在Unity里可根据声音来控制角色做出动作，将健全人的语音信息转化为聋哑人可以看到的文字，从而实现健全人与聋哑人进行沟通的目标。2.2本章小结这一章专门描述了一个可供聋哑人与正常人无障碍建设使用的即时辅助交流系统。分别介绍了手势翻译与语音翻译的无障碍交互系统所选择的芯片和其他元件，并对系统各个模块展开了调试工作。

第3章硬件设计3.1主控模块本系统所采用的主控模块是STM32F103微控制器，其原理图如图4.1所示，其核心芯片是STM32F0，控制板上有多个数字输入输出，并集成多个IO口，选择STM32F103的理由主要有如下几个方面STM32F103微控制器与STM32F0微控制器比较，成本较低，主板功能类似于STM32F0，并且去掉了STM32F0上的一些对于所提出人机交互系统无用的功能。将其尺寸缩小至38*55mm，比STM32F0小了近一半，满足了所做人机交互系统体积小的要求REF_Ref15752\r\h[8REF_Ref15759\r\h-11]。STM32F103单片机采用16根模拟管脚，实现了对弯度检测信号的多路同步收集，实现了对弯度检测的反馈REF_Ref15762\r\h[12REF_Ref15769\r\h-15]。此外，它有5个串口UART接口，实现与手势传感器相连，对手掌和前臂的偏移量进行采集，还可以与无线串口模块相连，实现数据的无线传输。STM32F103微控制器所采用的数据接口是microUSB，普通的手机数据线即可进行数据的下载与传输，集成了5V/1A与3.3V/1A的稳压芯片，为所接的设备提供更稳定的电压REF_Ref3271\r\h[16]。此外，本电路板还采用了CH340G的串行通讯晶片，用作UART-USB转换器。工作在12MHz的频率下，能得到一个稳定的资料交换效果要求电脑上安装一个驱动器。数据手套的模拟电压信号需要由模拟输入管脚来获得，通过对模拟输入的管脚的调用intflexSensorPin=A0，也就是实现对A0管脚的呼叫，模拟输入管脚分别从A0到A15，总共有16个管脚REF_Ref9153\r\h[17]。每一个数据手套的5个弯曲传感器都与STM32F103微控制器中的5个管脚连接，嵌在数据手套上的姿态传感器与串口UART接口可以完成单手的信息采集，两个数据手套之间的数据的传输是由无线串口模块来完成的，最终将所收集的双手姿势数据一起用串口打印出来，采集的双手手指的电压数据与手掌、前臂的角度信息呈现如下。图3.1STM32F103原理图3.2手势识别模块手势识别模块是聋哑人辅助交流系统中非常重要的部分，它能够识别用户的手势并将手势信号转换成文本或语音输出，从而帮助聋哑人士进行交流。其中，手势识别传感器PAJ7620U2是一款比较常用的手势识别模块，其可以快速识别15种不同的手势，而且具有低功耗、高准确度等特点，非常适合作为交互式手势识别应用的核心。接下来，将姿态传感器与单片机相连，可以采用常规的SPI或I2C接口方式进行通信，同时需要进行相关的数据处理和算法优化，以实现更高的手势识别准确性和系统响应速度。总之，手势识别模块的设计和实现对于聋哑人辅助交流系统的功能和性能都有很大的影响，在实践中需要充分考虑各种因素，并进行有效的模块集成和算法优化。图3.2手势识别传感器模块原理图另一方面，姿态传感器的选择也十分重要，因为它能够帮助系统感知用户手部在空间中的位置和方向，从而更精确地识别用户的手势并进一步提高手势识别的准确性。6轴角度传感器是一种常用的姿态传感器，其包含了一个三轴加速度计和一个三轴陀螺仪，可以同时感测物体的线性加速度和旋转角速度，从而实时计算物体的姿态角度。选择尺寸较小的6轴角度传感器可以方便地嵌入到数据手套和前臂微控制器中，从而实现更好的集成和便携性REF_Ref15778\r\h[21REF_Ref2748\r\h-22]。图3.3中显示了将姿态传感器与单片机相连的方法。图3.3姿态传感器与微控制器的连接方式姿态传感器的参考坐标，如图3.4所示。图3.4姿态传感器参考坐标3.3通信模块在图3.5中，可以看到人机交互系统中所选用的无线串口模块，它之所以采用无线串口模块，是因为可以让交互系统不受电线的干扰，从而可以让普通人在进行手势识别和语音识别功能中变得更加便利，不会因为电线的影响，而造成手语打得不够准确。这个系统总共使用了三个无线模组，每一双手套都使用了一个，另外一个则插入了电脑中。可以使电脑与电脑间无线连接。图3.5DL-30无线串口模块实物图无线串口模块有两种方法，一种是两个无线模块之间的传输方法，另外是多个无线模块之间的传输方法。在多个无线模块之中实行传送的方式中，可以从整个对比框架、且含有相同的波特率的无线模块接收到一个无线模块的数据，可以从其所属的串口发送。在这个传送模式中，传输的数据会有着一定比例的错误率，并且当无线模块数量有很多的时候，其错误率会有很大的上升，所以，在进行设置的时候，我们一定要采用了第一种方式，就是两个模块之间的传输方式，这样就可以保证数据不会丢失。两个无线模块之间的传输模式可以分为a和b，一个串口用来发送数据，另一个串口用来接收发送数据串口所发出的数据，在这种传输模式中，同一个波特率只能允许有两个串口可以相互通信，并且可以做到数据不丢失。所以，本系统选择了第一种传送方式。3.4语音合成模块选择了图4.7中的语音合成模块，使其可以用较低的成本，得到较高的体验度的语音播报效果。可以转换为多种中文和英语的语音，所发出的语音能给我们一种完美的感受。采用串口通信方式，接收控制器发出的命令，并发出与命令相对应的语音，从而实现从文本到语音的转换REF_Ref29977\r\h[23REF_Ref15782\r\h-24]。图3.6SYN6288中文语音合成原理图图3.7SYN6288中文语音合成模块实物图图4.8是一个语音合成模块的工作流程图，我们可以把Arduino单片机的串口与语音芯片相连，同时还可以从Arduino单片机的串口向该芯片发送一个控制命令，让该芯片发出一个对应的声音，而该命令则会被转换成一个语音，并由一个功率放大器来增强该语音，最终通过扬声器来播放该语音REF_Ref15785\r\h[25REF_Ref24245\r\h-26]。图3.8语音合成模块的流程示意图3.5语音识别模块在手语实时翻译的聋哑人无障碍交互系统中，将语音控制技术与上位机技术结合起来，将发出的语音转换成聋哑人可以理解的文字。为了满足识别的实时性，我们选择了LD3320A作为语音芯片REF_Ref15788\r\h[27]。详细结果如图4.9所示。该系统是飞音云公司开发的一种声音识别系统。这个语音识别模块可以最多识别用户五百多条语音，它可以满足日常对话的需要，与本系统的要求相吻合。图3.9语音识别模块原理图图3.10LD3320A语音识别模块3.6电源模块为方便起见，本设计采用了单独电源的方式。选择了7.4V和1300MAH的锂电池，将其用作外部供电设备REF_Ref2225\r\h[28]。如图4.10中所示可满足聋哑人日常出行需求。图3.11电源供电模块MPU6050姿态传感器原理图语音识别模块原理图手势识别模块原理图

STM32主控原理图WiFi串口原理图

第4章系统软件设计4.1系统软件设计流程图初始化初始化开始语音识别并上传到上位机显示识别到手势？否是图4.1系统主程序流程图该系统的软件设计流程图包括以下四个主要步骤（如上图4.1所示）：1.开始：系统开始启动并进行初始化，并通过传感器获取用户的手势信号。2.初始化：初始化过程中，系统将读入传感器采集到的信号，并对信号进行预处理、滤波和分析，以得到准确的手势数据。3.是否识别到手势：系统根据设定好的手势库对采集到的手势数据进行识别，同时判断是否检测到有效手势，如果检测到有效手势，则进入下一步处理。4.语音识别并上传到上位机显示：系统接着将检测到的手势转化为相应的语音信号，并将语音信号上传到上位机进行显示或其他相应操作，从而实现与聋哑人的交互式通信。在实际实现过程中，系统可以根据用户的需求和特定应用场景进行相应的优化和改进，例如增加用户操作界面、语音控制等功能，并使用机器学习算法对手势库进行优化和扩充，进一步提高系统的交互式性能和用户体验。

4.2手势识别传感器软件设计初始化初始化开始保存结束是否识别到手势输入是否正确否是是否图4.2手势识别模块流程图手势识别传感器软件设计流程图可以分为以下几个步骤（如上图4.2所示）：1.开始：系统启动并进行初始化。2.初始化：传感器进行初始化，并进行数据采集和处理。3.是否识别到手势：传感器采集到手势数据，并识别进行判别，判断是否有有效手势。4.输入是否正确：对于识别到的手势，进行输入的正确性判断，如果输入正确，则跳到下一步；否则跳到第5步。5.保存：将识别失败的手势保存下来以便日后进行优化。6.结束：完成当前检测并等待下一次检测。

4.3语音合成模块软件设计初始化初始化开始喇叭结束是否语音合成输出是否正确否是是否图4.3语音合成模块流程图下面是音合成模块软件设计流程图的主要步骤（如上图4.3所示）：1.开始：系统启动并进行初始化。2.初始化：语音合成模块进行初始化，并加载相应的语音合成引擎。3.是否语音合成：判断是否检测到语音信号的输入，如果有语音信号输入，则进入下一步处理；否则跳到结束。4.输入是否正确：对于语音输入的内容进行正确性判断，如果输入正确，则进入下一步处理；否则跳到结束。5.喇叭：将语音信号通过喇叭或其他音频输出设备进行输出。6.结束：完成当前处理并等待下一次语音输入。

4.4语音识别模块软件设计初始化语音识别初始化语音识别开始结束麦克风设置正确识别是否正确否是是否建立语音命令识别是否正确将识送给执行设备别语音对错误不执行否否是图4.4语音合成模块流程图以下是聋哑人辅助交流系统的音合成模块流程图分析（如上图4.4所示）：1.开始：系统启动并进行初始化。2.初始化语音识别：建立所需的语音识别引擎和处理算法。3.建立语音命令：将用户常用的语音命令建立对应的指令集，例如“打开电视”、“关闭灯光”，以便后续进行匹配和识别。4.麦克风设置是否正确：检测麦克风工作状态，确认麦克风是否设置正确。5.语音识别：对麦克风输入的语音信号进行识别和匹配，判断是否与已建立的语音命令匹配。6.若匹配成功：将匹配成功的语音命令发送给执行设备。7.若匹配失败：不执行，保持原有状态。8.识别是否正确：对于匹配的结果，进行准确性判断，如果正确，则跳到第6步；否则跳到第7步。9.结束：完成当前检测并等待下一次语音输入。4.5姿态传感器软件设计姿态传感器软件设计如图所示：初始化初始化开始结束偏移量显示MPU6050输出角度MPU6050姿态解算MPU6050自检图4.5姿态模块流程图以下是聋哑人辅助交流系统的姿态传感器软件设计分析（如上图4.5所示）：1.开始：系统启动并进行初始化。2.初始化：对姿态传感器进行初始化，并将所需参数进行配置。3.MPU6050自检：自检是用来检测IMU（惯性测量单元）的参考值是否正确，即是否存储正确的参考值或者是否处于正常工作状态。4.MPU6050姿态解算：对原始数据进行加速度计校准，计算陀螺仪的漂移速率，利用卡尔曼滤波算法进行姿态解算，计算当前的姿态信息（如俯视角、翻滚角、偏航角）。5.MPU6050输出角度：将计算得到的姿态角度信息输出到控制台或可视化界面。6.偏移量显示：在可视化界面上显示IMU的偏移量信息，以帮助用户更好地了解IMU的状态和性能。7.结束：完成当前处理并等待下一次姿态传感器数据输入。

第5章实验及结果分析5.1健全人向聋哑人交互整体实验及结果5.1.1实验步骤在本实验中，我们对以上所做出的实物所有的功能进行实验，目的是实现聋哑人与健全人的沟通，将实物拿出健全人向聋哑人做动作或是说话通过上位机转化为文字，使聋哑人能够理解。这些动作都来自中国普通话的基础语言和手势动作，因为要进行的是静止动作，所以我们选择了两种不同的动作，包括两种动作。本研究以4位受试者为研究对象，男女各半平均分，年纪大概在24~30岁。实验开始前，对所选取对象进行数据的采集，所测出的数据会拿来模拟神经网络的训练集。测绘数据的时候，实验者要根据自己的想法来说出语言或做手势。原因是不同的人在做动作时因为每个人的姿势和角度的不同，他们所作出的动作会存在一定的差别。最后，建立了一个人工神经网络的训练集合。启动试验：1.把实验计划和实验经过的程序放在ArduinoIDE中，然后烧录到STM32F103MCU中。2.试验人员佩戴资料手套3.打开两只手的数据手套的电力开关，以向其提供电力4.启动MATLAB，运行MATLAB，把收集到的手语信息传送到MATLAB，通过MATLAB内的神经网络，对收集到的信息进行辨识，最后得出辨识结果。5.在正确地识别之后，MATALB将会显示出相应的手语图像，并将其传递到MATALB中，从而让MATALB的声音通过MATALB来实现。假设实验人员说话或者做出一些简单的动作，那样的话上位机会识别出这个语音或动作相应的文字，上位机会以文字的方式显示出来，显示出来正确是文字就说明这是正确的。5.1.2测试结果分析在一个模糊矩阵中，每个模糊矩阵的行数都对应着一个模糊的分类，每个模糊矩阵的列数都对应着一个模糊的分类。斜线上的单位与正确的分类器相对应。在对角线之外的区域，相应于一个错误的归类。模糊矩阵图表最右侧的一栏代表了每一个分类中，被预测出的是对的和错的分类的比例。这种指示器叫做精确度。模糊矩阵下端的一行是每一种类型中，正确与错误的样本所占的比例。这种指示器一般被称作“召回”。图5.1四位志愿者的识别成功率从图5.1的4个图中可以看到，对几个单手的数字手语和两个双手手语所呈现的识别率还算成功，所有识别率可以到93.8%。但有时我们会把一些手势误认为是别的手势。例如，在辨认手语中，A被误认为手语中的“1”有八次。在做手语3号的试验中，有两次将1号正确归类为1号，2次将4号正确归类为4号。从4名受试者得到的4个模糊矩阵中，1和9的模糊度最大。从手势上来看，1号和9号的手势并没有太大的区别，只有食指的姿势不同，1号手语的时候，食指的姿势是笔直的，2号手语的时候，食指的姿势是弯曲的。综合以上得出的结论，我们可以看到，在面对手型相似的手语时，容易产生识别结果混淆的情况，如图所示，分别是各类手势的识别成功率，总共有30种手势，由图可以明显看出，最大的识别成功率是98%，最小的识别成功率也是91.2%，平均识别率是94.9%。5.2健全人向聋哑人交互模块实验及结果5.2.1实验步骤本研究以正常人与聋哑患者的对话为研究对象，从前面所构建的人声资料库中选取了不同类型的语音，并对其进行了比较。该试验的目标是把健全人的声音转化为统一的手语动画，使其可以听懂，从而实现健全人与聋哑人的交流。本研究以四位受试者为受试者，分别为四位受试者，分别为四位受试者，以排除区域对受试者发音的影响。我们的试验场地为相对较静的房间，噪音没有达到38分贝。不同的动作，不同的实验人员每个都要实验很多次，达到以数量取代质量。全部实验人员必须完成所有指定的测试手势、数字0到5，英文单词比如W或Z，和多个词语比如她，没有，一定，爱国，善良，怨恨，猫，狗，猪，天气，姓名，饭，水和一些生活中常见词汇的识别。当一个声音被发送到一个声音后，该声音被输入到该声音中，并被输入到一个声音中，这个声音就被识别出来了。对4位志愿者每一次的实验准确率进行记录，并对其进行统计，最后计算出志愿者们的平均准确率。5.2.2测试结果分析表5.1不同语音信号识别成功率语音志愿者A志愿者B志愿者C志愿者D093.3%96.7%90.0%90.0%186.7%90.0%93.3%93.3%290.0%93.3%90.0%86.7%386.7%96.7%96.7%83.3%493.3%83.3%83.3%90.0%596.7%86.7%93.3%86.7%Z90.0%93.3%86.7%86.7%W93.3%86.7%90.0%96.7%她86.7%90.0%86.7%93.3%没有96.7%93.3%83.3%86.7%一定93.3%96.7%96.7%96.7%爱国90.0%86.7%90.0%86.7%善良93.3%96.7%93.3%93.3%怨恨96.7%86.7%86.7%90.0%猫90.0%90.0%86.7%86.7%狗96.7%93.3%90.0%90.0%猪90.0%93.3%86.7%96.7%天气86.7%90.0%90.0%96.7%姓名96.7%96.7%93.3%83.3%饭93.3%90.0%86.7%90.0%水90.0%86.7%96.7%86.7%人96.7%90.0%90.0%93.3%相对90.0%93.3%86.7%90.0%心93.3%86.7%93.3%93.3%学习93.3%90.0%86.7%90.0%榜样83.3%93.3%90.0%93.3%柱子90.0%90.0%93.3%93.3%平均识别率91.3%91%90.2%90.7%试验得到的识别率具体如下表5.1，通过所得到的试验结果可以看出，语音识别实验取得了不错的成功，每个实验者的语音识别实验的平均正确识别率为90.8%，最高可达91.3%，这就说明了本文制作的双向交互系统语音识别是可靠的，整体来说，设计的人机交互系统中的语音识别环节可以高效地实现健全人与聋哑人之间的沟通，而且其识别率也比较高，可以很容易地让健全人向聋哑人表示他们想要对聋哑人说的内容，而且还实现了本双向交互系统对双向识别精度的需求。5.3实物功能展示5.3.1手势识别功能手势识别传感器功能实现如下图所示：通过人向手势识别传感器做相应的手势，从而触发手势识别传感器通过上位机显示文字。当正常人对手势识别传感器做向左的手势，上位机将显示向左转的文字。当正常人对手势识别传感器做向右的手势，上位机将显示向右转的文字。当正常人对手势识别传感器做向前的手势，上位机将显示往前走的文字。当正常人对手势识别传感器做向后的手势，上位机将显示往后走的文字。5.3.2姿态识别功能姿态别传感器功能实现如下图所示：通过对姿态的识别上位机端的X，Y，Z轴的偏移量产生变化，在不同角度每个轴的偏移量不同。5.3.3语音识别功能语音别传感器功能实现如下图所示：在我们对语音识别传感器说话时，语音识别传感器会将我们所说的话以为字的方式通过上位机显示出来比如“你好，你好”。5.4本章小结在这一章中，分别介绍了聋人与正常人的互动以及正常人与正常人的互动。在此基础上，本文还对听力正常者与听力正常者之间的互动以及听力正常者与听力正常者之间的互动进行了研究。所选取的实验对象是健康志愿者，根据所得到的实验结果，本文所提出的双向交互系统在手势识别的正确率为94.9%，最高可达98%，在语音识别的正确率为90.8%，最高可达91.3%。通过对听力测试数据的分析，证明了该方法在听力测试中的应用是可行的和有效的。可以有效地解决聋哑人在日常生活中的一些交流难题，从而减轻了手语翻译人员的工作压力，同时也有利于聋哑人等特殊群体更好地与社会主义和谐社会相融合。

第6章结论与展望6.1研究结论为了让聋哑人可以更加积极、乐观地融入到和谐社会中，同时也要解决目前手语翻译人员缺乏以及辅助设备的成本比较高的问题，本文对一种手语实时翻译的聋哑人无障碍的双向交互系统进行了设计和制造。这个系统可以实现聋哑人与健全人之间的双向的沟通，而且这种设备也方便了聋哑人随身携带，而且使用起来也比较简单。本文涉及的内容包含：论文研发了手语同时翻译的聋哑人无障碍双向交流系统。当聋哑人想与健全人交流时，可以制作一副手套，通过通信模块把采集的手语信息发送到MATLAB中，并输出结果，将得到的结果通过串口无线传送到Arduino微控制器，将特征向量对应的语音，使SYN6288语音合成模块发出与手势相对应的声音，从而让健全人可以理解聋哑人的手语。在健壮人与聋哑人进行沟通的时候，健壮人会对语音模块发出声音，LD3320A语音模块会对声音进行识别，在识别成功的时候，会向Arduino微控制器发出一个16进制指令，Arduino微控制器将会收到16进制对应的人体角度22个数据，然后控制3D人体模型做出与其相应的手语动画，让聋哑人能够了解正常人的语音。在手势识别的过程中，应用的是一种以BP神经网络为基础的识别算法，它能够保证良好的手势识别率。在第五章的实验结果中，说明了系统对单手和双手的手语可以达到较好的识别效果。本文建立的可提供聋哑人士即时口译之双向互动系统，集软体与硬体之于一体，成本低廉。将神经网络、语音识别和3D动画技术结合到一起，将聋哑人与健全人进行沟通，从而使本系统的设计与智能外设的特征十分吻合。6.2研究展望基于手势，语音实时翻译的聋人无障碍互动系统的设计与实现，将神经网络技术和语音识别技术用于聋人和正常人之间的交流，并给出了一种系统性的解决方案，这是一种新的应用模式，当前尚处在建立一个完整的双向互动系统框架的阶段，但是因为时间的关系，本课题的研究仍存在着很多的缺陷。没有在云端或手机端上使用BP神经网络训练与识别，离开了电脑的限制，只构建了4种手势和语音识别的数据库，数据库的种类还需要进一步的充实，最终，在对聋哑人手语和健康人语音的识别精度方面还需要进一步的提升。

参考文献谢本齐，江焕，刘又瑜，姜林.基于智能眼镜与云服务的聋哑人交流系统设计[J].现代信息科技，2022,6(23)：151-153.李帅，吴玉蓉.面向聋哑人群的无障碍交流辅助系统设计研究[J].物联网技术，2022,12(11)：113-116.李辉.聋哑人无障碍交流创意产品设计[J].电子技术与软件工程，2022(05)