基于深度学习的个性化中文手语翻译系统的设计与实现

PAGEIII基于深度学习的个性化中文手语翻译系统的设计与实现摘要手语是聋哑人与外界沟通的重要桥梁。现有手语识别系统大多采用固定标签和标准模型，难以满足用户的个性化表达需求，且实际交互体验有限。本文设计并实现了一种基于深度学习的个性化中文手语翻译系统，支持用户自定义标签、采集图片并快速训练专属模型。系统核心采用MediaPipe关键点检测和多层感知机(MLP)模型，实现了手部关键点的高效提取与手语动作的实时识别。通过数据标签自动拼音映射、多标签管理和一键切换系统/用户模型，简化操作流程，提高数据一致性和易用性。系统界面基于PyQt开发，实现了采集、训练、识别和语音播报等全流程可视化与人性化交互。测试结果显示，该系统在少量样本下也能实现高效准确的个性化手语识别，并具备较好的实时响应能力。整体方案满足个性化、低门槛和易交互等多重需求，为无障碍交流提供了新的技术路径。关键词：手语识别，深度学习，个性化训练，关键点检测，人机交互

ABSTRACTSignlanguageisanimportantbridgeforcommunicationbetweendeafmuteindividualsandtheoutsideworld.Mostexistingsignlanguagerecognitionsystemsrelyonfixedlabelsandstandardmodels,whichfailtomeetusers’needsforpersonalizedexpressionandprovidelimitedinteractiveexperience.ThispaperdesignsandimplementsapersonalizedChinesesignlanguagetranslationsystembasedondeeplearning,enablinguserstocustomizelabels,collectimages,andquicklytrainexclusiverecognitionmodels.ThesystemutilizesMediaPipekeypointdetectionandamultilayerperceptron(MLP)modeltoachieveefficienthandkeypointextractionandrealtimegesturerecognition.Byintroducingautomaticpinyinmapping,multilabelmanagement,andoneclickswitchingbetweensystemandusermodels,dataconsistencyandeaseofusearesignificantlyenhanced.TheGUIisdevelopedusingPyQt,supportingendtoendworkflowsincludingdatacollection,training,recognition,andspeechfeedback,thusofferingauserfriendlyinteractiveexperience.Testresultsdemonstratethatthesystemachievesefficientandaccuratepersonalizedsignlanguagerecognitionevenwithsmallsamplesizes,andensureslowlatencyrealtimeperformance.Theoverallsolutionfulfillstherequirementsofpersonalization,easeofuse,andintuitiveinteraction,providinganoveltechnicalapproachforbarrierfreecommunication.Keywords:signlanguagerecognition,deeplearning,personalizedtraining,keypointdetection,humancomputerinteraction

目录TOC\o"1-2"\h\z\t"标题3,3,标题4,4"27002摘要 I377ABSTRACT II18852第1章绪论 120111.1课题背景与意义 1295681.2国内外研究现状 1159741.3主要工作与创新点 2292171.4论文结构安排 28157第2章相关技术与理论基础 1269622.1手语识别技术发展与挑战 1196212.2关键点检测与特征提取 1318802.2.1MediaPipe关键点检测原理 1216282.2.2特征提取流程 2302642.2.3数据预处理 3130352.2.4特征提取模块实现与优化 3314982.3基本模型原理 4154152.3.1网络结构与参数 4121632.3.2模型数学表达与损失函数 6263282.4交互式界面开发技术 6112892.4.1PyQt开发原理及主要控件 6322022.4.2交互流程与界面设计 7150542.4.3交互创新点与亮点 727178第3章系统需求分析 8293863.1功能需求 8304663.2用户体验与交互需求 8106283.3可扩展性与创新性需求 918481第4章系统设计与实现 10119024.1系统总体架构与工作流程 10178714.1.1系统功能模块图 10116834.1.2用户用例图 1019234.1.3系统总体架构图 11137614.1.4系统总体流程图 12265234.2数据采集与标签管理模块 1430074.3特征提取与数据预处理模块 16255844.4模型训练与切换模块 18308344.5实时识别与语音反馈模块 20253064.6关键设计要点与技术创新 2128233第5章系统测试与结果分析 22257845.1测试环境与工具 2233655.2功能与交互测试 22120025.2.1测试目标 22322735.2.2主要测试用例 2289565.2.3测试过程与方法 39117175.3性能与准确率测试 39199655.3.1识别延迟与训练耗时 39256105.3.2准确率分析 40216195.3.3损失率分析 4126494第6章总结与展望 43199016.1主要工作与创新总结 4362216.2不足与改进方向 43282546.3未来展望 44473结论 458592参考文献 18801致谢 2PAGE7第1章绪论1.1课题背景与意义聋哑人作为特殊交流群体，其与外界沟通的障碍在社会生活、公共服务和日常交流中仍然普遍存在。手语作为主要的交流方式之一，是连接聋哑人与健听人群沟通的重要桥梁。然而，手语翻译在实际应用中仍存在诸如标准化、实时性和易用性等难题。目前，主流手语翻译方案主要分为两大类：一是依赖硬件传感设备（如手语手套），虽然能采集较精确的动作信息，但存在佩戴繁琐、舒适性差、价格昂贵等现实问题；二是基于视觉识别的AI软件方案，其普及性和易用性较好，但对实时性、准确率、定制化程度和实际应用场景的适应性仍有待提升。我国在人工智能与深度学习推动下，智能手语翻译技术取得初步进展，如央视推出的AI数字人手语翻译官、腾讯优图的AI手语翻译器等产品，积极推进信息无障碍建设。然而，现有系统大多只解决了“让聋哑人听见世界”的问题，即输出口语或文字，并未真正实现“让世界听见聋哑人”的双向无障碍、个性化交流。此外，手语的表达具有明显的地方性与个体差异，强制统一标准会提升用户使用成本，影响推广。本课题旨在设计一种基于深度学习的个性化中文手语翻译系统，允许用户自定义训练手语样本，实现个性化表达的高效翻译，从而促进信息无障碍社会的进步，具有显著的理论意义与现实意义。1.2国内外研究现状近年来，国内外在手语翻译系统领域展开了广泛研究。国外起步较早，相关技术多依托卷积神经网络、循环神经网络、多模态传感等进行手语识别与翻译。REF_Ref30184\r\h[1]国内典型工作如冼煜峰等提出的基于卷积神经网络的孤立词手语翻译系统，已将其应用于Android手机端。REF_Ref30716\r\h[2]然而，CNN模型体积庞大，对移动设备资源消耗大，对用户来说使用负担大，难以满足普通用户需求。硬件传感类的翻译系统如手语识别手套，虽然能较为精准地捕捉手部动作，但存在佩戴不便、造价昂贵、不适合日常使用等缺点。REF_Ref30987\r\h[3]多模态实时推理系统虽然性能强劲，但在无GPU加速设备下实时性难以满足实际对话需求，而云端服务高昂的计算成本限制了广泛部署。REF_Ref31101\r\h[4]在产品层面，央视AI数字人“手语翻译官”方案为聋哑人在公共场合听见世界、获取信息提供了良好途径，但并未实现让聋哑人便捷地用手语表达思想并被健听人理解的目标。REF_Ref31313\r\h[5]REF_Ref31323\r\h[6]腾讯优图的AI手语翻译器能够将录制的手语视频转化为文字，但不支持实时语音输出，限制了沟通效率。REF_Ref31398\r\h[7]国内主流的CSL手语数据集虽然权威，其标准化手语覆盖面广，但手语语言本身多样性强，方言众多。用户若需迁就官方标准，需经历额外适应学习，这无疑提高了沟通门槛，对推广造成阻碍。总体来看，现有研究与产品多聚焦于标准化、单向、非定制的手语翻译，缺乏对用户个性化需求的深入挖掘与适配。1.3主要工作与创新点针对现有手语翻译方案的不足，本文结合深度学习、实时计算与交互设计，提出并实现了一种兼具个性化、实用性与低门槛的中文手语翻译系统。主要工作及创新点如下：引入用户自定义手语样本训练机制：允许不同用户根据自身使用习惯自定义手语动作，减少对统一标准的依赖，增强系统适应性。优化特征提取算法，提升移动端实时性：采用轻量级深度学习骨干网络，结合MediaPipe关键点检测，实现低资源消耗的手语特征提取与实时识别。提供多模态输出与交互体验：识别结果支持文本、语音等多种输出形式，让健听人与聋哑人之间能实现自然、高效、双向沟通。实现低门槛的数据采集与标签管理界面：通过图形化界面简化手语样本采集与管理流程，降低用户上手难度。灵活支持多模型切换与管理：支持用户模型和系统模型的灵活切换，便于不同场合和用户适配使用。1.4论文结构安排本文结构安排如下：第一章绪论：阐述课题背景与意义，归纳国内外研究现状，介绍本文主要工作与创新点，以及全文结构。第二章相关技术与理论基础：系统梳理手语识别所涉及的深度学习、特征检测与交互技术等理论基础。第三章系统需求分析：明确系统的功能、用户体验和扩展性等多维度需求。第四章系统设计与实现：详细介绍系统方案设计、核心功能模块实现过程与关键技术难点。第五章系统测试与结果分析：开展系统功能、性能与用户体验等方面的测试，并分析结果与不足。第六章总结与展望：总结全文工作，提出进一步完善和应用推广的第2章相关技术与理论基础2.1手语识别技术发展与挑战手语识别技术的发展过程可分为基于硬件传感器的识别、基于图像处理的识别以及深度学习驱动的视觉手语识别。传统方法多依赖传感器或肤色分割算法，虽然在一定程度上能够采集手部运动信息，但普遍存在佩戴不便、舒适性差和造价高昂的问题。随着人工智能与计算机视觉的进步，基于深度学习的视觉手语识别逐渐成为主流方向。利用摄像头采集手部动作，通过关键点检测与神经网络进行特征学习与分类，有效提高了识别的准确率和实用性。然而，当前手语识别仍面临若干挑战：手语本身存在丰富的方言和个性化表达形式，标准手语覆盖面有限，难以满足所有用户需求；实际交互中，识别系统对实时性和鲁棒性有较高要求，尤其是在低样本和移动端场景下。此外，用户界面的交互性和友好性直接影响普及与推广。因此，开发支持自定义训练、低延迟、易用且高适应性的手语识别系统成为一个值得研究的方向。2.2关键点检测与特征提取2.2.1MediaPipe关键点检测原理MediaPipe是由Google推出的开源多媒体处理框架，而其中的手部关键点检测模块，则如同赋予了计算机一双“慧眼”，能够敏锐地捕捉和解析手部的细微动作。从摄像头拍摄到的RGB图像开始，系统首先会对图像进行归一化处理，并调整到合适的分辨率，为后续分析打下基础。接着，轻量级的卷积神经网络负责快速提取手部区域的特征，精准地在复杂背景中定位出手部的所在位置。紧接着，经过全连接层的计算，系统可以高效地回归出手部21个关键点的三维坐标——也就是每个位点在空间中的(x,y,z)数值。而在整个流程的最后一步，MediaPipe还会对这些原始检测结果进行平滑处理和归一化操作，从而保证输出数据的稳定、可靠，为后续的人手势分析和应用提供坚实基础。MediaPipe是由Google推出的开源多媒体处理框架，其手部关键点检测模块能够实时、准确地检测手部21个关键点的位置。在我们的系统中，我们利用MediaPipe提供的这一能力，将其作为特征提取的前端，为后续的MLP分类器提供输入数据。

图2.1MediaPipe手部关键点检测流程示意图2.2.2特征提取流程在整个系统的特征提取过程中，首先要做的，是通过摄像头实时捕获用户的手语动作，这为后续分析提供了第一手的视觉信息。随后，系统会调用MediaPipe工具，对画面中的双手进行检测，精确地标记出每只手上21个关键点的位置。接下来，我们将每个关键点的(x,y)坐标提取出来，将全部坐标依次拼接，最终形成一个包含84个元素的特征向量，全面刻画了双手的空间结构。最后，这组特征数据还会经过归一化处理，让不同帧的特征向量都处于统一的数值范围，从而保证后续模型训练和识别的准确性与稳定性。

图2.2特征提取流程图2.2.3数据预处理在数据预处理环节，为了提升模型的鲁棒性和泛化能力，系统采用了多项策略。首先，会对所有关键点的坐标进行归一化处理，将它们缩放到[1,1]的区间，这样可以有效降低不同图像分辨率等外部条件差异带来的影响。其次，通过旋转、平移等方式对原始数据进行增强，既扩充了训练样本，又让模型能够适应更多变化的输入场景。最终，所有处理后的特征数据与相应的标签被一一对应地保存为npz文件，方便后续的模型训练和推理过程高效调用。2.2.4特征提取模块实现与优化特征提取模块的实现也充分考虑了效率和稳定性。整个过程依托MediaPipe技术，结合多线程并行处理，实现了特征提取和模型推理的同步推进，大大降低了系统响应的延迟。在鲁棒性方面，模块设置了关键点检测的置信度阈值，自动过滤掉低质量或不可靠的检测结果，从而保障输出的一致性和准确性。针对长时间运行的需求，系统采用了流式数据处理方式，有效管控内存使用，保证了系统在各种工作场景下都能稳定运行。经过多轮功能、性能与集成测试，这一模块已经证明能够适应不同的光照条件和手部角度变化，具备较强的实用性和适应性。

图2.3特征提取模块结构图2.3基本模型原理本系统核心的手语识别功能，依托于多层感知机（MLP,MultiLayerPerceptron）作为基础模型。MLP属于典型的前馈神经网络，由输入层、若干隐藏层和输出层依次连接而成。其强大的多层非线性映射能力，使其能够高效学习和区分各类复杂的手语动作模式，因此非常适合应用在本项目中。2.3.1网络结构与参数1.网络拓扑结构MLP模型采用四层结构，输入层接收84维特征向量（双手关键点坐标），经过三层隐藏层（643216个神经元）的逐层特征提取，最终通过输出层（N个神经元）输出各手语类别的概率分布。每层隐藏层均采用ReLU激活函数增强非线性表达能力，输出层使用Softmax激活函数确保概率分布。2.参数配置注：N为手语类别数，总参数量为8,048+17N表2.1网络结构参数配置3.特征组织表2.2特征向量构成表4.性能分析本模型在性能方面具有良好的表现，具体而言：理论计算复杂度：前向传播：O(84×64+64×32+32×16+16×N)训练复杂度：O(batch_size×参数量)推理复杂度：O(参数量)整体来看，模型参数量适中，举个例子，N=11时总参数量约为8,235，在兼顾模型表达能力的同时有效控制了计算负担。与此同时，该模型结构紧凑，非常适合小样本学习任务，并支持实时推理，能够满足实际应用场景对高效响应的需求。此外，模型结构简洁，便于个性化定制与扩展，具有良好的应用灵活性和实际推广价值。图2.4MLP网络结构示意图2.3.2模型数学表达与损失函数假设输入特征x∈R84，即每一帧手势动作都被编码成一个84维的向量，而分类的手语类别总数为N，那么多层感知机（MLP）模型的各层计算过程可以这样描述：首先，输入向量x会被送入第一隐藏层，通过权重W1和偏置b1进行线性变换后，施加ReLU激活函数，得到中间特征h1，即ℎ1=ReLUW1x+b1#2.1

然后ℎ2=ReLUW2ℎ1+b2y=SoftmaxW3ℎ2+b3L=−2.4交互式界面开发技术2.4.1PyQt开发原理及主要控件系统的图形界面采用PyQt实现，借助丰富的Qt控件库，为用户提供了简洁直观、跨平台的桌面应用体验。PyQt的信号与槽（Signal&Slot）机制，使得界面上的各种控件和后台业务逻辑解耦，极大提高了程序的灵活性，也方便了对多线程、定时器和事件驱动等功能的支持。在具体实现上，主界面基于QMainWindow，整合了菜单栏、工具栏以及状态栏等常用界面元素。标签下拉菜单（QComboBox）既可管理多种标签，也支持用户自定义输入。图片采集按钮（QPushButton）让用户能够便捷采集和保存手语样本。采集的图片和识别结果会分别通过QLabel或QTextEdit组件实时展示。同时，系统还集成了语音播报模块，可将识别结果直接通过中文语音进行反馈，进一步提升交互体验。2.4.2交互流程与界面设计用户首先登录或注册后进入主界面，可以选择已有标签或自定义新标签，然后点击采集按钮，快速完成对应类别的样本采集。所有采集数据都能批量提取特征，并直接驱动MLP模型进行训练，模型参数自动保存，省去繁琐手动步骤。在识别环节，用户可以一键切换应用系统自带模型或个人专属模型，方便灵活。整个过程中，每一步操作都有明确的进度提示、错误提醒和结果反馈，显著提升用户的便利性和体验感。

图2.5系统交互流程图2.4.3交互创新点与亮点本系统在交互设计上也有不少创新。例如，支持中文手语标签自动转化为拼音实现一键建档，并提供多标签灵活管理功能，极大地方便了个性化定制。核心流程通过一键式集成，简化了采集、训练和识别等各环节操作，降低了使用门槛。除此之外，系统实现了识别结果的实时展示和语音播报，使用户能够获得视觉和听觉的双重反馈。人性化的错误提示和进度反馈机制，则有效减少了误操作，进一步提升了整体的易用性和稳定性。

图2.6系统主界面布局示意图第3章系统需求分析3.1功能需求为实现基于深度学习的个性化中文手语翻译系统，必须针对目标用户和实际应用场景，确立以下核心功能需求：自定义手语数据采集用户可根据自身表达习惯，自由添加和管理手语标签。系统支持摄像头实时采集手势图像，简化操作流程，便于不同手语派别、方言用户自定义样本。高效特征提取与样本标注系统自动对采集到的手语图像进行关键点检测与特征提取，并关联用户自定义标签，实现数据收集与标注的无缝集成。快速个性化模型训练支持用户一键启动个性化模型训练，由采集样本生成专属识别模型。用户无需专业背景即可完成训练任务，最大程度降低使用门槛。实时手语识别与结果输出系统可稳定实现摄像头下的实时手势识别，将检测到的手语动作准确转化为文字，并同步通过语音播报功能输出识别结果，实现多模态信息反馈。多模型灵活切换与管理提供系统内置模型与用户自定义模型间的快捷切换，使用户可根据需求选择最适配的识别效果。同时支持模型的保存、导出与重载，方便数据管理与迁移。易用性与安全性界面友好，支持一键操作；数据及模型加密存储，保证用户隐私及数据安全。3.2用户体验与交互需求针对目标用户（包括聋哑人士、特殊教育工作者及普通健听用户），系统需从易用性与人性化角度，提出如下体验与交互要求：简洁直观的操作界面采用图形化界面，模块布局清晰，功能入口明确。用户无需复杂学习也能完成从采集、训练、识别到结果输出的全流程操作。全流程进度与反馈提示系统各阶段均有明确的操作提示、进度条和结果反馈，包括数据采集、模型训练、识别输出及错误提示，便于用户追踪进度、纠正操作。多模态交互体验识别结果以文字与语音形式同步输出，兼顾视觉及听觉体验，为不同需求用户提供信息无障碍服务。快捷的数据标签管理支持多标签管理、一键拼音转写、自定义标签编辑，方便用户个性化分类与检索样本，降低管理负担。低延迟与高响应性系统具备实时识别能力、低响应延迟，便于日常互动和实际应用，提高应用的即时性和实用价值。3.3可扩展性与创新性需求为满足未来系统升级、功能拓展与多元应用场景，系统还需具备以下可扩展性与创新性目标：模块化与可拓展框架设计系统结构应采用模块化设计，各功能模块（如特征提取、模型训练、识别、交互界面等）可独立升级、替换和扩展，便于后期集成新算法或硬件环境适配。兼容多种手语派别与表达习惯系统支持多区域、多流派手语的自适应训练与识别，兼容更多聋哑人士的表达方式，提升社会适用性。支持远程协作与云部署后续可拓展云端训练和识别服务，实现数据与模型的远程协作管理，便于大规模用户推广及教育应用。交互方式创新和智能融合探索与语音识别、语音合成、表情识别等更多感知方式的融合交互，提升系统创新性与智能化水平。数据和模型安全机制设计完善的数据加密与模型访问控制机制，保证个性化样本和用户隐私安全，为系统推广和可信应用保驾护航。第4章系统设计与实现4.1系统总体架构与工作流程本系统整体架构高度模块化，主要由数据采集与标签管理、特征提取与数据预处理、模型训练与切换、实时识别与语音反馈、界面交互五大核心模块组成。各模块之间通过标准化的数据文件进行协作，包括图片、特征npz文件、labels.csv标签文件和模型权重文件。这样设计可有效隔离数据与控制流，便于模块独立升级与维护。用户使用PyQt界面，从标签采集、特征处理、模型训练、到一键识别和语音反馈，可以顺畅完成闭环体验，所有功能通过界面操作一体化串联实现。4.1.1系统功能模块图为了帮助理解本系统的功能分布，图4.1展示了系统的主要功能模块及其相互关系。图4.1系统功能模块图4.1.2用户用例图图4.2以用例图的形式直观呈现了用户与系统各功能之间的交互方式。图4.2用户用例图4.1.3系统总体架构图图4.3给出了本系统高度模块化的总体架构以及各核心模块之间的协作关系。图4.3系统总体架构图4.1.4系统总体流程图为展示系统的整体运行流程，图4.4详细描绘了各模块在实际工作中的顺序与流程衔接。图4.4系统总体流程图4.2数据采集与标签管理模块对于需要提前训练的系统模型而言：数据来源为一个大小为16GB的公开自采视频数据集，包含11类手语的视频文件及标签文件。先由以mediapipe为主要技术手段的data_preprocess脚本对原始视频进行关键点提取，得到特征文件，再和标签文件一起参与后面的训练环节。由于原始视频占内存过大，所以项目仅保留特征文件和标签文件。对于用户可以自行采集数据进行关键点提取和训练的自定义模型而言：在主界面，用户可以通过下拉菜单选择已有标签，或直接输入新的中文标签。系统自动将中文标签转换为拼音，并创建对应的图片存储目录。点击“采集图片”后，摄像头开启实时预览，用户可以多次采集照片，所有图片按编号存储于相应拼音文件夹。每当有新的手语标签添加时，系统会自动将其纳入标签下拉菜单，并实时同步更新labels.csv，保证标签内容与采集数据完全一致。所有标签信息（包括ID、中文名称和拼音映射）统一由labels.csv管理，系统支持标签的添加、删除、修改和查询，确保标签与实际数据严格对应。用户数据分目录存在user_data/用户名/下，标签、原始图像、特征文件和模型参数分门别类，便于检索和迁移。为展示数据与标签管理模块的整体运行流程，图4.5详细描绘了各操作在实际工作中的顺序与流程衔接。图4.5数据与标签管理流程图4.3特征提取与数据预处理模块对于系统模型：在本系统的数据预处理阶段，针对自采的16GB、涵盖11类手语动作的视频数据库，采用了数据预处理脚本进行自动化特征提取与增强。该脚本以MediaPipe为核心技术，对每一类手语的视频文件逐帧处理，自动检测双手的21个关键点，并将其平面坐标（x,y）提取出来。对于每一帧，系统会对左右手关键点进行统一处理，并通过landmark_handle函数进行标准化，确保特征的一致性。为保证特征向量长度统一，脚本对每帧的关键点数据进行了补齐或截断，始终保持84维的特征向量（双手共42个关键点，每点2维）。在此基础上，脚本还实现了数据增强：对每组特征数据进行左右翻转，扩充样本数量，提高模型的泛化能力。所有处理后的特征数据会以高效的.npz压缩格式分别保存，便于后续模型训练和调用。对于用户自定义模型：每当用户完成采集后，只需点击“特征提取”，系统便自动批量读取images目录下的所有照片。对于每张图片，系统利用MediaPipe检测双手21关键点，缺失部分自动补零，提取得到每张图片的84维关节点特征。特征提取后，系统将所有坐标统一归一化到[1,1]区间，从而消除人物体型、角度、远近等非手势本质因素对模型训练的影响。此外，在训练准备阶段系统支持对数据样本进行增强，比如手势的水平翻转、平移等操作，以提升模型的小样本泛化能力。所有特征与标签严格按照labels.csv中拼音映射匹配，并统一批量保存至features.npz，方便后续训练过程一键加载。特征提取过程支持多线程异步，确保界面流畅并发，处理过程中对低置信度关键点自动过滤，避免无效或异常检测值影响训练与识别。在特征提取阶段，系统会批量读取用户采集的所有分组图片，并结合labels.csv进行标签的自动匹配。每张图片用MediaPipe提取手部关键点，拼成定长特征向量，与拼音标签一一对应，最终批量生成特征集合和标签集合，便于后续训练。为展示特征提取与数据预处理模块的整体运行流程，图4.6详细描绘了各操作在实际工作中的顺序与流程衔接。图4.6特征提取与数据处理流程图4.4模型训练与切换模块对于系统模型训练：首先，系统自动加载features.npz文件，并采用train_test_split方法将全部样本按8:2比例随机划分为训练集和验证集，从数据层面保证训练与评估的独立性和分布均衡。数据加载阶段结合PyTorch的DataLoader框架实现批量（batch）训练，大幅提升了训练的效率和稳定性。训练阶段采用多层感知机（MLP）结构，输入层为84维关键点特征，隐藏层结构为128、64、32个神经元，分别配备ReLU激活、BatchNorm和Dropout（0.3）机制提升泛化能力，最后输出层节点数与标签类别数一致。训练参数设置为：使用AdamW优化器，初始学习率为1e3，每训练5个epoch后自动衰减为原来的一半；批量大小为32，训练总轮次为50轮。损失函数选用交叉熵损失（CrossEntropyLoss），训练日志及可视化数据实时写入./logs目录用于TensorBoard追踪。每轮训练后，系统会分别在训练集和验证集上计算损失和准确率，并将结果实时记录，当验证集准确率超过历史最高值时自动保存当下模型参数到model_best.pth，确保后续推理使用最优模型。值得一提的是，训练过程中还集成了数据增强策略（如手势水平翻转）以进一步提升模型泛化。对于自定义模型：自定义模型训练则设计为更加灵活创新的功能，主要面向小样本用户自定义标签场景。用户可在界面通过一键采集、自动特征提取后，直接点击“训练模型”即可实现自有标签的全流程自定义训练。系统会基于用户采集的极少量样本，构建更轻量级的MLP模型（输入层84维，隐藏层为64、32、16个神经元，适合N类别）。模型网络参数和训练流程针对小样本场景进行了优化，虽然受限于样本量和用户本地算力，模型精度难以达到系统大模型水平，但它打通了自定义标签、快速采集关键点、自动训练和即刻部署的全链路，极大提高了系统的灵活性、可玩性和定制性。每次自定义训练的全过程对用户都是一键式的体验，最终模型参数会自动归档到user_model.pth文件，系统支持界面一键切换当前使用模型。对于用户自定义的新标签，系统支持一键采集特征和一键启动轻量级模型训练。模型类别数自动适配，训练完成后，模型可在前端界面实现一键切换。为展示特征提取与模型训练与切换模块的整体运行流程，图4.7详细描绘了各操作在实际工作中的顺序与流程衔接。图4.7系统模型与自定义模型训练与切换流程图4.5实时识别与语音反馈模块系统在推理阶段会自动加载当前激活的模型参数并初始化摄像头，采用多线程机制并行执行帧采集、关键点特征提取和模型推理。每帧视频经过特征提取后输入模型，模型推理得到分类编号，随即在界面中实时展示识别文本结果。同时，识别结果也会输入QTextToSpeech语音播报模块，在线合成中文语音，并支持用户界面调节音量、语速、语音风格等参数。系统具备自动音量调节、噪声抑制等能力，确保在不同环境下都能清晰播报。所有实时环节通过异步缓存调度优化帧率与延迟，保证推理过程平滑、交互体验良好。为了实现无延迟的手语识别体验，系统采用多线程或异步队列分别负责摄像头采集、特征提取、模型推理和语音播报，保证每一环节高效协同与及时响应。为展示实时识别与语音反馈模块的整体运行流程，图4.8详细描绘了各操作在实际工作中的顺序与流程衔接图4.8实时识别与语音反馈流程图4.6关键设计要点与技术创新本系统以数据驱动和模块解耦为设计主线，所有手势标签、图像、特征和模型参数均通过拼音实现全流程唯一映射，确保数据一致性和管理便利性。系统模型训练流程专业完整，具备批量特征划分、PyTorch加载、数据增强、自动最优模型保存等工程能力。自定义训练功能创新打通了个性化标签采集、特征自动提取和轻量模型一键训练全流程，显著提升了实用性和定制性。系统全面采用多线程架构分离计算与界面，与数据文件标准、接口规范一同为未来支持扩展（如云端训练、多模态输入等）提供了坚实基础。第5章系统测试与结果分析5.1测试环境与工具为全面评估系统的功能正确性、交互体验及性能表现，系统测试主要在以下软硬件环境下进行：硬件环境：

Inteli5/i7处理器，8GB及以上内存，笔记本初始摄像头（30fps）。软件环境：

Windows11操作系统，Python3.9，PyQt5，MediaPipe，PyTorch，pyttsx3等相关库与依赖。测试工具与方法：

采用PyQt界面自带测试、命令行日志，以及手动与自动化脚本相结合；各模块测试过程中有详细日志记录和异常采集。表5.1测试环境及核心依赖5.2功能与交互测试5.2.1测试目标验证各功能模块能否正常运行、输入输出是否合理、交互流程是否流畅，以及操作的易用性和整体用户体验。5.2.2主要测试用例用户注册/登录流程测试现在开始用户注册流程测试：输入未登记过的一组用户名和密码：用户名susan，密码333333。点击注册按钮，提示注册成功。图5.1注册页面截图打开user_data文件夹，发现susan文件夹已创建。图5.2文件管理器中的用户文件夹截图打开users表单，可以看到一一对应的用户名密码信息，其中密码使用哈希加密。图5.3users表单截图现在开始测试登录流程：输入刚才注册时的那组用户名和密码，点击登录按钮，提示欢迎susan，登录成功。图5.4登录成功截图跳转到模式选择界面。图5.5模式选择界面截图标签自定义与管理（增删改查）测试现在开始标签自定义与管理测试：从模式选择界面单击自定义手语翻译采集按钮，来到自定义手语翻译采集界面。点击标签管理按钮。图5.6自定义手语翻译采集界面截图现在开始演示添加操作。在下拉菜单栏中选择“添加”操作。图5.7标签管理界面截图在文本输入框中输入中文自定义标签。图5.8输入自定义标签界面截图提示添加成功。图5.9新标签添加成功截图打开文件管理器查看是否真的添加到susan的labels表单中，发现已经添加成功，添加操作成功。图5.10labels表单截图现在开始演示删除操作。点击标签管理按钮，在下拉菜单中选择“删除”。然后在下拉菜单中选择要删除的标签，由于我们是新建的账户，暂时只有演示时添加的一条标签，所以我们直接选择删除你好即可。图5.11删除标签操作界面截图提示“你好”已删除。图5.12删除操作成功截图进入文件管理器对应susan的表单查看是否真的删除，发现已删除，删除操作成功。图5.13labels表单界面删除操作后截图现在开始演示修改操作。单击标签管理，在下拉菜单中选择“修改”操作，在弹出的修改操作框中，滑动下拉菜单，选择要修改的标签。图5.14修改标签操作界面截图选择要修改的标签，这里我选择了“赞啊”。图5.15修改标签操作界面选择目标操作标签截图在文本输入框中输入想要修改的内容，点击确认提交修改。图5.16修改标签截图提示标题已成功修改为“真厉害”。图5.17标签修改成功截图打开文件管理器对应表单，检查是否修改成功。发现二号标签已经变成“真厉害”，修改操作成功。图5.18表单界面已修改标签成功截图现在开始演示查找操作。由于使用表单储存标签信息，所以可以直接使用表单工具查找对应的标签。图5.19表单查找操作界面截图图片采集与分类存储测试让我们回到用户susan的第一个标签“你好”还没删除的时间线。此时我们刚刚添加了标签，但还没采集图片。推荐每一个标签重复采集多张不同角度、不同光线下的同一手势，这样可以提高模型的识别准确率。不过这里只做演示，仅采集两张。单击图片采集按钮即可采集当前摄像头框的图片，成功后提示图片保存路径。图5.20图片保存成功界面截图打开对应路径查看图片是否真的保存成功：图5.21文件管理器对应路径截图点开发现确实保存成功了，“你好”中文标签被自动转成了拼音，并被同名文件夹包裹，这样有助于反复在同一个标签下补充多样化的手势图像资料。图5.22保存成功的图片在目标路径下截图特征提取与npz文件生成现在开始展示特征提取功能。未进行特征提取前，最下方显示“已采集0条样本”。这是因为数字代表的是已经进行过特征提取，产生了npz格式文件的样本数。单击特征提取按钮即可进行特征提取，成功后提示特征提取完成。图5.23特征提取成功截图与此同时，控制台会输出特征提取处理信息。图5.24后台特征提取过程信息截图打开文件管理器检查是否成功生成npz格式文件。发现已成功生成，特征处理操作完成。图5.25文件管理器用户文件夹下成功生成特征文件截图再回到本界面，可以发现已采集样本数变成2了，这是因为刚刚采集了两张图片。图5.26成功采集两条数据截图模型训练与模型切换单击模型训练按钮即可一键完成模型训练。图5.27模型训练成功截图同时控制台输出关于训练过程的信息。图5.28后台模型训练过程信息截图打开文件管理器查看是否有pth格式文件出现，发现有，模型训练操作成功。图5.29文件管理器发现成功生成用户模型截图在模式选择界面单击“预设手语翻译模式”按钮，来到手语翻译界面，默认使用已经训练好的系统模型，但可以在上方下拉条切换使用的模型。图5.30下拉菜单切换模型界面截图实时手语识别与语音播报现在开始演示实时手语识别功能：点击开始翻译，打开摄像头，开始整个流程。图5.31预设系统模型手语实时翻译界面截图摄像头框内实时跟踪显示手部关键点信息，中间显示识别结果。如图所示，当前手语为再见。图5.32开始翻译后系统模型实时翻译截图上方下拉菜单可切换模型进行识别。自定义模型识别展示。当前手语为我不舒服图5.33切换自定义模型实时翻译截图系统模型训练成果展示。图5.34系统模型训练成果展示图点击暂停识别即可暂停实时识别和语音播报。识别全程都有语音播报，可以在下面的音量处滑动调节音量大小。图5.35点击暂停实时翻译截图5.2.3测试过程与方法测试采用“功能点”逐项手动操作为主，部分流程用截图和日志自动化工具辅助。每项功能测试后，记录“通过/未通过”及BUG/异常描述。示例见表：表5.2功能与交互关键点测试结果结论：系统所有功能模块测试均通过，实际操作与设计一致，界面无死卡或逻辑漏洞，交互体验流畅。5.3性能与准确率测试5.3.1识别延迟与训练耗时单帧识别延迟测试方法：启动实时识别后，摄像头每采集一帧，系统记录特征提取+模型推理耗时，连续采集20帧取均值。测试结果：首帧因模型和MediaPipe初始化延迟为50.18ms，后续每帧平均仅13.11ms。现象分析：首帧为初始化开销，后续极为流畅，用户无感知。结论：单帧识别延迟远低于实时系统的100ms阈值，完全适合实时对话。图5.36单帧识别延迟分布曲线模型训练耗时测试方法：21个样本，训练20轮，逐轮统计训练耗时。测试结果：首轮训练0.03s，后续单轮几乎为0.00s，总耗时0.08s。现象分析：样本体量小，参数量适中，适合即点即训在线体验。结论：个性化模型训练无需等待，满足随采随训的交互需求。图5.37每轮训练耗时分布曲线5.3.2准确率分析训练集（Accuracy/train）：训练准确率在前5个epoch内快速上升，并很快接近1（几乎100%），随后保持在一个非常高且稳定的水平，说明模型能够很好地拟合训练集数据。图5.38训练集accuracy曲线验证集（Accuracy/val）：验证集准确率的变化趋势与训练集十分接近，同样在短时间内迅速提升到接近1，并在后续epoch中保持高水平。这表示模型不仅对训练数据拟合良好，对未见过的验证集数据同样表现优异，几乎没有过拟合迹象。注：是系统模型的准确率数据，用户自定义模型由于数据样本量小缺乏参考性。图5.39验证集accuracy曲线5.3.3损失率分析训练集（Loss/train）：训练损失在头几个epoch内迅速下降，从较大的初值降低到接近于0，并在随后的训练中基本趋于平稳，表明模型在不断学习并最小化损失函数。图5.40训练集loss曲线验证集（Loss/val）：验证集损失同样在前几个epoch内明显下降，随后保持较低的水平。中间略有波动，但很快又恢复平稳，进一步说明模型的泛化能力较好，没有出现明显的过拟合（比如验证损失反而随训练继续而上升的现象）。注：是系统模型的准确率数据，用户自定义模型由于数据样本量小缺乏参考性。图5.41验证集loss曲线第6章总结与展望6.1主要工作与创新总结本论文围绕“基于深度学习的个性化中文手语翻译系统设计与实现”主题，系统性完成了方案设计、功能开发、集成测试与分析评估。主要工作与创新如下：系统设计与实现：构建了端到端手语识别流程，涵盖采集、特征提取、个性化模型训练、实时识别与语音反馈全闭环。多标签自定义机制：支持用户根据自身习惯灵活创建、管理手语标签，自动完成标签拼音映射与图片、特征归档，极大提升系统适应性和个体化水平。高效关键点特征提取与轻量化模型架构：采用MediaPipe高效实现手部21点定位与84维特征生成，联用多层感知机（MLP）模型，优化了训练与推理速度，适应移动端和低样本场景。实时交互与多模态输出：实现了识别结果的文本与语音同步反馈，界面多线程响应，保证流畅与易用性，显著改善聋哑人和健听人交流体验。模块化与扩展性设计：系统结构清晰，所有流程均支持后续升级和拓展，为未来多模态手语识别和跨平台应用奠定基础。实际测试表明，