CN114445909B 线索语自动识别模型训练方法、装置、存储介质及设备 （深圳市大数据研究院）

模型的当前全局模型参数下发给各个所述目标并采用聚合后的模型参数对服务器模型进行更2融合模型，用于基于所述初步时序对齐的手形特征、嘴获取多个客户端上传的经预设加密算法加密之后的线索语随机选取多个目标客户端，并将所述服务器模型的当其中，所述预设训练集包括所述目标客户端的本地数据集6.一种线索语自动识别模型训练装置，其特征在于，用于实现如权利要求1所述的方3预训练模块，用于获取开源的线索语视频数据集，并采用所述开源数据下发模块，用于随机选取多个目标客户端，并将所述服务模型更新模块，用于接收各所述目标客户端上传的当前客户端模所述数据下发模块和所述模型更新模块重复执行，直到服务器模型收敛，以共享数据集构建模块，用于获取多个客户端上传的经预设其中，所述数据下发模块还用于随机选取多个目标客户端，其中，所述预设训练集包括所述目标客户端的本地数据集行时实现如权利要求1－5任一所述的线索语自动识别模9.一种服务器，包括存储器、处理器以及存储在4[0003]唇读(Lipreading)是较早出现的帮助聋哑人之间感知语音的方式。但是，据研系统化以及保障智能健康产品的创新发展等都将发挥重要的5[0023]本发明实施例还提供了一种线索语自动识别模型训练装预设训练集对各自的客户端模型进行训练，所述客户端模型和所述服务器模型的架构相所述当前客户端模型参数进行聚合，并采用聚合后的模型参数对所述服务器模型进行更6[0044](1)带噪标注与数据分布不平衡下的CS多模态特征表征能力受限:之前的自动CS量CS视频数据的标注需要耗费巨大的代价，同时要求标注者掌握CS的相关专业背景知识。更强的特征表征学习是CS自动识别研究面临的第一个[0045](2)CS异步多模态对齐与融合效果不佳:CS视频多模态间时序的异步性会造成信7补和增强性质对异步异质多模态CS视频数据进行充分融合是CS自动识别研究面临的第二[0046](3)缺乏带数据隐私保护的CS自动识别模型:之前的CS自动识别方法主要关注如练机制对CS自动识别中数据隐私进行保护是本发明的第三个免恶意的服务器或外部攻击者通过参与者上传的模8语自动识别模型训练方法与实施例一当中的线索语自动识别模型训练方法的不同之处在自监督对比学习的理论分析和建模，第二阶段是构建自监督增量学习联合模型(如图3所[0070](1)构建自监督对比学习中高效生成正负样本对的方法：发明拟采取自监督对比9[0071]互信息控制的时空一致性变换：现有的对比学习算法大都采用人工设计(即选取征变换作为正样本对，以克服传统算法对视频中的每一帧都进行数据变换来生成正样本通过控制不同数据变换的强度得到具有适宜大小互[0076]根据命题1,InfoMin给出的方法是针对τj)是y负样本对为具有不同语义标签(来自不同语义标签的聚类)的任意两个样本的组合，例如与传统方法不同，我们这里不再是对同一张图片进行两次不同的数造成的模型灾难性遗忘问题(即一旦使用新数据集训练已有模型，该模型将会失去对原数[0092]为了防止有偏数据分布破坏模型的正常学习，我们首先要获得一个干净子集gf为模型在验证子集上的参数梯度：能够约束模型的更新朝着无偏的方向进行，同时可以防止新数据引起的灾难性遗忘问题。此方法在具体实施时，可能存在的不确定性问题有复杂样本分布重叠或者困难样本(如噪[0098](3)模型验证与评估-特征分类任务:在模型验证与评估阶段，我们拟将全部CS数同时进行微调。[0100]CS多模态融合的两个重点是:1)分析异步多模态之间的对齐关系；2)对异步异质本发明拟结合申请人对CS编码的先验知识，对CS多模态间的异步超前量进行精细的量化音素类别(ytri)进行以下步骤的后向逐步回归值若⃞<i(1,n-3-1),其中n为样本数，则剔除不[0105]2)建立t,y与异步量Δ的回归方程。对方程中的回归系数进行F检验，取最小值若聪<Ri(1,n-(3-1)-1),则剔除不失一般性，可令[0108](2)基于生成对抗训练的多模态融合模型设计：进一步针对CS多模态异步异质的的性能有着非常重要的作用。本发明拟提出一种基于高效的多模态特征融合的识别器模化操作Max实现自适应和高效的联合多模态特征融合。融合后的特征使用拼接保留原始的抗训练过程中可能存在模式奔溃(即生成器产生单个或有限的模式)的风险，我们在后续[0123]根据现有的联邦学习框架，我们首先用预训练方法对全局服务端模型进行初始[0126]3)客户端设备下载模型参数后，将本地CS视频数据用于其模型的训练(为保证CS的部分隐私，而若采用其他数据又难以保证其分布接近整体数据集(各个客户端数据集的现一种安全混合算法对样本进行加密，使得服务器只能获得最终客户端生成的混合数据，AB设备。之后每个客户端对自己将要上传的数据Qi＝{xi,yi}进行如下DH加密(如图9)得到传到所选客户端中和本地数据集一同参与训练。α的最优值在不同数据集和场景下会有所顺序优化机制也对揭示异步融合这个难题的内在机理有很好的启[0163]上述各模块、单元被执行时所实现的功能或操作步骤与上述方法实施例大体相储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述程序30时实[0166]其中，处理器10在一些实施例中可以是中央处理器(CentralProcessingUnit,[0170]本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或