CN118366653B 一种基于增量学习的多模态服刑人员心理状态评估系统及方法 （杭州华亭科技有限公司）

一种基于增量学习的多模态服刑人员心理本申请公开了一种基于增量学习的多模态贝叶斯增量学习模块持续训练迭代以动态评估2S1、获取服刑人员的多模态数据，所述多模态S2、对所述多模态数据进行预处理获得预处理S3、将预处理后多模态数据分别送入对应的编码器S4、在特征融合模块中对来自不同编码器的高级特S5、将综合融合特征作为输入送入贝叶斯增量学习所述融合过程中引入注意力机制以加强模型对关键信息的关注，获得综合融合特征，f,(x)=o(w,*x,+b0)f:(x)=o(w;xxz+b)视频注意力权重：u,=softmax(vufxtanh(w',xf,(x)+bj))；文本注意力权重：ar=softmax(vfxtanh(w(xf:(x)+bf))；标量注意力权重：as=softmax(v?xtanh(w;xf;(x,)+b;,))；融合第一层特征：将各模态的底层特征按照注意力权重进行视频语义特征：g,(f,(xn))=o(u,xf,(x0)+cp)文本语义特征：g:(f:(x))=o(uxf:(xd)+cd)3融合第二层特征：将第一层融合特征h1与各模态的高层语义特征gng.gs按照权重矩2.根据权利要求1所述的一种基于增量学习的多模态服刑人员心理状态评估方法，其所述将预处理后多模态数据分别送入对应的编码器中，包括，预处3.根据权利要求2所述的一种基于增量学习的多模态服刑人员心理状态评估方法，其采用L层Transformer编码器对嵌入向量序列E;其中为第l层编码器的输出，hfeRdTransformerEncoder为通过计算每一个head;最终输出多头自注意力MutiHead(Hl-1)其中w1eRdxdr,b1eRdrr为第一层前馈网络的权重和偏置，wzeRdrrxd,bzeRd为第输出经过transform编码器提取高级44.根据权利要求2所述的一种基于增量学习的多模态服刑人员心理状态评估方法，其其中g(x)为重构函数将特征表示fi映射回原始输入空间；5.根据权利要求1所述的一种基于增量学习的多模态服刑人员心理状态评估方法，其其中p(9]D)是当前模型基于旧数据的后验概率,Dod=(x1,y1),(x2,y2)….(xn,yn)为A(t+1)=f((t),t)A(t+1)=A(t)xe-t/s)；6.一种基于增量学习的多模态服刑人员心理状态评估系统，该系统基于权利要求1至5预处理模块，用于对所述多模态数据进行预处理获得预处理后多高级多模态数据特征提取模块，用于将预处理后多模态数据分别送入对应的编码器综合融合特征，用于在特征融合模块中对来自不同编码器的高综合处理模块，用于将综合融合特征作为输入送入贝叶斯增所述存储器中存储有可供处理器调用的计算所述处理器通过调用所述存储器中存储的计算机程序，在后台中执行权利要求1_5中任意一项所述的一种基于增量学习的多模态服刑人求1_5中任意一种基于增量学习的多模态服刑6[0007]根据本申请的一个方面，基于增量学习的多模态监7用深度学习方法可以更好地挖掘行为模式，从而更好地理解和解释服刑人员的心理状态，89征使用基于Transformer的BERT模型提取、预处理后标量数据特征使用多层感知机进行提[0035]S312、首先输入第一个卷积块通过64个3*3*3的卷积核进行卷嵌入的标记序列通过嵌入层映射为嵌入向量xi+Epi+Es；n为[0044]其中为第l层编码器的输出，hfeRdTransformerEncoder为KVKV[0063]其中为第l个隐藏层的预激活值，为第l个隐藏层的权重矩阵，bleRdi为第l个隐藏层的偏置向量，hfeRdr为[0075]S334、通过前向传播计算MLP的最后一个隐藏层的输出，将其作为数据的特征表ta,=softmax(u引*tanh(w;*f。(xn)+bf⃞))f*f(x)+bf))重矩阵进行加权求和，再经过非线性变换p(Relu、sigmoid)得到心理状态和潜在的风险因素。注意力机制可以自动识别并赋予这些关键部分更高的权重，[0123]将模型预测的服刑人员心理状态评估结果清晰地呈现给监狱管理人员或者相关[0128]本实施例是基于实施例1基础之上进行的，与实施例中相同的部分在此不做更多[0129]如图6所示，一种基于增量学习的多模态服刑人员心理状态评估系统，该系统包[0137]根据本申请实施方式的方法或装置也可以借助于图7所示的电子设备的架构来实或硬盘107可存储本申请提供的基于增量学习的多模态服刑人员心理状态评估方法实现。预处理获得预处理后多模态数据，所述预处理后多模态数据包括预处理后视频数据特征、[0145]以上的预设的参数或预设的阈值均由本领域的技术人员根据实际情况设定或者