CN114155460B 用户类型识别的方法、装置、计算机设备以及存储介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中2对目标用户的待检测视频数据进行处理，得到所述目标用户针对各对所述图像数据文件进行特征提取，得到所述图像数据文件的第第一时长包括待检测视频数据中包含目标用户的声音的第二时刻和待检测视频数据中不按照至少两种聚类方式中的每一聚类方式，对所述第二时刻的语音特征将所述聚类方式对应的特征集合输入至所述聚类方式对应的聚对所述聚类方式对应的特征集合的相似子值和所述聚类方式对应的预设权值进行加基于所述图像数据文件的第一时长中每一时刻的视频特征确定所述第一时长的目标获取所述第三时刻的视频特征与所述目标视频特基于所述相似值和所述匹配值确定所述目标用户针对各对目标用户的待检测视频数据进行语义识别，得到所述目标用户提取所述目标视频片段的音频数据文件和图像数据若所述合理值小于预设阈值，则基于所述目标视频片段的预对所述图像数据文件进行分帧处理，得到所述图像数据文件的第基于所述动作单元确定所述图像数据文件的第一时长中每一3对所述音频数据文件进行分帧处理，得到所述音频数据文件的第根据所述分词情绪从所述分词词汇中选取文本将所述文本关键词和所述梅尔频率倒谱系数作为所述第二时数据处理单元，用于对目标用户的待检测视频数据进行处理，得特征提取单元，用于对所述图像数据文件进行特征待检测视频数据中不包含目标用户的声音的第三时刻；对所述音频数据文件进行特征提确定单元，用于按照至少两种聚类方式中的每一聚类方所述计算机程序使得计算机执行以实现权利要求1-6中任一项4计算机程序包括用于如本申请实施例第一方面中所描述的5待检测视频数据进行处理，得到目标用户针对各问答音频数据文件和图像数据文件之后，6一体机等，其操作系统可以包括但不限于Linux系统、Unix系统、Windows系列系统(例如存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content[0033]请参照图2，图2是本申请实施例提供的一种用户类型识别的方法的流程示意7力神经网络模型(bidirectionalencoderrepresentationfromtransformers，BERT)、目标视频片段(或图像数据文件)中包含目标用户的人脸(或视频特征)的时长可称为第一8AU1+AU2+AU4+AU5+AU7+AU20+9[0051]下面以AU为例介绍图像数据文件的第一时长中每一时刻到动作单元。人脸识别算法可以是3D卷积神经网络(3Dconvolutionalneuralnetwork，[0057]语音特征可以包括但不限于梅尔频率倒谱系数(mel-frequencycepstral分解(singularvaluedecomposition，SVD)、主成分分析(principalcomponent获取质量更好的目标语音帧。加窗可以用于消除各个帧两端可能会造成的信号不连续性，号。快速傅里叶变换(fastFouriertransform，FFT)是由离散傅里叶变换(discrete语音特征，倒谱分析可以采用离散余弦变换(discretecosinetransform，DCT)来实现。似黑名单用户的语音特征以及视频特征进行识别，确定疑似黑名单用户是否为黑名单用实施例中，黑名单声纹识别模型可以包括但不限于高斯混合模型(Gaussianmixture定目标用户为非黑名单用户。means，FCM)、具有噪声的基于密度的聚类方法(density-basedspatialclusteringof[0094]A13：根据计算的相似度与预设最小相似度将第二时刻的语音特征和视频特征进到输出结果的数值为80则确定第一聚类方式对应的特征集合的相似子值为80％。将第二聚类方式的特征集合输入至第二聚类方式对应的聚类子模型，得到输出结果的数值为[0102]本申请实施例对于聚类子模型的训练方法不做出限定。以k-means聚类算法为例i的平均值。[0114]第二时刻的语音特征和视频特征的相似值用于描述第二时刻的音频特征和视频应的预设权值为95第一聚类方式对应的特征集合的相似子值为85％。第二聚类方式对预设权值，W2表示匹配值的预设权值。若相似值为80匹配值为70则根据W1和W2进行[0130]在本申请实施例中，预设阈值可以是根据目标用户的基本信息和贷款信息确定[0133]在本申请实施例中，目标视频片段的预设权值可以根据面审回答的具体内容确资和银行流水中的至少一种)的目标视频片段的预设权重设置为0.85；将面审回答涉及到值可以设置为60若计算得到目标合理值为65％(大于预设阈值)，则可以确定该目标用的时刻的视频特征进行用户类型的识别，可提高识别目标用户是否为欺诈用户的准确率，[0138]请参照图3，图3是本申请实施例提供的一种用户类型识别的装置的结构示意[0139]数据处理单元301用于对目标用户的待检测视频数据进行处理，得到所述目标用[0140]特征提取单元302用于对所述图像数据文件进行特征提取，得到所述图像数据文[0141]确定单元303用于基于所述第二时刻的语音特征和视频特征，以及所述第三时刻的视频特征确定所述目标用户针对各问答的合理值；若所述合理值大于或等于预设阈值，[0142]在一种可能的实施方式中，数据处理单元301具体用于对目标用户的待检测视频[0144]在一种可能的实施方式中，特征提取单元302具体用于对所述图像数据文件进行[0145]在一种可能的实施方式中，特征提取单元302具体用于对所述音频数据文件进行[0146]在一种可能的实施方式中，特征提取单元302具体用于对所述文本关键词对应的[0147]在一种可能的实施方式中，确定单元303具体用于按照至少两种聚类方式中的每相似值和所述匹配值确定所述目标用户针对各问答的[0148]需要说明的是，各个单元的实现还可以对应参照图2所示的方法实施例的相应描[0149]请参照图4，图4是本申请实施例提供的一种计算机设备的结构示意图。如图4所目标用户针对各问答的音频数据文件和图像数据文件方面，所述计算机程序404具体包括及所述第三时刻的视频特征确定各问答的合理值之后，所述计算机程序404还包括用于执[0160]若所述目标合理值大于或等于所述预设阈值，则确定所述目图像数据文件的第一时长中每一时刻的视频特征方面，所述计算机程序404具体包括用于[0182]对所述聚类方式对应的特征集合的相似子值和所述聚类方式对应的预设权值进[0183]基于所述图像数据文件的第一时长中每一时刻的视频特征确定所述第一时长的processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital[0188]还应理解，本申请实施例中提及的存储器402可以是易失性存储器或非易失性存读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electricallyEPROM，[0190]应注意，本文描述的存储器402旨在包括但不限于这些和任意其它适合类型的存[019