CN119484890A 多媒体内容ai检测方法、装置、设备及存储介质 （广州技客信息科技有限公司）

12号西湖商业大厦第30楼自编号334号表示中提取隐性违规行为相关的情感与行为风2S1、对输入的多模态数据进行预处理和特征提S2、从多模态特征表示中提取隐性违规行为相关的情S4、将新型违规特征模板与多模态特征进行语义S5、对最终的违规风险评分进行分级，通过设成高风险片段索引，同时通过特征贡献度计算高风险片段与新型违规特征模板的关联程录时间相关的行为特征，构建离散行为序列，表示在第时间点的行为特使用自定义的卷积神经网络从帧序列中提取视觉特征，生成逐帧表示,表示第i帧的深度特征；对音频片段{AY,A2,…,A}，通过;;3;;设计情感融合正则解码模型对情感特征进行解码，提取多模态情感风险;其中，E,和E。分别表示视频和音频在情感解码嵌入空间中的特征，W,和W是投影矩;其中，ReLU表示ReLU激活函数，ReLU(E,+E)表示视频和音频特征的正相关融合，入IlE,-E。lls为正则化项，用于捕捉视频和音频特征之间的冲突或互补关系，表示最终采用行为风险自适应建模方法对用户行为特征向量进行风险解码，形成行为风险评;;成新型违规模板并与新输入的多模态特征进行匹配，得到新型违规特征模板和匹配分数，4结合已知违规特征模和情感与行为分析结果构建特;感与行为分析结果的非线性激活部分，用于生成与实际情感和行为风险相关的特征将新型违规特征模板与输入的多模态特征进行匹配，计算特征;生成的新型违规特征模板中的第项特征；y(T',Fan)=softmax(T',·wa·FM)是特征匹配;节参数，分别控制特征匹配分数和结合情感与行为分析结果对最终结果的影响；;5利用融合后的对齐语义表示和动态调整后的匹配分数生成初步违规风险评分;针对初步评分RSS设计基于特征分布差异的修正公式，引入模板特征分布的优化项;;其中，和是权重参数，分别控制风险评分R2和语义特征分布var(D)对分级的影响；var(D)是对齐语义表示的分布方差，用于度量语义特征的分布复杂性，辅助风险分级；;其中，D;表示对齐语义表示中第i个片段特征；表示新型违规模板的第i个特征；;6第一获取单元，用于对输入的多模态数据进行预处理和分析单元，用于从多模态特征表示中提取隐性违规行为相关的情感与行为风险特征，确定单元，用于将新型违规特征模板与多模态特征进行语检测输出单元，用于对最终的违规风险评分进行分级，通过设计动态配置为实现如权利要求1至7中任一项所述的多媒体内容AI检多媒体内容AI检测程序被处理器执行时实现如权利要求1至7任一项所述的多媒体内容AI7[0002]随着多媒体内容的爆炸式增长，内容监管与审核成为各大平台的核心需求之规模标注样本，且模型的检测能力往往局限于训练数据覆盖的范围。当出现新的违规形式8,表示第i帧的深度特征；对音频片段{AY,A2,…,A}，通过;;;9;;;其中，ReLU表示ReLU激活函数，ReLU(E,+E)表示视频和音频特征的正相关融;;;;是生成的新型违规特征模板中的第i项特征；y(T',Fan)=softmax(T',·wa·FM)是特征;为调节参数，分别控制特征匹配分数和结合情感与行为分析结果对最终结果的影响；;利用融合后的对齐语义表示和动态调整后的匹配分数M'生成初步违规风险评分;;;其中，t和6是权重参数，分别控制风险评分和语义特征分布var(D)对分级的影;;储器、处理器及存储在所述存储器上并可在所述处理器上运行的多媒体内容AI检测程序，所述多媒体内容AI检测配置为实现如上文所述的多媒体内容AI检测方[0021]利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限[0029]音频信号被划分为多个固定时间窗{AY,A2,…,A}，AY表示第i个时间窗的音频片;;根据用户行为序列构建时间序列特征矩阵M,，矩阵每一行为离散;;;;其中，ReLU(E,+E)表示视频和音频特征的正相关融合，入IlE,-E。lls用于捕捉;;模态特征表示Fan={G,,Ga,F}。是多模态分析后生成的情感和行为风险特征，Faa包含;;其中，是生成的特征模板中的第i项特征。y(T',Fan)=softmax(T',·wa·FM);为调节参数，分别控制特征匹配分数和结合情感与行为分析结果对最终结果的影响；;;;;其中，t和6是权重参数，分别控制风险评分和语义特征分布var(D)对分级的影;;风险的关系。分析单元102，用于从多模态特征表示中提取隐性违规行为相关的情感与行为风和匹配分数生成初步违规风险评分，在根据模板特征分布对初步违规风险评分进行修正，[0069]本发明多媒体内容AI检测设备的其他实施例或具体实现方式可参照上述各方法出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质[0074]以上仅