CN118312922B 一种多模态网络内容安全智能审核系统及其方法 （陕西淘丁实业集团有限公司）

一种多模态网络内容安全智能审核系统及本发明提供一种多模态网络内容安全智能多模态网络内容数据中提取不同模态内容的特2数据接入与预处理模块，用于接收来自不同来源的多模态网络内容数据,并对所述多多模态分析模块，用于将预处理后的多模态网络内容数据映射到一个共同的语义空审核引擎模块，用于综合运用规则引擎和机器学习审核结果处置模块，用于输出和存储所述审核结果视频分析子模块，用于在所述图像视觉特征的基础上，结合时序信息音频分析子模块，用于采用梅尔频率倒谱系数、声音事件检测和审核子模块，用于将从所述多模态网络内容数据中提取所述审核子模块在对所述多模态网络内容数据进行审核的过程中，通过特征级融合对提取的所述不同模态内容的特征进行拼接或平均，通过决策级融合对所述违规判定结果进行加权平均或投票，获得所数据接入子模块，用于实时获取用户发布的文本数据、图片3根据所述审核结果和预设规则，触发相应的人工审核或自动采用元学习技术实现审核策略的自动生成和调优，根据审核结果的反馈，学习采用强化学习实现主动学习，根据所述机器学习模型的不确定度接收来自不同来源的多模态网络内容数据,并对所述多模态网络内容数据进行预处将预处理后的多模态网络内容数据映射到一个共同的语义空间，在综合运用规则引擎和机器学习模型，根据所述不同模态内容的特输出和存储所述审核结果，并根据所述审核结果触发相应的人工审核或自动处置流所述的在所述语义空间中从所述多模态网络内容数采用词向量、词频一逆文档频率和文本主题模型相融合的方法提取采用卷积神经网络、尺度不变特征变换和颜色直方图相融合的方法提采用梅尔频率倒谱系数、声音事件检测和语音识别相融合的方法提取预4根据所述不同模态内容的特征和所述审核策略对所述多模态网络内容数据进行审核，通过所述规则引擎加载预先配置的审核策略，将从所述多模态网根据所述审核策略对所述多模态网络内容数据进行审核，综合判断在对所述多模态网络内容数据进行审核的过程中，采用跨模态检索技5[0007]数据接入与预处理模块，用于接收来自不[0009]策略管理模块，用于配置和管理来自不同来源的多模态网络内容数据的审核策6合的方法提取预处理后的多模态网络内容数据的7[0039]接收来自不同来源的多模态网络内容数据,8数据进行预处理；多模态分析模块用于从多模态网络内容数据中提取不同模态内容的特[0065]应当理解，本公开的方法实施方式中记载的各个步骤可义将在下文描述中给出。9[0069]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性[0080]本实施例中，数据接入与预处理模块110接收来自不同来源的多模态网络内容数[0082]多模态分析模块120，用于通过跨模态检索技术或方法将不同的模态网络内容数[0083]本实施例中，多模态分析模块120通过跨模态检索技术或方法将不同的模态网络[0084]本实施例在提取不同模态内容的特征的过程中，还可以[0086]策略管理模块130，用于配置和管理来自不同来源的多模态网络内容数据的审核过程，使用强化学习算法（例如DeepQNetwork，简称DQN、ProximalPolicy[0112]具体的，数据接入子模块111可以通过API接口（ApplicationProgramming量模型有Word2Vec（WordtoVector，词向量）、GloVe（GlobalVectorsforWord权重特征和10维的主题分布特征。将这三个特征向量拼接起来，得到一个410维的特征向融合的方法提取预处理后的多模态网络内容取最后一层全连接层的输出作为图像的CNN特[0151]将CNN特征、SIFT特征和颜色直方图特征进行融合，得到图像的最终视觉特征表像素运动矢量，得到一系列光流特征图。时序特征是指使用RNN（RecurrentNeural合的方法提取预处理后的多模态网络内容数据的通过池化操作（例如平均池化）压缩为一个13维的特征向量；将声音事件标签通过独热（one_hot）编码转换为一个固定长度的特征向量；将语音识别文本通过词嵌入（如[0171]阈值配置为每类违规内容的判定结果设置置信度阈值，超过阈值则判定为违[0173]审核子模块142在对多模态网络内容数据进行审核的过程中，采用跨模态检索技块142在对多模态网络内容数据进行审核的过程中，可以采用图神经网络对异构信息网络用元学习技术可以根据已有的违规内容样本，快速生成针对特定领域或场景的审核模将其分类为安全威胁类内容，置信度为0.9。命名实体识别是指识别文本中的特定命例如，对于一个视频，使用YOLO模型对其关键帧进行武器检测，如果检测到武装器械等武[0186]具体的，审核子模块142通过特征级融合对提取的多模态内容的特征向量进行拼度0.9视频审核结果为安全威胁（置信度0.8则最终判定为安全威胁内容，置信度为施例在审核结果的解释和可视化中，利用知识图谱展示违规内容的推理链条和证据图谱，个产品真是糟糕","image_url":"/img.jpg","violation_type":指根据审核结果的置信度和违规类型，将疑似违规内容分配给不同的人工审核员进行复之间的敏感成人内容分配给B组审核员。审核结果反馈是指人工审核员对疑似违规内容进id":"abcdef","content_id":"123456","reviewer_id":"Tom","review_time":"2024_05_0114:20:30","review_result"数据集更新和模型性能评估；审核结果分析是指分析人工审核结果与机器判定结果的差[0197]图5是本发明实施例的另一种多模态网络内容安全智能审核系统的结构框图，如（BidirectionalEncoderRepresentationfromTransformers，预训练的语言表征模测模型的骨干网络，在自己的数据集上进行微调（fine_tuning显著提升了模型的准确少量侵害行为图片数据集微调，即可得到一个性能不错的侵害行为图片检测模型。跨模态安全威胁内容检测模型。由12层Transformer组成的大型语言模型（如GPT_2蒸馏到一个由6层LSTM组成的小型语Transformer是一个利用注意力机制来提高模型训络对某些边界样本的判断不确定时，主动将这些样本提交给人工标注，并用标注结果微调[0223]图6是本发明实施例的一种多模态网络内容安全智能审核方法流程图，如图6所多模态内容的特征输入机器学习模型中，结合审核策略对多模态网络内容数据进行审核，广播接收器、PDA(PersonalDigitalAssistant，个人数字助理)、PAD(PortableFlat_载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终可以根据存储在只读存储器(Read_OnlyMemory，ROM)302中的程序或者从存储装置308加(HyperTextTransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络[0243]接收来自不同来源的多模态网络内容数据,并对多模态网络内容数据进行预处[0248]可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，[0251]本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例[0255]尽管已经采用特定于结构特征和/或方法