CN119474273A 文本内容审核方法、装置、设备、存储介质及程序产品 （天翼云科技有限公司）

模型确定待检测文本的风险判别结果和待检测模型是通过多种风险类型的正样本文本数据和负样本文本数据对通用大语言模型进行参数调2将所述待检测文本输入风险类型识别模型，并获取所述风险类根据所述待检测文本的各个风险类型的第一置信度，调用大语言检测模型是通过多种风险类型的正样本文本数据和负样本文本数据对通用大语言模型进行根据所述风险判别结果和所述待检测文本的各个风险类型的第二置若所有风险类型的第一置信度均小于等于命中阈值且任一风险类型的第一置信度大若任一风险类型的第一置信度大于所述命中阈值，则确定所述待检若所有风险类型的第一置信度均小于疑似阈值，则确定若所述风险判别结果指示所述待检测文本包含风险内容且任一风险类型的第二置信若所述风险判别结果指示所述待检测文本不包含风险内容或所有风险类型的第二置将所述向量化语句分别与风险查询库和白名单查询库中的若所述风险查询库中包括与所述向量化语句的相似度高于相似若所述白名单查询库中包括与所述向量化语句的相似度高于相若所述风险查询库和所述白名单查询库中均不包括与所述向量化语句的相似度高于险类型识别模型输出的所述待检测文本的各个风险类型的第3若所述分词结果中包含预设的风险关键词，则确定所述待检测若所述分词结果中不包含预设的风险关键词，则执行所述对第一检测模块，用于将所述待检测文本输入风险类型识别模识别模型输出的所述待检测文本的各个风险类型第二检测模块，用于根据所述待检测文本的各个风险检测模型确定所述待检测文本的风险判别结果和所述待检测文本的各个风险类型的第二8.一种计算机设备，包括存储器和处理器，所述存储器处理器执行时实现权利要求1至6中任一项所述的方行时实现权利要求1至6中任一项所述的方4言检测模型是通过多种风险类型的正样本文本数据和负样本文本数据对通用大语言模型[0011]在其中一个实施例中，所述根据所述待检测文本的各个调用大语言检测模型确定所述待检测文本的风险判别结果和所述待检测文本的各个风险[0012]若所有风险类型的第一置信度均小于等于命中阈值且任一风险类型的第一置信5[0017]若所述风险判别结果指示所述待检测文本包含风险内容且任一风险类型的第二[0018]若所述风险判别结果指示所述待检测文本不包含风险内容或所有风险类型的第[0023]若所述白名单查询库中包括与所述向量化语句的相似度[0024]若所述风险查询库和所述白名单查询库中均不包括与所述向量化语句的相似度述风险类型识别模型输出的所述待检测文本的各个风险类型的第一置信类型识别模型输出的所述待检测文本的各个风险类型的语言检测模型确定所述待检测文本的风险判别结果和所述待检测文本的各个风险类型的6模型确定所述待检测文本的风险判别结果和所述待检测文本的各个风险类型的第二置信述计算机程序被处理器执行时实现第一方面的文本大语言检测模型确定待检测文本的风险判别结果和待检测文本的各个风险类型的第二置78用大语言检测模型确定待检测文本的风险判别结果和待检测文本的各个风险类型的第二9相似度阈值可以设置为0.8，则当通过向量相似度检测算法计算出白名单查询库中包括与Roberta模型是一种基于Transformer架构的语言模型，Roberta模型可以在每次将序列输[0079]示例性的，服务器可以采集多种风险类型的风险文本和大量的正常文本对待检测文本的风险判别结果和待检测文本的各个风险类型的第用大语言检测模型确定待检测文本的风险判别结果和待检测文本的各个风险类型的第二[0090]在一些实施例中，上述第二置信度可以通过大语言检测模型输出的第一个标记险判别结果指示待检测文本不包含风险内容或所有风险类型的第二置信度小于目标阈值，型是通过多种风险类型的正样本文本数据和负样本文本数据对通用大语言模型进行参数待检测文本的内容审核结果。由于先通过风险类型识别模型识别待检测文本的风险类型，[0108]S308、确定风险查询库中包括与向量化语句的相似度是否高于相似度阈值的语型是通过多种风险类型的正样本文本数据和负样本文本数据对通用大语言模型进行参数待检测文本的内容审核结果。由于先通过风险类型识别模型识别待检测文本的风险类型，言检测模型确定待检测文本的风险判别结果和待检测文本的各个风险类型的第二置信度，大语言检测模型是通过多种风险类型的正样本文本数据和负样本文本数据对通用大语言型确定待检测文本的风险判别结果和待检测文本的各个风险类型的第二化语句的相似度高于相似度阈值的语句，则确定待检测文本的内容审核结果为审核不通型识别模型输出的待检测文本的各个风险类型的第一输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种文本内容审核方通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读请提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性存储器和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read_Only（ResistiveRandomAccessMemory，ReRAM）、磁变存储器