CN114490935B 异常文本的检测方法、装置、计算机可读介质及电子设备 （腾讯科技（深圳）有限公司）

通过多个预设模型分别对特征序列进行映射处设模型的处理结果包括特征序列中特征片段的2对所述待检测文本进行特征提取，得到所述待检测文本的特征序通过多个预设模型分别对所述特征序列进行映射处理，得到各个预设根据各个预设模型处理结果所指示的特征片段的异常概率，确其中，通过多个预设模型分别对所述特征序列进行映射处理根据所述预设模型对应的预设片段长度，通过滑动窗口法确定通过所述预设模型的卷积层的第一权重参数对所述特征片段中的所有上下文特征进通过所述预设模型的全连接层对所述异常特征表示进行映射处理，基于多个预设片段长度，根据每个预设片段长度确定所述样本数据中的多个样本片将各个预设片段长度对应的具有第二标签的样本数据作为训练样设定一个以所述预设片段长度作为窗口宽度的窗口，将样本数据中包根据所述窗口内的异常标签总量和所述窗口宽度生成所述样本片段3对所述待检测文本进行分字处理，得到按顺序排列的多个字，并根据所述字序列中的字标签确定所述字标签对应的语义向根据所述字序列中的字标签及所述字标签对应的语义向量和位置向量生成待特征提将所述异常特征表示与所述第二权重参数相乘后再与所述第二基值确定各个预设模型处理结果所指示的特征片段的异常概将所述最大异常概率对应特征片段所指示的多个字作为所述待检测文本中的异常片特征提取模块，用于对所述待检测文本进行特征提取，得到所映射处理模块，用于通过多个预设模型分别对所述特征序列进异常片段确定模块，用于根据各个预设模型处理结果所指示的特征片段的异常概率，根据所述预设模型对应的预设片段长度，通过滑动窗口法确定通过所述预设模型的卷积层的第一权重参数对所述特征片段中的所有上下文特征进通过所述预设模型的全连接层对所述异常特征表示进行映射处理，4器执行时实现权利要求1至9中任意一个所述的异其中，所述处理器执行所述可执行指令使得所述电子设备执行权计算机设备的处理器从所述计算机可读存储介质读取并执述计算机设备执行权利要求1至9中任意一项所述的异常文56模型针对所述训练样本的预测值与所述训练样本的第二标签之间的交叉熵作为损失函数，[0030]根据所述字序列中的字标签及所述字标签对应的语义向量和位置向量生成待特7[0037]根据所述预设模型的卷积层的模型参数对所述特征片段中的所有上下文特征进[0046]将所述最大异常概率对应特征片段所指示的多个字作为所述待检测文本中的异机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指所对应的特征片段的长度不同，相当于通过多种粒度的模型分别对待检测文本进行检测，8[0055]图3示意性地示出了本申请一个实施例提供的对待检测文本进行特征提取的流程[0061]图9示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，[0064]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对服务器130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路或者9将待检测文本中的异常片段通过网络120返回给终端设备110，终端设备110可以在显示界而可以通过终端设备110的显示界面快速便捷地获知待检测文本中[0075]图2示意性地示出了本申请一个实施例提供的异常文本的检测方法的流程图，该在待检测文本的首部设置一句首标识符[CLS]，并在每个句子的句尾设置一句尾标识符[CLS]Token1Token2Token3Token4Token5[SEP]Token6Token7Token8Token9[SEP]，其取，预训练语言模型可以是BERT(BidirectionalEncoderRepresentationfrom与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言文本中的位置信息，这是由于待检测文本中不同位置的字所携带的语义信息会有所不同，义向量和位置向量叠加，得到待特征提取向量。示例性的，对于字序列：[CLS]Token1Token2Token3Token4Token5[SEP]，各个字标签对应的语义向量(按照字序列中的排序)P2P3P4P5PS，则生成的待特征提取向量为：[CLS]+EC+PCToken1+E1+P1Token2+E2+P2Token3+E3+P3Token4+E4+P4Token5+E5+P5[SEP为[hi:hi+k]，表示特征片段是从第i+k为hnW2k该字不处于异常状态(即该字为正常状态)，故而这种类型的第一标签可以记为正常标签。宠物的地位都人高000001100000001000000100为窗口宽度的窗口，然后根据设定步长将该窗口首部从样本数据的起始位滑动至终止位，[0128]具体的，一个预设模型的处理结果包括同一种长度的多征片段为预设片段长度k第i个特征片段，则确定待检测文本中的异常片段是由第i个字到所对应的特征片段的长度不同，相当于通过多种粒度的模型分别对待检测文本进行检测，将待检测文本611转化为由字标签(token)构成的字序列，具体可以参考前述步骤310的相于卷积模型对该特征片段的预测得分(score)，最后从各个得分中选取最大值(MAX然后通过多个预设模型分别对特征序列进行映射处理，得到各个预设模型对应的处理结[0146]异常片段确定模块840，用于根据各个预设模型处理结果所指示的特征片段的异模型针对所述训练样本的预测值与所述训练样本的第二标签之间的交叉熵作为损失函数，[0161]根据所述字序列中的字标签及所述字标签对应的语义向量和位置向量生成待特[0168]根据所述预设模型的卷积层的模型参数对所述特征片段中的所有上下文特征进[0177]将所述最大异常概率对应特征片段所指示的多个字作为所述待检测文本中的异[0178]本申请各实施例中提供的异常文本的检测装置的具体细节已经在对应的方法实[0181]如图9所示，计算机系统900包括中央处理器901(CentralProcessingUnit，分908加载到随机访问存储器903(RandomAccessMemory，RAM)中的程序而执行各种适当或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以块或者单元的特征和功能可以进一步划分为由多个模块或者单者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识