CN119416790A 文本审核方法及相关装置、设备和存储介质 (科大讯飞股份有限公司)_第1页
CN119416790A 文本审核方法及相关装置、设备和存储介质 (科大讯飞股份有限公司)_第2页
CN119416790A 文本审核方法及相关装置、设备和存储介质 (科大讯飞股份有限公司)_第3页
CN119416790A 文本审核方法及相关装置、设备和存储介质 (科大讯飞股份有限公司)_第4页
CN119416790A 文本审核方法及相关装置、设备和存储介质 (科大讯飞股份有限公司)_第5页
已阅读5页,还剩21页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

本申请公开了一种文本审核方法及相关装2基于输入文本进行字符过滤,得到以自然语言表达的待审核文本2.根据权利要求1所述的方法,其特征在于,在所述匹配链路包含敏感词匹配的情况基于所述敏感词匹配树对所述待审核文本进行匹配,得到所述敏感词匹配的输出结所述待审核文本进行匹配过程中,自动忽略所述发音单元和所述待审核文本中的后鼻音,基于使用有限状态自动机重构之后所述候选表达式对所述待审核文本进基于所述确定有限自动机对所述待审核文本进行匹配,得到所述正则匹配的输出结在所述有限自动机中查询从所述初始状态遇39.根据权利要求1至8任一项所述的方法,其特征述程序指令用于实现权利要求1至9任一项所述的4[0001]本申请涉及自然语言处理技术领域,特别是涉及一种文本审核方法及相关装置、56行归一化处理,最终将包含各种规避手段的输入文本转换为以自然语言表达的待审核文7际应用过程中当输入文本涉及违规内容的情况下,对输入文本可能采取的几种实施示例,[0024]在一个具体的实施场景中,在AC自动机方案中,每个字典树的节点通常为1个字这样不管原文是ci还是chi都可以匹配8abc.*def,对于abc和def之间的部分,用通配符来处理4)不包含复杂的环、环视达式中出现某些复杂情况时构建索引树的几种补充示例,在此对其他可能情形不做限定,待审核文本进行匹配的核心思路以及主要流程进行简要说明。首先介绍使用DFA对待审核其主要流程包括以下步骤1)初始化:将自动机的当前状态设为“初始状态”(start为刚查到的下一个状态S{\prime},如9提升审核效率,响应于匹配链路上任一匹配方式的输出结果包括命中违规内容,可以跳出用图2b所示为例,当基于图2b所示匹配链路对待审核文本进行审核过程中,若运行至匹配到匹配链路上匹配方式的输出结果之后,响应于输出结果包括未命中违规内容,可以按照匹配链路上各个匹配方式的既有顺序继续执行。请继续结合参阅图2b,若运行至匹配方式链路对待审核文本进行审核过程中,响应于匹配链路上任一匹配方式的输出结果包括命中的情况下,在基于匹配链路对待审核文本进行审核过程中,响应于匹配链路上任一匹配方为平翘舌音的声母单元,补全节点所表征发音单元为同时包含平舌音和翘舌音的声母单敏感词匹配树对待审核文本进行匹配过程中,自动忽略发音单元和待审核文本中的后鼻IntegratedCircuit,ASIC)、现场可编程门阵列(Field_ProgrammableGateArray,单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备可以存储程序代码的介质。[0054]若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论