CN119537590A 文本数据处理方法、装置、电子设备及计算机可读介质 (北京京东拓先科技有限公司)_第1页
CN119537590A 文本数据处理方法、装置、电子设备及计算机可读介质 (北京京东拓先科技有限公司)_第2页
CN119537590A 文本数据处理方法、装置、电子设备及计算机可读介质 (北京京东拓先科技有限公司)_第3页
CN119537590A 文本数据处理方法、装置、电子设备及计算机可读介质 (北京京东拓先科技有限公司)_第4页
CN119537590A 文本数据处理方法、装置、电子设备及计算机可读介质 (北京京东拓先科技有限公司)_第5页
已阅读5页,还剩24页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

开发区科创十一街18号院1号楼7层2获取样本数据集,基于预设词汇对所述样本数据集进行掩膜将所述掩膜样本数据集作为初始神经网络模型的输入,将对应的所述调用预设数据嵌入向量库,以确定所述预设数据嵌入向量基于所述最新的数据嵌入向量更新所述数据嵌入将所述数据嵌入向量和所述数据嵌入向量集输入至预测模型,以基于将所述各个分词数据输入至预测模型,以基于所述预测模型中的下基于所述各个分词数据和所述关联度生成对应分词数据确定单元,被配置成对所述待处理文本数据执行分词3数据分类确定单元,被配置成根据所述数据嵌入向量和所述数据获取样本数据集,基于预设词汇对所述样本数据集进行掩膜将所述掩膜样本数据集作为初始神经网络模型的输入,将对应的所述456[0055]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加[0062]图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意[0065]图1是根据本申请一个实施例所提供的文本数据处理方法的主要流程的示意图,7[0069]将待处理文本数据进行中文分词处理,例如提取出待处理文本数据中的主谓宾,过得到转换后的数据嵌入向量量相似度对转换得到的数据嵌入向量据嵌入向量集。[0074]示例的,预测模型例如可以是来自变换器的双向编码器表征量(Bidirectional据处理请求是为了确定待处理文本数据中是否存在违测模型)中原本随机遮掩(MASK)词语的策略进行改进,在预处理阶段对违规词进行定向[0077]示例的,待处理文本数据为“请问有什么方法可以联系到您?这是我的微信:8[0083]为了保证多样化数据的质量,本申请实施例采用数据增强架构(Transformer架构)对BERT模型进行微调Fine_tune,保证新生成的违嵌入向量集)能够保留原输入的真实文本数据(即入向量(即各个分词数据对应的数据嵌入向量)再输入到T新违规文本数据(即批量的数据嵌入向量集)。本申请实施例将接收到的数据嵌入向量通过解码器部分基于向量相似度计算得到与接收的数据嵌入向文本数据(即循环n词得到的数据嵌入向量)重新输9[0090]示例的,将通过BERT模型生成的原真实场景中的文本嵌入向量(即由待处理文本数据得到的各个分词数据对应的数据嵌入向量)和新生成的文本嵌入向量集(即本申请实施例中生成的数据嵌入向量集)合并输入到通用的分类判别模块中进行分类,根据BERT模型得到的数据嵌入向量以及Transformer架构得到的数据嵌入向量集,违规词能够具有更[0092]图2是根据本申请一个实施例所提供的文本数据处理方法的主要流程示意图,如学习到具有线上问诊医患交流文本特点的文本数据嵌入向量,为后续的微调Fine_tune过量库中的各个预设数据嵌入向量与数据嵌入向库中的各个预设数据嵌入向量与待处理文本数据的各个分词数据对应的数据嵌入向量的[0103]将计算得到的余弦相似度大于预设阈值时对应的预设数据嵌入向量确定为目标[0105]目标预设数据嵌入向量即为与待处理文本数据的各个分词数据对应的数据嵌入[0109]图3是根据本申请一个实施例所提供的文本数据处理方法的应用场景示意图。本块和利用Transformer进行文本多样化的文数据集进行预处理,采用定向MASK的策略替代BERT模型中原本的随机MASK策略,同时对[0113]最终将真实场景中的违规文本数据嵌入向量以及增强的违规文本数据嵌入向量的信息;采取Transformer模块循环处理,由源违规文本批量生成与其意思相近的文本数[0117]图4是根据本申请实施例的文本数据处理装置的主要单元文本数据处理装置400包括接收单元401、分词数据确定单元402、数据嵌入向量确定单元[0121]数据嵌入向量集确定单元404,被配置成调用数据增强架构,以基于数据嵌入向取进行过掩膜预处理的数据对应的标签;将掩膜样本数据集作为初始神经网络模型的输[0130]图5示出了可以应用本申请实施例的文本数据处理方法或文本数据处理装置的示存储器(ROM)602中的程序或者从存储部分608加载便于从其上读出的计算机程序根据需要被安装入存储部分算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论