CN119493860A 一种文本分类方法、装置、设备、存储介质及程序产品 (国网浙江省电力有限公司电力科学研究院)_第1页
CN119493860A 一种文本分类方法、装置、设备、存储介质及程序产品 (国网浙江省电力有限公司电力科学研究院)_第2页
CN119493860A 一种文本分类方法、装置、设备、存储介质及程序产品 (国网浙江省电力有限公司电力科学研究院)_第3页
CN119493860A 一种文本分类方法、装置、设备、存储介质及程序产品 (国网浙江省电力有限公司电力科学研究院)_第4页
CN119493860A 一种文本分类方法、装置、设备、存储介质及程序产品 (国网浙江省电力有限公司电力科学研究院)_第5页
已阅读5页,还剩19页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

号模型中的第一子模型对应的第一初步分类结果以及融合模型中的第二子模型对应的第二初步2将所述文本数据输入预先构建的融合模型中,获得所述融合模型中的第一初步分类结果以及所述融合模型中的第二子模型对应的第二初步分类结果;其中,获取所述第一初步分类结果中每个文本类别对获取所述第二初步分类结果中每个文本类别对计算相同文本类别对应的所述第一概率值以及所述第二概在所述概率差异符合预设标准的情况下,输出对应的文本3.根据权利要求2所述的方法,其特征在于,在所述概率差异不符合预设标准的情况基于所述文本数据集分别训练所述第一子模型以及所述第二子模型;将训练完成后的所述第一子模型以及所述第二子模型封装为所对所述文本数据集中的文本数据依次进行数据清洗、分词处理、去对所述数据标准化处理后获得的文本数据分别进行文本切块处理,段分类模块,用于将所述文本数据输入预先构建的融合第一子模型对应的第一初步分类结果以及所述融合模型中的第二子模型对应的第二初步分类结果;其中,所述融合模型为与所述预设领域对应的模型;所述第一子模型采用3存储器和处理器,所述存储器和所述处理器之间互相通信连接9.一种计算机可读存储介质,其特征在于,所述45计算相同文本类别对应的第一概率值以及第二概将训练完成后的第一子模型以及第二子模型封装[0014]本实施方式中通过结合FastText和Transformer大型预训练模型,显著提高了文6子模型对应的第一初步分类结果以及融合模型中的第二子模型对应的第二初步分类结果;使计算机执行上述第一方面或其对应的任一实施方7型对应的第一初步分类结果以及融合模型中的第二子模型对应的第二初步分类结果;其8成本著称,能够快速处理大规模文本数据,同时在处理文本短语和高频词汇时表现优异。9[0053]本实施例中通过结合FastText和Transformer大型预训练模型,显著提高了文本去除停用词:停用词是指在文本中频繁出现但对分类任务没有帮助的词语,如一子模型对应的第一初步分类结果以及融合模型中的第二子模型对应的第二初步分类结主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处[0071]该计算机设备还包括通信接口30,用于该计算机设备与其他设备或通信网络通存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算该计算

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论