CN119537528A 基于自然语言模型的铁路知识问答方法和装置 (中国国家铁路集团有限公司)_第1页
CN119537528A 基于自然语言模型的铁路知识问答方法和装置 (中国国家铁路集团有限公司)_第2页
CN119537528A 基于自然语言模型的铁路知识问答方法和装置 (中国国家铁路集团有限公司)_第3页
CN119537528A 基于自然语言模型的铁路知识问答方法和装置 (中国国家铁路集团有限公司)_第4页
CN119537528A 基于自然语言模型的铁路知识问答方法和装置 (中国国家铁路集团有限公司)_第5页
已阅读5页,还剩29页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

基于自然语言模型的铁路知识问答方法和本发明提供一种基于自然语言模型的铁路路业务问题输入至预训练的铁路自然语言大模2将所述铁路业务问题输入至预训练的铁路自然语言大模型,得到所其中,所述铁路自然语言大模型是:基于铁路自然语言样获取铁路业务数据,根据预设分类规则对所述铁路业务数根据业务需求对所述铁路自然语言知识库中的数据进行标注基于所述铁路自然语言样本库对自然语言大模型进行预训练基于预先设置的全参数微调方法对所述预训练的自在每次更新迭代过程中,冻结第三预设数量中间层的模型权基于所述铁路业务问题通过生成式检索,从所述铁路自然语言知将与所述铁路业务问题对应的文档知识输入至预训练的铁路自然语3将所述铁路自然语言知识库转换为铁路知识特征向量库,并生成对应的文档搜索索将所述铁路业务问题转换为多个检索语句;其中,所述多个检基于所述多个检索语句以及每个检索语句对应的特征向量,通过所述文根据预设切分规则对所述铁路自然语言知识库中的文档进行切通过预训练的编码模型对所述多个切分后的文档进行特征向量表示,其中,所述铁路自然语言大模型是:基于铁路自然语言样9.一种电子设备,包括存储器、处理器及存储在机程序被处理器执行时实现如权利要求1至7任一项所述基于自然语言模型的铁路知识问4[0002]目前,以ChatGPT为代表的自然语言大模型出色的语言理解和知识推理能力使得业务问题输入至预训练的铁路自然语言大模型,得到所述铁路业务问题对应的答案之前,5基于预先设置的全参数微调方法对所述预训练的自然语言大模型进行有监督微引在所述铁路知识特征向量库中进行检索,得到与所述铁路业务问题对应的多个文档知6机程序被处理器执行时实现如上述任一种所述基于自然语言模型的铁路知执行时实现如上述任一种所述基于自然语言模型的7[0027]下面结合图1图7描述本发明的一种基于自然语言模型的铁路知识问答方法和装效支撑铁路自然语言大模型的建设和应用。图2是本发明提供的铁路自然语言大模型关键8[0039]LoRA的基本原理是冻结预训练好的模型权重参数,在冻过程中,LoRA冻结了预先训练好的模型权重,并将可训练的秩的分解矩阵注入到[0044]铁路领域的样本数据丰富且涵盖范围广泛,这意味着仅仅依赖LoRA(Low_Rank9更多地参与到特定任务的决策,因此重点训练输入附近几层和输出附近几层则尤为关键。本实施例则重点训练embedding层和最后的三层于所述第四预设数量,所述中间层的数量为所述第三预设数量和所述第四预设数量的总[0049]具体地,本实施例除了embedding层和最后三层输出层这些比较重要的网络层以型综合利用检索到的信息和先前微调训练的知识来合成答案。[0066]步骤220、将与所述铁路业务问题对应的文档知识输入至预训练的铁路自然语言人工智能核心功能及支撑大模型组件研发和应用。铁路自然语言行业大模型的演进分为自然语言大模型能够更直接地深入特定铁路业务场景,更精准地满足铁路行业特定的需的基于自然语言模型的铁路知识问答装置与上文描述的基于自然语言模型的铁路知识问[0095]本发明提供的基于自然语言模型的铁路知识问答装置,通过基于预先设置的全参数微调方法对所述预训练的自然语言大模型进行有监督微引在所述铁路知识特征向量库中进行检索,得到与所述铁路业务问题对应的多个文档知[0103]此外,上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论