版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
基于自然语言模型的铁路知识问答方法和本发明提供一种基于自然语言模型的铁路路业务问题输入至预训练的铁路自然语言大模2将所述铁路业务问题输入至预训练的铁路自然语言大模型,得到所其中,所述铁路自然语言大模型是:基于铁路自然语言样获取铁路业务数据,根据预设分类规则对所述铁路业务数根据业务需求对所述铁路自然语言知识库中的数据进行标注基于所述铁路自然语言样本库对自然语言大模型进行预训练基于预先设置的全参数微调方法对所述预训练的自在每次更新迭代过程中,冻结第三预设数量中间层的模型权基于所述铁路业务问题通过生成式检索,从所述铁路自然语言知将与所述铁路业务问题对应的文档知识输入至预训练的铁路自然语3将所述铁路自然语言知识库转换为铁路知识特征向量库,并生成对应的文档搜索索将所述铁路业务问题转换为多个检索语句;其中,所述多个检基于所述多个检索语句以及每个检索语句对应的特征向量,通过所述文根据预设切分规则对所述铁路自然语言知识库中的文档进行切通过预训练的编码模型对所述多个切分后的文档进行特征向量表示,其中,所述铁路自然语言大模型是:基于铁路自然语言样9.一种电子设备,包括存储器、处理器及存储在机程序被处理器执行时实现如权利要求1至7任一项所述基于自然语言模型的铁路知识问4[0002]目前,以ChatGPT为代表的自然语言大模型出色的语言理解和知识推理能力使得业务问题输入至预训练的铁路自然语言大模型,得到所述铁路业务问题对应的答案之前,5基于预先设置的全参数微调方法对所述预训练的自然语言大模型进行有监督微引在所述铁路知识特征向量库中进行检索,得到与所述铁路业务问题对应的多个文档知6机程序被处理器执行时实现如上述任一种所述基于自然语言模型的铁路知执行时实现如上述任一种所述基于自然语言模型的7[0027]下面结合图1图7描述本发明的一种基于自然语言模型的铁路知识问答方法和装效支撑铁路自然语言大模型的建设和应用。图2是本发明提供的铁路自然语言大模型关键8[0039]LoRA的基本原理是冻结预训练好的模型权重参数,在冻过程中,LoRA冻结了预先训练好的模型权重,并将可训练的秩的分解矩阵注入到[0044]铁路领域的样本数据丰富且涵盖范围广泛,这意味着仅仅依赖LoRA(Low_Rank9更多地参与到特定任务的决策,因此重点训练输入附近几层和输出附近几层则尤为关键。本实施例则重点训练embedding层和最后的三层于所述第四预设数量,所述中间层的数量为所述第三预设数量和所述第四预设数量的总[0049]具体地,本实施例除了embedding层和最后三层输出层这些比较重要的网络层以型综合利用检索到的信息和先前微调训练的知识来合成答案。[0066]步骤220、将与所述铁路业务问题对应的文档知识输入至预训练的铁路自然语言人工智能核心功能及支撑大模型组件研发和应用。铁路自然语言行业大模型的演进分为自然语言大模型能够更直接地深入特定铁路业务场景,更精准地满足铁路行业特定的需的基于自然语言模型的铁路知识问答装置与上文描述的基于自然语言模型的铁路知识问[0095]本发明提供的基于自然语言模型的铁路知识问答装置,通过基于预先设置的全参数微调方法对所述预训练的自然语言大模型进行有监督微引在所述铁路知识特征向量库中进行检索,得到与所述铁路业务问题对应的多个文档知[0103]此外,上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 八年级数学下册多边形与平行四边形复习课教学设计
- 小学五年级班会课教学设计:校园欺凌预防与处置的核心素养导向实践
- 初中物理九年级《家庭用电》教学设计
- 八年级数学教学设计:尺规作图中的逻辑推理与几何本质探究
- 译林版初三英语上册Unit 2 Teenage Problems语法教学设计:情态动词表建议的情境化教学与核心素养培育
- 高中体育与健康必修第一册三级跳远教学设计
- 八年级美术第二单元形象与主题教案
- 2026事业单位工勤技能-新疆-新疆客房服务员二级(技师)历年参考题库含答案详解
- 2026事业单位工勤技能-新疆-新疆保育员五级(初级工)历年参考题库含答案详解
- 初中语文阅读理解议论文结构安排解析试题及答案
- 医疗器械使用专业培训证明(5篇)
- 动设备管理制度
- 浪潮存储AS520E操作手册
- 110KV变电站运营管理方案
- 中建办公、生活区临时设施专项施工方案
- 《土地经济学》课程教学大纲
- 氧气吸入操作评分标准(中心供氧)
- JC-T2723-2022预应力混凝土实心方桩
- 腹股沟斜疝的护理
- (21)-《计算机组成与结构》-华为-鲲鹏处理器
- 贵州玄德生物科技股份有限公司年产5000吨生态特色食品(4500L超临界CO2流体萃取)精深加工生产线建设项目环境影响报告
评论
0/150
提交评论