CN119494323A 基于大语言模型的招投标文件自动信息提取方法及系统 （湖南湘能创业项目管理有限公司）

基于大语言模型的招投标文件自动信息提本发明提供了一种基于大语言模型的招投后的BERT模型和生成式大语言模型整合为双阶有效提升了从招投标文件提取关键信息的准确2根据预处理后的招投标文件，构建招投标文件数据集，所述招投根据所述招投标文件数据集，对BERT序列标注模型进行调整，调整后的根据所述招投标文件数据集，对具备上下文理解能力的生成式大语言模型进行调整，将调整后的BERT序列标注模型与调整后的大语言模型整合为目标将待处理的招投标文件输入所述目标模型中，提取并高亮显示目2.根据权利要求1所述的基于大语言模型的招投标文件自动信息提取方法，其特征在3.根据权利要求2所述的基于大语言模型的招投标文件自动信息提取方法，其特征在将输入文本X分解成多个词元生成嵌入向量，生成的嵌入向量E是词嵌入采用双向Transformer架构进行编码，从输入序列的前向和后向同时捕捉词语的上下将编码后的上下文向量输入到分类层，分类层对每个词元的上下文向量进行线性变损失函数Lossser计算完成后，通过反向传播算法来更新BERT模型34.根据权利要求3所述的基于大语言模型的招投标文件自动信息提取方法，其特征在选择具备上下文理解和生成能力的预训练大语言模型作为基础模型，将输入文本X及大语言模型采用自回归生成方式，逐步生成目标序列中的下一个：是在输入文本X和粗略标签Taooxe条件下生成下一个词的概5.根据权利要求4所述的基于大语言模型的招投标文件自动信息提取方法，其特征在将目标信息与待处理的招投标文件进行匹配，匹配成功后，在待处理6.一种基于大语言模型的招投标文件自动信息提取利要求1－5任一项所述的基于大语言模型的招投标文件自动信息提取方法，所述系统包预处理模块，用于将招投标文件进行预处理，以将不同格式的文件转4第二调整模块，用于根据所述招投标文件数据集，对具备整合模块，用于将调整后的BERT序列标注模型与调整后的大语言模型整合为目标模输入模块，用于将待处理的招投标文件输入所述目标模型中，5[0006]本发明实施例的第一方面提供了一种基于大语言模型的招投标文件自动信息提6整，调整后的大语言模型用于对调整后的BERT序列标注模型识别出的粗略标签进行细化，将输入文本X分解成多个词元生成嵌入向量，生成的嵌入向量E是词嵌入Ewera、采用双向Transformer架构进行编码，从输入序列的前向和后向同时捕捉词语的：X及粗略标签作为输入；7：是在输入文本X和粗略标签Taooxe条件下生成下一个词的概[0015]本发明实施例的第二方面提供了一种基于大语言模型的招投标文件自动信息提8[0018]实施本发明实施例当中提供的一种基于大语言模型的招投标文件自动信息提取[0019]图1为本发明实施例一提供的一种基于大语言模型的招投标文件自动信息提取方图4为本发明实施例二提供的一种基于大语言模型的招投标文件自动信息提取系[0021]本实施例所提供的基于大语言模型的招投标文件自动信息提取方法可以在智能实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包9根据本发明实施例，提供了一种基于大语言模型的招投标文件自动信息提取方[0030]构建招投标文件数据集，每条数据记录包括三个字段：输入文本X、粗略标签[0035]其中，词嵌入Ewera是将输入文本按照BERT的WordPiece分词器进行切分，并为每个token分配一个词嵌入向量。在该过程中，文本前后会自动添加特殊标记[CLS]和[0037]片段嵌入用于区分输入文本段落拥有不同的片段嵌入，即，其中是第i个[0044]通过上述微调步骤，得到的BERT模型能够从招投标文件[0047]具体的，首先选择具备上下文理解和生成能力的预训练大语言模型作为基础模型，然后将标注后的文本及粗略标签作为输入，其中，大语言模型包括但不限于GPT_3、[0048]其中“…”的内容根据粗略标签的具体类型来设定。模型在接收到粗略标签是在输入文本X和粗略标签Taooxe条件下生成下一个词的概[0055]步骤S06，将待处理的招投标文件输入所述目标模型中，提取并高亮显示目标信[0056]需要说明的是，用户将目标招投标文件输入至已整合的[0058]图3为招投标文件信息提取结果示意图。图中显示，初始的招投标文件经过处理[0059]综上，本发明上述实施例当中的基于大语言模型的招投标文件自动信息提取方信息提取系统200的结构框图，该基于大语言模型的招投标文件自动信息提取系统200包将输入文本X分解成多个词元生成嵌入向量，生成的嵌入向量E是词嵌入Ewera、采用双向Transformer架构进行编码，从输入序列的前向和后向同时捕捉词语的：：是在输入文本X和粗略标签Taooxe条件下生成下一个词的概被处理器执行时实现如上述的基于大语言模型的招投标文件自动[0072]本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或