CN119398057A 基于大语言模型的数据处理方法及相关产品 （上海处理器技术创新中心）

基于大语言模型的数据处理方法及相关产品本申请公开了一种基于大语言模型的数据标签；生成与所述语义标签相关的多条关联文2根据提取的所述语义标签创建提示框模板，其中所述提示框包将所述提示框模板和所述原始文本数据输入到所述大语言模型，以生成首个关联文根据所述标注类型的语义含义和所述标注文本片段的关键词，通过根据构建的语义标注数据集和对应的语义标签调整大语言模型的网Pre_trainedTransforme模型和/或TextDa存储器，其存储有基于大语言模型的数据处理方法的程序指令，34的所述语义标签创建提示框模板，其中所述提示框包括所述语义标签对应位置的占位符5[0012]在一个实施例中，所述大语言模型包括GenerativePre_trainedTransforme模[0017]通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目[0018]图1示出了本披露一些实施例的基于大语言模型的数据处理方法的示例性流程[0021]图4示出了本披露一些实施例的基于标注信息提取语义标签的方法的示例性流程请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，6[0030]图1示出了本披露一些实施例的基于大语言模型的数据处理方法100的示例性流7是在原始文本的基础上，通过语义标注的方式对原始文本中的语义成分进行标记后的文[0040]丰富且多样的关联文本作为增强数据，可以扩展大语言改善大语言模型的语义推导能力，使大语言模型可以更准确地生成与原意相符的新样本，[0044]在此需要说明的是，大语言模型可以包括GenerativePre_trainedTransform(GPT)模型和/或TextDavinci模型，特别是其中的GPT_3.5_Turbo模型和Text_Davinci_8大语言模型生成关联文本为张三人名非常兴奋地去事件北京地点旅游事件或张三高兴地[0049]迭代替换提示框模板中的关键词可以生成多条相似但具有语义变化的关联文9[0056]图4示出了本披露一些实施例的基于标注信息提取语义标签的方法400的示例性则直接提取或生成对应的语义标签。在一个实施场景中，标注类型的语义含义指根据文本键词组来标注，以充分抽取语义信息。而关键词包含了该文本片段的核心语义信息。例如 [0060]通过应用预设规则将标注信息转换为结构化且包含语义[0062]1.There'satypeofknowledgerepresentation"\{\textbf{Operator}\}".Pleasegenerate10examplesaboutinJSONformatwiththefollowingkeys:\{\styles.[0064]与前述应用功能实现方法实施例相对应，本披露实施例中还提供了一种如图5所备500中提供的中央处理单元(CPU)、应用处理器(AP)、人工智能处理器芯片(IPU)等来实处理器510可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读器520可以存储电子设备500中的处理过的数据和待处理的数据。存储器520可存储处理器电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、相变RAM(PRAM)、磁性RAM[0068]综上，本说明书实施方式提供的电子设备500的存储器520和处理器510实现的具服务器等)的处理器执行时，使处理器执行根据本披露的上述方法的各个步骤的部分或全