CN119476209A 一种基于最优提示词选择的大语言模型优化生成方法 （国网山西省电力公司信息通信分公司）

司一种基于最优提示词选择的大语言模型优本发明提出一种基于最优提示词选择的大基于最优提示词选择的大语言模型优化生成方2步骤四：采用LoRA微调模型调整提示评估模型参数步骤五：从候选提示词中选取最高分者作为特定问题2.根据权利要求1所述的一种基于最优提示词选择的大语言模型优化生成方法，其特选取C_Eval数据集进行训练与验证，将问题与答案拼接形成单一序使用文本嵌入方法将文本转为向量，具体由输入层接收当前单词及其上下文单词的将得到的向量送入投影层进行加权求和并相加，得到一个代表当前单词将总和输入到层次Softmax层，该层次结构为一个二叉树，每个叶子节点对应一个单;3.根据权利要求1所述的一种基于最优提示词选择的大语言模型优化生成方法，其特进行数据预处理与聚类分析后得到一定数量的簇，从各个簇中抽取可Prompt=Instruct+Overall/DetailedDescription+34.根据权利要求1所述的一种基于最优提示词选择的大语言模型优化生成方法，其特基于划分好的簇以及对应的优秀提示词来构建词库与微调数据集，然后采用在线大模型与人工标注相结合的方法，构专家评审员根据问题与提示词之间的关联紧5.根据权利要求1所述的一种基于最优提示词选择的大语言模型优化生成方法，其特在选定的层中为每个权重矩阵添加一对低秩矩阵U、V，分别对应原权重通过调整低秩矩阵U和V，利用Adam优化算法及早停策略，确保模型在6.根据权利要求1所述的一种基于最优提示词选择的大语言模型优化生成方法，其特依据评估模型打分情况，系统自动选择候选提示词集合中得分最程序将最优提示词与对应的问题文本进行逻辑合并，形模型生成完成后，将模型生成的答案与C_Eval测试集中对应问题的标准答案进行比4为自然语言处理领域的重要工具，其具备的强大语言理解和生成能力能够满足文本创作、其是在利用提示词引导和增强模型输出的有效性方面，例如Brown等人的研究强调了细心空间提示微调方法，通过学习一个共享的潜在空间来捕捉来自多个源任务的基础技能集，5;6Prompt=Instruct+Overall/DetailedDescription+7候选提示词库，克服了提示词无法实现实时调整与适配访问受限的大模型问题，并采用8本发明选取C_Eval数据集中的部分具有代表性的大规模问题与答案对作为原始加，最终得到一个代表当前单词与上下文单词之间的关系总和，最后总和被输入到层次[0025]使用谱聚类算法相较于直接使用K_Means算法可更好地处理存在复杂分布、高维9进行数据预处理与聚类分析后得到一定数量的簇，为了提高优秀提示词的普适示大模型在回复某类问题时应当遵循的主题；DetailedDescription表示通过分点列举的下游大模型生成问题答案提供了可供选择的优质提[0032]采用上述方法不仅极大地减轻了人工标注的工作负担，提高了数据集构建的效模型的适应性调整。该方法核心思想是在保持原始预训练模型大部分参数不变的基础上，仅通过引入低秩矩阵来对模型的关键层进行局部调整，LoRA微调方法的模型结构如图5所和初始权重的良好初始化，LoRA微调的模型往往能在较短的训练时间内达到较好的性能，具体利用上文微调后的专用提示评估模型对[0039]本发明提出的模型优化方法可以提升语言模型针对绝大多数问答数据集的正确本发明专注于C_Eval数据集中的CivilServant、MiddleSchoolQuestions、High通过人为观察数据集中可能的分类，设定簇的数量n_clusters为9，affinity参数设定为明指定模型为1.8亿参数量的Qwen系列量化模型。training_stage参数定义了训练过程为有监督微调，意味着模型将在带有标签的数据集上进行训练，以学习特定任务的特征。本发明研究采用了C_Eval数据集中的行政职业能力测验题目以及初中和高中阶理及复杂计算能力要求较高的领域，其表现尚有提升空间，尤其是本次测评模型普遍在根据表3显示数据可知，当使用了最优提示词选择优化生成方法后，Qwen_14B_Chat_int4与Qwen_turbo模型可以较好的利用最优提示词纠正原本错误的回答，而Qwen_[0056]上述案例回复分别由两种方法组成，其中Zero_Shot方法表示下游大模型在仅由一个指令和问题作为提示词时所生成的文本，而OPS方法表示下游大模型在选择了最优提