CN119415641A 一种表格数据分析领域大模型的训练和评估方法 （浙江大学计算机创新技术研究院）

一种表格数据分析领域大模型的训练和评本发明公开了一种表格数据分析领域大模的表格数据分析领域大模型不仅具有很强的表21.一种表格数据分析领域大模型的训练和评估方法，其特征在于该方法包括以下步从收集的基础表格中挑选适合制作表格问题集以及表格问答对的使用表格问题集和对应表格，结合多套提示词，生成单轮和多轮表使用规则匹配和模型生成强化两种方式，对已有的多种数据第一部分使用通用数据并混合部分表格QA对数据，采用纯监督第二部分使用纯表格QA样本对数据，使用ORPO微调算法，模型评估包括表格相关任务评估和通用能力评估两个步骤八：不断重复步骤一至步骤七，直至所有表格相关2.根据权利要求1所述的一种表格数据分析领域大模型的训练和评估方法，其特征在B.任何一列中的空值不超过30%；C.删除横表；D.删除列名和列中第一个值能直接匹配上的表格；E.删除表中的Unnamed、列名为单一数字或字母、单元格存储内容超过100个比特的33.根据权利要求1所述的一种表格数据分析领域大模型的训练和评估方法，其特征在4.根据权利要求3所述的一种表格数据分析领域大模型的训练和评估方法，其特征在5.根据权利要求1所述的一种表格数据分析领域大模型的训练和评估方法，其特征在6.根据权利要求1所述的一种表格数据分析领域大模型的训练和评估方法，其特征在7.根据权利要求1所述的一种表格数据分析领域大模型的训练和评估方法，其特征在所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1_7中任一项9.一种计算机可读存储介质，其特征在于，所述执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1_7中任一项所述的4[0002]二维结构化表格数据是日常生产生活中最常见的数据形式，对表格数据进行查相关大模型。[0004]除以上所述基于监督微调流派的表格领域大模型研究之外，还有基于常见Coder专家模型如DeepSeekCoder、Qwen2.5_Coder、Yi_Coder等搭建的智能体工作流（Agent_Human_query都具有较强的理解力，同时还具有很强的场景代码生成能力（如Python或56[0037]对于表格领域数据分析这类需要同时对人类语言以及数据表格都具备强解析能[0045]另外由于表格问答数据较为匮乏且同质性太高，还必须7表格中挑选适合制作表格问题集以及表格问答8[0089]3分:回复提供了一些与用户询问相关的信息，但这些信息非常有限或不够具[0090]4分:回复中包含了更多与用户问题相关的信息，但仍未能解决问题的主要部9[0118]同时，考虑到还要覆盖整体任务对齐的需求。传统的训练方法是监督对齐法进行多阶段微调训练。l生成内容每个token位置真实编码,"和其对应模型输出对数概率log([0133]模型评估包括了表格相关任务评估和通用能力评估两个术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结问答数据中表格的多样性，应尽量保证在质量允许的情况下保留尽可能多不同的基础表[0151]所述代码生成提示词模板，根据生成样本的类型（多轮或单轮包括PlanYouhaveaccesstoseveralpandasdataframes.Givenauserquestionaboutthedataframes,writethePythoncod##Usethefollowingformat:Question:Theuserquestionyouneedtoanswer.Thought:ThinkaboutwhatyoushoulddobasedontheprovidedDataFrames,thequestion,etc.Pythoncode:Generatepythoncode,wrapitupwith```python```.Observation:theresultoftheexecutionofyourPythoncode.NoneedtogenerateresultsFinalanswer:Concludewithaclearandconciseanswerbasedonthe]于由React模板生成的代码每次总会有LLM和外部输入多次交互，所以认为React模板生成[0161]8）使用如表1和表2所示收集的一系列公开测试数据集以及从生成的表格QA数据座模型的效果进行比较。保证选定训练权重在该测试集上的运行