大模型技术深度解析(微课版) 课件7.2大模型的表格处理

大模型的表格处理大模型技术深度解析-配套PPT目录1、引言2、表格数据的特征与处理挑战3、大模型建模表格数据的相关技术4、表格数据建模的常见下游任务5、限制与未来发展方向1、引言1.1表格数据的重要性1.2表格数据处理的挑战1.3表格数据处理技术的发展历程1.1表格数据的重要性表格数据的广泛应用金融分析：财务报表、投资组合、风险评估医学诊断：患者数据、临床试验结果、治疗效果对比公共管理：人口统计、资源分配、政策成效评估科学研究：实验数据记录、观测结果比较、研究发现汇总1.2表格数据处理的挑战表格数据面临的挑战结构复杂性：多样化的布局格式和单元格合并数据异质性：不同类型数据（数值、文本、分类）共存获取方式多样：有些场景中图像表格比文本表格更易获取跨领域理解难：不同领域表格具有特定语义和上下文1.3表格数据处理技术的发展历程传统机器学习方法基于树的集成方法（如GBDT）依赖高度结构化的特征提取在特定任务上仍有优势，但难以处理复杂庞大的表格预训练语言模型(PLMs)时代如BERT等模型的应用表格处理能力得到显著提升逻辑推理、数据解析等任务上仍有局限1.3表格数据处理技术的发展历程大型语言模型(LLMs)时代如GPT、LLaMA等模型的应用在表格领域展示了强大潜力：理解复杂表格结构跨模态表征融合基于内容生成凭借大规模训练数据和深度架构，在多个表格处理任务上表现出独特优势2、表格数据的特征与处理挑战2.1表格数据的本质2.2表格数据类型2.3文本表格的特征与挑战2.4图像表格的特征与挑战2.1表格数据的本质表格的基本定义：以行和列为基本结构的二维数据组织方式用于系统地排列和呈现信息通过多个单元格分布展示复杂数据关系便于分析、对比和查找本书的分类视角文本表格：结构化的文本形式表格数据图像表格：以图像形式存在的表格数据2.2表格数据类型表格数据类型数值数据：离散值或连续值，适用于量化计算例如：销售额、温度、人口数量分类数据标称类别（无序）：如性别、颜色、国家有序类别：如教育水平、满意度评级二进制数据：分类数据的特例，用于"是/否"类型的二元分类例如：出勤情况、合格标志2.2表格数据类型表格数据类型文本数据：记录结构化或非结构化的文字信息例如：产品描述、客户评论、医疗记录超链接数据：连接至外部资源，为表格数据提供上下文例如：产品链接、参考文献URL时间戳数据：记录事件的日期和时间例如：交易时间、登记日期在时间序列分析中至关重要2.3文本表格的特征与挑战异质性与稀疏性多种特征类型共存数值型、类别型等多种特征类型混合稀疏矩阵问题类别特征编码时易引起稀疏矩阵高基数类别场景下维度迅速膨胀数值特征处理异常值或噪声需要特殊处理不同尺度特征需要标准化2.3文本表格的特征与挑战类别不平衡数据分布偏斜少数类样本数量远小于多数类样本影响模型学习与预测性能传统方法局限过采样和欠采样方法在高维数据上表现不佳2.3文本表格的特征与挑战易受特征影响高敏感性某些特征的微小变化可能显著影响预测结果特征重要性的敏感性增加了模型捕捉关键特征的难度与图像数据对比图像数据中单个像素变化对整体预测影响较小表格数据中单个特征变化可能导致结果完全不同复杂挑战特征间往往具有依赖性，增加特征选择复杂度2.3文本表格的特征与挑战数据质量不稳定常见质量问题缺失值：关键信息不完整噪声：包含错误或不准确的数据点异常值：偏离正常分布的极端值潜在影响信息丢失：预处理可能导致有价值信息丢失人工序关系：可能引入不存在的特征关系影响模型性能：质量问题未能解决将降低预测准确性2.3文本表格的特征与挑战缺乏空间依赖性无序性特征表格数据的特征间缺乏自然的顺序和空间结构模型应用挑战卷积神经网络等基于空间信息提取的深度学习方法难以直接应用模型需要从零开始学习特征间的依赖关系建模复杂性需要特殊的结构设计来捕捉特征间隐含关系2.4图像表格的特征与挑战布局多样化结构复杂性跨行、跨列的合并单元格无边框表格样式多变（边框样式、列对齐方式、字体大小等）解析难度需要解码各单元格的相对位置和行列布局泛化要求大模型需要在不同领域中实现布局解析的泛化2.4图像表格的特征与挑战数据标注与泛化问题标注资源局限图像表格识别任务复杂，需要大量标注数据现有数据集样本数较少，多样性不足泛化能力受限模型在无标注数据情况下训练困难在不同来源和领域应用时表现不佳跨领域适应挑战不同领域表格具有独特格式和惯例2.4图像表格的特征与挑战表格解析困难逻辑位置与邻接关系准确识别单元格间的逻辑位置关系是关键传统方法依赖邻接关系法或标记序列生成法结构复杂性挑战跨行、跨列的单元格布局难以精确解析无边框或不同风格分隔线增加识别难度高精度要求单元格边界和内容识别需要高精度2.4图像表格的特征与挑战多模态依赖视觉与文本信息结合表格结构识别需要视觉和文本信息结合实现对结构和内容的准确解析OCR局限性传统表格识别依赖OCR提取文字内容OCR在多语言表格或特殊格式下准确性有限多任务依赖复杂性表格识别包含多个子任务：文本检测、结构识别等3、大模型建模表格数据的相关技术3.1大模型建模表格数据的技术概述3.2文本表格数据建模技术3.3图像表格数据建模技术3.1大模型建模表格数据的技术概述技术路线分类文本表格技术路线关注结构化数据的处理和理解主要挑战：表格结构的有效表示和语义提取图像表格技术路线关注从图像中识别和提取表格结构与内容主要挑战：多模态信息融合和复杂结构识别3.2文本表格数据建模技术文本表格处理的核心技术流程表格预处理：数据清洗、结构标准化、特征选择表格序列化：将表格转化为大模型可处理的文本格式提示工程：设计高效提示以指导模型理解表格外部工具结合：增强模型在复杂任务中的推理能力3.2文本表格数据建模技术表格预处理目标：优化表格结构，使数据更适合大模型处理挑战表格数据的高度结构化特性数据结构变化影响理解能力大数据量超出上下文窗口限制3.2文本表格数据建模技术表格预处理主要预处理方法表格结构标准化列名扩展与语义增强表格采样与分解噪声抑制数据蒸馏与上下文优化3.2文本表格数据建模技术表格结构标准化问题背景不同数据源导致表格行列位置不同数据顺序混乱影响模型理解结构不一致降低模型泛化能力方法示例两阶段标准化第一阶段：检测表格是否需要转置第二阶段：行重新排序，确保逻辑一致性3.2文本表格数据建模技术表格结构标准化效果提高了模型对不同来源表格的适应性增强了处理表格的一致性与准确性降低了结构变化带来的理解偏差3.2文本表格数据建模技术表格采样与分解背景大型表格超出上下文窗口限制如GPT-3.5在处理复杂表格时存在输入长度限制无法存储全部历史对话信息影响推理连贯性3.2文本表格数据建模技术表格采样与分解的主要方法TAP4LLM框架提出多种采样策略基于规则的采样：随机或均匀选择部分行列减小数据规模基于嵌入的语义采样：利用行列语义相似性挑选与问题最相关内容基于模型预测的采样：通过大模型预测关键行列索引（计算成本较高）3.2文本表格数据建模技术表格采样与分解的主要方法TabSQLify表格分解策略将大表格拆分为多个小型子表格每个子表格包含特定信息分段输入实现逐段推理有效缓解大表格处理的计算开销3.2文本表格数据建模技术表格采样与分解的主要方法实验效果验证在WikiTQ和TabFact等基准测试中结合采样与分解方法后，准确性显著提升特别在数据量大且结构复杂的表格上效果明显3.2文本表格数据建模技术列名扩展与语义增强问题背景表格列名常使用缩写或不明确词语模型难以准确理解列的真实含义列名含义模糊影响下游任务准确性3.2文本表格数据建模技术列名扩展与语义增强的主要方法NAMEGUESS任务将列名扩展视为自然语言生成问题通过条件生成对缩写进行扩展使列名更具可读性和语义性表格语义增强提供列名的详细描述、样例数据和粒度说明加入表格字段的统计特征或上下文信息（如度量单位）帮助模型理解列名含义和列间关系3.2文本表格数据建模技术噪声抑制问题背景表格中包含大量与问题不相关的内容无关信息干扰模型的回答准确性降低了推理效率和精确度3.2文本表格数据建模技术噪声抑制方法：CABINET框架基于内容相关性的噪声抑制方法无监督的相关性评分模块弱监督的单元预测模块识别并过滤无关的行或列效果使模型更关注与任务相关的表格内容在表格问答任务中提高回答准确率3.2文本表格数据建模技术数据蒸馏与上下文优化问题背景基于Transformer的模型在大规模表格数据上性能受限如TabPFN在超过1000个样本或高维特征时性能下降Transformer的二次内存复杂性制约处理规模3.2文本表格数据建模技术数据蒸馏与上下文优化方法：ICD上下文优化压缩原始数据，适应较小上下文窗口保留数据的关键特征通过优化采样选择最具信息量的样本效果显著降低计算开销提高高维特征表格数据的处理效率在保持性能的同时减少资源消耗3.2文本表格数据建模技术表格序列化方法背景LLM主要针对文本数据进行训练和优化结构化表格数据需要转换为适合模型输入的形式序列化方法影响模型对表格结构和内容的理解3.2文本表格数据建模技术表格序列化方法主要序列化方法表格到文本的序列化基于图或树的序列化基于PLM表格编码器的方法Row-by-row方法3.2文本表格数据建模技术表格序列化方法表格到文本序列化Markdown序列化模板序列化基于TPLM的序列化基于LLM的序列化常见应用场景需要快速展示表格内容的轻量级任务复杂的问答和内容生成任务3.2文本表格数据建模技术Markdown序列化特点通过简单格式符号将表格直接转化为文本不需要复杂模型训练保留基本的行列结构信息实现流程表格预处理：数据结构一致性处理表头处理：生成Markdown格式的表头行分隔行生成：区分表头和数据行3.2文本表格数据建模技术Markdown序列化实现流程数据行转换：每行数据转换为Markdown格式组合输出：将各部分组合成完整表格文本数学表示表头行：concat(H₁,"|",H₂,"|",…,"|",Hₙ)分隔行：concat(":---","|",":---:","|",…,"|","---:")数据行：concat(C_i,1,"|",C_i,2,"|",…,"|",C_i,n)3.2文本表格数据建模技术模板序列化特点通过设计特定模板将表格结构化信息转化为自然语言区分不同类型的表格（关系表和键值对表）生成多样化的自然语言描述实现方式基于表格类型选择不同模板根据表头和列的特征定制描述生成符合语法和语义的完整句子3.2文本表格数据建模技术模板序列化适用场景特定领域的数据生成任务需要自然语言形式表示表格的应用与预训练语言模型集成的系统3.2文本表格数据建模技术基于TPLM的序列化核心思想在传统预训练语言模型（如T5,BART）上进行微调专门针对表格到文本转换任务进行优化主要模型示例MVP模型：预训练BART模型，在表到文本数据集上微调TABT5：基于T5架构，采用编码器-解码器方式生成高质量文本描述3.2文本表格数据建模技术基于TPLM的序列化主要模型示例PLOG：引入逻辑中间层，先在"表格到逻辑形式生成"任务上预训练，再在表格到文本任务上微调优势提升了生成文本的质量和一致性增强了对表格结构的理解在复杂表格任务中表现优异3.2文本表格数据建模技术基于LLM的序列化特点利用大型语言模型（如GPT-4）的强大生成能力动态生成高质量的表格文本描述无需专门的模型训练应用场景需要灵活、高质量文本生成的复杂任务问答和内容生成任务需要深度语义理解的表格应用3.2文本表格数据建模技术基于LLM的序列化优势LLMs在表格到文本生成任务中表现出色能有效保留表格信息并以自然语言形式呈现对复杂结构和关系的表达更为自然流畅3.2文本表格数据建模技术基于图或树的序列化适用场景多层次关系或复杂结构的表格数据表格结构复杂、数据间存在多级关系的任务需要深度结构解析的应用主要方法超图表示将表格数据表示为超图单元格作为节点，行列关系作为超边3.2文本表格数据建模技术基于图或树的序列化主要方法超图表示保留表格的高阶关系信息适用于列类型注释、表格相似性检测等任务树状结构重构将复杂表格重构为树状结构每个单元格的层次结构、位置信息和内容表示为元组输入GPT-3.5进行处理3.2文本表格数据建模技术基于图或树的序列化主要方法树状结构重构帮助模型更好地捕捉表格的层次关系在HiTAB和AIT-QA等数据集上取得显著性能提升Table2Graph框架将表格数据转化为加权图表示通过图神经网络(GNN)学习特征交互关系增强表格数据的特征表达与特征选择有效保留表格中的多层次关系3.2文本表格数据建模技术基于PLM编码器的序列化核心思想将文本与表格分别编码到不同向量空间利用基于PLM微调的表格编码器处理表格将表格编码后的数值作为LLM的输入代表模型TABERT TAPASTABBIE3.2文本表格数据建模技术基于PLM编码器的序列化代表模型

TURLUTP实现方式通过结构化方式将表格的行列映射为向量考虑列名、行内容等信息进行编码确保表格信息的完整表示优化表格和文本之间的语义融合能力3.2文本表格数据建模技术Row-by-Row方法核心思想基于逐行处理表格数据的策略通过逐步分析每行信息理解表格结构和内容有效捕捉表格的层次性和多级关系优势

捕捉行与行之间复杂依赖关系避免全局输入导致的信息过载问题在表格问答任务中表现优异3.2文本表格数据建模技术Row-by-Row方法优势

适合多步推理和多层次关系建模应用实例TabBert：采用类似BERT架构，逐行学习时间序列表示UniTTab：结合预训练表格编码器，增强对多变量时间序列数据的时序依赖建模能力3.2文本表格数据建模技术提示工程背景提示工程是提升LLMs处理表格数据性能的关键技术通过设计合理输入提示引导模型充分发挥潜力在表格任务中尤为重要：提供上下文、减少歧义3.2文本表格数据建模技术提示工程主要技术上下文学习思维链（ChainofThought,CoT）自一致性策略其他高级提示技术3.2文本表格数据建模技术上下文学习基本原理通过给模型提供足够上下文信息让模型在少量示例帮助下进行推理和学习无需专门的表格预训练即可完成复杂任务优势

通过精心设计的上下文提示LLMs能有效完成表格数据推理任务即使只有少量示例（如1-shot）3.2文本表格数据建模技术上下文学习优势

在多个数据集上取得优越表现：WikiTableQuestion、FetaQA、TabFact、FEVEROUS应用价值快速适应新任务无需微调减少对大规模标注数据的依赖灵活应对不同领域的表格任务3.2文本表格数据建模技术思维链核心思想通过逐步推理引导语言模型解决复杂任务明确展示推理过程的每一步骤保持逻辑一致性，避免直接给出错误结论在表格任务中的应用特别适用于多步推理和多层次推理任务表格问答和数据推理中尤为有效通过展示推理步骤，提升模型理解表格结构的能力3.2文本表格数据建模技术思维链研究进展基础CoT通过展示推理过程的多个示例引导模型进行逐步推理提升算术和常识推理表现增强符号推理能力程序化思维提示（PoT）将推理和计算过程分开3.2文本表格数据建模技术思维链研究进展程序化思维提示（PoT）利用编程语言生成明确计算步骤增强推理的准确性和清晰度避免计算与推理过程混合带来的错误适用于复杂数值推理任务3.2文本表格数据建模技术自一致性策略核心思想

通过多路径推理和结果整合增强推理稳定性和准确性避免单一推理路径可能导致的误差特别适用于需要高精度和稳定推理的任务实现方法采样多个推理路径整合不同路径的结果选取最一致的答案提高推理的多样性和准确性3.2文本表格数据建模技术自一致性策略应用示例

改进的表格推理结合思维链与自一致性策略增强的提示模板和结构化编码将原始问题分解为多个子问题在复杂表格问答任务中显著提升性能混合自一致性机制将文本推理与符号推理结合3.2文本表格数据建模技术自一致性策略混合自一致性机制显著提高推理的稳定性和准确性有效应对表格中复杂结构的变化通过合成结果避免单一路径导致的误差优势提高模型在复杂表格任务中的鲁棒性减少随机性对结果的影响能够处理多种可能的推理路径在高度结构化的表格数据上表现尤为突出3.2文本表格数据建模技术其他提示方法聚类-选择技术通过选择最具代表性的行优化提示比随机选择方法在多样化数据任务中表现更佳特别适用于语法变化较多的任务3.2文本表格数据建模技术其他提示方法自动化提示生成基于强化学习和少样本示例选择自动识别与任务相关的表格列根据单元格相似性生成有效提示在多个表格任务中优于传统手动提示生成方式高效处理表格填充、错误检测等任务3.2文本表格数据建模技术与外部工具结合背景单纯依赖LLM在复杂表格任务中存在局限推理能力不足和信息丢失问题突出外部工具可弥补LLM在特定领域的不足主要方法特定工具生成与应用赋予LLM外部工具使用能力SQL生成与反馈机制3.2文本表格数据建模技术特定工具生成与应用

ToolWriter生成和应用特定程序工具方法通过行过滤工具高效处理大型表格数据优化信息提取过程显著提高表格问答任务表现在处理长表格时展现强大性能提升优势为表格数据生成专门程序简化复杂表格的处理流程减少信息丢失风险并提高处理效率和精确度3.2文本表格数据建模技术赋予LLM外部工具使用能力RAVEN赋予LLMs使用外部工具的能力特别适用于金融领域表格数据分析成功解决复杂的多跳推理问题实现原理工具API设计与集成任务分解与工具调用策略结果整合与验证机制3.2文本表格数据建模技术SQL生成与反馈机制自动SQL查询生成通过大语言模型（如ChatGPT）自动生成SQL查询结合外部SQL工具与反馈机制解码复杂的表格数据执行SQL查询后根据反馈自我修正减少人为干预需求关键优势协同工作提高效率，更高效地理解表格结构进行多步骤推理，显著提高推理准确性和一致性3.3图像表格数据建模技术概述目标：从图像中准确提取结构化表格数据，转化为机器可读的格式应用领域

文档分析信息检索数据自动化填充历史文档数字化3.3图像表格数据建模技术概述主要挑战表格图像结构复杂各种布局格式多样模糊或低质量扫描图像跨页、跨栏表格解析3.3图像表格数据建模技术概述图像表格处理一般步骤核心任务模块表格位置检测：在文档图像中定位表格区域表格结构识别：识别表格的行、列和单元格布局内容提取：识别并提取每个单元格中的文本内容技术路线演进传统方法：依赖图像处理技术，分阶段流水线处理现代方法：端到端联合优化框架，多模态技术集成3.3图像表格数据建模技术深度学习方法的发展历史背景早期方法分阶段处理：表格检测与结构识别作为独立任务存在误差累积风险复杂表格处理效果差技术转变从分阶段流程向端到端联合优化框架转变深度神经网络(DNN)在表格处理中发挥重要作用新型网络架构不断引入提升表格解析效果3.3图像表格数据建模技术传统深度学习方法代表模型-CascadeTabNet技术特点结合CascadeMaskR-CNN和HRNet(高分辨率网络)采用卷积神经网络(CNN)和实例分割技术使用高分辨率特征图提升表格检测精度创新之处细化表格区域的检测和结构识别成功应对复杂表格结构3.3图像表格数据建模技术传统深度学习方法创新之处适应低质量图像的挑战无需复杂的预处理或后处理代表模型-DeepDeSRT技术特点数据驱动的端到端方式不依赖启发式算法直接从图像学习表格结构特征3.3图像表格数据建模技术传统深度学习方法代表模型-DeepDeSRT优势处理更为复杂的表格结构特别适用于扫描文档中的表格识别减少了人工规则设计的需求提高了表格识别在真实场景中的适用性3.3图像表格数据建模技术新型网络架构应用基于图神经网络(GNN)的方法技术原理将表格视为图形结构结合热图回归网络进行单元格结构推断有效捕捉单元格间的相互关系优势更好地建模单元格间的空间关系提高了跨行跨列单元格的识别准确率3.3图像表格数据建模技术新型网络架构应用基于生成对抗网络(GAN)的方法技术原理通过GAN生成表格骨架利用遗传算法进行优化匹配捕捉表格结构的本质特征优势适应跨行跨列单元格的识别有助于处理不规则或设计复杂的表格3.3图像表格数据建模技术深度学习方法的局限性无边框表格识别难缺乏明显边界线的表格结构难以准确识别需要更强的上下文理解能力合并单元格处理复杂跨行跨列单元格增加了结构解析难度常规模型难以处理复杂的单元格合并关系3.3图像表格数据建模技术深度学习方法的局限性数据依赖性强需要大量标注数据进行监督训练真实应用中高质量标注数据往往不足领域适应性差跨领域泛化能力有限在新领域表格上需要重新训练3.3图像表格数据建模技术基于大模型的多模态方法技术背景为突破传统方法限制，研究转向大规模预训练模型多模态Transformer架构和自监督学习方法引入利用视觉和文本的多模态特征提高表格解析能力主要优势提高表格结构解析的准确性简化处理流程减少对标注数据的依赖提升跨领域泛化能力3.3图像表格数据建模技术预训练视觉语言模型TabPedia模型特点大型视觉语言模型(LVLM)整合多任务能力：表格检测(TD)、结构识别(TSR)、表格查询(TQ)和表格问答(TQA)技术架构双重视觉编码器捕捉表格图像的多分辨率特征将任务指令与表格特征融合为概念嵌入"概念协同"机制整合多任务处理3.3图像表格数据建模技术预训练视觉语言模型TabPedia创新成果实现高度跨任务理解能力构建了综合性表格问答基准数据集ComTQA验证了模型在复杂表格场景中的鲁棒性和准确性3.3图像表格数据建模技术预训练视觉语言模型Table-LLaVA技术框架两阶段训练范式表格识别任务预训练：学习从表格图像生成Markdown格式的结构化文本多模态指令微调：提高模型对表格问答等任务的适应能力3.3图像表格数据建模技术预训练视觉语言模型Table-LLaVA创新特点结合视觉和语言信息处理表格显著增强表格结构理解能力提升表格问答和事实验证的准确性性能评估基于MMTab数据集的多任务评估在多个基准任务上接近或超越GPT-4V3.3图像表格数据建模技术多模态Transformer架构UniTable核心思想将表格识别中的结构解析、单元格内容和边界框检测统一为语言建模任务利用自监督预训练和统一的语言建模目标技术特点模型架构简洁通用无需复杂的任务分解端到端的表格理解框架3.3图像表格数据建模技术多模态Transformer架构UniTable优越性能在多个数据集上展现强大泛化性在无标注数据场景中表现优异简化了传统表格识别的复杂流程3.3图像表格数据建模技术多模态Transformer架构TableVLM模型架构多模态预训练模型双流编码器-解码器架构联合处理图像和文本信息创新预训练任务列标题预测文本相对位置预测加强对复杂表格结构的理解3.3图像表格数据建模技术多模态Transformer架构TableVLM数据集贡献构建包含百万张合成表格图像的数据集ComplexTable覆盖更多复杂的表格结构提高模型的泛化能力和鲁棒性3.3图像表格数据建模技术创新性表格理解方法VAST技术创新视觉对齐的坐标序列建模视觉对齐损失函数设计提高表格单元格的边界框定位精度适用场景尤其适用于具有跨行跨列单元格的复杂表格处理结构不规则的表格提高边界框预测的准确性3.3图像表格数据建模技术创新性表格理解方法LORE技术创新逻辑位置回归的创新方法将表格识别转化为逻辑和空间位置的回归任务通过级联回归器捕捉单元格间的依赖关系主要优势避免了复杂的后处理步骤自然处理跨行跨列的逻辑关系提高了表格结构识别的准确性和效率3.3图像表格数据建模技术创新性表格理解方法TableFormer核心特点基于Transformer的表格结构理解模型无需依赖OCR的对象检测解码器直接从PDF文档中提取表格单元格内容技术优势基于Transformer的结构解码器增强对复杂表格布局的理解3.3图像表格数据建模技术创新性表格理解方法TableFormer技术优势适用于多语言表格的解析任务通过合成数据集SynthTabNet提高泛化能力应用场景处理复杂PDF文档中的表格多语言表格内容提取跨领域表格结构理解3.3图像表格数据建模技术图像表格技术发展趋势技术演进方向向端到端统一框架发展多模态融合加深自监督学习方法增强多任务协同学习轻量化与高效推理适应复杂表格场景4、表格数据建模的常见下游任务4.1表格问答4.2表格数据生成4.3表格数据预测4.4表格理解4.5表格结构识别4.6多模态通用表格大模型4、表格数据建模的常见下游任务下游任务概述主要任务分类表格问答：从表格中提取信息回答自然语言问题表格数据生成：创建合成表格数据模拟真实分布表格数据预测：基于表格特征预测目标变量表格理解：解析表格内容与结构的语义信息表格结构识别：识别表格的行列结构与单元格关系多模态通用表格任务：跨模态表格信息处理与理解4.1表格问答表格问答任务定义从结构化或半结构化的表格数据中，通过自然语言问题生成对应答案的任务核心目标理解表格中的数据结构和行列逻辑关系结合问题语义准确定位、推理或计算答案处理跨列、跨行、多表格的复杂推理应用领域：金融分析、医疗数据挖掘、交互式数据查询系统4.1表格问答表格问答评价指标主要评价指标执行准确率(ExecutionAccuracy)精确匹配率(ExactMatch,EM)F1分数BLEU分数4.1表格问答表格问答方法进展表格到文本生成增强研究比较了Markdown、模板序列化、PLMs、LLMs等方法效果基于LLMs的方法在大多数场景中表现优越逻辑形式的中间层提高了生成文本的逻辑性和准确性对话场景优化三步编码器-解码器框架密集表格检索(DTR)提取相关表格数据4.1表格问答表格问答方法进展对话场景优化系统状态跟踪模块对表格内容进行排序基于排序后的信息生成连贯对话响应在HYBRIDIALOGUE数据集上检索性能提升125%鲁棒性增强构建对抗性扰动基准评估模型鲁棒性LETA框架通过生成对抗性训练示例增强适应能力CABINET框架通过内容相关性评分和弱监督单元预测抑制表格噪声4.2表格数据生成表格数据生成任务定义通过生成合成表格数据来模拟真实数据分布，解决数据稀缺问题并满足多样化任务需求核心目标创建保持与真实数据一致统计特性的合成数据提供数据隐私保护的解决方案增强机器学习模型的训练数据填充缺失数据提高完整性4.2表格数据生成表格数据生成数据集主要数据来源WikipediaTables特点：涵盖多个领域的结构化信息多样性：包含各种复杂度和格式的表格应用：研究者通常根据任务需求进行筛选和预处理优势：数据量大，领域广，格式多样灵活性：可根据不同生成任务定制训练样本4.2表格数据生成表格数据生成评价指标评价维度机器学习效用比较模型在真实数据和合成数据上的性能差异统计相似性衡量生成数据与真实数据在分布上的接近程度隐私保护性确保生成数据不泄露真实数据的敏感信息4.2表格数据生成表格数据生成方法进展基于Transformer的生成方法GReaT利用自回归Transformer模型生成表格数据将表格转化为文本序列并引入随机特征排列解决传统生成模型中信息丢失问题在合成数据质量上显著优于CTGAN和CopulaGAN等方法4.2表格数据生成表格数据生成方法进展预训练生成技术TAPTAP对大量真实世界表格数据进行预训练生成高质量合成表格数据用TAPTAP生成的数据训练的模型性能媲美原始数据训练的模型凸显表格预训练在增强任务性能中的潜力4.2表格数据生成表格数据生成方法进展基于LLM的复杂表格生成STRUC-BENCH评估LLMs结构化表格生成能力的专门基准FORMATCOT方法提升表格内容准确性和结构完整性微调的小型模型(如LLaMA-7B)在多种表格生成任务中超越更大的GPT-44.2表格数据生成表格数据生成方法进展合理性与分布优化P-TA方法结合近端策略优化(PPO)和生成对抗网络(GAN)LLMs作为GAN的生成器，结合GAN反馈提高数据合理性和准确性生成具备解释性的表格特征，支持数据审计和业务优化多个真实数据集上表格生成准确性提升4%4.2表格数据生成表格数据生成方法进展合理性与分布优化REaLTabFormer拓展到多表依赖的关系型数据生成通过Seq2Seq模型实现关系型数据生成保留真实数据的统计特性通过目标遮蔽和自举法减少过拟合和数据复制风险4.3表格数据预测表格数据预测任务定义基于表格数据的特征预测目标变量，通常包括分类和回归任务任务类型分类任务：预测离散类别（如客户流失预测、疾病风险评估）回归任务：预测连续数值（如房价预测、销售额预测）4.3表格数据预测表格数据预测评价指标分类任务指标F1分数AUROC(曲线下面积)Accuracy回归任务指标RMSE(均方根误差)MAE(平均绝对误差)R²(决定系数)4.3表格数据预测表格数据预测方法进展表格专用自监督预训练TABBIE专门用于表格的自监督预训练方法为单元格、行和列生成专属嵌入表示直接从表格数据中提取信息，避免文本数据干扰在填充缺失单元格和预测任务中表现优异降低了复杂表格处理的计算成本4.3表格数据预测表格数据预测方法进展预训练与合成数据结合TAPTAP利用大量真实表格数据预训练生成高质量合成表格数据用于训练在12个数据集的实验中，合成数据训练模型表现可媲美原始数据适配多种主流模型（LightGBM、MLP、Transformer）为表格预测模型提供多场景应用新思路4.3表格数据预测表格数据预测方法进展文本特征处理创新LLMs文本特征处理处理表格中高复杂度文本特征的新方法展现强大的背景知识提取能力在需要知识迁移的任务中表现突出在大文本特征空间的表格数据集上优于传统字符级嵌入模型规模与预测性能呈正相关关系4.3表格数据预测表格数据预测方法进展任务场景特定优化HTP框架分层提示机制与LLM多任务能力结合解决表格数据可视化推荐任务通过四层次提示全面建模表格结构和语义保持LLMs主干结构不变，灵活适配不同场景在推荐图表类型和分配XY轴任务中显著优于现有方法在复杂表格场景下展现高鲁棒性和灵活性4.4表格理解表格理解任务定义表格理解任务主要包括表格事实验证和表格语义解析两个方面表格事实验证基于表格数据和声明，判断声明的真实性考察模型在复杂推理和逻辑判断中的能力通常涉及对表格数据的多步推理4.4表格理解表格理解表格语义解析将表格数据转化为易于理解和处理的语义表示包括表格数据分类、标注和关系抽取目的是帮助模型理解表格结构化信息支持后续分析或推理任务4.4表格理解表格理解评价指标表格事实验证指标AccuracyPrecision,Recall,F1Score表格语义解析指标ExecutionAccuracyBLEU和ExactMatch(EM)IoU(IntersectionoverUnion)4.5表格结构识别表格结构识别任务定义识别和解析表格的结构信息，包括表格边界、行列划分、单元格关系等核心子任务表格区域检测：识别文档中的表格区域单元格识别：定位表格中的单元格位置结构关系解析：识别单元格间的逻辑关系合并单元格处理：解析跨行跨列的单元格4.5表格结构识别表格结构识别评价指标结构匹配指标树编辑距离相似度(TEDS)邻接关系精度(CAR)边界框检测指标交并比(IoU)COCO平均精度(COCOAP)4.5表格结构识别表格结构识别评价指标语义一致性指标HTML语法匹配字符编辑距离综合性指标加权F1分数(WAvg.F1)4.6多模态通用表格大模型多模态通用表格大模型定义结合视觉和文本模态信息，以通用化框架支持多种表格相关任务的大模型主要特点跨模态信息融合多任务支持能力端到端处理框架强大的泛化能力4.6多模态通用表格大模型多模态通用表格大模型TableGPT2核心贡献构建高效表格编码器训练数据：59.38万张表格和236万组查询-表格-输出对技术创新表格编码器捕捉架构信息和单元格细节与解码器无缝集成形成多模态框架4.6多模态通用表格大模型多模态通用表格大模型TableLlama模型特点基于LLaMA2模型构建通过长上下文优化技术(如LongLoRA)增强指令微调提升任务适应性数据集贡献构建TableInstruct大规模数据集包含11个任务和多种真实世界表格数据支持分层问答和事实验证等复杂任务4.6多模态通用表格大模型多模态通用表格大模型Table-LLaVA技术框架两阶段训练范式：表格识别预训练：从图像生成Markdown结构化文本多模态指令微调：增强表格问答适应能力贡献多基准任务表现接近或超越GPT-4V解决了表格图像直接解析的难题为多模态表格应用提供了新可能4.6多模态通用表格大模型多模态通用表格大模型TabPedia核心机制"概念协同"整合多任务处理将表格检测、结构解析、查询和问答等任务统一架构特点双视觉编码器(ViT-L和Swin-B)架构同时捕捉低分辨率全局信息和高分辨率局部细节中介令牌与语言模型交互，形成灵活高效系统4.6多模态通用表格大模型多模态通用表格大模型TabPedia评估与贡献构建综合性表格问答基准ComTQA包含9000个多样化问答对验证了模型在复杂表格场景中的鲁棒性和准确性为图像表格理解树立了新标准5、限制与未来发展方向5.1公平性与社会偏见5.2数据污染与记忆化现象5.3可重复性与复现性问题5.4推理能力优化与资源受限场景适配5.5生成幻觉与推理一致性5.6未来发展关键方向5、限制与未来发展方向大模型处理表格的局限性概述模型公平性问题：预训练数据中的社会偏见影响预测结果记忆化现象：模型可能记忆训练数据而非依靠泛化能力可重复性挑战：研究结果难以复现，影响科学可靠性计算资源需求：大模型的高资源需求限制实际应用推理能力不足：复杂推理任务中仍存在逻辑错误和不一致幻觉问题：生成不符合表格事实的内容5.1公平性与社会偏见公平性与社会偏见问题表现大模型在表格分类任务中暴露显著社会偏见偏见来源于预训练数据中隐含的社会不平等现象在性别和种族等敏感属性上表现突出具体案例Adult收入预测数据集中，模型对男性和女性的机会均等性(EoO)差异高达0.483COMPAS刑事再犯预测数据集中，种族偏见同样明显，非洲裔与非非洲裔群体间公平性差距达0.3345.1公平性与社会偏见公平性与社会偏见缓解尝试与局限上下文学习(ICL)和翻转标签等方法可减轻偏见翻转少样本标签可将Adult数据集中EoO差异从0.483降至0.037但这往往以分类性能下降为代价传统偏见缓解策略效果有限数据重采样（Oversampling和Undersampling）应用于LLMs时效果不佳表明LLMs的偏见不仅来源于任务数据，还深植于预训练语料库5.1公平性与社会偏见公平性与社会偏见未来研究方向开发特定于表格任务的偏见检测与调节策略平衡公平性与模型性能间的权衡探索预训练阶段的公平性干预方法5.2数据污染与记忆化现象数据污染与记忆化现象问题定义大模型可能在预训练阶段接触过公开数据集导致测试表现被高估，无法反映真实泛化能力研究发现GPT-3.5和GPT-4可能接触过如AdultIncome和CaliforniaHousing等公开数据集在AdultIncome数据集中，模型能以显著高于随机基线的准确性完成条件填充任务在CaliforniaHousing数据集中，GPT-4生成的样本与原始数据特征分布高度一致5.2数据污染与记忆化现象数据污染与记忆化现象记忆倾向特点模型对数据集的初始行具有更强记忆倾向GPT-4能准确再现AdultIncome的初始行内容但对随机行的预测能力明显不足可能源于初始行在互联网上的高曝光率影响与挑战记忆化现象使模型在下游任务中的表现失真影响其在未见数据或敏感场景中的可靠性难以区分模型的真实泛化能力与记忆能力可能导致对模型能力的错误估计5.2数据污染与记忆化现象数据污染与记忆化现象改进方向构建