CN119443045A 基于微调和知识图谱的元器件自动化表示方法及装置 （上海楷领科技有限公司）

基于微调和知识图谱的元器件自动化表示本申请提供一种基于微调和知识图谱的元模型对电子元器件数据中文本行的非结构化内型在视觉和文本联合理解能力对电子元器件数即从图片或表格中获取关于电子元器件的重要非结构化的Datasheet内容转化成高度结构化的2基于大语言模型在视觉和文本联合理解能力对电子元器件数据中图片获取电子元器将第一关键特征属性和第二关键特征属性构建电子对应语序恢复，从电子元器件数据中提取散乱文本进行语序重组包括：构建句子依赖关系图并求解最优语序;其中，还结合文本中符号辅助语序判断得到最对应属性特征提取，建立向量数据库存储历史抽取案例，使用相似度算法基于大语言模型在视觉和文本联合理解能力对电子元器件数据中图片获取电子元器件的确定图片的特征位置或表格位置，利用问答流程将图对图片进行标注，训练过程中获取电子元器件的图片数据集；4.根据权利要求1_3中任一项所述的基于微调和知识图谱的元器件自动化表示方法，对电子元器件数据使用版面分析模型，将电子元器件数据中不同5.根据权利要求1_3中任一项所述的基于微调和知识图谱的元器件自动化表示方法，大语言模型利用提示词指导模型设计的第一提示在文本行和/或，利用提示词指导模型设计的第二提示在图片或表格内容中聚焦目标信息获得3将第一关键特征属性和第二关键特征属性转化为实体和关系通过采样相邻节点并聚合相邻节点的特征融合知识图谱的图结构以及节点本身的属基于知识图谱图结构和节点本身属性，将元器件的各种属性及其第一获取模块，用于利用大语言模型对电子元器件数据中第二获取模块，用于基于大语言模型在视觉和文本联合理解构建模块，用于将第一关键特征属性和第二关键特征属性构建电子元器件的知识图程序执行权利要求1_7中任一项所述基于微调和知识图谱的元器件自动化算机程序被处理器执行时用于实现权利要求1_7中任一项所述基于微调和知识图谱的元4基于大语言模型在视觉和文本联合理解能力对电子元器件数据中图片获取电子将第一关键特征属性和第二关键特征属性构建电子[0006]本说明书实施例还提供一种基于微调和知识图谱的元器件自动化表示装置，包特征属性包括文本行中隐藏的关于电子元器[0007]本说明书实施例还提供一种基于微调和知识图谱的元器件自动化表示系统，包行所述计算机程序执行上述技术方案中所述基于微调和知识图谱的元器件自动化表示方5构化的Datasheet内容转化成高度结构化的信息图表示。精准获取电子元器件数据中的全图5是本发明中对知识图谱进行GraphSAGE算法嵌入操作计算电子元器件嵌入结6了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践7的文本行中得到隐藏在文本中元器件属性特征，即精准捕获电子元件的第一关键特征属[0030]步骤S602中处理电子数据手册中图片内容，本发明应用借力于多模态大语言模型的强大预训练，结合其在视觉和文本联合理解方面的强大能力，8能够展现出自然的阅读顺序，而使用复杂排版的文档就使得辨别阅读顺序更加具有挑战[0041]如利用大语言模型对PDF文档信息智能提取包括语序恢复和属性信息提取两个主[0043]上述进行语序恢复的过程将输入文本转化为向量处理为挖掘文本行中隐藏信息[0044]针对智能信息提取，设计了基于大语言模型括:9答流程能够精确识别并提取元件的符号(symbol)和焊盘型进行footprint信息提取任务时，训练模型时的损失值的变化情况以及精准度的变化情[0055]微调数据集经过精心构造，旨在最大化模型在电子元件DataSheet特定领域的表[0059]对于图片信息的提取，特别是DataSheet中的footprint图片和DataSheet的footprint图片和symbol引脚表格的坐标[0065]如图2所示，使用两版不同的大语言模型提示词从文本中提取器件属性特征字段源的大语言模型进行比较测试，他们分别是通义千问1.5的32BChat版本以及[0071]具体地，将从电子元器件DataSheet中提取的结构化数据导入[0072]为了生成知识图谱中每个节点的嵌入表示，使用Neo4j中的GraphSAGE算法。GraphSAGE通过采样节点的邻居并聚合它们的特征来生成节点的嵌入。该方法特别适用于例（如在一个少量数据场景下对知识图谱进行GraphSAGE算法嵌入操作计算出的电子元器[0077]借助GraphSAGE算法对知识图谱中的节点进行嵌入表示，这种表示方法融合了知[0080]结合上述实施例将提取的文本信息和图片信息进行整合，生成结构化的数据表相关库：PyMuPDF,PyTorch,Hugging结合上述实施例本说明书实施例还提供一种基于微调和知识图谱的元器件自动执行上述技术方案中任一项所述基于微调和知识图谱的元器程序被处理器执行时用于实现上述技术方案中任一项所述基于微调和知识图谱的元器件[0085]本发明通过融合深度学习技术中的微调(finetuning)策开创了一种新颖的方法，旨在将非结构化的Datasheet内容转化成高度结构化的信息图表[0086]相较于现有技术，本发明在电子元器件信息处理领域实进一步将提取的结构化数据组织成高关联性的图数据库，提升了数据的利用效率和准确明创新性地结合了多模态模型的图像理解功能，特别是在处理datasheet中的表格与图形Castellanos等人提出的方法是从网页端自动提取结构化数据，由于网页端由作只是帮助提高DataSh