CN118964514B 基于图数据库和向量数据库的数据处理和存储方法及装置 （浙江工商大学）

AbdelrahmanAbdallahetFormUnderstanding:AComprehReviewofScannedDocumentAnalysis.YanlinFengetal.CMBenchmarkforCoarse-to-fineMulDataDiscoveryinCompoundAISystems.ConferenceonGovernance,Understanding基于图数据库和向量数据库的数据处理和本发明公开了一种基于图数据库和向量数2YupanHuangetal.LayotrainingforDocume3步骤1：基于LayoutLMv3模型识别文档布局以及基于Transfor和词块对齐WPA三个模块实现对文本信息和图像信息的捕捉；其中掩码语言建模随机遮盖预测一个文本词的对应图像块是否被掩盖来学习语言和视觉模态之间的细粒度对齐关的结构由属性信息组成，属性包括索引的唯一id，文档的唯一的file_id，文档的theme，44）依据划分的数据块，使用BGE_embedding向量化模型将所有数据块拓展后保存在2.根据权利要求1所述的一种基于图数据库和向量数据库的数据处理和存储方法，其3.根据权利要求2所述的一种基于图数据库和向量数据库的数据处理和存储方法，其4.一种基于图数据库和向量数据库的数据处理和存储装置时，实现如权利要求1_3中任一项所述的一种基于图数据库和向量数据库的数据处理和存5[0003]为了解决这一问题，本发明提出了一种结合图数据库Neo4j和向量数据库6[0013]2）设计布局检测模型架构，基于LayoutLMv3架构利用文档图像来识别文档的结索引的结构由属性信息组成，属性包括索引的唯一id，文档的唯一的file_id，文档的7[0033]3.在Elasticsearch中同时保存原[0035]图1为本发明实施例提供的一种基于图数据库和向量数据库的数据处理和存储方8[0040]图6为本发明实施例提供的一种基于图数据库和向量数据库的数据处理和存储装[0043]本发明通过构建多模态统一的图数据库和向量数据库来解决现有技术中的数据别文档的结构，实现将文档图像划分出文本、图像、表格等3类区域的功能。该模型基于的OCR工具包对文档图像进行预处理，以获得文本内容和相应的2D位置信息，利用9[0049]掩码图像建模使用图像嵌入将所有的文档图像分割成一系列的均匀的P×P大小机遮盖了约40%的图像块，任务目标是根据未被遮盖的文本和图像的信息还原被遮盖的图加可训练的提示学习模块，辅助模型的生成任务。具体的，叠加采用了一个12层的[0056]TABLE=[HEAD],col1,col2,coln,[ROW],1,row1,row2,rowm,[0063]"instruction":"请阅读以下input中的表格,并根据表[0064]"input_serialize":"["[HEAD]","序号","时间段","内容","[ROW]","1","[0065]"input":"{"research_phases":[{"index":1,"time_period":"2014.1_并调研现有卷积神经网络技术，确立项目的理论基础和技术路线图。"},{"index":2,"所有数据块视为一个token拓展至1024维后保存在elasticsearch向量数据库中。在[0122]与前述一种基于图数据库和向量数据库的数据处理和存本发明还提供了一种基于图数据库和向量数据库的数据处理和存储装置的实[0123]参见图6，本发明实施例提供的一种基于图数据库和向量数据库的数据处理和存[0124]本发明提供的一种基于图数据库和向量数据库的数据处理和存储装置的实施例能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成处理和存储装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图6所示的处能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，[0125]上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的[0128]所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任