CN119418350A 一种收据识别方法、装置、设备及介质 （长安汽车金融有限公司）

将收据图像在预置的多模态大模型提示词库中置的语言大模型提示词库中进行信息匹配以得信息以及关键信息键值对输入至预设语言大模2通过预设采集方式获取收据图像，并利用预设光学字符识别模型对将所述收据图像在预置的多模态大模型提示词库中进行信息匹配，以得到第一提示到关键信息键值对；所述预设多模态大模型中嵌入了视觉变换器以及交叉注意力机制模将所述收据图像在预置的语言大模型提示词库中进行信息匹配，以得到第二提示词，基于所述识别结果，通过霍夫变换自动检测所述初始图像的拍摄通过光学字符识别技术对所述收据图像进行识别，以获取所述对所述收据图像进行连通域分析处理以得到多个连通域，并从所述根据所述目标连通域对应的单个字符和第一位置信息，分将所述第二提示词、所述文字内容、所述位置信息以及所述6.根据权利要求1至5任一项所述的收据识别方法，3对所述目标关键信息键值对依次基于几何距离关键信息和位置关系关键信息进行匹根据匹配校验结果，利用预置的标准化关键信息名称字段词库对所确定所述目标关键信息键值对的键和值对应的质心，并根据所如果所述键和所述值之间的匹配度小于所述预设阈值，则如果所述键和所述值之间的匹配度不小于所述预设阈值，如果所述夹角超出所述预设角度范围，则生成第二提示信如果所述夹角不超出所述预设角度范围，则触发所述利文字识别模块，用于通过预设采集方式获取收据图像，并语义匹配校正模块，用于将所述收据图像在预置的语言大模型提示序被处理器执行时实现如权利要求1至7任一4标准化OCR识别的方式均存在容易导致收据识别出错的情况出现；而基于大规模语言模型技术问题的方案是本领域技术人员目前需要5确定相邻的连通域之间的间隔小于预设间隔[0021]对所述目标关键信息键值对依次基于几何距离关键信息和位置关系关键信息进6述计算机程序被处理器执行时实现如前所述的7[0051]三是利用传统OCR识别内容后将识别转到大规模语言模型：利用语言模型的理解尺寸需72B以上才有较好的效果。但对于模型的单一能力文字识别（如用户手写内容识别8收据图像进行识别，以确定所述收据图像中的文字内容和与所述文字内容对应的位置信对应的位置信息。其中，预设光学字符识别模型基于传统的OCR识别与注意力机制通域中确定相邻的连通域之间的间隔小于预设间隔的目标[0063]如图2所示为本申请实施例示例性提供的一种引入注意力机制的OCR模型结构示9[0068]如图3所示为本申请实施例示例性提供的一种预设多模态大模型的结构示意图。出提取所得由关键信息名称+字段内容组成的键值对[0073]本申请实施例中，步骤S11中得到的文字内容以及位置信息+步骤S12中通过预设时输入至预设语言大模型中。利用OCR更准确的文字识别结果，更新关键信息键值对的内[0074]如图4所示为本申请实施例示例性提供的一种预设语言大模型的结构示意图。基[0087]对所述目标关键信息键值对依次基于几何距离关键信息和位置关系关键信息进化关键信息名称字段词库对所述目标关键信息键值对进行校正的步骤。本申请实施例中，取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，[0108]其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序进一步包括能够用于完成其他特定工作的计算可读存储介质包括随机存取存储器(RandomAccessMemory，RAM)、内存、只读存储器实现前述收据识别方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，[0111]结合本文中所公开的实施例描述的收据识别方法或算法的步骤可以直接用硬件、