CN111126125A 证件中的目标文本提取方法、装置、设备及可读存储介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中本申请实施例提供了一种证件中的目标文通过获取同一种证件类型的模板图像和检测图获取模板图像上的锚点位置与检测图像上的锚2获取属于同一种证件类型的模板图像和用于提取目框位置为在所述模板图像上标注的证件上需要提取的所述根据所述第一锚点文本并基于文本识别模型，通过第一本在所述模板图像上的锚点位置与所述第一锚点文本在所述检测图像上的锚点位置各自根据所述特征点匹配关系，通过变换矩阵进行求解以将所述检测图像通过所述透视变换算子进行透视变换以得到与所述模板图像视角相通过所述透视变换算子获取所述目标框位置在所述透视通过所述文本识别模型对所述透视变换图像上的所述投影位置的文本进行文本识别，所述第一锚点文本在所述模板图像上的锚点位置与所述第一锚点文本在所述检测图像上的锚点位置各自包含的特征点之间的特征点通过文本识别模型提取所述检测图像上与所述第一锚点文本基于所述文本识别模型通过所述第二锚点文本得到所述检测图像上与所述第一锚点基于预设的特征点提取算法提取所述第一锚点位置包含的第一特征点集合和所述第根据所述第一特征点集合和所述第二特征点集合，基特征点集合和所述第二特征点集合中的特征点之间的第一特征所述根据所述特征点匹配关系，通过变换矩阵进行求解根据所述第一特征点匹配关系，通过变换矩阵进行求所述将所述检测图像通过所述透视变换算子进行透视变换以得到与所述模板图像视将所述检测图像通过所述第一透视变换算子进行透视变换以得到与所述模板图像视通过所述第一透视变换算子进行透视变换以得到与所述模板图像视角相符的第一透视变将所述第一透视变换图像输入所述文本识别模型，通过所述第3基于所述特征点提取算法提取所述第三锚点位置根据所述第一特征点集合和所述第三特征点集合，基第一特征点集合和所述第三特征点集合中的特征点之间的根据所述第二特征点匹配关系，通过所述变换矩阵进行将所述第一透视变换图像通过所述第二透视变换算子进行透视变换以得到第二透视所述通过所述透视变换算子获取所述目标框位置在所述透视变换图像上的投影位置通过所述第二透视变换算子计算出所述目标框位置在所述第二透视变换图像上的投所述通过所述文本识别模型对所述透视变换图像上的投影位置的文本进行文本识别，将所述第二透视变换图像输入所述文本识别模型，通利用每四对特征点之间的匹配关系通过所述变换矩阵进行求解以得到一个透视变换根据所述第一特征点集合和所述第二特征点集合中的所有匹配特征点中每四对特征根据预先构建的透视变换算子的误差函数，通过求极限4第一获取单元，用于获取属于同一种证件类型的模板图像获取所述第一锚点文本在所述模板图像上的锚点位置与所述第一锚点文本在所述检测图求解单元，用于根据所述特征点匹配关系，通过变换矩阵进变换单元，用于将所述检测图像通过所述透视变换算识别单元，用于通过所述文本识别模型对所述9.一种计算机设备，其特征在于，所述计算机设序，所述计算机程序被处理器执行时使所述处理器执行如权利要求1-7中任一项所述证件5上的锚点位置与所述第一锚点文本在所述检测图像上的锚点位置各自包含的特征点之间6所述目标框位置为在所述模板图像上标注的证件上需要提取的所述目标文本所在的位置；所述第一锚点文本在所述模板图像上的锚点位置与所述第一锚点文本在所述检测图像上单元，用于通过所述透视变换算子获取所述目标框位置在所述透视变换图像上的投影位过第一预设方式获取所述第一锚点文本在所述模板图像上的锚点位置与所述第一锚点文点匹配关系，通过变换矩阵进行求解以得到将所述检测图像进行透视变换的透视变换算7[0013]图3为本申请示实施例提供的证件中的目标文本提取方法的技术特征关系示意[0014]图4为本申请实施例提供的证件中的目标文本提取方法中特征点提取和特征点匹[0017]图7为本申请实施例提供的证件中的目标文本提取方法的另一个实施例的流程示[0018]图8为图7所示实施例提供的证件中的目标文本提取方法中技术特征关系简化的[0019]图9为本申请实施例提供的证件中的目标文本提取方法中透视变换算子的示意[0020]图10(a)至图10(i)为本申请实施例提供的证件中的目标文本提取方法中一个实[0021]图11(a)至图11(i)为本申请实施例提供的证件中的目标文本提取方法中另一个8[0028](1)用户。用户通过输入设备或者计算机设备的输入组件在模板图像上标注文字板图像和用于提取目标文本的检测图像，所述模板图像上标注有文字锚点和目标框位置，类型不限于图1中所示，上述证件中的目标文本提取方法的应用场景仅仅用于说明本申请[0032]图2为本申请实施例提供的证件中的目标文本提取方法的示意性流程图。该证件中的目标文本提取方法应用于图1中的终端中，以完成证件中的目标文本提取方法的全部[0033]请参阅图2，图2是本申请实施例提供的证件中的目标文本提取方法的流程示意定字段。由于模板图像上的固定字段是由该固定字段的位置和该固定字段的内容限定的，9[0036]目标框位置是指由用户在模板图像上定义的证件上需要提取的文本内容覆盖的盖的区域范围来确定的。征点的提取和匹配，根据特征点之间的匹配关系应用透视变换对图像进行三维空间旋转。上对应的框选区域进行特征点的提取和匹配，这时候因为只对图像上的部分区域进行匹的区域进行特征点的提取和匹配，能够有效减少整张图像中错误的相似区域所带来的影接获得，锚点位置和目标框位置的获取方式可以通过Opencv中Event鼠标事件获取鼠标指获取鼠标指针的位置以得到身份证图像上由人工使用鼠标绘制的锚点位置坐标及目标框第一锚点文本在所述模板图像上的锚点位置与所述第一锚点文本在所述检测图像上的锚述第一锚点文本在所述模板图像上的锚点位置与所述第一锚点文本在所述检测图像上的点匹配算法获取所述第一特征点集合和所述第二特征点集合中的特征点之间的第一特征系，通过变换矩阵进行求解以计算出将所述检测图像进行透视变换的第一透视变换算子，将所述检测图像通过所述第一透视变换算子进行透视变换以得到与所述模板图像视角相三特征点集合中的特征点之间的第二特征点匹配关系，后续根据所述第二特征点匹配关配关系得到模板图像与检测图像E之间的透视变换的第二透视变换算子，将目标位置B1通过所述第二透视变换算子投影到检测图像E上，获得检测图像上进行目标文本识别的位置过特征点匹配算法将特征点进行匹配，从而根据特征点的匹配关系计算出透视变换的算者采用SURF算法(全称是Speeded-UpRobustFeatures)，如果这个点在其所在区域内是最两个特征点之间的特征向量余弦相似度或者计算两个特征向量的距离来判断特征点是否是指特征点在各自图像中的位置存在位置关系上的对应，而是指特征点在各自图中具有相似或者相同的属性，例如两张图像上相对应的图形中，像素级别的对应位置的点，或者像通过匹配关系计算出用于透视变换的透视变换算子。以计算模板图像和检测图像两张图像上点与点之间的特征向量的余弦相似度并按照余弦述第一锚点文本在所述模板图像上的锚点位置与所述第一锚点文本在所述检测图像上的[0056]具体地，由于很多用于文本识别的深度学习模型对标准正面图像的识别效果很好，如果能对检测图像按照模板图像自动矫正为与模板图像相同视角的同一正面标准图将检测图像通过所述透视变换算子进行透视变换为与模板图像视角相符的标准正面图像。变换原理示意图。首先将二维图像中的所有点(x,y)在三维空间中的第三个维度的值看作个点与一个3x3的变换矩阵相乘得到旋转后的点(X,Y,Z)，3x3矩阵可以描述图像可将所有点转换为(X/Z,Y/Z,1)从而将三维图像的点再次投影回z＝1的二维平面得到点视变换算子获取所述目标框位置B1在所述透视变[0065]2)由A1及F1的特征点匹配关系得到模板图像与检测图像E之间的透视变换的算子述模板图像上的锚点位置与所述第一锚点文本在所述检测图像上的锚点位置各自包含的方式获取所述第一锚点文本在所述模板图像上的锚点位置与所述第一锚点文本在所述检测图像上的锚点位置各自包含的特征点之间的特征的字段区域C1，需要通过所述文本识别模型先在检测图像上找出与A2字段一致的字段C2，取所述第一特征点集合和所述第二特征点集合中的特征点之间的第的特征点提取算法提取所述第一锚点位置A1包含的第一特征点集合和所述第二锚点位置匹配算法获取所述第一特征点集合和所述第二特征点集合中的特征点之间的第一特征点[0081]所述将所述检测图像通过所述透视变换算子进行透视变换以得到与所述模板图所述第一特征点集合和所述第二特征点集合中的特征点之间的第一特征点匹配关系的过一定完全标准，所以变换后的第一透视变换图像可能依然与模板图像存在一定的视角变将目标框通过所述第二透视变换算子通过透视变换投影到变换后的第二透视变换图像上，子进行透视变换以得到与所述模板图像视角相符的第一透视变换图像的步骤之后，还包获取所述第一透视变换图像上与所述第一锚点法获取所述第一特征点集合和所述第三特征点集合中的特征点之间的第二特征点匹配关将变换后的所述第一透视变换图像对应的标准正面图像E输入文本识别模型，找出与模板致，并通过所述第二透视变换算子G最终得到所述目标框B1在所述第二透视变换图像上的[0091]所述通过所述透视变换算子获取所述目标框位置在所述透视变换图像上的投影[0093]所述通过所述文本识别模型对所述透视变换图像上的投影位置的文本进行文本[0095]具体地，通过所述第二透视变换算子G计算出目标框B1在变换后的所述第二透视的文本通过文本识别模型进行框内文本的识别和提取，以得到所述检测图像的目标文本计算出将所述检测图像进行透视变换的第一透[0097]利用每四对特征点之间的匹配关系通过所述变换矩阵进行求解以得到一个透视[0098]根据所述第一特征点集合和所述第二特征点集合中的所有匹配特征点中每四对以使总误差尽可能地反应通过算子进行变换有可能会因为图像信息不足导致能提取出的特征点过少，从而影响后续透视变换的精确段里混进了非预期的字段，或者是将本来应该识别为一个字段的内容识别成了多个字段，请参阅图10(b)；[0127]1.05)文本识别模型对检测图像[0128]1.06)对模板图像和检测图像[0129]1.07)对检测图像进行透视变换得到透视后的第一透视变换图像，请参阅图10[0130]1.08)因为特征点匹配过程中[0131]1.09)对变换后的第[0132]1.10)将模板图像的上标记的目标框通[0135]2.01)选择一张图作为模板[0140]2.06)文本识别模型对检测图[0141]2.07)对模板图像和检测图像匹配上的锚点区域进行特征点的提取和匹配请参阅[0142]2.08)对检测图像采用所述第一透视变换算子进行透视变换以得到第一透视变换[0143]2.09)同样因为特征点匹配过程中是有可能算子将目标框通过所述第二透视变换算子经过透视变换投影到变换后的第二透视变换图像上，所以首先再在变换后的第一透视变换图像上检测与模板图像锚点文本匹配的区域，请参阅图11(e)；[0144]2.10)对变换后的第一透视[0145]2.11)将模板图像的上标记的目标框通过第二透视变换算子经过透视变换投影到预设方式获取所述第一锚点文本在所述模板图像上的锚点位置与所述第一锚点文本在所征点匹配算法获取所述第一特征点集合和所述第二特征点集合中的特征点之间的第一特述第一锚点文本获取所述第一透视变换图像上与所述第一锚点位置相对应的第三锚点位述特征点匹配算法获取所述第一特征点集合和所述第三特征点集合中的特征点之间的第解以计算出将所述第一透视变换图像进行透视变换方式得到所述误差函数中最小值对应的所述透视变换算子集合中的透视变换算子作为所[0188]该内存储器1304为非易失性存储介质1303中的计算机程序13032的运行提供环板图像上的锚点位置与所述第一锚点文本在所述检测图像上的锚点位置各自包含的特征所述模板图像上的锚点位置与所述第一锚点文本在所述检测图像上的锚点位置各自包含[0192]通过文本识别模型提取所述检测图像上与所述第一锚点文本一致的第二锚点文[0193]基于所述文本识别模型通过所述第二锚点文本得到所述检测图像上与所述第一[0194]基于预设的特征点提取算法提取所述第一锚点位置包含的第一特征点集合和所第一特征点集合和所述第二特征点集合中的特征点之间的[0198]所述处理器1302在实现所述将所述检测图像通过所述透视变换算子进行透视变[0199]将所述检测图像通过所述第一透视变换算子进行透视变换以得到与所述模板图述第一透视变换图像上与所述第一锚点位置相所述第一特征点集合和所述第三特征点集合中的特征点之间的第二特征[0205]将所述第一透视变换图像通过所述第二透视变换算子进行透视变换以得到第二[0206]所述处理器1302在实现所述通过所述透视变换算子获取所述目标框位置在所述[0207]通过所述第二透视变换算子计算出所述目标框位置在所述第二透视变换图像上[0208]所述处理器1302在实现所述通过所述文本识别模型对所述透视变换图像上的投变换矩阵进行求解以计算出将所述检测图像进行透视变换的第一透视变换算子的步骤时，[0211]利用每四对特征点之间的匹配关系通过所述变换矩阵进行求解以得到一个透视[0212]根据所述第一特征点集合和所述第二特征点集合中的所有匹配特征点中每四对换图像上的所述投影位置的文本进行文本识别，并对识别出的文本进行提取的步骤之后，[0220]应当理解，在本申请实施例中，处理器1302可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器1302还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegrated[0221]本领域普通技术人员可以理解的是实现上述实施例的方法中