CN112084849B 图像识别方法和装置 （华为技术有限公司）

络对待识别图像进行特征提取，得到第一特征图表示将待识别图像的特征变换到主方向后得2使用第二神经网络对所述第一特征图进行特征提取，得到第二特征所述对所述第三特征图进行第一操作获得所述待识别图像的第一得分图使用所述第二神经网络对所述第一特征图执行至少一层卷积使用所述第二神经网络对所述第一特征图执对执行卷积操作后的所述第一特征图执行至少一层池化操作和/或全连接操作，得到P2均是正整8.根据权利要求1至3任一项所述的方法，39.根据权利要求1至3任一项所述的方法，其特征在特征提取单元，用于使用第一神经网络对所述待识别图所述待识别图像的特征变换到主方向后得到的第二获取单元，用于对所述第三特征图进行第一操作获得所述所述特征提取单元具体用于：使用所述第二神经网络对所述第一特征使用所述第二神经网络对所述第一特征图执对执行卷积操作后的所述第一特征图执行至少一层池化操作和/或全连接操作，得到14.根据权利要求10至12任一项所述的装置，其特征在于，所述第三特征图的尺寸是对所述第三特征图进行特征提取，得到第四特征图；其中，所述第四特16.根据权利要求10至12任一项所述的装置，其特征在于，所述第二获取单元具体用417.根据权利要求10至12任一项所述的装置，其特征在于，所述第二获取单元具体用5[0002]随着技术的发展，市面上出现了一些具有读绘本功能的幼教产品机器人(简称绘通过至少一层卷积操作，以及至少一层池化操作和/或全连接操作对第一特征图进行特征6[0011]在一种可能的设计中，第三特征图的尺寸是M1*N1*P1，第一得分图的尺寸是M1*[0012]在一种可能的设计中，第三特征图的尺寸是M2*N2*P2，第一得分图的尺寸是M1*别过程中所使用的第一得分图的尺寸(假设是a*b)表示该过程所使用的特征图中特征的个[0018]在一种可能的设计中，该图像识别装置用于执行上述第一方面提供的任一种方7行如第一方面及其任一种可能的设计方式提供的[0033]图7为可适用于本申请实施例的一种参考图像以及对参考图像进行单应性变换后[0035]图9为本申请实施例提供的一种前段网络、对抗网络和孪生网络之间的连接关系89[0059]高单应性变换场景，是指变换前后的特征表示差异非常大的场景(即变换前后所征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，[0063]应理解，在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示或其分组。[0072]在判断两幅图像是否局部相似时，若相似区域(即物理上的同一区域在不同拍摄图像中每个像素点(或像素块)被认为是特征点的得分图(即每个像素点对应其能被标记为[0075]本申请实施例提供的神经网络模型训练方法和图像识别方法可以分别应用于相[0078]处理器101是计算机设备10的控制中心，可以是一个通用中央处理单元(central息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasableprogrammableread-onlymemory，EEPROM)、磁盘存储介质或者其他磁存储设存储器102中存储的指令或程序代码时，能够实现本申请实施例提供的神经网络模型训练据输入的参数信息，执行存储器102中的指令以执行本申请实施例提供的神经网络模型训[0087]本申请实施例所采用的模型是深度学习网络模型(或神经网络模型，下文中简称输入前段41的该图像的特征(如纹理特征等)变换到主方向后得到的特征图。在训练阶段，的一个元素对应输入图像中的一个区域，该区域也可以称作是卷积神经网络的感受野[0095]在一种实现方式中，第二神经网络412具体用于对第一特征图执行至少一层卷积[0096]在另一种实现方式中，第二神经网络412具体用于对第一特征图执行至少一层卷4*64，输出的第三特征图的尺寸是H/4*W/4*64。图4所示的第二神经网络412包括2层卷积[0101]结合图2a所示的网络模型和图4所示的第二神经网络412输出的第三特征图的尺[0103]表示网络42，用于基于第三特征图获得第一得分图。第三特征图的尺寸是M2*N2**N1＜M2*N2。[0106]本申请实施例提供的技术方案包括训练阶段和图像识别阶段，以下分别进行说[0113]由于局部特征检测方法多用于三维建模，即时定位与地图构建(simultaneous中的参考图像的得分图可以是现有的数据集如HPatches数据集中相应图像的得分图，这[0118]如图7所示，为可适用于本申请实施例的一种参考图像以及对参考图像进行单应的得分标记为部产生形变而产生图像损失较大时(该损失与单应性矩阵的空间旋转参数和缩放参数具有采用的得分图变换矩阵T＝[λ1,λ2,λ3]。[0125]具体的：根据参考图像中的图像块与样本图像中的图像以参考图像中的多个图像块在形变前的得分和单应性变换矩阵H作为输入，以该多个图像[0134]如图8所示，为本申请实施例提供的一种参考数据和训练数据之间的关系的示意图像11(即参考图像1乘以变换矩阵11后得到的图像)、样本图像12(即参考图像1乘以变换ij图像对应的得分图通过下采样(maxpoolin网络44和孪生网络45之间的连接关系可以[0152]训练过程的结果用于在使用前段网络41进行图像识别过程中作为前段网络的参[0159]例如，第二神经网络412对该输入图像的第一特征图依次进行卷积操作和全连接行2层卷积操作和1层全连接操作，并将全连接操作的结果与该第一特征图进行点乘操作，[0161]由于点乘是可微的，因此第二神经网络412能够在前段网络41的训练过程中进行[0162]作为示例，第二神经网络412可以被称作是局部空间变换网络(LSTN)。LSTN的设对第三特征图进行两层反卷积操作，分别得到尺寸为H/2*H/2*32的特征图和尺寸为H*W*3[0170]本申请实施例对对抗网络44和孪生网络45辅助调整前段网络41的具体实现方式输出的尺寸，以及运算层之间的关联关系(即哪个运算层的输出作为哪个运算层的输入中的卷积层431用于对尺寸为H/4*H/4*64的第三特征图进行卷积操作，得到尺寸为H/8*H/个尺寸为H/8*H/8*16的特征图的元素进行加权求和，得到尺寸为H/8*H/8*16的第六特征应像素位置中获取，而是计算对应n*n区域(n为自定义的，建议值为9*9)中得分图上的分hw为数据集给出的基准中图像第h行第w列的分数。公式3的表示为通用的神经网络输出的尺寸，以及运算层之间的关联关系(即哪个运算层的输出作为哪个运算层的输入[0205]这里的第一神经网络可以是上文中提供的任一种训练好的第一神经网络411，第二神经网络可以是上文提供的任一种训练好的的第二神到X个第五特征图；其中，第五特征图的特征方向的尺寸小于第三特征图的特征方向的尺[0225]关于图像识别阶段该网络的工作原理，可以参考上文中对该网络进行训练的过[0230]本申请实施例可以根据上述方法示例对图像识别装置进行功能模块的划分，例例的，图像是被装置160可以包括第一获取单元1601、特征提取单元1602、第二获取单元上文中的第二神经网络412。结合图14，第一获取单元1601可以执行S301，特征提取单元上述提供的任一种图像识别装置160的解释以及有益效果的描述均可参考上述对应的方法[0243]作为示例，结合图1，图像识别装置160中的第一获取单元1601、特征提取单元1602、第二获取单元1603和识别单元1604实现的功能可以通过图1中的处理器101执行图1[0245]处理器111和接口电路112可通过线路互联。例如，接口电路112可用于接收信号(例如从车速传感器或边缘服务单元接收信号)。又例如，接口电路112可用于向其它装置存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序产品包括用于在计算设备上执行计算机载介质120可以包括一个或多个程序指令，其当被一个或多个处理器运行时可以提供以上