CN115720664B 物体位置估计设备、物体位置估计方法和记录介质 （日本电气株式会社）

2022.12.21PCT/JP2020/0244942020.06.23WO2021/260780JA2021.12.30JP2019139618A,2019.08.22本发明稳健且高精度地估计物体的相应位一特征提取单元(21)通过使目标图像经受卷积(22)通过还使第一特征图经受卷积计算处理来括第一位置似然估计单元(23)和第二位置似然使用第一特征图来估计指示目标图像的每个位置中存在具有第一大小的物体的概率的第一似特征图来估计指示目标图像的每个位置中存在具有大于第一大小的第二大小的物体的概率的2特征提取部件，包括第一特征提取部件和第二特征提取部件被配置为通过使用第一滤波器对目标图像执行卷积处理来从所述目标图像生成第一特征第一位置似然估计部件，被配置为通过使用所述第一特第二位置似然估计部件，被配置为通过使用所述第二特第二似然图指示所述目标图像的每个位置处存在具有大于所述第一大小的第二大小的物所述第一大小基于物体的第一参考大小确定，其中，所述第一大小所述第一似然图上的每个坐标对应于所述目标图像上的一个位置，图上的每个坐标处的似然指示所述目标图像上的对应一个位置处存在具有所述第一大小所述第二似然图上的每个坐标对应于所述目标图像上的一个位置，图上的每个坐标处的似然指示所述目标图像上的对应一个位置处存在具有所述第二大小所述第一位置似然估计部件被配置为：针对所述第一大小的物体的所述第二位置似然估计部件被配置为：针对所述第二大小的物体的第一计数部件，被配置为基于所述第一特征图来对所述目第二计数部件，被配置为基于所述第二特征图来对所述目第一位置指定部件，被配置为基于所述第一似然图中指示第二位置指定部件，被配置为基于所述第二似然图中指示3根据所述第一似然图的全体似然之和来计算所述目标图像中具有所述第一大小的物按照所述似然的局部最大值的降序，从所述第一似然图中指示所述似然基于所提取的指示所述似然的局部最大值的坐标来指定所述目标图像中具有所述第根据所述第二似然图的全体似然之和来计算所述目标图像中具有所述第二大小的物按照所述似然的局部最大值的降序，从所述第二似然图中指示所述似然基于所提取的指示所述似然的局部最大值的坐标来指定所述目标图像中具有所述第训练部件，被配置为使所述物体位置估计设备的每个单元以如下这种方式执行训练：减少从所述第一位置似然估计部件和所述第二位置似然估计部件输出的所述第一似然图和所述第二似然图中的相对于预先获得的正确训练数据生成部件，被配置为基于训练图像和物体信所述第一正确似然图指示所述训练图像中所述第一大小的物体的位置和物体区域的所述训练部件被配置为：通过使用所述训练数据中包括的所述第所述第一大小和所述第二大小与所述第一特征图和所述第二特征图的数据大小的倒通过使用第一滤波器对目标图像执行卷积处理来从所述目标图像生成且通过使用第二滤波器进一步对所述第一特征图执行卷积处理来从所述第一特征图生成使用所述第一特征图来估计指示所述目标图像的每个位置处存在具有第一大小的物4所述第一大小基于物体的第一参考大小确定，其中，所述第一大小通过使用第一滤波器对目标图像执行卷积处理来从所述目标图像生成且通过使用第二滤波器进一步对所述第一特征图执行卷积处理来从所述第一特征图生成使用所述第一特征图来估计指示所述目标图像的每个位置处存在具有第一大小的物所述第一大小基于物体的第一参考大小确定，其中，所述第一大小5[0008][NPL1]"RapidObjectDetectionUsingaBoostedCascadeofSimpleFeatures"，P.Viola等人，CVPR(ConferenceonComputerVisionandPattern图像中部分区域的位置和大小。在图像中物体的一部分或全部被另一物体遮挡的情况下，置为通过使用第二特征图来估计指示目标图像的每个位置处存在具有大于第一大小的第6特征图来估计指示目标图像的每个位置处存在具有第一大小的物体的概率的第一似然图，并使用第二特征图来估计指示目标图像的每个位置处存在具有大于第一大小的第二大小第一特征图来估计指示目标图像的每个位置处存在具有第一大小的物体的概率的第一似[0020]图3是示出了根据示例实施例2的由物体位置估计设备的每个单元执行的处理流[0026]图9是示出了根据示例实施例6的由物体位置估计设备的每个单元执行的处理流[0028]图11是用于说明根据示例实施例6的修改型的物体位置估计设备的训练数据生成[0031]图14是示出了根据示例实施例1至7中的任何一个的物体位置估计设备的硬件配7[0035]将参照图1来描述根据本示例实施例1的系统。图1示意性地示出了根据本示例实[0036]图像获取设备90将所获取的一幅或多幅图像(例如，静止图像或运动图像的图像元20包括第一位置似然估计单元23和第二位置似然估计单元24。物体位置估计设备1可以计单元23和第二位置似然估计单元24是第一位置似然估计装置和第二位置似然估计装置[0040]第一特征提取单元21通过对目标图像70执行卷积处理来生成指示物体的特征的素值表示目标图像70的矩阵的一部分与表示第一滤波器的矩阵之间的矩阵运算而获得的一似然图，该第一似然图指示目标图像70的每个位置处存在具有第一大小的物体的概率。练的估计单元根据第一特征图估计目标图像70中具有第一大小的物体的位置(的似然图)。第一大小指示包括在目标图像70中的第一预定范围(稍后描述)中[0043]第一位置似然估计单元23针对目标图像70的每个部分区域来计算第一大小的物似然图的每个坐标处的似然指示目标图像70中的相关位置处存在具有第一大小的物体的8位置似然估计单元24针对物体的每个属性来估计第一似然图/第二似然图，并针对物体的每个属性来输出第一似然图/第二似然图。第一位置似然估计单元23和第二位置似然估计一位置似然估计单元23和第二位置似然估计单元24都输出属性的通道方向上的多个似然[0049]如上所述，物体位置估计设备1使用第一特征图和第二特征图来分别估计目标图[0055]在本示例实施例2中，由物体位置估计设备2输出的第一似然图/第二似然图的每9个坐标处的似然指示目标图像70中的每个相关位置处存在具有第一大小/第二大小的人的图/第二似然图中的每一个中的似然之和与出现在目标图像70中的具有第一大小/第二大与目标图像70中的出现在目标图像70中的具有第一大小/第二大小的人的总数有关。第一一特征图80输出到第一位置似然估计单元23和第二特征提取单元22似然图的每个坐标处的似然指示目标图像70中的每个相关位置处存在第一大小的物体的然图的每个坐标处的似然指示目标图像70中的每个相关位置处存在具有第二大小的物体通过对目标图像70执行卷积处理来生成第[0070]将在稍后要描述的示例实施例6中描述根据本示例实施例2的物体位置估计设备2元23和第二位置似然估计单元24)的训练方法。训练功能可以设置在物体位置估计设备2[0071]本文描述的“获取每个经训练的单元”可以是获取与每个单元相关的网络本身位置估计设备2从另一设备获取经训练的参数，并将经训练的参数设置在物体位置估计设单元23使用第一特征图80来估计目标图像70中具有第一大小的物体(在图像上显得小的物计单元24使用第二特征图81来估计具有大于第一大小的第二大小的物体(在图像上显得大[0073]根据本示例实施例2的物体位置估计设备2可以通过结合使用第一特征图80和第二特征图81来有效地估计目标图像70中具有第一大小的物体和具有第二大小的物体的位[0074]第一位置似然估计单元23可以通过对归一化的第一似然图的全体似然求和来计备2可以通过将通过以上方法获得的具有第一大小的物体的总数和具有第二大小的物体的总数相加来计算目标图像70中的第一大小或[0078]第一特征提取单元21通过对目标图像70执行卷积处理来生成第一特征图80(步骤[0079]第一位置似然估计单元23通过对第一特征图80执行卷积处理来估计指示具有第一大小的物体的位置的第一似然图(步骤S12)[0081]第二位置似然估计单元24通过对第二特征图81执行卷积处理来估计指示具有第二大小的物体的位置的第二似然图(步骤S14)n特征提取单元的网络视为一个集成特征提取所有特征提取单元和所有似然估计单元能够用作一个[0089]根据修改型1的配置，可以根据目标图像估计并输出指示具有三个或更多个彼此[0091]在修改型2中，第一位置似然估计单元23和第二位置似然估计单元24针对预先分估计单元24针对物体的每个属性来估计第一似然图/第二似然图，并输出估计的第一似然位置似然估计单元24估计目标图像70中第二大小的[0094]第一位置似然估计单元23和第二位置似然估计单元24可以被配置为向每个通道元23和第二位置似然估计单元24可以针对物体的每个大小并针对每个属性来估计物体的[0098]如上所述，物体位置估计设备1使用第一特征图和第二特征图分别估计目标图像测到物体的部分区域的大小和位置。因此，物体位置估计设备2可以精确地估计物体的位然图/第二似然图的全体似然之和等于目标图像70中具有第一大小/第二大小的物体的每图中的似然之和来获得目标图像70中具有第一大小的物体的总数和具有第二大小的物体[0104]图5是示出了根据本示例实施例3的物体位置估计设备3的配置的框图。如图5所施例3的修改型的物体位置估计设备3可以包括三个或更多个特征提取单元和三个或更多22根据由第一特征提取单元21生成的过对目标图像70本身执行卷积处理来生成单元25/第二计数单元26是具有经训练的参数的卷积神经网络。然后，第一特征提取单元示目标图像70的每个位置处存在具有大于第一大小的第二大小[0111]如上所述，由于物体位置估计设备3使用第一特征图80和第二特征图81来估计具施例4的修改型的物体位置估计设备4可以包括三个或更多个特征提取单元和三个或更多[0117]第一位置指定单元27根据指示具有第一大小的物体的位置的第一似然图来指定目标图像70中具有第一大小的物体的位置，该第一似然图从第一位置似然估计单元23获[0118]具体地，第一位置指定单元27从第一似然图中提取指示似然的局部最大值的坐基于指示似然的局部最大值的坐标之间的距离或其中指示似然的局部最大值的坐标周围27可以将多个指示局部最大值的坐标的中间位置设置为经整合的[0121]当目标图像70中物体的第一数量不为0时，第一位置指定单元27进一步从第一似然图中指示似然的局部最大值的坐标之中按照似然的降序提取与目标图像70中物体的第[0122]第一位置指定单元27还可以从第一似然图中所提取的指示似然的局部最大值的以基于指示似然的局部最大值的坐标之间的距离或其中指示似然的局部最大值的坐标周28可以将指示局部最大值的多个坐标的中间位置设置为经整合的[0126]当目标图像70中物体的第二数量不为0时，第二位置指定单元28进一步从第二似然图中指示似然的局部最大值的坐标之中按照似然的降序提取与目标图像70中物体的第[0127]第二位置指定单元28还可以从第二似然图中所提取的指示似然的局部最大值的[0128]第一位置指定单元27/第二位置指定单元28可以对第一似然图/第二似然图执行诸如模糊处理之类的图像处理作为用于生成第一物体位置图/第二物体位置图的预处理。置图的后处理，第一位置指定单元27/第二位置指定单元28可以使用例如指示具有第一大位置的坐标周围的似然的扩展作为方差值的马哈拉诺比斯距离，来对指示具有第一大小/[0129]第一位置指定单元27/第二位置指定单元28可以输出指示通过任何方法如上所述示目标图像70的每个位置处存在具有大于第一大小的[0132]如上所述，由于物体位置估计设备4使用第一特征图80和第二特征图81来估计具[0133]根据本示例实施例的配置，第一似然图/第二似然图被转换为指示所确定的物体估计设备4可以以另一设备或另一应用容易处理的形式来提供指示物体的位置的估计结果[0137]图7是示出了根据本示例实施例5的物体位置估计设备5的配置的框图。如图7所[0138]第一位置指定单元29从第一位置似然估计单元23获取指示存在具有第一大小的物体的概率的第一似然图。第一位置指定单元29从第一计数单元25获取物体的第一数量一位置指定单元29生成指示第一大小的物体的位置的第[0139]第二位置指定单元30从第二位置似然估计单元24获取指示存在具有第二大小的物体的概率的第二似然图。第二位置指定单元30从第二计数单元26获取物体的第二数量[0140]备选地，第一位置指定单元29和第二位置指定单元30还可以具有示例实施例4中描述的第一位置指定单元27和第二位置指定单元2然图/第二似然图中的每一个执行诸如模糊处理之类的图像处理。结果，可以使第一似然下，第一位置指定单元29/第二位置指定单元30对这些局部最大值进行整合。在这种情况下，第一位置指定单元29/第二位置指定单元30可以将多个局部最大值的平均值设置为经大值的多个坐标的中间位置设置为经整合的局[0144]第一位置指定单元29/第二位置指定单元30可以通过任何方法来输出第一物体位指定单元29/第二位置指定单元30控制显示设备在显示设备上显示第一物体位置图/第二29/第二位置指定单元30可以将第一物体位置图/第二物体位置图存储在可从物体位置估示目标图像70的每个位置处存在具有大于第一大小的第二大小[0147]如上所述，由于物体位置估计设备5使用第一特征图80和第二特征图81来估计具[0148]根据本示例实施例的配置，第一位置指定单元29/第二位置指定单元30将第一似然图/第二似然图转换为指示所确定的物体位置的第一物体位置图/第二物体位置图。然[0149]此外，第一位置指定单元29/第二位置指定单元30按照似然的降序从似然图中指示似然的局部最大值的坐标之中获取与由第一计数单元25和第二计数单元26计数的具有上出现由噪声引起的大量似然的局部最大值时，物体位置估计设备5也可以精确地获取目标图像70中出现的具有第一大小/第二大小的物[0153]图8是示出了根据本示例实施例6的物体位置估计设备6的配置的框图。除了以下描述的点以外，物体位置估计设备6具有与根据示例实施例2的物体位置估计设备2的功能n正确似然图的n个正确似然图可以被称为是基于物体区域来确定的。用于生成第一正确似然图和第二正确似然图的方法不受限制。一正确似然图和第二正确似然图。物体位置估计设备6还可以包括稍后描述的物体位置估置估计设备6可以获取由训练数据生成单元42生成的[0160]物体位置估计设备6不学习物体的形状的特征，但在考虑到物体之间的重叠的情训练图像本身执行比第一特征提取单元21更多的卷[0164]第二位置似然估计单元24基于第二特征图81输出指示训练图像中具有第二大小[0165]训练单元41计算来自第一位置似然估计单元23和第二位置似然估计单元24的每误差设置为第一损失。训练单元41训练物体位置估计设备6的每个单元(训练单元41除外)[0167]在一个示例中，训练单元41基于从第一位置似然估计单元23/第二位置似然估计单元24的输出反馈到训练单元41的信息(即，第一似然图/第二似然图)来更新物体位置估[0168]在更新物体位置估计设备6的每个单元(训练单元41除外)的参数之后，物体位置图/第二似然图从第一位置似然估计单元23/第二位置似然估计单元24的输出反馈到训练[0169]训练单元41可以通过上述方法重复地执行物体位置估计设备6的每个单元的训取单元21同时训练第一似然图的估计和第二似然图的估计，因此物体位置估计设备6可以中的训练图像输入到第一特征提取单元21(S21)。训练单元41计算指示每个位置似然估计的概率的第二正确似然图来执行物体位置估计设备[0176]根据修改型1的配置，使用针对每个属性的第一正确似然图和第二正确似然图来[0179]在上述用于最小化第一损失的训练中，根据本修改型2的训练单元41训练物体位确似然图/第二正确似然图和作为估计结果的第一似然图/第二似然图中所有坐标中的误单元41从第一正确似然图/第二正确似然图中选择相同数量的似然为0的坐标和其他坐标，并且也根据第一正确似然图/第二正确似然图上的所选择的坐标来选择第一似然图/第二[0181]图10是示出了根据本示例实施例6的修改型的物体位置估计设备6a的配置的框位置估计设备6a与上述物体位置估计设备6的不同之处在于物体位置估计设备6a还包括训练数据生成单元执行以创建作为训练数据的第一正确似然图和第二正确似然图的处理流[0187]训练数据生成单元42通过使用与训练图像相关联的物体信息来指定训练图像中初始第二正确似然图，并在第一正确似然图/第二正确似然图上生成以具有第一大小的物体/具有第二大小的物体的物体区域的中心或质心为中心的似然的正态分布。在生成似然似然的正态分布，并在第二正确似然图上生成针对具有第二大小的物体的似然的正态分[0190]此外，训练数据生成单元42通过参数来定义第一正确似然图/第二正确似然图上分布的函数的形式可以被设置为使得指示正态分布的函数[0192]在多个似然的正态分布在第一正确似然图和第二正确似然图上的某个部分中重算第一正确似然图和第二正确似然图上多个正态分布重叠的[0193]训练数据生成单元42基于物体信息来计算训练图像中具有第一大小的物体的总[0194]归一化的第一正确似然图的每个坐标处的似然表示由该坐标指示的位置处存在示目标图像70的每个位置处存在具有大于第一大小的第二大小[0201]如上所述，由于物体位置估计设备6(6a)使用第一特征图80和第二特征图81来估[0202]物体位置估计设备6(6a)使用第一正确似然图/第二正确似然图来学习具有第一大小的物体/具有第二大小的物体的位置作为物体的包括物体之间的重叠的布置图案。在物体位置估计设备6(6a)也可以稳健且高精度地估计目标图像70单元能够在诸如卷积神经网络之类的神经网络中独立地或整体[0208]训练单元41通过使用预先准备的训练数据(即，教师数据)对物体位置估计设备7置估计设备7的每个单元(训练单元41除外)学习训练单元41估计物体的位置的似然和物体并在所有坐标的似然为零的初始第一正确似然图/第二正确似然图上给出以具有第一大小/第二大小的物体的位置为中心的似然的正态分布。操作者对训练图像中出现的具有第[0211]第一正确似然图的每个坐标中的似然指示训练图像中的相关位置处存在第一大置估计设备7可以包括要稍后描述的物体位置估计设备7a中所示的训练数据生成单元42，单元23和第二位置似然估计单元24输出的第一似然图/第二似然图与在训练数据中包括的正确值(第一正确似然图/第二正确似然图)之训练图像被输入到第一特征提取单元21时从第一计数单元25和第二计数单元26输出的第一物体的数量/第二物体的数量与在训练数据中包括的另一正确值(物体的第一数量的正确值和物体的第二数量的正确值)之间的误[0214]训练单元41使物体位置估计设备7的每个单元学习，以便减少第一损失和第二损备7的每个单元学习，以便由第一位置似然估计单元23输出的第一似然图与第一正确似然估计设备7的每个单元学习，以便由第二计数单元26计数的物体的第二数量与物体的第二[0219]图13是示出了根据本示例实施例7的修改型的物体位置估计设备7a的配置的框估计设备7a与物体位置估计设备7的不同之处在于物体位置估计设备7a还包括训练数据生与目标图像70中具有第一大小的物体的位置/具有第二大小的物体的位置的估计有关的训[0221]根据本修改型的训练数据生成单元42生成包括物体的第一数量的正确值和物体训练数据生成单元42使用具有第一大小的物体的总数和具有第二大小的物体的总数来生该具有第二大小的物体的总数在根据示例实施例6的修改型的物体位置估计设备6a的训练实施例6的修改型的物体位置估计设备6a的训练数据生成实施例7的修改型的物体位置估计设备7a被配置为使得多个部分分别同时连接到第一特征备1的每个配置作为计算机100读取并执行物体位置估计程序101(在下文中，简称为程序录介质102中的程序101。程序101控制计算机100的操作以使计算机100用作根据上述本发置似然估计部件被配置为通过使用第一特征图来估计指示目标图像的每个位置处存在具征图来估计指示目标图像的每个位置处存在具有大于第一大小的第二大小的物体的概率