CN119399499B 一种目标定位模型的训练方法 （中国科学院合肥物质科学研究院）

(19)国家知识产权局(12)发明专利(10)授权公告号CN119399499B(21)申请号202510001756.6(22)申请日2025.01.02(65)同一申请的已公布的文献号申请公布号CN119399499A(43)申请公布日2025.02.07(73)专利权人中国科学院合肥物质科学研究院地址230031安徽省合肥市蜀山区蜀山湖路350号邱梦情蔚栓(74)专利代理机构合肥市上嘉专利代理事务所(普通合伙)34125专利代理师郭华俊(56)对比文件权利要求书1页说明书6页附图5页(54)发明名称一种目标定位模型的训练方法(57)摘要本发明提供一种目标定位模型的训练方法，包括：获取样本图像，并通过人工标注的方式标注样本图像中待识别目标的中心点，得到真值点的坐标；构建并初始化目标定位模型；将样本图像输入到目标定位模型中，得到候选点的坐标和置信度；匹配真值点和候选点，得到匹配结果；根据匹配结果计算损失值，并根据损失值微调目标定位模型中的参数，直至训练完成得到训练好的目标定位模型。对于一般的模型训练而言，其预估的结果和真实的结果是一一对应的，但本发明中的模型的候选点和真值点的个数不相等，因此这里引入匹配机制，并根据匹配结果去计算损失值，从而实现模型的可靠训练，并且在多分支的2获取样本图像，并通过人工标注的方式标注所述样本图像中待识别目标的中心点，得根据所述匹配结果计算损失值，并根据所述损失值微调所述目标定位模型中的参数，根据所述真值点的坐标和所述候选点的坐标，生成代价矩阵，所述代价矩阵的元素为根据所述匹配关系，按如下规则得到每个所述候选点的置信度真值：如果该候选点有点的置信度真值为0;K个分支，所述K大于等于1,每个所述分支包括级联的一个卷积单元和一个目标点预测模3一种目标定位模型的训练方法技术领域[0001]本发明涉及图像目标识别技术领域，尤其涉及一种目标定位模型的训练方法。背景技术[0002]对于目标的识别和计数在很多方面都有极其重要的作用，例如人群、牛群、鱼群等群体中个体目标的识别与统计。现有技术中，常见的计数方法多采用机器视觉和深度学习算法，先对群体中个体目标进行识别，这种识别的输出多为个体目标的检测框，然后再统计识别到的检测框的数量来进行数量统计。[0003]上述这些方法在某些情况下能够很好的进行识别和计数，但是对于一些遮挡、重叠、目标尺度大小差异过大的目标，并不能很好的适用。例如对于鱼群而言，由于鱼类目标大小差异大，而且在水中游动比较快速，且常聚集在一起，易造成遮挡和重叠，采用现有的方案很难准确的进行鱼类目标的定位和统计。因而急需要训练出一种合适的目标定位模型来对目标进行定位和识别。发明内容[0004]鉴于以上现有技术的缺陷，本发明提供一种目标定位模型的训练方法，以解决缺乏合适模型对重叠和遮挡目标进行识别的技术问题。[0005]为实现上述目的及其它相关目的，本发明提供了一种目标定位模型的训练方法，包括：获取样本图像，并通过人工标注的方式标注所述样本图像中待识别目标的中心点，得到真值点的坐标；构建并初始化目标定位模型；将所述样本图像输入到所述目标定位模型中，得到候选点的坐标和置信度；匹配所述真值点和所述候选点，得到匹配结果；根据所述匹配结果计算损失值，并根据所述损失值微调所述目标定位模型中的参数，直至训练完成得到训练好的目标定位模型。[0006]于本发明一实施例中，匹配所述真值点和所述候选点，得到匹配结果，包括：根据所述真值点的坐标和所述候选点的坐标，生成代价矩阵，所述代价矩阵的元素为对应真值点和候选点之间的匹配代价；根据所述代价矩阵，得到所述匹配结果。[0007]于本发明一实施例中，所述代价矩阵的元素按如下公式计算：[0010]于本发明一实施例中，根据所述匹配结果计算损失值，包括：根据所述真值点的坐标、以及与所述真值点匹配的候选点的坐标，得到回归损失；根据所述候选点的置信度、以[0011]于本发明一实施例中，所述回归损失按如下公式计算：4[0014]于本发明一实施例中，根据所述候选点的置信度、以及匹配关系，得到分类损失，包括：根据所述匹配关系，按如下规则得到每个所述候选点的置信度真值：如果该候选点有匹配的真值点，则该候选点的置信度真值为1;如果该候选点没有匹配的真值点，则该候选点的置信度真值为0;根据所述候选点的置信度和置信度真值，得到所述分类损失。[0015]于本发明一实施例中，所述目标定位模型有K个分支，所述K大于等于1,每个所述分支包括级联的一个卷积单元和一个目标点预测模块，第i个分支的卷积单元的输入为第i-1个分支的卷积单元的输出，i等于{2,…,K};每个分支的目标点预测模块各输出一组候选点的坐标和置信度。[0016]于本发明一实施例中，按先后顺序分别对每个分支进行训练，训练时，根据第k组候选点的坐标和置信度微调第k个分支中的参数，k等于{1,2,…,K}。[0017]本发明的有益效果：本发明提出的一种目标定位模型的训练方法，该方法通过对样本图像进行标定，从而获得真值点的信息，再将样本图像输入到目标定位模型中，得到候选点的信息，对于一般的模型训练而言，其预估的结果和真实的结果是一一对应的，但本发明有些特殊，候选点和真值点的个数大概率不相等，因此这里引入匹配机制，并根据匹配结果去计算损失值，从而实现模型的可靠训练，并且在多分支的模型结构中，采用多次训练的方式来完成整个模型的训练。附图说明[0018]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0019]图1为本发明一实施例提供的模型训练方法的流程图；[0020]图2为本发明一实施例提供的单分支的目标定位模型的训练过程示意图；[0021]图3为本发明一实施例提供的三分支的目标定位模型的训练过程示意图；[0022]图4为本发明一实施例提供的分类单元的结构图；[0023]图5为本发明一实施例提供的回归单元的结构图；[0024]图6为本发明一实施例提供的训练过程中真值点和候选点的匹配流程图；[0025]图7为本发明一实施例提供的训练过程中损失值计算流程图；[0026]图8为本发明一实施例提供的训练过程中分类损失计算流程图。具体实施方式[0027]以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。除实施例中使用的具体方法、设备、材料外，根据本技术领域的技术人员对现有技术的掌握及本发明的记载，还可以使用与本发明实施例5中所述的方法、设备、材料相似或等同的现有技术的任何方法、设备和材料来实现本发明。[0028]应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围。除非另外定义，本发明中使用的所有技术和科学术语与本技术领域技术人员通常理解的意义相同。[0029]在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其中一些实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。[0030]附图中的流程图和框图，示意了按照本发明公开的各种实施例的方法和计算机程序产品可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。[0031]请参见图1,图1为本发明一实施例提供的一种目标定位模型的训练方法，包括：S10、获取样本图像，并通过人工标注的方式标注样本图像中待识别目标的中心点，得到真算损失值，并根据损失值微调目标定位模型中的参数，直至训练完成得到训练好的目标定位模型。[0032]这里以对鱼类目标定位为例，步骤S10中可以按如下方式获取和标注样本图像。首先在一个直径为2.5m、高度为1.5m的圆柱状鱼池中投放光唇鱼鱼苗，并在鱼缸的边缘处放运动情况。然后对采集的视频以间隔1s的方式进行抽帧得到样本图像，并通过GitHub开源项目anylabeling对提取的图片进行鱼群目标中心点的标注，标注时不需要十分准确，可以有一点偏差，完成标注后，将生成的JSON文件通过python提取每个目标的中心点坐标组成txt文件，并预留30%数据作为验证集，进行模型验证。图2和图3中的第一张图就是样本图现数据集的扩增。[0034]请参见图2和图3,在本发明一具体实施例中，步骤S20中的目标定位模型有K个分支，K大于等于1,每个分支(对应图中蓝底区域)包括级联的一个卷积单元(对应图中粉底区域)和一个目标点预测模块(对应图中绿底区域),第i个分支的卷积单元的输入为第i-1个分支的卷积单元的输出，i等于{2,…,K};每个分支的目标点预测模块各输出一组候选点的6[0035]卷积单元可以由一个或多个卷积层构成，例如在图2和图3中的第1个分支中的卷积单元，就是由三个级联的第一卷积层、第二卷积层以及第三卷积层构成；而在图3中的第2个分支和第3个分支中，卷积单元还可以由一个卷积层构成，例如第四卷积层、第五卷积层分别构成了一个卷积单元。[0036]每个分支中，目标点预测模块输出的候选点个数有所不同。第k个分支中，目标点预测模块输出(M/2^(k-1))×(N/2^(k-1))个候选点，第k个卷积单元输出的第k个特征图被划分为(M/2^(k-1))×(N/2^(k-1))个区域，第k个特征图中的每个区域对应一个候选点，第k个特征图中的所有候选点构成一组候选点，k等于{1,2,…,K}。例如图3中，第1组候选点个[0037]目标点预测模块包括分类单元、回归单元以及坐标变换单元(图3中的后两个分支中未示出),分类单元用于输出每个候选点所在区域中存在识别目标的中心点的概率，即步骤S30中输出的候选点的置信度；回归单元用于输出每个候选点在对应区域内的相对坐标；坐标变换单元用于将候选点在对应区域内的相对坐标转换成候选点在样本图像中的坐标，即步骤S30中输出的候选点的坐标。[0038]请参见图4,在本发明一具体实施例中，分类单元包由卷积层+激活层→卷积层+激活层→卷积层，最后再多一个Sigmoid函数来生成概率值，整体结构如图4所示。[0039]请参见图5,本发明一具体实施例中，回归单元由由卷积层+激活层→卷积层+激活层→卷积层构成，其最后的卷积层输出的即为每个候选点在对应区域内的相对坐标。[0040]步骤S40中之所以要对真值点和候选点进行匹配，是因为目标定位模型输出的候选点的个数是固定的，例如上述某个实施例中，第1个分支输出M×N个候选点，第2个分支输出(M/2)×(N/2)个候选点，但真值点的个数是跟样本图像中目标的个数相关的，因此真值点和候选点的个数上会有差异。这与常见的模型不同，常见的模型中，真值点和预测点的个数是相同的，因此步骤S40中需要做特殊处理，即进行匹配操作。[0041]请参见图6,在本发明一具体实施例中，步骤S40包括：S41、根据真值点的坐标和候选点的坐标，生成代价矩阵，代价矩阵的元素为对应真值点和候选点之间的匹配代价；S42、根据代价矩阵，得到匹配结果。[0042]在本发明一具体实施例中，步骤S41中的代价矩阵的元素可以按如下公式计算：中，权重因子α后面跟着的是两个点的欧几里得距离，权重因子β后面跟着的是正态分布的概率密度函数，σ就是该正态分布中的标准差，如果是标准正态分布，其值为1,通过对这两个物理量的加权，就可以得到代价矩阵的元素值。[0045]在具体实现时，我们需要确保候选点的个数要大于真值点的个数，以生成足够多的预测，比真值点多的候选点会被归类为负样本。有了代价矩阵后，例如可以利用匈牙利匹配算法对其进行匹配，然后得到匹配结果，匹配时需要注意一对一的匹配原则。真值点的坐标、以及与真值点匹配的候选点的坐标，得到回归损失；S52根据候选点的置信7度、以及匹配关系，得到分类损失。考虑到目标点预测模块中有分类单元和回归单元，这两[0047]在本发明一具体实施例中，回归损失按如下公式计算：该公式中的σ也表示正态分布中的标准差。回归损失的计算公式和步骤S41中的代价矩阵的计算公式很相似，这是因为回归损失也是根据两个点的欧几里得距离以及正态分布的概率密度函数来计算的，不同之处在于，代价矩阵的元素值对应的两个点之间的匹配代价，回归损失则是计算所有匹配的点的相关物理量之和。规则得到每个候选点的置信度真值：如果该候选点有匹配的真值点，则该候选点的置信度真值为1;如果该候选点没有匹配的真值点，则该候选点的置信度真值为0;S52b、根据候选点的置信度和置信度真值，得到分类损失。[0051]以第1个分支为例，其输出M×N个候选点，那么候选点的置信度正好有M×N个，但由于只有部分候选点与真值点匹配上了，还有一部分候选点未匹配真值点，那么根据步骤S52a得到的置信度真值也有M×N个，不过每个置信度真值要么为0、要么为1。在步骤S52b中，就可以根据M×N个置信度和M×N个置信度真值计算分类损失。[0052]在本发明一具体实施例中，对每个分支按先后顺序分别进行训练，训练时，根据第k组候选点的坐标和置信度微调第k个分支中的参数，k等于{1,2,…,K}。[0053]以图3中的目标定位模型为例，总的训练步骤如下：(1)先训练第1个分支，然后固定第1个分支的卷积单元的参数；2)再训练第2个分支，训练第2个分支时，相当于训练由第1个分支的卷积单元、第2个分支的卷积单元以及第2个分支的目标点预测模块构成的子模块，然后固定第2个分支的卷积单元的参数；(3)以此类推，依次完成其他[0054]对于每个分支而言，其中的目标点预测模块也有两个子分支，第一个子分支是分类单元，第二个子分支是回归单元和坐标变换单元。训练时也可以先对第一个子分支进行训练，训练时以分类损失作为损失函数，以得到卷积单元和分类单元的模型参数；然后再固定卷积单元的参数，以回归损失为损失函数，对第二个子分支进行训练。[0055]可以理解地，在具体的训练过程中，需要设置模型的学习率、批量大小、优化器类型、正则化方式以及损失函数，然后使用准备好的训练集(样本图像以及标记好的真值点坐标构成一个样本)进行训练。[0056]可以理解地，当训练完成后，可以使用预留的验证集，结合均方误差、平均绝对误差等参数进行模型评估，选择评估效果较好的模型参数作为最终的训练好的目标定位模[0057