CN114627331B 模型训练方法和装置 （北京沃东天骏信息技术有限公司）

US2021158126A1,2021.05.27训练图像分别输入训练完成的教师模型和待训中像素所属类别的预测结果与所述语义分割标一差异结合第二差异和/或第三差异构造所述学方式能够增强模型对小众类别和/或图像细节信2将样本集中预先标注语义分割标签的多幅训练图像分别输入训练完成的教师模型和所述学生模型和所述教师模型都包括主体网络和连接在所述主体网络之后的广义归使用第一差异结合第二差异和/或第三差异构造所述学生模型的损失函数来训练所述三差异是基于所述学生模型和所述教师模型的所述分获取相应主体网络输出的、对应于所述多幅训练图像的多通将各像素属于该类别的概率数据合并为该类经通道、高度和宽度维度切分形成的任一切分空间对应于任一类别的分离特征包括：计算所述学生模型与所述教师模型对应于同一类别的第一归一3计算所述学生模型与所述教师模型对应于同一位置切分空间以及同一类别的第二归将各位置切分空间以及各类别的KL散度的平均值确定为狭义归一化层包括温度参数等于1的Soft有监督训练单元，用于：将样本集中预先标注语义分割标述联合特征确定的，第三差异是基于所述学生模型和所述教师模型的所述分离特征确定所述分离特征进一步由所述特征图执行通道维度的切分、并经类别维度的聚合而形在所述学生模型形成联合特征的情况下，所述教师模型形成联合将第一差异和第二差异的加权和确定为所述损失函数；或者，将第45像中像素所属类别的预测结果与所述语义分割标签之间的概率分布差异确定为第一差异；6于所述狭义归一化层的计算结果确定的；以及，狭义归一化层包括温度参数等于1的所述学生模型对所述训练图像中像素所属类别的预测结果与所述语义分割标签之间的概7[0021]在基于知识蒸馏的模型训练过程中，为学生模型建立主体网络之后的第一路径、以及第二路径和/或第三路径，为教师模型建立主体网络之后的第四路径和/或第五路径，第一路径的输出结果与标签之间的第一差异结合第二差异和/或第出的特征图转换为每一类别的联合特征后输入归一化层再执行对齐(对齐指的是利用交叉出的特征图按照一致的切分规则在高度和宽度维度切分为多个分离特征后输入归一化层[0024]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加8过复杂的、训练完成的教师模型(TeacherModel)来训练轻量的学生模型(Student以是人工标注)的训练样本，由学生模型同时学习以上训练样本以及教师模型的输出结果[0035]知识蒸馏涉及到温度参数T，其是广义归一化层(例如广义Sof9本发明可以通过以下技术方案予以解决，通过基于联合特征的知识表达解决第一个问题，[0045]图2是本发明实施例的训练过程中的教师模型和学生模型的结构示意图，参见图可以理解，各像素的像素值为该像素属于各类别的概率数据(与像素属于某类别的概率相度等方式计算学生模型基于第一路径的输出结果与预先标注的语义分割标签之间的概率[0049]学生模型的输出路径中进一步包括第二路径和/或第三路径，教师模型的输出路[0050]学生模型的第二路径和教师模型的第四路径均对应于基师模型的主体网络)输出的以上特征图可以转换为每一类别的联合特征之后进入广义归一生网络中类别i的联合特征的第j个分量，是学生网络中类别i的联合特征的第k个分量师网络中类别i的联合特征的第j个分量，是教师网络中类别i的联合特征的第k个分量联合特征知识表达可以通过该小众类别的跨图像联合[0064]学生模型的第三路径和教师模型的第五路径均对应于基师模型的主体网络)输出的以上特征图基于预设的切分规则在高度和宽度维度被切分为多个分离特征后进入广义归一化层，每一分离特征包括特征图处在同一切分空间(可以是高[0068]需要说明的是，学生模型和教师模型需要采用一致的切[0069]各分离特征形成之后，进入后方连接的广义归一化层执行分离特征内部的归一等方法计算学生模型基于第三路径的输出结果与教师模型基于第五路径的输出结果之间一化特征的KL散度，之后将各位置切分空间以及各类别的KL散度的平均值确定为第三差[0070]以第三种切分规则为例，学生网络的广义归一化层对分离特征的计算过程如下2络中序号为x的分离特征的第j个分量，是该分离特征的第k个分量(表示遍历每一分教师网络中序号为x的分离特征的第j个分量，是该分离特征的第k个分量(表示标信息能够充分体现在此后形成的分离特征中(等同于为小范围目标增加了独立的模型表选取方式之下，可以使用基于第三路径和第五路径的第三差异与第一差异构造损失函数；结束时可以仅使用学生模型的一条输出路径，如果保留的输出路径中含有广义归一化层所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是实现本发明所必须[0088]有监督训练单元401可用于：将样本集中预先标注语义分割标签的多幅训练图像素所属类别的预测结果与所述语义分割标签之间的概率分布差异确定为第一差异；以及，所述学生模型和所述教师模型都包括主体网络和连接在所述主体网络之后的广义归一化特征包括该特征图处在同一切分空间的像素属于所述类别的一切分空间对应于任一类别的分离特征包括：该切分空间的像素属于该类别的概率数据；切分空间以及各类别的KL散度的平均值确定为出的特征图按照一致的切分规则在高度和宽度维度切分为多个分离特征后输入归一化层[0097]图5示出了可以应用本发明实施例的模型训练方法或模型训练装置的示例性系统存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而图处在同一切分空间的像素属于所述类别的概率数据；使用第一差异结合第二差异和/或[0113]根据本发明实施例的技术方案，能够在知识蒸馏过程中通过提取