CN110674880A 用于知识蒸馏的网络训练方法、装置、介质与电子设备 （北京迈格威科技有限公司）_第1页
CN110674880A 用于知识蒸馏的网络训练方法、装置、介质与电子设备 （北京迈格威科技有限公司）_第2页
CN110674880A 用于知识蒸馏的网络训练方法、装置、介质与电子设备 （北京迈格威科技有限公司）_第3页
CN110674880A 用于知识蒸馏的网络训练方法、装置、介质与电子设备 （北京迈格威科技有限公司）_第4页
CN110674880A 用于知识蒸馏的网络训练方法、装置、介质与电子设备 （北京迈格威科技有限公司）_第5页
已阅读5页，还剩25页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

本公开提供了一种用于知识蒸馏的网络训2将样本数据输入教师网络，获得所述样本数据对应的基于所述预测数据、所述软标签数据和所述样本数据根据所述损失函数更新所述教师网络中的参数和根据所述正样本对应的预测数据和所述正样本对应的软标签数据，根据所述损失函数对所述学生预测值的梯度，更新所根据所述损失函数对所述学生预测值的梯度，以及所述根据所述损失函数对所述教师预测值的梯度，更3i类硬标签数据对应的预测数据，pf为第i类硬标签数据对应的软标签数据；∈为经验参其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-9任一项所述的4[0006]本公开提供了一种用于知识蒸馏的网络训练方法、用于知识蒸馏的网络训练装567以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方[0040]本公开的示例性实施方式首先提供了一种用于知识蒸馏的网络训练方法。图1示8标签数据。样本数据和硬标签数据的具体内容与教师网络和学生网络的具体应用场景相全连接层或Softmax(归一化指数函[0045]需要说明的是，若教师网络中设置Soft9络处理样本数据得到对应的软标签数据，通过学生网络处理样本数据得到对应的预测数[0063]在一种可选的实施方式中，考虑到教师网络和学生网络中采用Softmax层对输出值和该学生预测值对应的概率，学生预测值即学生网络对正样本进行处理后输出的结果。1实际上是学生网络正确分类的正标签(1)样本数据，x2是学生网络正在通过教师网络(TeacherNetwork)和学生网络(ApprenticeNetwork)处理样本数据(InputData)x时，将x分别输入教师网络和学生网络，在Softmax层之前得到的中间数据行常规Softmax计算后输出数据qA。因此，可以基于pT、qT、pA、qA以及硬标签数据(Hard[0095]换而言之，第一和第三子损失中的用于拟合的输出数据可以采用常规Softmax输低到0.47优于现有技术的水平。[0097]本公开的示例性实施方式还提供了一种用于知识蒸馏的网络训练装置，如图4所L(PA,PT,y)=a[0111]参考图5所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序[0115]可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网610执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步[0119]存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元[0120]存储单元620还可以包括具有一组(至少一个)程序模块625的程序[0121]总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储[0122]电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备一个模块或者单元的特征和功能可以进一步划分为由多者适应性变化遵循本公开的一般性原理并包括本公开未

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论