CN115600675B 一种基于轻量多出口网络的模型压缩与推断加速方法 (国网江苏省电力有限公司镇江供电分公司)_第1页
CN115600675B 一种基于轻量多出口网络的模型压缩与推断加速方法 (国网江苏省电力有限公司镇江供电分公司)_第2页
CN115600675B 一种基于轻量多出口网络的模型压缩与推断加速方法 (国网江苏省电力有限公司镇江供电分公司)_第3页
CN115600675B 一种基于轻量多出口网络的模型压缩与推断加速方法 (国网江苏省电力有限公司镇江供电分公司)_第4页
CN115600675B 一种基于轻量多出口网络的模型压缩与推断加速方法 (国网江苏省电力有限公司镇江供电分公司)_第5页
已阅读5页,还剩20页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

CollaborativeOptimizaTemporalEfficiencywithS一种基于轻量多出口网络的模型压缩与推本发明公开了一种基于轻量多出口网络的用户给定的数据集上训练基于变换器的预训练4:在推断前根据实际需要设定或改变轻量多出口网络模型的置信度阈值,实现可变程度的加减小压缩后的多出口模型因各层不一致导致的2步骤1:使用现有的精调方法在用户给定的电网应用数据中的文本数据集上训练基于步骤2:根据教师模型参数量P,和轻量多出口网络模型的预阵中间维度自注意力头数前馈网络中间维度其中为xhsxθ2.如权利要求1所述的一种基于轻量多出口网络的模型压缩与推断加速方法,其特征3各层的预测和隐藏状态为学生模型第1至L其中wk表示第k层网络结构的权重,VWXLi为梯度均衡前第i层损失对第k层权重的梯度,vurcxo为梯度均衡后模型损失对第k层4于Transformer多层变换器和大规模预训练语言模型的兴起,逐渐有学者针对预训练语言器表示模型(BidirectionalEncoderRepresentationsfromTransformers,BERT)等多直接减少实际运算的时空开销。[0006]如同各种神经网络一样,预训练语言模型的主要模块通常是权重构成的变换矩5练得到的4层TinyBERT模型在不到BER[0011]步骤1:使用现有的精调方法在用户给定的数据集上训练基于变换器的预训练语入矩阵中间维度自注意力头数前馈网络中间维度其中[0013]步骤3:使用综合静态压缩与动态加速的联合优化方法训练目标轻量多出口网络6**为正整数集;**为正整数集;*[0023]步骤3.1:使用截断式奇异[0024]步骤3.2:对学生模型(即轻即每次剪枝将将自注意力头数从当前值减小ΔA,其中ΔA和学生模型前向传播完成后,获取教师模型各层的预测和隐藏状态各层的预测和隐藏状态为学生模型第1至L7[0035]图1为基于轻量多出口网络的模型压缩与推断加速方法的模型示意图;Wt为原始8[0040]图1为基于轻量多出口网络的模型压缩与推断加速方法的模型示意图,本发明的基于轻量多出口网络的模型压缩与推断加速方法[0041]步骤1:使用现有的精调方法在用户给定的数据集上精调基于变换器的预训练语嵌入矩阵中间维度自注意力头数前馈网络中间维度其[0043]步骤3:使用综合静态压缩与动态加速的联合优化方法训练目标轻量多出口网络[0045]本发明使用截断式奇异值分解方法对预训练语言模型BERT的首个模块——词嵌神经元等网络结构及其相连的所有权重整体剪除,非结构化剪枝一般只消除特定的权重。9本发明使用如下的模型结构重要性计算方法[0052]Idc(hz)l=IL(x,h=0)-L(x,hz)l。(4)L(x,hz)在hi=0处的一阶泰勒展开可表示为每一层Transformer中,对结构所连接权重的重要性Idc(h)l求和,并从小到大排序进行剪[0060]预测蒸馏与标签平滑的思想类似,利用训练好的教师模型的概率分布输出P(i=1,…,L)作为增强数据的标签,并使学生模型的概率分布输出示为[0063]由于本发明的轻量多出口网络体量较小,仅使用预测蒸馏可能无法达到预期效的嵌入层和Transformer层隐藏状态输出H(i=0层和Transformer层隐藏状态输出H(i=0,1,…,L)尽可能地接近教师模型的隐藏状态输自身动态地决定其计算量。具体而言,本发明使用层级别的提前退出,如图4所示在若此层的置信度满足退出条件,则认为模型此时已经能够对该输入样本做出可信的判断,网华中电力调控分中心2021年电网安全自动装置及系统保护控制策略适应性评估招标公[0085]本发明在通用语言理解评估(GeneralLanguageUnderstandingEvaluation,GLUE)数据集上对综合静态压缩与动态加速的模型进行评价。在GLUE数据集的三类任务中[0086]本技术的评估指标分别为精确率(accur

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论