版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
CollaborativeOptimizaTemporalEfficiencywithS一种基于轻量多出口网络的模型压缩与推本发明公开了一种基于轻量多出口网络的用户给定的数据集上训练基于变换器的预训练4:在推断前根据实际需要设定或改变轻量多出口网络模型的置信度阈值,实现可变程度的加减小压缩后的多出口模型因各层不一致导致的2步骤1:使用现有的精调方法在用户给定的电网应用数据中的文本数据集上训练基于步骤2:根据教师模型参数量P,和轻量多出口网络模型的预阵中间维度自注意力头数前馈网络中间维度其中为xhsxθ2.如权利要求1所述的一种基于轻量多出口网络的模型压缩与推断加速方法,其特征3各层的预测和隐藏状态为学生模型第1至L其中wk表示第k层网络结构的权重,VWXLi为梯度均衡前第i层损失对第k层权重的梯度,vurcxo为梯度均衡后模型损失对第k层4于Transformer多层变换器和大规模预训练语言模型的兴起,逐渐有学者针对预训练语言器表示模型(BidirectionalEncoderRepresentationsfromTransformers,BERT)等多直接减少实际运算的时空开销。[0006]如同各种神经网络一样,预训练语言模型的主要模块通常是权重构成的变换矩5练得到的4层TinyBERT模型在不到BER[0011]步骤1:使用现有的精调方法在用户给定的数据集上训练基于变换器的预训练语入矩阵中间维度自注意力头数前馈网络中间维度其中[0013]步骤3:使用综合静态压缩与动态加速的联合优化方法训练目标轻量多出口网络6**为正整数集;**为正整数集;*[0023]步骤3.1:使用截断式奇异[0024]步骤3.2:对学生模型(即轻即每次剪枝将将自注意力头数从当前值减小ΔA,其中ΔA和学生模型前向传播完成后,获取教师模型各层的预测和隐藏状态各层的预测和隐藏状态为学生模型第1至L7[0035]图1为基于轻量多出口网络的模型压缩与推断加速方法的模型示意图;Wt为原始8[0040]图1为基于轻量多出口网络的模型压缩与推断加速方法的模型示意图,本发明的基于轻量多出口网络的模型压缩与推断加速方法[0041]步骤1:使用现有的精调方法在用户给定的数据集上精调基于变换器的预训练语嵌入矩阵中间维度自注意力头数前馈网络中间维度其[0043]步骤3:使用综合静态压缩与动态加速的联合优化方法训练目标轻量多出口网络[0045]本发明使用截断式奇异值分解方法对预训练语言模型BERT的首个模块——词嵌神经元等网络结构及其相连的所有权重整体剪除,非结构化剪枝一般只消除特定的权重。9本发明使用如下的模型结构重要性计算方法[0052]Idc(hz)l=IL(x,h=0)-L(x,hz)l。(4)L(x,hz)在hi=0处的一阶泰勒展开可表示为每一层Transformer中,对结构所连接权重的重要性Idc(h)l求和,并从小到大排序进行剪[0060]预测蒸馏与标签平滑的思想类似,利用训练好的教师模型的概率分布输出P(i=1,…,L)作为增强数据的标签,并使学生模型的概率分布输出示为[0063]由于本发明的轻量多出口网络体量较小,仅使用预测蒸馏可能无法达到预期效的嵌入层和Transformer层隐藏状态输出H(i=0层和Transformer层隐藏状态输出H(i=0,1,…,L)尽可能地接近教师模型的隐藏状态输自身动态地决定其计算量。具体而言,本发明使用层级别的提前退出,如图4所示在若此层的置信度满足退出条件,则认为模型此时已经能够对该输入样本做出可信的判断,网华中电力调控分中心2021年电网安全自动装置及系统保护控制策略适应性评估招标公[0085]本发明在通用语言理解评估(GeneralLanguageUnderstandingEvaluation,GLUE)数据集上对综合静态压缩与动态加速的模型进行评价。在GLUE数据集的三类任务中[0086]本技术的评估指标分别为精确率(accur
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 银行服务整改报告
- 社会组织财务管理制度
- 监理工作制度
- 关于银行业务整改报告范文
- 2026年勘察设计注册岩土工程师考试(公共基础)全真题库及答案(广东省)
- 2025年吉林省普通高等学校专升本考试(实验诊断学)经典试题及答案三
- 2026年全国职业病诊断医师培训物理因素所致职业病题库
- 2026年服务技巧与操作能力考试题目集(含答案)
- 驻马店市2026-2027学年高三第四次模拟考试高考数学试卷(含答案解析)
- 2027年5月模拟考试七年级物理基础卷及答案
- 2026年工艺员考试模拟试卷带答案
- 《护理管理培训》课件
- 《纪检监察机关派驻机构工作规则》 测试竞赛考试练习题库(附答案)
- 2026秋新北师大版数学六年级上册教学课件:数学好玩 五子棋
- TCNAS 59-2026 《患者自控镇痛护理》全面解读
- 2026及未来5年中国全自动商用咖啡机市场数据分析及竞争策略研究报告
- 超声评估胆囊腺肌症
- GB/T 47401-2026锂离子电池正极材料检测方法浆料黏度的测定
- 运输企业隐患排查记录台账(2026年)
- 医院采购委员会制度
- 华电E学考试答案2026
评论
0/150
提交评论