CN119538971A 加密深度神经网络模型的推论及转换方法 (英业达科技有限公司)_第1页
CN119538971A 加密深度神经网络模型的推论及转换方法 (英业达科技有限公司)_第2页
CN119538971A 加密深度神经网络模型的推论及转换方法 (英业达科技有限公司)_第3页
CN119538971A 加密深度神经网络模型的推论及转换方法 (英业达科技有限公司)_第4页
CN119538971A 加密深度神经网络模型的推论及转换方法 (英业达科技有限公司)_第5页
已阅读5页,还剩25页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

本发明提供一种加密深度神经网络的推论2依据所述量化参数解码所述明文结果以产生依据所述量化参数的一默认值编码所述讯息以产生依据所述明文的讯息空间大小及所述内积结果产输入所述模数转换结果至一激励函数以产生所述依据所述密文包含的多个加密值及所述模型权重包含的多个纯量值计算多个纯量乘依据所述多个纯量乘积进行同态加密加法以产生所述加计算所述模数转换结果的讯息空间大小与所述加密内积结果的所述第一模数的第一依据所述第一比例、所述模数转换结果的讯息空间大小及所述量化参数计算第二比依据所述第二比例、一查找表及所述模数转换结果执行一函数输入训练数据集至一整数模型以撷取多个层的多个中间在所述多个层的多个输出,各自依据所述多个中间运算结果的数值范围加入多个噪以所述训练数据集重新训练加入所述多个噪声后的所述整数模型以产生一浮点数微输入所述训练数据集至所述整数微调模型以撷取多个量化参数,所述多个3在输入所述训练数据集至所述整数模型以撷取所述多个中依据所述学生模型进行所述模型量化以产生4加密数据上直接进行计算。将FHE与MLaaS整合在一起产生的加密MLaaS可以推动人工智能式计算进行替代或逼近的计算是主要的障碍。DNN中的计算操作通常可以分为线性和非线算成本。然而非线性操作,如线性整流单元(RectifiedLinearUnit,ReLU)或S型函数近年来在FHE发展中取得了重大进展,对DNN进行同态计算仍然需要大量的计算时间和资[0007]依据本发明一实施例的一种加密深度神经网络的推论方法,包括以运算装置执5[0009]以上关于本发明内容的说明及以下的实施方式的说明用以示范与解释本发明的[0026]图1是依据本发明一实施例的加密推论神经网络的推论系统的示意图。所述推论实现:个人计算机、网络服务器、微控制器(microcontroller,MCU)、应用处理器6[0028]图2是依据本发明一实施例的加密深度神经网络的推论方法的流程图。所述推论error,LWE)加密系统。因为LWE只支持整数的加密和解密,故使用整数型态的量化参数scale,ez和编码函数Encode(·)将浮点数型态的讯息fpeR转换整数型态的明文mEZP,其中模数P代表明文的讯息空间(messagespace)大小。关于量化参数的产生方式经网络模型应用全同态加密(fullyhomomorphicencryption,FHE)技术,并且是一种;整数型态的明文结果mEZP以及量化参数scale,ez,输出是浮点数型态的推论结果[0045]图2是依据本发明一实施例的深度神经网络模型(使用明文)与量化参数的示意7型权重Wi和输入数据Xi-1的内积(dotproduct)。Acti为线性整流单元(RectifiedLinear[0052]图3是依据本发明一实施例的产生量化参数的流程图,表格一是产生量化参数的89[0064]纯量乘法ScaleMul依据密文数组CIan包含的多个加密值及模型权重Wk包[0065]同态加密加法HEAdd依据所述多个纯量乘积进行同态加密加[0066]步骤S32,第二运算装置20将加密内积结果的第一模数降低为第二模数以产生模数转换结果,对应算法第02行。ModSwitch函数的输入是第一模数为Qin的加密内积结果输出是第二模数为q的模数转换结果ctP明提出一个具有功能性自举(functionalbootstrapping)的激励函数ActFunBoot以支持[0071]步骤S333,依据第二比例α,、查找表fACT入包括密文提取函数fin,以及代表讯息空间BurEZ的整数α,输出是经由fin估值的Y.Polyakov,“Large_precisionhomomorphicsignevaluationusingFHEW/TFHE积或全连接层)以及非线性激励函数。通过对密文和模型权重进行内积来实现加密的线性通过模数转换将线性运算的密文(加密内积结果)从[0076]接下来说明如何从训练数据集开始建立本发明提出的FHEW_variant深度神经网[0078]同态加密的应用可能会产生相当大的计算开销,这需要大量的计算资源和时蒸馏(knowledgedistillation)是一种将知识从大型复杂模型(称为老师模型,teacher生模型的效能,同时降低其计算需求。由于其简单灵活的特点,在一实施例中,采用络模型训练完成后进行。量化过程将原始的浮点数权重和激励值(activationvalues)转调训练好的神经网络模型防止过拟合。使用噪声注入来微调模型可以使决策边界平滑化,平(noise_level)的量化参数值来决定Rk。图7是实验得出的量化参数值与错误百分比(噪以控制深度神经网络模型的神经元的密文输出的尺度和产生的数值溢出和噪声问题。本发明的方法利用对加密深度神经网络的微调和对fastandaccuratedeepneuralnetworkforencrypteddata,”inAdvancesinNeuralInformationProcessingSystems32:AnnualConferenceonNeural[0095]表格四中的数据是对一个32x32x3CIFAR_10图像进行分类的6层深度神经网络

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论