【对于二值化神经网络的特定优化方法概述1800字】_第1页
【对于二值化神经网络的特定优化方法概述1800字】_第2页
【对于二值化神经网络的特定优化方法概述1800字】_第3页
【对于二值化神经网络的特定优化方法概述1800字】_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

对于二值化神经网络的特定优化方法概述目录TOC\o"1-3"\h\u26456对于二值化神经网络的特定优化方法概述 [107]是最佳的解决方案。比如，文献REF_Ref70159694\r\h[106]的设计是采用Nexys-4板上提供的低成本FPGAxc7a100t-1csg324c，它在上面能使得𝑁=32的Popcount在大约3.5ns内被找到。另外，这种类似的计算可以被DSP加法器树所定义，它需要5个顺序DSP加法器树来同样计算𝑁=32的Popcount，其中5个DSP延迟大于网络延迟。1.2以Batchnorm激活作为阈值在二值化神经网络中，批规范化（BatchNormalization）将应用于所有的层在卷积层或全连接层输出，随后为了得到合适的输出激活，这里使用符号函数来计算，即为了在二值化神经网络中也得到相同的输出，其方式为使用阈值化来计算。假设在神经网络中的第k个神经元的点积运算结果即预激活的输出为ak，则其输出激活aa(3.1)BatchNorm(3.2)其中，式3.1和式3.2的ΘkΘ(3.3)如图3-4所示，图中的虚线和实线分别表示两个不同的神经元，其图像表示它们点积输入ak与输出激活a图3-SEQ图3-\*ARABIC4使用批规范化的二值神经元激活例子图为了表示输出激活akb的变化，且这种变化在网络中始终存在，这里设置了阈值用τkBatchNorm(3.4)故我们可以得出：τ(3.5)此外，因为在第1.1节中的是只有正值的运算，为了使得到的阈值τk与之相匹配，需要将计算出来的阈值τk与神经元的扇入（fan-in）作相互平均的计算，扇入表示为S，这样就得到了正的阈值τ(3.6)其中，τk+能通过batchnorm的参数进行计算，且在训练时就可以计算出来，而它在训练好的网络中的值是固定的。通过以上的方法，我们就可以使用无符号的比较这种运算方式，来计算输出激活值，并在推理过程中避免计算批规范化值从而影响性能。文献REF_Ref70101024\r\h[104]表明，通过VivadoHLS的16位点积输出值的实验得出，常规batchnorm以及带符号的激活计算需要使用2个DSP、55个FF和40个LUT，而此方法的阈值激活只需要6个LUT。1.3以布尔代数的逻辑或运算实现最大池化根据在文献REF_Ref70065801\r\h[103]的论述，网络中进行的池化是在激活之前进行的，这样的情况是对非二值化的数字执行。具体过程文，在进行完池化之后，将会对池化的结果进行批规范化，完成后再进行激活。而在此设计中，对于相同的层输出而言，在经过激活函数的计算后再通过最大池化得出结果。假设a1a(3.7)从式3.7可以得出，如果a1,aa(3.8)其中∨为布尔代

人人文库> 全部分类> 行业资料 > 工业设计

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论