制约AI产业发展的硬件瓶颈

陈怡然杜克大学电子与计算机工程系副教授杜克进化智能中心联合主任美国自然科学基金委新型可持续智能计算中心主任制约AI产业发展的硬件瓶颈TheHardwareBottlenecksHinderingDevelopmentofAIIndustry人工智能发展的三次浪潮ENIACUNIVACIIBM7090Pentium

IVIBM360/75CDC7600SDS920DEC-CK-10AppleIISun-2

Sun-3AT&TGlobalyst600PowerTower180eFijitsu

SPARC64

VIIIfx

Gateway-486DX2/66IBMPCMACIIfxIBMPS/290PowerMac8100/80AMD

Athlon

FX-57MacG4DELL340/2GMacG3Intel

Core

2

QX9770第一次兴起Perception,1957

第二次兴起MLP,19862012AlexNet2014GoogleNet2014VGG192015ResNet1522016DenseNet2502012,GTX5802013,GTX780Ti2014,GTX9802015,GTX9802016,GTX1080第三次兴起CNN,2012

GPU相对性能相对网络深度

/1/533/533492.html人工智能应用的硬件要求图灵机和冯∙诺依曼体系结构HeadTape内存计算逻辑单元控制单元计算、存储分离串行计算计算精度高单线程性能受限于所运行指令之间的数据依赖关系内存带宽瓶颈片上功率密度上限现有AI计算芯片2014-2018硬件神经元高速存储，高速互联经典机器学习算法寒武纪2014-2017SP：流式处理器SM：流式多处理器SFU：特殊函数处理器英伟达GPU2014-2017基于算法优化的FPGA神经网络硬件加速器赛灵思深鉴科技2016-2018TPU脉冲阵列混合精度计算部件加速神经网络推断和训练谷歌云TPU服务谷歌TPU一：大容量存储和高密度计算ILSVRC’12:AlexNet8层/1.4G操作ILSVRC’15:ResNet34~152

层/~3.9G操作ILSVRC’14:VGG16~19层/~15.5G操作模型复杂度越来越高剪枝（Pruning）非结构化剪枝结构化剪枝尽可能减少权重数量极大减小存储空间在AlexNet等网络上压缩10x以上剪枝同时维持结构化的存储访问减小存储的同时提高运算速度达到3x左右的速度提升非0值0值无效访问有效访问结构化剪枝CNN:剪除部分通道，缩小卷积核，剪除整层（W.Wenetal.,2016）5.17倍加速低精度量化低精度量化最小化目标:概率正则化

a=b=0.5零偏差最大化偏差低精度神经网络训练参数服务器p'=p+Δp降低通信开销DistBelief

by

Google三值量化降低通信开销WeiWenetal.,CEINIPS,2017截取前截断后三值量化最终结果降低训练的通信开销WeiWenetal.,CEINIPS,2017降低梯度的精度训练加速保证网络模型的精确性生产环境测试:128节点GPU集群；高速互连网络……参数服务器计算节点TernGrad3x训练加速，<2%精确性降低手势识别医疗诊断自动驾驶目标定位机器翻译语音识别二：面向特定领域的架构设计应用场景越来越丰富面向RNN的优化CE隐藏CE输出CE输出CE输出CE输出多功能管理单元（TMU）数据重用内存效率内在并行数据模式转换激活函数近似资源利用定制化PE设计可扩展性相比CPU平台（IntelXeonE5-2630），性能提高16倍，能耗降低60.7倍面向LSTM的优化蓝色条带：LSTM中的隐藏结构结构化稀疏LSTM中的隐藏结构下一层权重xhh

WeiWenetal.,CEIICLR,2018优化后模型性能提升10.59倍面向GAN的优化GANFanChenet.al,CEI，ASPDAC,2018相比于GPU平台，性能提升240倍能效提升94倍三：“云-终端”平台特点不同高安全性低能耗低延迟数据采集终端推理终端训练海量数据存储海量数据处理云端训练及推断高并行高带宽高存储高时延传输安全性移动平台的神经网络训练分布式训练架构传输优化TernGrad1-BitQuantization梯度量化：并行性优化针对不同手机计算能力的查找表移动平台的神经网络推断卷积层优化全连接层优化卷积层计算量巨大全连接层参数巨大系统性能随节点数呈线性提升MobileNets:EfficientConvolutionalNeuralNetworksforMobileVisionApplications

MoDNN:LocaldistributedmobilecomputingsystemforDeepNeuralNetwork四：芯片设计要求高，周期长，成本昂贵/verification-validation-testing-asicsoc-designs-differences/AI加速EDA设计片上系统印刷电路板PCB系统级封装DARPA:24小时无人值守规则检测热点ZhiyaoXieetal.CEI,ICCAD18架构及工艺面临挑战摩尔定律放缓忆阻器（memristor）是一种被动电子元件，被认为是电路的第四种基本元件。忆阻器的特性与神经元突触类似忆阻器单元“三明治”结构上电极金属氧化层下电极矩阵乘运算新型器件—忆阻器交叉开关阵列HPlab,2012神经元突触神经网络忆阻器人工智能芯片20152016.022016.052016.102017.02Testkeys脉冲忆阻器700x700µm2脉冲忆阻器3152x3152µm2ML1SL1SL2TestML2BSBMCLF1LF2脉冲忆阻器2520x2520µm2脉冲忆阻器2520x2520µm2电压忆阻器2847x2471µm2基于忆阻器的加速芯片CNN加速器图加速器相比于GPU平台，性能提升42.5倍能效提升7.17倍相比于GPU平台，性能提升16.01倍能效提升33.82倍Linghaosonget.al,CEI,HPCA,2017Linghaosonget.al,CEI,HPCA,2018适应性(AD)性能(PE)功效(PO)可编程(PR)扩展性(SC)通用硬件平台P.J.Fox,Tech.Report,2013Grafetal,NIPS,2009ASICMisraetal,Neurocomputing,2010可编程硬件Grafetal,NIPS,2009Misraetal,Neurocomputing,2010基于新型器件的可编程设计H.Li,HPEC,20104,DAC,2015NSFIUCRCASICCenterMembersincludefacultyacrossthreeresearchsites:YiranChenCenter/SiteDirectorHai"Helen"LiCenter/SiteCo-DirectorRobertCalderbankKrishChakrabartyXinLiMiroslavPajicChaoliWangPatrickJ.FlynnYiyuShiSiteDirectorSharonHuSiteCo-DirectorDannyChenWalterScheirerMichaelNiemierSiteCo-DirectorQinruQiuSiteDirectorYanzhiWangSiteCo-DirectorChilukuriMohanJaeOhVirPhohaPramodVashneySenemVelipasalarBeiYuBenjaminLeeCenter/SiteCo-DirectorIndustrypartners:TheAlterna