忆阻器存算一体芯片与类脑计算

忆阻器存算一体芯片与类脑计算清华大学集成电路学院2 AlibabaAlibabaGoogleGoogleBaiduIBMMicrosoftAICloudAI译3•以深度学习为核心技术的人工智能有三大关键要素✓算法✓数据✓算力4炸式增长•2020年GPT-3一炮走红➢超越普通NLP，写小说、编剧本无所不能➢5亿美元的超算中心，数千个GPU➢训练用了三个多月的时间，电费几千万美元➢训练过程中发现程序bug怎么办？忍着……5炸式增长•自动驾驶汽车➢2017年从1颗GPU升级为2颗➢2020年升级为4颗➢2021年？买不到了……6炸式增长•手机拍照➢2017年开始全面嵌入NPU➢NPU从单核变为多核➢4个算法只能处理半个……7rekAlphaoGPUAlexNetVGGIntelPentiumIntel386LeNet- 5 Intel4004NETtal翻！ENIACABCPerceptrGoZerNvidiaIntelCo每3.4个月一番GPU并行训练日rekAlphaoGPUAlexNetVGGIntelPentiumIntel386LeNet- 5 Intel4004NETtal翻！ENIACABCPerceptrGoZerNvidiaIntelCo每3.4个月一番GPU并行训练日的网络on数据来源:810410210010-210-410-610-810610310010-310-610-910-12194019501960197019801990200020102020年份算算力需求快速增长算力提升放缓临9EnergypJ总线300250200500EnergypJ总线300250200500现有计算系统普遍采用存储和运算分离的架构，存在“存储墙”与“功耗墙”瓶颈，严重制约了系统算力和能效的提升。处理处理器存存储器架构存储速度远低于计算速度nicationitit sbit J Jbit45nm32nm22nm14nm10nmnm工艺下，数据传输和访问功耗占比超过69%存+存+类脑芯片：学习大脑的结构和/或工作机理脉冲事件驱动低功耗脉冲事件驱动低功耗高并行nics算算存算一存算一体存算一体高算力 新器件：存算合一的电子突触——忆阻器(RRAM)生物突触RRAM电子突触(ResistiveRandomAccessMemory)NaNa+,Ca2+生物中Na+,CA2+离子的移动造成生物突触的强弱。O2-RRAM中氧离子的移动和分布导致器件阻值的变化。RRESETSETConductanceSetet x1x2x3*ZG1jxjZG2jxjZG3jxj=ConductanceSetet x1x2x3*ZG1jxjZG2jxjZG3jxj=22n33UpdatenumberOhmiclawsKirchhoff’slawsG11G12G13G21G22G23………Gn1Gn2Gn3L.Xiaetal.,DATE,2016输入输出一体技术输入输出架构计算系统体管计算算系统器拟计算法高阻态离子运高阻态离子运动的随机性氧空位低阻态高低阻态离子氧空位频数147 Level1:880%60%40%逐器件累积逐层累积核心挑战2:模拟计算的误差累积频数147 Level1:880%60%40%逐器件累积逐层累积逻辑计算模拟计算计算逻辑计算模拟计算原理计算数据型80%60%40%20%0%024681012141618两个器件电流和电流(电流(uA)片的协同设计方法存算一体芯片急需跨层次的协同优化方法：单一层面的优化难以达到高性能Algorithm/ComplierArchitecture/SystemArray/MacrocircuitRRAMdevice 的新器件结构，在较小电流下实现了模拟阻变叠层结构阻变层w/oTELw/w/TEL•Arraysize:128×32or1152וArrayoperation:bothcellbycellarallelcomputingchWaferPackage:BGA256架训练架训练自适应训练witwi+AwiZitwi.XiZitZi+BZi器件误差模型-A电路误差模型-B阵列间误差模型-CYi←f(Zi)YitYi+C(Yi)系统误差模型矩阵向量乘激活Zi←wi.XiYi←f(Zi)外压力训练和片上自适应训练组成的混合训练框架。在片外压力训练中引入% .7% 普通训练压力训练P.Yao,etal,Nature2020各层对精度的影响98.0%各层对精度的影响98.0%96.0%94.0%92.0%90.0%3FC5AllC2确率训练在混合训练框架下，根据神经网络各层对系统精度的影响规律，在权重映射到芯关键层权重关键层权重非关键层权重权重原位更新应训练映射保持➢准确率与28nmCMOS树莓派系统相当~95%➢推理速度比CMOS快~20倍(3svs.59s)➢推理计算能效达到78.4TOPs/WQ.Liu,etal,ISSCC2020Imeaused(μA)VappliedImeaused(μA)Vapplied(V)6300生物神经网络的3个基本单元:eIImeaused(μA)Vapplied(V)630ff树突(Dendrite):滤波与积分胞体(Soma):积分与发放00imems00imems6Timems用单个忆阻器模拟电压门控NMDA通道，实现树突功能突器件与类脑系统探索•利用3种不同的忆阻器分别实现突触、集成突触、树突、胞体来构建完整类脑神经网络系统集成突触、树突、胞体来构建完整类脑神经网络系统口引入树突后，动态功耗降低30倍！口SVHN数据集识别准确率显著提高 变化2009VLSI器循环测试2011IEDM快速测量二值循环次数2012IEDM2013AM制TEK设备一直在推动忆阻器研究手段的进步VD0VD0VD0VS0-ΔVVS0+2ΔVVS0+ΔVVS0+2ΔV模拟阻变的循环耐久性测试VD0VD0VD0VS0-ΔVVS0+2ΔVVS0+ΔVVS0+2ΔV存算一体技术对忆阻器特性要求更高，测试难度更大→对阻变窗口的上下边界分别设定10%RH或RL的极限边界(多边界定位法)。VVD0OneUnitOneReadT_cycle=0.4us<<t_read;PUMtoSUMtoPUM~1s1e6cycles~1s一Bestcycleunitecycles~10s1e9cycles~1000s1e11cycles~27.8hVg=4-5V；Vs=1.6-2.5OneUnitOneReadT_cycle=0.4us<<t_read;PUMtoSUMtoPUM~1s1e6cycles~1s一Bestcycleunitecycles~10s1e9cycles~1000s1e11cycles~27.8hVg=4-5V；Vs=1.6-2.5V;Vd=0V;Vs=0V;Vd=1.6-3V;Vg=4；Vs=0V;Vd=0.1V;ResetSetResetSetnsVg2nsVsVdSMUtoNcyclesSamplingNcyclesOneUnit测试效率相比传统设备提升1000倍，功能扩展性也更强模拟阻变的循环耐久性测试带宽高采样率示波器内存采集模式入输出对应关系一目了然基于动态忆阻器的并行储备池计算系统利用忆阻器的动态特性等效地实现复杂递归网络,当输