类脑计算.ppt

类脑计算,1,CONTENTS,2,3,类脑理念与实践,GeneralAI认知NarrowAI感知传统思想：认知科学了解大脑意识的形成模仿人脑设计算法(Empirical)当前思想：神经生物学了解大脑结构结构仿真形成一定规模的神经元网络再思考可以做什么(Heuristic),类脑理念与实践,4,感知:PerceptronLeNetAlexNetVGGGoogLeNetResNet认知：BrainScaleSNeurons4millionSynapses1billionPower10kWTrueNorthNeurons16millionSynapses4billionPower1WSpiNNakerNeurons460millionSynapses460billionPower50kWHumanBrainNeurons100billionSynapses100TeraPower20W,DeeperthanDeeper,BiggerthanBigger,上界：认知科学功能模拟类脑计算下界：神经科学解析仿真上确界：神经科学结构模仿类脑实践下确界：传统计算机体系结构,5,类脑理念与实践,神经形态认知计算,6,神经元状态方程：Hodgkin-Huxley方程,神经形态认知计算,7,CMOS模拟：忆阻器：忆阻器是天然的突触模拟器件，生物突触释放Ca、Na离子改变传导性，忆阻器通过释放氧离子改变传导性。1个忆阻器可以模拟一个突触的行为。当前集成水平可以达到10GB/cm2存储密度（近似人脑神经元密度），主频200MHz（比人脑脑电频率快106倍），未来可达到500G/cm21000MHz。,SpikingNeuronsandSpikingNeuralNetworkFunctionsandConsumption,8,神经形态认知计算,ANNAssumedthatneuronsrepresentinformationthroughtheirmeanratesofactionpotentialfiring.NonLinear(Sum()SNNHowSpikesconveyinformation?Rate:spikecountwithinatimewindowTemporal:precisetime=timearray,9,神经形态认知计算,FeatureMapSpatiotemporalPatternsClassificationSolved.HowtoCode?Unsolved.,10,神经形态认知计算,ImplementingInstances,11,神经形态认知计算,ImplementingInstancesConvolutionMaxPoolingSTDP(UnsupervisedLearninginFeatureExtraction)SupervisedLearningrulestofinetuningSpikingNetwork,12,神经形态认知计算,STDPTheprocessadjuststheconnectionstrengthsbasedontherelativetimingofaparticularneuronsoutputandinputactionpotentials(orspikes).,13,神经形态认知计算,ImplementingInstances,14,神经形态认知计算,NeuronSoftware分子层面精细建模最大程度模拟神经元与突触行为对视网膜中央区域2mm范围内所有神经元进行建模天河2号超算辅助运算,15,类脑理念与实践,SpikingArray时空关系上的连续性超高速视屏20,000Frame/sLineMotionIllusion视网膜与V1层功能区的协作产生线运动错觉V1区含有方向选择细胞V1区脑皮层之间的互联形成对位置方向的感知V1区脑皮层在无刺激输入时也会产生自发性放电现象,16,类脑理念与实践,NeuralEncodingofMotionDirectionSingleNeuronNeuralPopulation,17,计算神经科学,CANNContinuousAttractorNeuralNetwork,DynamicalandAdaptiveInformationProcessingFromRatetoCorrelationCodeSFASpikefrequencyAdaptationNeuronalresponseattenuatesafterexperiencinglongtimefiring.Slownegativefeedbackmodulationtoneuronalresponse.TravelingWaveinCANNAmovingbumpinthenetworkwithoutrelyingonexternaldrive.,18,计算神经科学,ThestrategyofthebrainEveryanimaladoptstoitsownoptimaltimescalesuitableforitsownsurvivalinthenaturalenvironment.Thebrainco-evolvesstrategiestocompensatedelays.WhyNeuralDelays?Toimplementtemporalcode.Tointegratemultiplesensorycues.Tointegratetemporalinformationovertimeforreliableresponding.WhyAdaptive?Respondingfasttoanovelobjectwithstrongindependentfiring-ratecode.Encodinginformationefficientlywithlowfrequencybutcorrelationcodelately.,19,计算神经科学,20,深度学习处理器,图像处理:GPU信号处理:DSP智能处理:DianNaoFamily未来的硬件设备可能都需要一个深度学习算法的硬件处理器目前GPU芯片每年出货量：0.64Billion产值：50Billion$NameSpeedupEnergyEfficiencyDianNao:1.1xGPU100 xCPUDaDianNao:21xGPU330 xGPUPuDianNao:1.1xGPU200 xGPUShiDianNao:28.94xGPU4688xGPU320mW,21,深度学习处理器,如何加速？把数据从内存搬运到硬件运算单元，甚至比运算本身更耗能量。小尺度但支持大规模神经网络速度：把访存带宽用起来，尽可能提高性能能耗：通过优化片上存储层次尽量减少访存次数,22,深度学习处理器,DianNao16NeuronsWin8KBWout8KBWeight32KBDisadvantage:MemoryExchangeASPLOSBestPaper,23,深度学习处理器,DaDianNao16Cores16Neurons全网络模型片上存储无内存访问EDRAMMICROBestPaper,24,深度学习处理器,PuDianNao关注数据局部性设计专用功能器件三根柱子：InstBuf指令缓存HotBufColdBuf常见运算：向量内积向量距离计数非线性