深度学习-循环神经网络

1、深度学习之循环神经网络陈鹏目录1:深度学习发展史2:从神经网络到深度学习3:循环神经网络基础4:自然语言处理基础（扩充知识）21:深度学习发展史3深度学习发展史HebbRosenblatt Geoffrey HintonLearning model perceptronNeural networkof neuronsBack propagation19491958Geoffrey Hinton200619862011 20122014SVMFirst Winter of NNRBMKNNDBNCNNBoosti ngDecision treeComputer vision NLP Speech

2、Deep belief netScienceSpeechGoocleQj Hong K«ngIMAGENET机器学习第一次浪潮：机器学习第二次浪潮浅层学习模型(Shallow Learning)深度学习模型 (Deep Learning)Second Winter of NN4RNN深度学习 （多层神经网络）神经元神经网络5神经元模型神经元是构成神经网络的最基本单元（构件），因此，首要任务是构造人工神经元模型。7神经元模型#net = WTX=E叫舛 o = f (net)典型的激励函数(Activation Function): 线性函数，非线性斜面函数，阶跃函数, S型函数等。U

3、 = WjXj +.+WNXN(a if u>3 y ifu<09神经网络一般形式hwniLWMLV11W11WIBnet =西 W xn 9 wn6> = /(net) = xnet+cInput LayerLHidden LayerOutput Layer11#% = Mn&h)neton =V：H = Wi叫） Nonlinearity 非线性 Parallel Processing 并行处理 InputOutput Mapping 输入输出匹配Adaptivity自适应性#最简单的神经网络:Perceptrons#Single Layer Perceptron

4、s/(M)二 WjXj + w2x2 +b = <y = /(%) = signwi -兀 +b)+1if u>01if u <0+ 1 if u>0 -1 if u<0u>0u<013Single Layer Perceptrons :迭代过程两类样本：白色和黑色分类错误的样本用红色轮廓目标：分飪确所有样本, 直到没有红色轮廓的样本。where?15#异或问题:The objective is only to find the line that separates two linearly separable classes. As soon as

5、 the first solution weights vector, which separates all the data pairs corretly, is found, there will be no further changes of the vecto匚 So, the perceptron learning is not an optimization method线f生可分 l'可题Problems： it can not separate patterns when there is an overlapping of data or when classes

6、 are not linearly Separable不能处理线性不可分问题Linear Separable Problem#XX2y000100010111X1X2y000101011111X|X2y00010101111019#For XOR problem:1. introducing one additional neuron in a special way;2. using differentiable activation function; 一个单级网络可以将平面划分成两部分，用多个单级网组合在一起， 就可以构成一个两级网，该网络可以被用来在平面上划分出一个封闭 或者开放的凸域

7、来；画采用特殊的激励函数。#2:从神经网络到深度学习21神经网络Layer -layer l2相似之处：模扌以人脑的分层网络结构;深度学习网络辅入层含多WK的渓度学习樓型不同之处:强调深度的重要性;突出特征学习的重要性；（逐层抽象）训练机制；1A深度学习思想起源:人脑视觉机理MQior comma naCategorical judgments, decision making120-1 SO ms100-130 ms140-190 ms一 WICPMCRetina20*40 ms60-80 msSimplft visual forms edges, comersV1 I40-60 msV26

8、0-70 msK 0-90 msIntermediate visual、AITforms, feature*、groups, etc.80-100 ms 、High level object descripti ons, laces, objects后脑皮层的不同视觉神经元,与瞳孔所受刺激之间,存在某种对应关系。17深度学习起源:人脑视觉机理object models2r amedgesTobject parts (combination of edges)Area V4Area V2Area V1HignatJpvel visual abstracbonsEdge detectorspixe

9、lsPrimitive shape detectors/人的视觉系统的信息处理 是分级的；/高层的特征是低层特征的 组合,从低层到高层的特征 表示越来趨1由象/越来越能 表现语义或者意图；/抽象层面越高,存在的可 能猜测就越少,就越利于分 类；如何用计算机模拟?pixels19为什么需要深度?#Complicated FunctionSimple FunctionsOne Example ofComplicated Function(log (cos (exp(sin3 (x)j)log (cos (exp($in'( n )21#深层网络具有刻画复杂函数的能力#常见深度学习网络一览e

10、uNPerceptConv. NRBMBayesNPznIJnsuper1SupervisedSupervisedBoostingDecisionTreeSparseGMM CodingI】Probabilistic ModelsMA RanzatoY LeCunSVM23深度学习网络按是否有监督分类： Purely SupervisedInitialize parameters randomly Train in supervised mode(> typically with SGDf using backprop to compute gradients Used in most

11、practical systems for speech and image recog nition Unsupervisedf layerwise + supervised classifier on top Train each layer unsupervised, one after the otherTrain a supervised classifier on top, keeping the other layers fixed Good when very few labeled samples are available Unsupervised, layerwise +

12、 global supervised fine-tuning-Train each layer unsupervised, one after the other Add a classifier layer, and retrain the whole thing supervised Good when label set is poor (e.g. pedestrian detection)Unsupervised pre-training often uses regularized autoencoders#3 :循环神经网络（RNN ）25递归神经网络模型递归神经网络Output

13、LayerHidden LayerInput Layer递归神经网络(RNN),是两种人工神经网络的总称: 一种是时间递归神经网络(recurrentneuraInetwork)；一种是结构递归神经网络(recursiveneuraI network)； 吸收了 HMM模型的有限序列关联的思想。神经网络的隐藏层结构能够更好的表达有限的观察值背后的复杂分布。递归神经网络模型hr = tanh(Wxxf + W 肋 h + bjzt = softmaxfWh/ + bz)Recurrent Neural NetworkRNN是一类扩展的人工神经网络，它是为了对序列数据进行建模而产生的。针对对象：序

14、列数据。例如文本，是字母和词汇的序列；语音，是音节的序列; 视频，是图像的序列；气象观测数据，股票交易数据等等，也都是序列数据。核心思想：样本间存在顺序关系，每个样本和它之前的样本存在关联。通过神 经网络在时序上的展开，我们能够找到样本之间的序列相关性。ht = H (WihXt + Whhht-i + bh)27RNN发展历史J. HopfieldJoulin & MikolovJ. ElmanCho, et alStack RNNGRULSTM2015Elman NetworkHopfield networksHochreiter & Schmidhuber19971990

15、1982 19862014tttJordanNetworkM. JordanBPTTBRNNtNeural turing machineP. WerbosSchuster & PaliwalA. Graves29#开源工具包:TheanoTorchPyBrainTenso 汗 low早期(80、90年代)主要思想：重新使用参数 和计算中期(90-2010)除LSTM以外，RNN基本 从主流研究中消失了。当前(2010-)应用广泛: 自然语言应用视频建模，手写识别，用 户意图预测#/#RNN基本框架e.g. Video classification on frame levelRecur

16、rent Neural NetworkGg Sentiment Classification sequence of words sentimentone to oneone to manymany to onemany to manymany to manye.g Image Captioning image sequence of wordse.g. Machine Translation seq of words -> seq of wordsRecurrent Neural Network典型应用：图像标注#"man in black shirtis playing g

17、uitar/1"con structionworker in orangesafety vest isworking on road.11"two young girls areplaying with legotoy."29 Recurrent Neural Network典型应用：语言生成PHDARUS:Alas；, I think he shall be come approached and the day When little srain. vould be attain d. into being never fed, And who is but

18、a chain and subjects of his death,I should not sleepSecond Senator:They are away this miseries, produced upon my soul, Breaking and strongly should be buriei when I perish. The earth and thoughts of many states.DUKE VINCENTIO:Well, your wit is in the care of side and thatSecond Lord:They would be ru

19、led after this chamber, andmy fair nues begun, out of the fact, to be conveyed,Whose noble souls Ill have the heart of the warsClo-wn:Come, sir, I will make did behold your worship.VIOLA:I'll drink 辻./* Increment the size fiLe of the new incorrect UI_FILTER group information* of the size generat

20、iveLy/static int indicate_policy(void)int error;if (fd = MARN.EPT) /* The kerneL bLank wiLL coeLd it to userspoce*/if (ss->segment < mem_total)unblock_graph_and_set_blocked();elseret = 1;goto bail;segaddr = in_SB(in.addr);selector = seg / 16;setup_wonks = true;for (i = 0; i < blocks; i+) se

21、q = bufi+;bpf = bd>bdnext + i * search;if (fd) current = blocked;rv/- >n ame = "Get jbbregs"bprmselfclearlC&iv>version);regs->new = blocks(BPF_STATS << info->historidac) | PFMR_CLOBATHINC_SECOND retu” segtable;<#>/50循环神经网络模型循环神经网络模型循环神经网络模型循环神经网络模型 RNN常用的激活函数

22、是tanh和sigmoido循环神经网络模型循环神经网络模型0.90.8-0.7-06”3 05fz) = tanh(z)=ez ezez + ez31循环神经网络模型softmax Softmax函数是sigmoid函数的一个变种，通常我们将其用在多分类任务的输出层, 将输入转化成标签的概率。加（工）=p（0 = 1|広;0）/=2|工;0）1=伺工；0）Ej=1 狞我;循环神经网络模型循环神经网络模型本质就是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量 中的每个元素取值都介于（0, 1）之间。循环神经网络模型循环神经网络模型32循环神经网络模型循环神经网络模型简单循

23、环网络SRN神经元之间的连接权重在时域上不变。33循环神经网络模型随时间反向传播算法B PTT循环神经网络模型循环神经网络模型BP回顾：定义损失函数e来表示输岀y和真实标签y的误差，通过链式法则自顶向循环神经网络模型循环神经网络模型下求得E对网络权重的偏导。沿梯度的反方向更新权重的值，直到E收敛。BPTT的本质其实和BP很像，就是加上了时序演化。定义权重仏Wo St = t nliUxt + W St-i)yt = softmax( VsJ定义损失函数:E£yt 罚 t) = 一/log %E(y,讥=工 Et(yt,观)t我们将整个序列作为一次训练，所以需要对每个时刻的误差进行求和

24、。循环神经网络模型循环神经网络模型34循环神经网络模型随时间反向传播算法B PTT目前的任务是求e对于仏穴的梯度。 定义e对于的梯度(仏卩同理)：dEdEfdW 乙 dW t(1)求E对于f的梯度。 先求Es对于f的梯度：dE3 = dE3 dy3dV _ dy3 dV_ dE3 dy3 dz3 =莎鬲丽其中： z3 = Vs3EoEiE2E3E435EoEiE2E3E435EoEiE2E3E4个“、个UXqXi龙2力3龙435EoEiE2E3E435EoEiE2E3E4dE 求和可得。dV35循环神经网络模型36循环神经网络模型随时间反向传播算法B PTT將求和可得。（2）求E对于的梯度。注

25、意，现在 情况开始变得复杂起来。EoEiE(2E3EaVds3先求E3对于的梯度:加3 _ 3E.3 0女3 0S30W =莎鬲丽当我们求S3 对于的偏导时。注意 到： s3 = tanli（axf + 甲 S2）S2S4、 >r1个1 "为2龙3龙4&S2 dsids20其中:依赖于$2 ,而S2又依赖于一直传递到t二0的时刻。因此，当我们计算对于的偏 导数时，不能把西看作是常数项！51和依赖关系丽dEj dyz ds3 dsk <%3 為3 dsk dW36随时间反向传播算法B PTT(3)求E对于的梯度。情况与类似。先求Es对于的梯度：9E3 = OE3 为

26、 3 &S3dU003 & S3 dU当我们求S3 对于的偏导时。注意到： s3 = tanli(l/xt + W.S2)同样：53 依赖于S2 ,而S2又依赖于S1 类似求必当我们计算对于的偏导数时，也不 能把S2看作是常数项！37dE求和口J得。和 o3OE3DUEA：=1OE3M3OS3 %k 旳3险0sk OU37随时间反向传播算法B PTT1： for t from T downto 1 do2：dot dLzt yt）/dzt3：dbo < dbo 十 dot4：dVohoh + do5： dht dht + dot6： dzt£”（盈） dht7：

27、d /jv 屁 + dzVf& dbh - dbh 十9： dWhh J 朋 +（1氏町_10： dhf i < jhdzt11： end for12: Return d6 = dWhV1 dWhh ? dWoh: dbk ? dbo dh（）.37参数意义：whv:S入层到隐含层的权重参数，Whh：隐含层到隐含层的权重参数， woh:隐含层到输出层的权重参数， bh：隐含层的偏移量,bo输出层的偏移量， h°：起始状态的隐含层的输出，一般初始为0。#递归神经网络模型随时间反向传播算法B PTT面临的问题：梯度消失问题梯度爆炸问题解决方案：选择其他的激活函数。例如ReLUo引入改进网络结构的机制，例如LSTM, GRUo现在在自然语言处理上应用十分广的的就是LSTM。394:自然语言处理基础4.1：什么是自然语言处理?概念：研究人和计算机之间用自然语言进行通信的各种理论和方法AUDIOIMAGESTEXT0000.200<7000 Audio SpectrogramDENSEImage pixelsDENSEWord, context, ordocument vectorsSPARSE414.2：词向量词的表示-词向量1：传统的One-Hot Encode离散单独符号表示单词将一个单词转换