第14章-深度学习前沿发展

DEEPLEARNING深度学习第十四章深度学习前沿发展14.1

增强学习14.2迁移学习14.3记忆网络14.4深度学习的硬件实现of312习题14.1增强学习of31314.1.1增强学习的基本概念根据经典的教科书上的定义：ReinforcementLearningislearningwhattodo–howtomapsituationstoactions，soastomaximizeanumericalrewardsignal。增强学习关注于智能体做什么，如何从当前的状态中找到相应的动作，从而得到更好的奖赏。增强学习的学习目标就是Reward，奖赏。增强学习就是基于奖赏假设，所有的学习目标都可以归结为得到累计的最大奖赏习题第十四章深度学习前沿发展14.1增强学习of31414.1.2增强学习的过程增强学习是一种试错（trial-and-error）的学习方式，从不断尝试的经验中发现一个好的policy，从而在这个过程中获取更多的reward。在学习过程中，会有一个在Exploration（探索）和Exploitation（利用）之间的权衡。Exploration会放弃一些已知的reward信息，而去尝试一些新的选择----即在某种状态下，算法也许已经学习到选择什么action让reward比较大，但是并不能每次都作出同样的选择，也许另外一个没有创世过的选择会让reward更大，即Exploration希望能够探索更多关于environment的信息。Exploitation指根据已知的信息最大化reward。第十四章深度学习前沿发展14.1增强学习of31514.1.3增强学习的应用智能机器人游戏围棋、国际象棋无人驾驶。。。第十四章深度学习前沿发展第十四章深度学习前沿发展14.1

增强学习14.2迁移学习14.3记忆网络14.4深度学习的硬件实现of316习题14.2迁移学习of31714.2.1迁移学习的定义简介深度学习中在计算机视觉任务和自然语言处理任务中将预训练的模型作为新模型的起点是一种常用的方法，通常这些预训练的模型在开发神经网络的时候已经消耗了巨大的时间资源和计算资源，迁移学习可以将已习得的强大技能迁移到相关的的问题上。迁移学习是一种机器学习的方法，指的是一个预训练的模型被重新用在另一个任务中。定义迁移学习与多任务学习以及概念飘移这些问题相关，它不是一个专门的机器学习领域。迁移学习在某些深度学习问题中是非常受欢迎的，例如在具有大量训练深度模型所需的资源或者具有大量的用来预训练模型的数据集的情况。仅在第一个任务中的深度模型特征是泛化特征的时候，迁移学习才会起作用。深度学习中的这种迁移被称作归纳迁移。就是通过使用一个适用于不同但是相关的任务的模型，以一种有利的方式缩小可能模型的搜索范围。第十四章深度学习前沿发展14.2迁移学习of31814.2.2迁移学习的方法开发模型的方法选择源任务。你必须选择一个具有丰富数据的相关的预测建模问题，原任务和目标任务的输入数据、输出数据以及从输入数据和输出数据之间的映射中学到的概念之间有某种关系开发源模型。然后，你必须为第一个任务开发一个精巧的模型。这个模型一定要比普通的模型更好，以保证一些特征学习可以被执行重用模型。然后，适用于源任务的模型可以被作为目标任务的学习起点。这可能将会涉及到全部或者部分使用第一个模型，这依赖于所用的建模技术调整模型。模型可以在目标数据集中的输入-输出对上选择性地进行微调，以让它适应目标任务预训练模型方法（比较常用）选择源模型。一个预训练的源模型是从可用模型中挑选出来的。很多研究机构都发布了基于超大数据集的模型，这些都可以作为源模型的备选者重用模型。选择的预训练模型可以作为用于第二个任务的模型的学习起点。这可能涉及到全部或者部分使用与训练模型，取决于所用的模型训练技术调整模型。模型可以在目标数据集中的输入-输出对上选择性地进行微调，以让它适应目标任务第十四章深度学习前沿发展14.2迁移学习of31914.2.3迁移学习的应用场景从模拟中学习从模拟中学习并将学到的知识应用在显示世界。如：自动驾驶域适应域适应在视觉中是一个常规的需求。另一个常见的域适应场景涉及到适应不同的文本类型跨语言迁移知识将知识从一种语言迁移到另一种语言。以zero-shot学习方法进行翻译为例，此方法在该领域取得了快速的进步深度学习的fine-tuning迁移学习在深度学习中的fine-tuning，即微调。第十四章深度学习前沿发展第十四章深度学习前沿发展14.1

增强学习14.2迁移学习14.3记忆网络14.4深度学习的硬件实现of3110习题14.3记忆网络of311114.3.1循环神经网络人类在思考问题的时候，并不是每次都从头开始，而是常常建立在某个基础之上开始的。循环神经网络也具有这样的特点。由于在网络中具有循环结构，其能够持续保存输入的信息。这种链状的性质表明，循环神经网络与序列密切相关。这是处理这种数据所使用的神经网络的自然结构。第十四章深度学习前沿发展14.3记忆网络of311214.3.2长期以来关系问题RNNs的特点是将前期信息与当前任务连接，例如，使用前面的视频帧可能得出对当前帧的理解如果相关信息与预测位置间隔较小，RNNs可以学会使用之前信息如果相关信息与预测位置的间隔很大。随着这种间隔的拉长，RNNs就会无法学习连接信息第十四章深度学习前沿发展14.3记忆网络of311314.3.3长短期记忆网络长短期记忆网络（LongShort-TermMemory，LSTM）是一种特殊的RNN，能够学习长期以来关系。LSTMs明确设计成能够避免长期以来关系问题。记住信息很长一段时间几乎是他们固有的行为，而不是去学习得到的第十四章深度学习前沿发展14.3记忆网络of311414.3.4长短期记忆变体一种流行的LSTM变种，加入了“窥视孔连接”（peepholeconnections）。这意味着门限层也将单元状态作为输入。另一个变种就是使用耦合遗忘和输入门限。再一种变种是门限递归单元或GRU第十四章深度学习前沿发展第十四章深度学习前沿发展14.1

增强学习14.2迁移学习14.3记忆网络14.4深度学习的硬件实现of3115习题14.4深度学习的硬件实现of311614.4.1FPGAFPGA（可编程门阵列，FieldProgrammableGateArray）基本原理是在芯片内继承大量的数字基本门电路以及存储器，用户可以通过烧写FPGA配置文件来定义这些门电路以及存储器之间的连接第十四章深度学习前沿发展14.4深度学习的硬件实现of311714.4.2ASICASIC基准，着重衡量的是基本计算的硬件性能，旨在找到使计算变慢或者抵消的瓶颈，以及审计一个对于深层神经网络训练的基本操作执行效果最佳的架构矩阵相乘（MatrixMultiplication）：几乎所有的深度学习模型都包含这一运算卷积（Convolution）：常用运算，占用模型中大部分的美妙浮点运算循环层（RecurrentLayers）：模型中的反馈层，兵器基本上是前两个预算的组合AllReduce：在优化前对学习到的参数进行传递或解析的运算序列。在跨硬件分布的深度学习网络上执行同步优化时，这一操作尤其有效第十四章深度学习前沿发展14.4深度学习的硬件实现of311814.4.3TPUTPU（TensorProcessingUnit，张量处理单元）是Google为机器学习应用TensorFlow打造的一种定制ASIC芯片，能在相同时间内处理更复杂、更强大的机器学习模型并将其更快地投入使用。TPU架构主要模块包括片上内存，256x256个矩阵乘法单元，非线性神经元计算单元（activation），以及用于归一化和池化的计算单元第十四章深度学习前沿发展14.4深度学习的硬件实现of311914.4.4寒武纪“寒武纪”是中国科学院计算技术研究所发布的能够“深度学习”的“神经网络”处理器芯片寒武纪1号（DianNao，面向神经网络的原型处理器结构）寒武纪2号（DaDianNao，面向大规模神经网络）寒武纪3号（PuDianNao，面向多种机器学习算法）第十四章深度学习前沿发展14.4深度学习的硬件实现of312014.4.5TrueNorthIBMTrueNorth芯片从一个神经状态内核招收，将许多神经树突（输入）和轴突（输出）连在一起。每个神经元都可以向另一个神经元发出“尖峰”信号，信号可为1或0。芯片上的神经元可以发信号给泳衣芯片上的其他神经元或是接收来自同一芯片其它神经元的信号。TrueNorth芯片主要依赖于对卷积神经网络的层、节数据的过滤和计算以完成深度学习。它不仅能够实现卷积网络的功能，而且还能够支持多样的连接形式（反馈、横向反馈和正向反馈），并能同事执行各种不同的算法。第十四章深度学习前沿发展第十四章深度学习前沿发展14.1

增强学习14.2迁移学习14.3记忆网络14.4深度学习的硬件实现of3121习题习题of3122