人工神经网络_深度学习PPT学习课件

人工神经网络及其应用,第七讲深度学习主讲人：方涛,1,第七讲深度学习,主讲内容7.1研究背景7.2从BP网络看深度学习7.3几种典型的深度学习模型7.4开源深度学习框架7.5深度学习的未来,2,7.1研究背景,约翰麦卡锡（1927-2011）LISP之父不走寻常路的常识逻辑学家,1956年，约翰.麦卡锡召集了一次会议来讨论人工智能未来的发展方向，开启了AI的发展,2016年-人工智能（AI）奠基60周年,21世纪初，“深度学习”的出现，AI研究获得了长足的进步没有大数据，没有“大计算”，就没有人工智能的今天！,3,MarvinMinsky人工智能之父和框架理论的创立者,1927-2016,MITAILab创始人之一1970年获得图灵奖美国工程院和美国科学院院士,在近60年的人工智能历史中，马文-明斯基一直是一位闪耀着耀眼光彩的杰出的人工智能权威，是当之无愧的人工智能之父。（李德毅院士）,明斯基在1950年进入普林斯顿大学攻读数学系的博士研究生学位，比我晚一年。我们很快意识到，我们两人都对人工智能很感兴趣。事实上，当时明斯基已经对如何实现人工智能颇有想法了，这一点在之后他设计和建造的世界上第一个神经网络模拟器Snare上得到了证实。（JohnMcCarthy人工智能先驱，LISP语言之父，图灵奖获得者）,1969：Perceptron（感知器）-神经网络的局限性（深度学习的前身）,7.1研究背景,4,2016年,阿尔法狗（AlphaGo）4:1大胜围棋9段李世石高手，AI重大历史时刻,“监督学习的策略网络（PolicyNetwork）”通过13层全连接网络，反复训练围棋棋盘布局，调整参数，以最佳概率预测落子选择（MovePicker），如何下棋子“价值网络（ValueNetwork）”给定棋子位置，预测每一个棋手赢棋的可能，就是计算局面,7.1研究背景,主要设计者-位于伦敦Google旗下DeepMind公司大卫席尔瓦（DavidSilver）-剑桥大学计算机科学学士，硕士，加拿大阿尔伯塔大学计算机科学博士黄士杰（AjaHuang），台湾交通大学计算机科学学士，台湾师范大学计算机科学硕士和博士，加拿大阿尔伯塔大学计算机科学博士后,5,7.1研究背景,GeoffreyE.Hinton,加拿大多伦多大学教授,专注于神经网络几十年，1985年，提出Boltzmann机1986年，提出受限Boltzmann机、BP算法2006年，提出神经网络进行降维开启了深度学习时代，并在随后的ImageNet图片识别的比赛，取得了非常有说服力的结果（74%-85%），震撼了学术界,Hinton,G.andSalakhutdinov,R.(2006).Reducingthedimensionalityofdatawithneuralnetworks.Science,313(5786):504507.Hinton,G.E.(2002).Trainingproductsofexpertsbyminimizingcontrastivedivergence.NeuralComp.,14(8):17711800Hinton,G.E.,Dayan,P.,Frey,B.J.,andNeal,R.M.(1995).Thewake-sleepalgorithmforunsupervisedneuralnetworks.Science,268:11581160Hinton,G.E.andSejnowski,T.E.(1986).LearningandrelearninginBoltzmannmachines.InParallelDistributedProcessing,volume1,pages282317.MITPressRumelhart,Hinton,Williams,LearningRepresentationsbyBack-propagatingerrors,Nature,1986,323(6088):533-536,6,AndrewNg斯坦福大学教授,2012年6月,纽约时报披露了GoogleBrain项目,大规模计算机系统方面的世界顶尖专家JeffDean,用16000个CPUCore的并行计算平台训练一种称为“深度神经网络”（DNN，DeepNeuralNetworks）的机器学习模型（内部共有10亿个节点),在语音识别和图像识别等领域获得了巨大的成功,7.1研究背景,7,2012年11月，微软公开演示全自动同声传译系统,深度学习,讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成，效果非常流畅,7.1研究背景,8,2013年1月，百度创始人兼CEO李彦宏高调宣布成立“深度学习研究所”（IDL，InstitueofDeepLearning,7.1研究背景,9,机器学习解决目标识别与分类问题的思路,三个主要组成部分,中间的特征提取部分将很大程度上决定最终的效果，如何提取特征？“巧妇难为无米之炊”,7.1研究背景,10,7.1研究背景,Sift被认为是局部图像特征描述子研究领域一项里程碑式的工作，对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性，还SIFT具有很强的可区分性,特征抽取非常费力，需要领域知识启发式提取,最大的问题？-人工设计,BOW,11,7.1研究背景,待检测图像,行人模型,图像金字塔适应目标尺度变化,局部滤波器变形动态规划求解,可变形部件模型行人检测,12,1981年的诺贝尔医学奖，颁发给了DavidHubel和TorstenWiesel(JohnHopkinsUniversity)，以及RogerSperry。前两位的主要贡献，是“发现了视觉系统的信息处理”：可视皮层是分级的：,这个发现激发了人们对于神经系统的进一步思考神经-中枢-大脑的工作过程，”或许”是一个不断迭代、不断抽象的过程,7.1研究背景,人脑视觉系统如何提取特征？,13,关键在于抽象和迭代，从原始信号开始进行低级抽象，逐渐向高级抽象迭代,从低层到高层的特征表示越来越抽象，生物视觉特征分层抽象的过程，就是一个计算机建模过程,7.1研究背景,人脑视觉系统如何提取特征？,14,7.1研究背景,15,7.1研究背景,HMAX,Neocognitron,VisNet,16,7.1研究背景,从层次增加看深度学习发展简史,2020年又是冰河期？,17,7.1研究背景,18,浅层机器学习模型(第二次浪潮),-1-2层隐层的BP网络（20世纪80年代末期）-SVM、Boosting等，模型的结构可视为带一层隐层节点或没有隐层节点（20世纪90年代）,NeuralNetwork问题-比较容易过拟合，参数比较难tune，而且需要不少技巧-训练速度比较慢，-有限样本和计算单元情况下对复杂函数的表示能力有限-梯度越来越稀疏：从输出层越往输入层，误差校正信号越来越小-收敛到局部极小值近20多年，主要SVM和boosting算法,7.1研究背景,19,深度机器学习模型(第三次浪潮),GeoffreyHinton（加拿大多伦多大学教授、机器学习领域的泰斗）及其学生2006年在科学杂志发表”DeepLearning”文章，开启了深度学习在学术界和工业界的浪潮。,-多隐层的人工神经网络具有优异的特征学习能力-通过无监督学习的“逐层初始化”（layer-wisepre-training）来有效克服深度神经网络在训练上的难度-深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。-强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点-深度学习就是特征学习，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易“深度学习”通过多层次抽象来实现特征的表达,7.1研究背景,20,DeepLearning以多层次神经网络为基础发展起来的一种新的机器学习方法，被认为是AI的新的前沿,Theoretical:“well-knowndepth-breadthtradeoffincircuitsdesignHastad1987.Thissuggestsmanyfunctionscanbemuchmoreefficientlyrepresentedwithdeeperarchitectures”Bengio垃圾信息过滤（异常侦测）；电商欺诈侦测。埃森哲、雪弗兰、博斯咨询和IBM等明星企业都在使用。Marvin是普林斯顿大学视觉工作组新推出的C+框架。该团队还提供了一个文件用于将Caffe模型转化成语Marvin兼容的模式。,49,7.4开源深度学习框架,ConvNetJS斯坦福大学博士生AndrejKarpathy开发浏览器插件，基于JavaScript可以在游览器中训练神经网络。,50,20世纪90年代人类脑计划（HumanBrainProject,HBP)继人类基因计划后，又一国际性科研大计划2013年1月欧盟启动“人类大脑计划”(HumanBrainProject)巨型计算机模拟整个人类大脑（10亿欧元）2013年4月美国“大脑活动图谱计划”(BrainActivityMapProject，或称BrainInitiative)研究大脑活动中的所有神经元，探索神经元、神经回路与大脑功能间的关系（38亿美元）2014年科技部脑科学信息化重大专项“类人脑工程”2014年诺贝尔奖生理学医学奖大脑的定位系统-“位置细胞”与“网格细胞”发现,7.5深度学习的未来,随着神经网络研究的不断变迁，其连接及其计算与生物神经元的连接模型其实渐行渐远？！,51,开启计算机“高智商”新时代IBM成功构建模拟人脑功能的认知计算机芯片（2011-8-18）,通过模拟大脑结构，首次成功构建出两个具有感知认知能力的硅芯片原型，可以像大脑一样具有学习和处理信息的能力。两个计算机芯片结合了神经元的计算能力、突触（或神经节）的记忆能力和轴突的通信能力开发新一代计算机模仿大脑构建智能计算机的曲折挑战以冯诺依曼架构为基础，内存和处理器分开，以总线作为数据通道。利用软件实现人工智能一个更大的局限，就是受限于计算机的结构，被计算机科学家称为“冯诺依曼瓶颈”。类脑芯片-目前最接近复杂的认知计算机新的计算机芯片的核心是其构造与大脑类似，有“神经元”，有“突触”，还有“轴突”。“神经元”是计算机的数字信息处理器；“突触”是学习和记忆的基础；“轴突”则是数据通道新芯片采用45纳米工艺，晶体管构造，设计模仿大脑神经元和突触组织。两个芯片均有256个数字神经元和256个轴突，数字神经元为10兆赫，具有芯片的标准功能，如存储器、通信控制器等，可基于输入动态连接突触，神经元可记住最近的活动，引发突触。使用量大的轴突，其权重较大。其中一个芯片拥有262144个可编程突触；而另一个芯片拥有65356个学习突触，这种芯片最令人感兴趣。理论上,每个数字神经元可同时与另外255个数字神经元连接，对于拥有65356个学习突触的芯片而言，可产生1700个不同的组合模仿大脑构建智能计算机的曲折挑战IBM完成本次一代类脑芯片原型，就动用了6个实验室，联合了来自康奈尔大学、威斯康星大学、加州大学、哥伦比亚大学和政府研究机构的上百位研究人员。不算IBM的投入，仅美国国防部高级研究计划局就资助了4100万美元的研究经费。即使这样，该研究也历时6年，耗费人工高达数百万小时,52,距离实用又进一步IBM公布仿人脑功能的芯片（2014-8-8）,已研制出一款能模拟人脑神经元、突触功能以及其他脑功能的微芯片，从而完成计算功能，这是模拟人脑芯片领域所取得的又一大进展。IBM表示这款名为TrueNorth的微芯片擅长完成模式识别和物体分类等繁琐任务，而且功耗还远低于传统硬件。