引言(深度学习)ppt.ppt

深度学习 北京理工大学任雪梅 引言 2016年3月 阿尔法围棋与围棋世界冠军 职业九段棋手李世石进行围棋人机大战 以4比1的总比分获胜 2017年5月 在中国乌镇围棋峰会上 它与排名世界第一的世界围棋冠军柯洁对战 以3比0的总比分获胜 深度学习作为阿尔法围棋的主要工作原理 也正走近人们的视野 受到越来越多的关注 机器学习 MachineLearning 是一门专门研究计算机怎样模拟或实现人类的学习行为 以获取新的知识或技能 重新组织已有的知识结构 不断改善自身的性能的学科 机器学习在图像识别 语音识别 自然语言理解 天气预测 基因表达 内容推荐等很多方面的发展还存在着没有良好解决的问题 自2006年 深度学习 DeepLearning 已经成为机器学习研究中的一个新兴领域 通常也被叫做深层结构学习或分层学习 其动机在于建立 模拟人脑进行分析学习的神经网络 它模拟人脑的机制来解释数据 例如图像 声音和文本 深度学习的概念源于人工神经网络的研究 含多隐层的多层感知器就是一种深度学习结构 深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征 已发现数据的分布式特征表示 人脑视觉机理 1981年的诺贝尔医学奖 颁发给了DavidHubel和TorstenWiesel 以及RogerSperry 前两位的主要贡献 发现了视觉系统的信息处理 可视皮层是分级的 为了研究瞳孔区域与大脑皮层神经元的对应关系 他们在猫的后脑头骨上 开了一个3毫米的小洞 向洞里插入电极 测量神经元的活跃程度 他们在小猫的眼前 展现各种形状 各种亮度的物体 在展现每一件物体时 还改变物体放置的位置和角度 他们期望通过这个办法 让小猫瞳孔感受不同类型 不同强弱的刺激 发现了一种被称为 方向选择性细胞 OrientationSelectiveCell 的神经元细胞 当瞳孔发现了眼前的物体的边缘 而且这个边缘指向某个方向时 这种神经元细胞就会活跃 位于后脑皮层的不同视觉神经元 与瞳孔所受刺激之间 存在某种对应关系 一旦瞳孔受到某一种刺激 后脑皮层的某一部分神经元就会活跃 例如 从原始信号摄入开始 瞳孔摄入像素Pixels 接着做初步处理 大脑皮层某些细胞发现边缘和方向 然后抽象 大脑判定 眼前的物体的形状 是圆形的 然后进一步抽象 大脑进一步判定该物体是只气球 人的视觉系统的信息处理是分级的 从低级的V1区提取边缘特征 再到V2区的形状或者目标的部分等 再到更高层 整个目标 目标的行为等 高层的特征是低层特征的组合 从低层到高层的特征表示越来越抽象 越来越能表现语义或者意图 抽象层面越高 存在的可能猜测就越少 就越利于分类 例如 单词集合和句子的对应是多对一的 句子和语义的对应又是多对一的 语义和意图的对应还是多对一的 这是个层级体系 关键词 分层 而Deeplearning的deep就表示存在多少层 也就是有多深 远在古希腊时期 发明家就梦想着创造能自主思考的机器 神话人物皮格马利翁 Pygmalion 代达罗斯 Daedalus 和赫淮斯托斯 Hephaestus 可以被看作传说中的发明家 而加拉蒂亚 Galatea 塔洛斯 Talos 和潘多拉 Pandora 则可以被视为人造生命 在人工智能的早期 那些对人类智力来说非常困难 但对计算机来说相对简单的问题得到迅速解决 比如 那些可以通过一系列形式化的数学规则来描述的问题 人工智能的真正挑战在于解决那些对人来说很容易执行 但很难形式化描述的任务 如识别人们所说的话或图像中的脸 人工智能系统需要具备自己获取知识的能力 即从原始数据中提取模式的能力 这种能力被称为机器学习 machinelearning 引入机器学习使计算机能够解决涉及现实世界知识的问题 并能作出看似主观的决策 机器学习算法的性能在很大程度上依赖于给定数据的表示 representation 在计算机科学中 如果数据集合被精巧地结构化并被智能地索引 那么诸如搜索之类的操作的处理速度就可以成指数级地加快 不同表示的例子 假设我们想在散点图中画一条线来分隔两类数据 在左图 我们使用笛卡尔坐标表示数据 这个任务是不可能的 右图中 我们用极坐标表示数据 可以用垂直线简单地解决这个任务 许多人工智能任务可通过以下方式解决 先提取合适的特征集 然后将特征提供给简单的机器学习算法 对于许多任务来说 很难知道应该提取哪些特征 解决这个问题的途径之一是使用机器学习来发掘表示本身 而不仅仅把表示映射到输出 这种方法我们称之为表示学习 representationlearning 2020 3 17 16 可编辑 表示学习算法的典型例子是自编码器 autoencoder 自编码器由一个编码器 encoder 函数和一个解码器 decoder 函数组合而成 编码器函数将输入数据转换为一种不同的表示 而解码器函数则将这个新的表示转换到原来的形式 我们期望当输入数据经过编码器和解码器之后尽可能多地保留信息 同时希望新的表示有各种好的特性 从原始数据中提取高层次 抽象的特征是非常困难的 诸如说话口音这样的变差因素 只能通过对数据进行复杂的 接近人类水平的理解来辨识 深度学习 deeplearning 通过其他较简单的表示来表达复杂表示 解决了表示学习中的核心问题 左图展示了深度学习系统如何通过组合较简单的概念 例如转角和轮廓 它们转而由边线定义 来表示图像中人的概念 深度学习模型的典型例子是前馈深度网络或多层感知机 深度学习是机器学习的一种 一种能够使计算机系统从经验和数据中得到提高的技术 深度学习的历史趋势 目前为止深度学习已经经历了三次发展浪潮 20世纪40年代到60年代深度学习的雏形出现在控制论 cybernetics 中 20世纪80年代到90年代深度学习表现为联结主义 connectionism 自2006年 深度学习已经成为机器学习研究中的一个新兴领域 通常也被叫做深层结构学习或分层学习 最早的学习算法 是模拟生物学习的计算模型 深度学习的神经观点受两个主要思想启发 大脑作为例子证明智能行为是可能的 概念上 建立智能的直接途径是逆向大脑背后的计算原理 并复制其功能 理解大脑和人类智能背后的原理也非常有趣 因此机器学习模型除了解决工程应用的能力 如果能让人类对这些基本的科学问题有进一步的认识也将会很有用 自20世纪90年代以来 深度学习就已经成功用于商业应用 但通常被视为是一种只有专家才可以使用的艺术而不是一种技术随着训练数据的增加 所需的技巧正在减少最重要的新进展是现在我们有了智能算法得以成功训练所需的资源 上图展示了基准数据集的大小如何随着时间的推移而显著增加 这种趋势是由社会日益数字化驱动的 由于我们的计算机越来越多地联网在一起 数据变得更容易集中管理 并更容易将它们整理成适于机器学习应用的数据集 20世纪80年代 神经网络只能取得相对较小的成功 而现在神经网络非常成功的另一个重要原因是我们现在拥有的计算资源可以运行更大的模型 联结主义的主要见解之一是 当动物的许多神经元一起工作时会变得聪明 单独神经元或小集合的神经元不是特别有用 1 自适应线性单元 2 神经认知机 3 GPU 加速卷积网络 4 深度玻尔兹曼机 5 无监督卷积网络 6 GPU 加速多层感知机 7 分布式自编码器 8 Multi GPU卷积网络 9 COTSHPC无监督卷积网络 10 GoogLeNet 与日俱增的每神经元连接数 1 感知机 2 自适应线性单元 3 神经认知机 4 早期后向传播网络 5 用于语音识别的循环神经网络 6 用于语音识别的多层感知机 7 均匀场sigmoid信念网络 8 LeNet 5 9 回声状态网络 10 深度信念网络 11 GPU 加速卷积网络 12 深度玻尔兹曼机 13 GPU 加速深度信念网络 14 无监督卷积网络 15 GPU 加速多层感知机 16 OMP 1网络 17 分布式自编码器 18 Multi GPU卷积网络 19 COTSHPC无监督卷积网络 20 GoogLeNet 与日俱增的神经网络规模 自从引入隐藏单元 人工神经网络的大小大约每2 4年翻一倍 20世纪80年代以来 深度学习提供精确识别和预测的能力一直在提高 2013 2014 2015年 ImageNet图像识别比赛的参赛者们都使用了深度学习的神经网络结构 并且随着深度学习的网络结构 训练方法 GPU硬件的不断进步 深度学习在其他领域也在不断的征服战场2015年时 微软亚洲研究院的何凯明等设计的一个深达152层的ResNet模型已经可以将错误率刷新到了