大数据分析的深度神经网络方法课件

1、大数据分析的深度神经网络方法大数据优秀论文提纲大数据简介大脑新皮层的神经网络结构大脑新皮层神经网络的记忆大数据分析GPU深度神经网络计算平台2大数据商业应用诞生全世界兴起 大数据热潮大数据分布式 存储与并行计 算技术诞生Google Brain计划，激 起大规模神经网络在 大数据分析中的应用深度神经网络在语音大 数据、图像大数据领域 接连取得巨大突破G. E. Hinton 教授在Science发表文章， 深度神经网络兴起基于深度神经网络的大数 据分析方法在学术界和工 业界均取得巨大成功工信部白皮书指出：大数据分析是大 数据研究的重要环节，其中大数据分 析的神经网络方法具有良好前景“大数据”

2、一词诞生20001997200420062011201220142015我国大数据产业兴起大数据历史2013美国奥巴马政府发布了大数据 计划，将大数据战略上升为美 国国家意志国务院发布大数据发展行动纲要，大数据正式上升为我国国家意志大数据概念体量浩大 Volume多源异构 Variety生成快速 Velocity价值稀疏 Value大数据的 基本特点大数据的目标实现大数 据转换为 价值4大数据的概念问题：怎样实现大数据的目标？大数据关键技术大 数 据 关 键 技 术问题：怎样设计大数据分析方法？展示平台大数据知识展示大数据产品数据平台大数据采集，标记大数据存储，管理大数据分析是大数据转 换为价

3、值的最重要的环 节，否则，大数据仅仅 是一堆数据而已。大数据分析是大数据转化为价值的桥梁价值5每秒信息传递和交换1000亿次，PB级数据同步处理声音、温度、气味、图像等数据50亿本书的存储容量每秒人眼数据量140.34GB在识别、判断、预测等智能行为方面展现出 十分强大的能力优秀的大数据处理器人类大脑是天然的大数据处理器！进入大脑的信息被编 码为某种数据，进而 由大脑神经网络处理6大数据关键技术大数据关键技术价值神经网络是一种模拟大脑神经网络的计算方法大数据分析是大数据转化为价值的桥梁大数据深度神 经网络巨大 成功+=深度神经网络方法大数据分析 最成功的方法7深度神经网络历史1960s.第一代

4、神 经网络 感知机2006年深度学习； 前馈深度 神经网络1985年第二代神 经网络 BP至今 深度神经 网络在众 多领域均 取得重大成功Geoffrey Hinton2004年HTM神经网络； 智能理论 新框架Jeff Hawkins2009年Recurrent神经网络 异军突起Jrgen Schmidhuber深度神经网络方法大脑新皮层神经网络的记忆机制大脑新皮层 神经网络结构深度神经网络方法神经网络结构学习算法模拟大脑神经计算的方法9提纲大数据简介大脑新皮层的神经网络结构大脑新皮层神经网络的记忆大数据分析GPU深度神经网络计算平台10大脑新皮层的神经网络结构神经科学认为：智能 是由大脑神

5、经网络的 活动产生的。几乎所有我们所认识 到的与智能有关的内 容，如感知、语言、 想象力、数学、艺术、 规划等等，都发生于 大脑新皮层。新皮层的神经网络对 智能的产生起至关重 要的作用。2人脑的新皮层一张餐巾大小（约1000cm )六张扑克牌厚（约2mm ）每平方毫米的面积包含了约10 万个神经元300亿个神经元100 万亿突触连接11大脑新皮层的神经网络结构视觉区域听觉区域触觉区域联合区域12大脑新皮层的神经网络结构视觉区域听觉区域触觉区域联合区域不同层级区域间依靠神经柱内复杂的连接进行通讯按照功能区 构成层级结构基因决定大脑皮层的整个结构，包括 各个区域之间的相互连接的具体细节13大脑新皮

6、层的神经网络结构新皮层连接的拓扑结构14当前使用的简单神经网络结构前馈深度神经网络-无限逼近任何非线性函数RBM神经网络2006年，G. E. Hinton教授在Science 发表文章，基于前馈深度神经网络的 大数据分析方法兴起Geoffrey Hinton当前使用的简单神经网络结构语音识别：2012，RBM深度模型降低错误率30%，是10年来最大突破图像识别：大规模对象识别(ImageNet)正确率(95.06%)超过人类(94.9%)应 用 领 域应 用 产 品大数据 前馈深度神经网络4:1AlpahGovs李世石Google世界冠军2016年03月2014年5月香港中文大学DeepID

7、2模型人脸识 别率超越人类水平2015年2月微软亚洲研究院大规模对象识 别正确率超过人类2016年01月美国企业Enlitic开发的基于深 度学习的癌症检测系统，肺癌检 出率超过放射技师2012年10月微软使用深度神经网络于语音识别，发布同声传译产品当前使用的简单神经网络结构以LSTM神经网络为代表的，Recurrent 深度神经网络迅速兴起，并广泛应用 于时序大数据分析Jrgen SchmidhuberRecurrent 神经网络-无限逼近非线性动力学系统1()2()3()1()Continuously Recurrent Computing1()1 + 1 ()2()2()3()3()1(

8、)1()()()LSTM神经网络当前使用的简单神经网络结构自然语言处理：颠覆传统自然语言处理模式，突破自然语言处理前沿难关视觉内容理解：将视觉对象和自然语言相结合，打造可用的视觉内容理解产品语音识别：语音识别率大幅上升，入选MIT科技评论2016年十大突破技术用 领 域大数据 Recurrent深度神经网络应图像问答语音识别应 用 产 品在NLP的关键任务（接续语句预测）上，能做到20%的提升。这是问答系统得以发展的重 要基础。当前使用的简单神经网络结构HTM神经网络以稀疏分布式表达为基础， 实现“基于记忆的预测”的智能理论新框架， 并将其应用于多种大数据分析HTM神经网络HTM神经网络-模拟

9、大脑新皮层活动的网络Jeff Hawkins当前使用的简单神经网络结构/大数据 HTM神经网络产品:Grok2.0,序列异常检测 应用实例：异常增涨预测异常代码提交检测提纲大数据简介大脑新皮层的神经网络结构大脑新皮层神经网络的记忆大数据分析GPU深度神经网络计算平台21深度神经网络方法大脑新皮层神经网络的记忆机制大脑新皮层 神经网络结构深度神经网络方法神经网络结构学习算法模拟大脑神经计算的方法22大脑新皮层神经网络的记忆新皮层连接的拓扑结构整个大脑皮层是一个记忆系统大脑皮层以恒定形式存储模式大脑皮层按照层级结构存储模式大脑皮层可以存储模式序列大脑皮层以自联想方式回忆模式记忆通过学习来完成问题：

10、记忆的学习机制是什么？23大脑新皮层神经网络的记忆神经科学：记忆以动力学系统 吸引子的方式存在Seung, H. Sebastian, and DanielD. Lee. The manifold ways of perception. Science 290.5500 (2000): 2268-2269.Daniel J. Amit 现代神经网络 理论奠基人24Eric R. KandelColumbia University 教授 2000年诺贝尔生理学医学 奖获得者大脑新皮层神经网络的记忆行为可以由神经元的 活动解释- D. O. Hebb, 1949D. O. Hebb英国皇家学会会士

11、神经元之间的突触连接会随着突触两端神经元的激活而增强。-Hebb学习规则25大脑新皮层神经网络的记忆Jeff HawkinsHTM神经网络常用学习算法：Hebb Learning神经元之间的突触连接会随着突触两端神经元的激活而增强。-Hebb学习规则大脑新皮层神经网络的记忆Back propagation algorithm从数学的优化理论直接设计学习算法Geoffrey HintonRBM27AutoEncoder前馈深度神经网络常用学习算法：Back propagation，Autoencoder，RBM大脑新皮层神经网络的记忆从数学的优化理论直接设计学习算法Long short-term

12、 memoryt=2t=3t=t=1Backpropagation Through Time误 差 反 向 传 播t=1t=2t=3t=Recurrent Real Time LearningActivity gradient 前向 传 播Recurrent深度神经网络常用学习算法：BPTT，RTRL，LSTM28大脑新皮层神经网络的记忆现有学习算法的问题：梯度消失问题学习冲突问题12+112+1111=1= () , where 0.25which indicates will descent exponentially.1 2 3 4-14 -3 -2 -1 00.50-0.511.52S

13、igmoid梯度消失问题?输入冲突x?输出冲突29深度神经网络方法大脑新皮层神经网络的记忆机制大脑新皮层 神经网络结构深度神经网络方法神经网络结构学习算法认知计算数学方法30提纲大数据简介大脑新皮层的神经网络结构大数据分析的深度神经网络方法大数据分析GPU深度神经网络计算平台31大数据关键技术大 数 据 关 键 技 术大数据分析是大数据转化为价值的桥梁价值问题：如何构建大数据分析平台？展示平台大数据知识展示大数据产品分析平台深度神经网络高性能计算平台数据平台大数据采集，标记大数据存储，管理大数据分析是大数 据转换为价值的最 重要的环节， 否则， 大数据仅仅是一堆 数据而已。32大数据分析平台深

14、度神经网络方法管理节点交 换机IB交换机以太网交换 机管理存储节 点终端终端终端GPUs计算节点服务器计算节点服务器分析方法计算 平台1()2()3()1()1()1 + 1 ()Continuously Recurrent Computing2()2()3()3()1()1()()()GPU深度神经网络计算平台大计 算大模 型大数据大规模计算平3台3大数据分析GPU深度神经网络计算平台计算模型计算模型计算模型企业应用产品训练无限深度 网络深度神经 网络图像大数据模 型并行文本大数据语音大数据输入输出统 一 数据 接 口大数据分析GPU深度神经网络计算平台学习算法学习算法学习算法设备0设备1设备2大数据分析GPU深度神经网络计算平台全部建设完成后总体规模计算服务器15台CPU120块K80 GPU 计算卡60块GPU单精度浮点计算能力 500 Tflops集群总计算能力达到 700 Tflops34大数据分析GPU深度神经网络计算平台大数据分 析GPU深 度神经网 络计算平 台视频大 数据研 究组文本大 数据研 究组语音大 数据研 究组大数据研究团队在研产品四川话识别一个灯塔在一 个建筑物上面一只熊猫在一个树枝上图像内容理解诗词精灵干细胞追踪系统35文本大数据研究产品-诗词精灵自动生成唐诗宋词诗词卜算子咏梅今日探春芳